Taming Score-Based Denoisers in ADMM: A Convergent Plug-and-Play Framework

이 논문은 ADMM 알고리즘과 스코어 기반 생성 모델을 통합할 때 발생하는 매니폴드 불일치와 수렴성 문제를 해결하기 위해 AC-DC(자동 및 방향 보정) 제거기를 도입한 새로운 ADMM-PnP 프레임워크를 제안하고, 이를 통해 다양한 역문제에서 우수한 성능과 이론적 수렴 보장을 입증합니다.

핵심

🎨 핵심 비유: "망가진 그림을 고치는 두 명의 전문가"

이 문제를 해결하려면 두 가지 도구가 필요합니다.

1. ADMM (건축가): 이 도구는 "측정된 데이터 (예: 흐릿한 사진, 일부가 잘린 그림)"를 바탕으로 수학적 규칙을 적용해 그림을 재구성합니다. 하지만 규칙만으로는 자연스러운 질감이나 디테일을 만들기 어렵습니다.
2. 확산 모델 (예술가): 이 도구는 수만 장의 아름다운 그림을 공부해서 "어떤 그림이 자연스러운지"를 완벽하게 알고 있습니다. 하지만 이 예술가는 **특정 조건 (노이즈가 섞인 상태)**에서만 그림을 고칠 수 있습니다.

❌ 기존 방법의 문제점: "장소 불일치"

기존 연구에서는 건축가 (ADMM) 가 만든 그림을 바로 예술가 (확산 모델) 에게 가져가서 다듬게 했습니다.

• 문제: 예술가는 "회색 안개 (노이즈) 가 끼어 있는 상태"의 그림만 고칠 수 있도록 훈련되었습니다. 그런데 건축가가 만든 그림은 안개가 끼어 있지 않거나, 안개의 모양이 다릅니다.
• 결과: 예술가가 "이건 내가 고칠 수 있는 그림이 아니야!"라고 혼란을 겪거나, 엉뚱한 방향으로 그림을 수정해서 **괴상한 결과물 (아티팩트)**이 나옵니다. 마치 비 오는 날에 훈련된 소방관이, 맑은 날의 화재 현장에 가서 물을 뿌리는 것과 비슷합니다.

✅ 이 논문의 해결책: "AC-DC 디노이저 (자동 조정기)"

저자들은 이 문제를 해결하기 위해 **세 단계로 이루어진 새로운 '디노이저 (잡음 제거기)'**를 제안했습니다. 이를 AC-DC라고 부릅니다.

1. AC (Auto-Correction, 자동 보정) - "안개 끼우기"
   • 건축가가 만든 그림에 인위적으로 **안개 (노이즈)**를 살짝 뿌려줍니다.
   • 비유: 예술가가 익숙한 "회색 안개 낀 상태"로 그림을 맞춰주는 것입니다. 이제 예술가는 이 그림을 볼 수 있습니다.
2. DC (Directional Correction, 방향 보정) - "나침반으로 방향 잡기"
   • 안개를 끼웠다고 해서 바로 원래 그림이 되는 건 아닙니다. 이때 **랜지빈 동역학 (Langevin Dynamics)**이라는 기술을 써서, 안개 낀 그림이 **자연스러운 데이터의 궤적 (Manifold)**을 따라가도록 방향을 잡아줍니다.
   • 비유: 안개 낀 길을 걷는 사람에게 "저기 저쪽이 진짜 집이야"라고 나침반을 쥐여주는 것입니다. 단순히 안개만 끼우는 게 아니라, 올바른 길로 다시 유도합니다.
3. Denoising (디노이징) - "예술가의 최종 작업"
   • 이제 그림은 예술가가 가장 잘 고칠 수 있는 상태 (안개가 끼고 올바른 길 위에 있음) 가 되었습니다. 예술가가 최종적으로 그림을 다듬어 완벽한 결과물을 내놓습니다.

---

🏗️ 왜 이 방법이 중요한가요? (수렴성 증명)

이 논문은 단순히 "결과가 좋다"는 것뿐만 아니라, **"이 방법이 수학적으로 안정적이다"**라는 것을 증명했습니다.

• 기존의 불안정성: 기존 방법들은 예술가 (AI) 가 너무 이상한 방향으로 그림을 고쳐서, 반복할수록 그림이 더 망가질 수도 있다는 우려가 있었습니다.
• 이 논문의 증명: 저자들은 "우리가 제안한 AC-DC 방식은 **약하게 수축 (Weakly Non-expansive)**하는 성질을 가진다"고 증명했습니다.
  • 비유: 반복해서 그림을 고칠 때마다, 결과물이 점점 더 안정된 '완성된 그림'이라는 원 (Fixed Point) 안으로 들어온다는 것을 수학적으로 보장했다는 뜻입니다. 아무리 반복해도 그림이 뭉개지거나 사라지지 않고, 결국 가장 좋은 상태로 수렴한다는 것입니다.

---

📊 실제 실험 결과

저자들은 이 방법을 다양한 문제에 적용해 보았습니다.

• 상호작용: 흐릿한 사진 선명하게 만들기 (Deblurring)
• 복원: 잘린 그림의 빈 공간 채우기 (Inpainting)
• 확대: 작은 사진을 고화질로 만들기 (Super-resolution)

결과: 기존에 있던 다른 AI 방법들 (DPS, DiffPIR 등) 보다 더 선명하고, 노이즈가 적으며, 측정 데이터와 더 잘 맞는 이미지를 만들어냈습니다. 특히 그림의 질감이나 디테일이 훨씬 자연스러웠습니다.

---

💡 한 줄 요약

"AI 가 그림을 고칠 때, AI 가 익숙한 환경 (노이즈 상태) 으로 먼저 맞춰주고 (AC), 올바른 길로 유도한 뒤 (DC), 최종적으로 고치게 함으로써, 수학적 안정성과 뛰어난 화질을 동시에 잡았다."

이 연구는 복잡한 수학적 최적화 문제와 최신 생성형 AI 를 결합할 때 발생하는 '불일치' 문제를 창의적으로 해결하고, 그 안정성을 수학적으로 증명했다는 점에서 매우 의미 있습니다.

기술 요약

이 논문은 ICLR 2026에 발표된 것으로, 역문제 (Inverse Problems) 해결을 위해 **점수 기반 생성 모델 (Score-based Generative Models)**을 ADMM(Alternating Direction Method of Multipliers) 프레임워크에 통합하는 새로운 방법론을 제안합니다. 제목은 **"TAMING SCORE-BASED DENOISERS IN ADMM: A CONVERGENT PLUG-AND-PLAY FRAMEWORK"**입니다.

다음은 논문의 핵심 내용을 기술적으로 요약한 것입니다.

---

1. 문제 정의 (Problem Statement)

역문제 (예: 이미지 복원, 초해상도, 위상 복원 등) 를 해결할 때 사전 지식 (Prior) 으로 점수 기반 생성 모델 (Diffusion Models) 을 사용하는 것은 매우 유망합니다. 그러나 이를 최적화 알고리즘인 ADMM 에 직접 적용할 때 두 가지 주요 난제가 존재합니다.

1. 매니폴드 불일치 (Manifold Mismatch):
   • 점수 함수 (Score function) 는 가우시안 잡음으로 교란된 데이터 매니폴드 ($M_{\sigma(t)}$) 위에서 훈련되었습니다.
   • 반면, ADMM 알고리즘의 반복 변수 (Iterates) 는 쌍대 변수 (Dual variables) 의 영향으로 인해 훈련된 잡음 매니폴드와 기하학적으로 일치하지 않을 수 있습니다.
   • 기존 방법들은 단순히 반복 변수에 잡음을 추가하여 매니폴드에 맞추려 시도했으나, 이는 불충분하며 오히려 성능 저하를 초래할 수 있습니다.
2. 수렴성 이론의 부재:
   • 점수 기반 제거기 (Denoiser) 를 ADMM 과 결합했을 때의 수렴성에 대한 이론적 이해가 부족합니다. 특히 쌍대 변수가 존재하는 경우, 반복 과정이 안정적인 고정점으로 수렴하는지 여부가 명확하지 않았습니다.

2. 제안된 방법론 (Proposed Methodology: AC-DC Denoiser)

저자들은 AC-DC (Auto-Correction and Directional Correction) 제거기를 제안하여 위 문제들을 해결하고 ADMM-PnP(Plug-and-Play) 프레임워크에 통합했습니다. 이 제거기는 3 단계로 구성됩니다.

1. 자동 보정 (Auto-Correction, AC):
   • ADMM 의 반복 변수 ($\tilde{z}^{(k)}$) 에 가우시안 잡음을 추가합니다.
   • 목적: 반복 변수를 점수 함수가 훈련된 잡음 매니폴드 ($M_{\sigma(t)}$) 근처로 끌어당겨, 점수 함수가 유효하게 작동할 수 있는 영역으로 이동시키는 것입니다.
2. 방향 보정 (Directional Correction, DC):
   • 조건부 랑주뱅 동역학 (Conditional Langevin Dynamics) 을 사용하여 AC 단계의 출력을 정제합니다.
   • 목적: 단순히 잡음을 추가하는 것만으로는 부족할 수 있으므로, 측정 정보 (Measurement information) 를 유지하면서 데이터 매니폴드 ($M_{\sigma(k)}$) 로 더 정확하게 정렬 (Alignment) 시킵니다. 이는 조건부 분포 $p(z_{\sigma(k)} | \tilde{z}^{(k)}_{ac})$를 타겟으로 합니다.
3. 점수 기반 제거 (Score-based Denoising):
   • 보정된 입력에 대해 훈련된 점수 함수를 적용하여 최종 복원 이미지를 생성합니다.
   • Tweedie's Lemma 를 사용하거나 ODE 기반 역적분을 통해 수행됩니다.

이 과정은 ADMM 의 $z$-서브문제 (Denoising step) 에서 기존 제거기를 대체하여 사용됩니다.

3. 주요 기여 (Key Contributions)

1. AC-DC 제거기 프레임워크:
   • ADMM 반복 변수와 훈련된 점수 매니폴드 간의 불일치를 해결하기 위해 AC 와 DC 단계를 도입했습니다. 이는 기존 '정제 (Purification)' 또는 '잡음 추가' 기법보다 더 정교하게 매니폴드 정렬을 수행합니다.
2. 수렴성 분석 (Convergence Analysis):
   • 약한 비확대성 (Weakly Non-expansive): 적절한 파라미터 하에서 AC-DC 제거기가 약한 비확대 연산자임을 증명했습니다. 이를 통해 **고정된 스텝 사이즈 (Constant step size)**에서도 확률적으로 고정점 근방 (Fixed-point ball) 으로 수렴함이 보장됩니다.
   • 적응형 스텝 사이즈: $\ell$ 항의 볼록성 (Convexity) 가 없는 경우 (예: 데이터 압축/복원 문제) 에도 **적응형 스텝 사이즈 (Adaptive step size)**를 사용하면 고확률로 수렴함이 증명되었습니다.
3. 광범위한 실험 검증:
   • 다양한 역문제 (인페인팅, 위상 복원, 가우시안/모션 블러 제거, 초해상도, HDR 등) 에서 기존 SOTA 방법들 (DPS, DiffPIR, DDRM, RED-diff 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: FFHQ 256x256 및 ImageNet 256x256.
• 평가 지표: PSNR, SSIM, LPIPS.
• 성능:
  • 정량적 결과: 대부분의 태스크에서 제안된 방법 (Ours-tweedie, Ours-ode) 이 PSNR, SSIM, LPIPS 모든 지표에서 1 위 또는 2 위를 기록했습니다. 특히 DiffPIR, DPS, DDRM 등 기존 PnP 기반 방법들보다 뚜렷한 우위를 보였습니다.
  • 정성적 결과: 복원된 이미지가 노이즈와 아티팩트가 적고, 측정 데이터 (Measurement) 와 일관성이 높으며 자연스러운 질감을 유지했습니다. 반면, 기존 방법들은 노이즈가 많거나 측정 불일치 (Measurement inconsistency) 가 발생하는 경우가 많았습니다.
  • DC 단계의 중요성: DC 단계를 생략 (J=0) 할 경우 심각한 아티팩트가 발생했으나, DC 단계를 추가할수록 이미지 품질이 개선됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 이론적 확장: 기존 ADMM-PnP 의 수렴성 이론을 점수 기반 생성 모델 (Diffusion Models) 로 확장하여, 쌍대 변수가 포함된 환경에서도 수렴이 보장됨을 수학적으로 증명했습니다.
• 실용적 가치: 역문제 해결을 위해 훈련된 생성 모델을 최적화 루프에 안정적으로 통합할 수 있는 방법론을 제시했습니다. 이는 의료 영상, 원격 탐사, 물리 시뮬레이션 등 다양한 분야에서 고품질 복원 솔루션을 제공합니다.
• 한계 및 향후 과제: 현재 AC 및 DC 단계의 잡음 스케줄링이 경험적 휴리스틱에 의존하고 있으며, NFE(함수 평가 횟수) 효율성을 높이기 위한 연구가 필요하다는 점을 인정했습니다.

요약하자면, 이 논문은 ADMM 과 점수 기반 제거기의 결합에서 발생하는 기하학적 불일치 문제를 AC-DC 메커니즘으로 해결하고, 이를 이론적으로 수렴성이 보장되는 프레임워크로 완성했다는 점에서 중요한 기여를 했습니다.