Posterior Continuation with Noise-Conditioned Frequency Exposure for Diffusion Inverse Problems

기술 요약: 노이즈 조건부 주파수 노출을 이용한 디퓨전 후방 지속 (Posterior Continuation with Noise-Conditioned Frequency Exposure)

문제 정의
디퓨전 후방 샘플링(Diffusion posterior sampling)은 사전 훈련된 디퓨전 프라이어(prior)와 측정 일관성 가이던스(measurement-consistency guidance)를 결합하여 역문제(inverse problems)를 해결한다. 그러나 기존의 훈련이 필요 없는(training-free) 방법들은 심각한 열화(예: 강한 모션 블러, 심한 다운샘플링)나 상태가 불량한 연산자(ill-conditioned operators) 하에서 종종 실패한다. 식별된 핵심 한계는 현재의 샘플러들이 측정 정보를 모든 주파수 대역과 노이즈 레벨에 걸쳐 균일하게 주입하며, 주파수 성분의 노이즈 의존적 신뢰도를 무시한다는 점이다. 높은 노이즈 레벨에서는 디퓨전 모델로부터 도출된 깨끗한 추정치(clean estimates)가 스코어 유도 오류(score-induced errors)를 포함하게 된다. 이 부정확한 추정치로부터 전체 대역(full-band) 라이클리후드 그래디언트(likelihood gradients)를 계산하면, 이것이 국소적 후방 기하 구조(local posterior geometry)와 어긋나 구조적 드리프트 및 아티팩트(예: 링잉 현상, 텍스처 세척 현상)를 유발할 수 있다. 반면, 저주파 구조는 높은 노이벨 레벨에서도 상대적으로 안정적이다.

방법론
저자들은 **노이즈 조건부 주파수 노출(Noise-Conditioned Frequency Exposure)**에 기반한 **후방 지속 프레임워크(Posterior Continuation Framework)**를 제안한다. 핵심 원리는 측정 주파수가 솔버의 단계 인덱스(step indices)에 따른 고정된 스케줄을 따르는 대신, 현재의 디퓨전 노이즈 레벨에 따라 노출되어야 한다는 것이다.

이 프레임워크는 역시간 궤적(reverse-time trajectory)의 각 노이즈 레벨 $\sigma_i$에서 다음 세 단계를 통해 작동한다:

1. 디퓨전 예측(Diffusion Prediction): 사전 훈련된 디퓨전 솔버는 노이즈가 섞인 샘플 $x_{\tau_i}$로부터 깨끗한 이미지 $\hat{x}_{0,i}$를 먼저 추정한다.
2. 노이즈 조건부 주파수 제한 라이클리후드 정제(Noise-Conditioned Frequency-Limited Likelihood Refinement): 즉각적으로 전체 대역 일관성을 강제하는 대신, 이 방법은 현재 노이즈 레벨에서 신뢰할 수 있는 주파수 대역을 강조하는 중간 후방(intermediate posterior)을 구축한다.
   • 푸리에 영역(Fourier domain)에서 차단 반경 $\omega_i$가 노이즈 레벨 $\sigma_i$가 감소함에 따라 확장되는 주파수 마스크 $M_{\omega_i}$를 적용한다.
   • 혼합 측정 목적 함수 $L_i$는 대역 제한 일관성(신뢰할 수 있는 저주파 강조)과 전체 대역 일관성 사이를 보간한다.
   • 랑제빈 역학(Langevin dynamics)을 사용하여 이 주파수 제한 라이클리후드 하에서 추정치 $\hat{x}_{0,i}$를 정제하여 정제된 추정치 $x^{ref}_{0,i}$를 생성한다. 이는 높은 노이즈 레벨에서 고주파 스코어 오류가 업데이트를 오염시키는 것을 방지한다.
3. 정제 후 하르 도메인 커밋먼트(Post-Refinement Haar-Domain Commitment): 대역 제한 라이클리후드가 고주파 세부 계수를 약하게 구속하여 (잠재적으로 연산자 의존적 아티팩트를 초래하는) 문제를 해결하기 위해, 정제 후에 커밋먼트 규칙이 적용된다.
   • 추정된 이미지와 정제된 이미지를 하르 웨이브릿(Haar wavelet) 도메인으로 변환한다.
   • 조대 수정(Coarse corrections) (저역 통과 하르 계수)은 즉시 커밋된다 ($w_{i,c}=1$).
   • 정제된 세부 사항(Refined details) (고역 통과 하르 계수)은 주파수 노출과 동기화되는 스케줄 $w_{i,d}$에 의해 게이팅된다. 세부 사항은 해당 측정 주파수가 "노출"될 때(즉, $\sigma_i$가 감소하고 $\omega_i$가 증가할 때)만 채택된다.
   • 융합된 추정치는 다시 노이즈가 섞여 다음 궤적 단계로 진행된다.

주요 기여

1. 후방 지속 관점(Posterior Continuation View): 본 논문은 측정 대역폭이 솔버 특정 단계 수가 아닌, 인스턴트 디퓨전 노이즈 레벨에 결합되는 프레임워크를 도입하여 솔버 독립적인 노출 스케줄을 생성한다. 이는 단계 인덱스에 의존하는 기존의 주파수 인식 방법들과 대조된다.
2. 이론적 특성화(Theoretical Characterization): 저자들은 깨끗한 추정치의 스코어 유도 오류가 어떻게 노이즈 레벨에 따라 스케일링되는 라이클리후드-그래디언트 불일치를 유발하는지에 대한 이론적 분석을 제공한다. 또한 주파수 절단(frequency truncation)이 이 불일치에 대한 미노출 고주파 대역의 기여를 효과적으로 제거함을 입증한다.
3. 실용적인 훈련 불필요 샘플러(Practical Training-Free Sampler): 디퓨전 예측, 주파수 제한 라이클리후드 정제, 그리고 하르 도메인 커밋먼트 규칙을 결합한 구체적인 구현체를 제공한다. 이 설계는 조대 구조를 조기에 안정화하는 동시에, 미세한 세부 사항은 신뢰할 수 있게 식별될 때까지 유보함으로써 안정적인 후방 샘플링을 보장한다.
4. 실험적 성능(Empirical Performance): 제안된 방법은 FFHQ 및 ImageNet의 초해상도(super-resolution), 인페인팅(inpainting), 디블러링(deblurring) 작업에서 경쟁력 있거나 최첨단(SOTA) 수준의 성능을 달성한다. 특히, 모션 디블러링에서 강력한 베이스라인 대비 최대 5 dB의 PSNR 향상을 달utes한다.

결과
네 가지 선형 역문제(4× 초해상도, 모션 디블러링, 가우시안 디블러링, 랜덤 인페인팅)에 대해 실험을 수행하였다.

• 정량적 결과: 제안된 방법("Ours")은 PSNR, SSIM, LPIPS 측면에서 베이스라인(DPS, DDNM, DDRM, FGPS, DCDP 포함)을 일관되게 능가한다. 이 이득은 모션 디블러링과 같은 상태가 불량한 연산자에서 가장 두드러진다 (예: FFHQ에서 DAPS의 29.66 대비 36.69 PSNR).
• 정성적 결과: 시각적 비교 결과, 전 대역 가이던스를 너무 일찍 적용하는 방법들에 비해 전역 구조와 객체 정체성을 더 잘 보존하며, 더 날카로운 국소 텍스처와 억제된 링잉 아티팩트를 보여준다.
• 절제 연구(Ablation Studies): 주파수 지속(frequency continuation)을 제거하면 높은 노이즈에서 드리프트와 아티팩트가 발생한다. 하르 커밋먼트 단계를 제거하면 세부 품질이 저하되며, 이는 두 구성 요소 모두 안정적인 후방 샘플링에 필수적임을 확인시켜 준다.

의의 및 주장
본 논문은 기존 디퓨전 후방 샘플러의 불안정성이 단순한 알고리즘 문제가 아니라, 노이즈 레벨과 주파수 성분의 신뢰도 사이의 불일치에서 발생하는 구조적 문제라고 주장한다. 측정 정보의 노출을 솔버 특정 단계 수에서 분리하고 이를 물리적 노이즈 스케일에 결합함으로써, 이 방법은 후방 기하 구조를 탐색하는 원칙적인 방법을 제공한다. 이 연구의 의의는 노이즈 조건부 주파수 노출과 스케줄 동기화된 세부 사항 커밋먼트가 도전적인 역문제에서 아티팩트 없이 미세한 세부 사항을 복구하는 데 필수적임을 입증했다는 데 있다. 이 작업은 작업별 재학습 없이도 다양한 유형의 열화에 대해 견고함을 개선하는 훈련 불필요 솔루션을 제공한다.