Hallucination-Aware Diffusion Sampling for Inverse Problems via Robust Prior Updates

기술 요약: 강건한 사전 확률 업데이트를 통한 역문제 해결을 위한 환각 인지 디퓨전 샘플링

1. 문제 정의

디퓨전 기반 역문제 솔버는 불완전하거나 손상된 측정값(예: 인페인팅, 디블러링, MRI)으로부터 현실적인 재구성을 생성할 수 있습니다. 그러나 본 논문은 **측정치 조건부 환각(measurement-conditioned hallucination)**이라 명명된 결정적인 실패 모드를 식별합니다. 이는 무조건적 생성 실패(예: 왜곡된 해부학적 구조)와는 다른 것으로, 재구성된 결과가 시각적으로는 그럴듯해 보이지만 관측된 측정값 $y$에 의해 뒷받ка되지 않는 세부 사항을 포함하는 특정 실패 유형을 의미합니다.

저자들은 두 가지 유형의 환각을 구분합니다:

• Type-I: 시각적으로 타당하지 않은 아티팩트 또는 불안정한 구조.
• Type-II: 시각적으로는 그럴듯하지만 실제 정답 $x^\star$와 일치하지 않으며 측정 모델에 의해 뒷받침되지 않는 세부 사항.

표준 지표(PSNR, LPIPS, FID)는 분포적 실재성이나 픽셀 수준의 일관성을 측정할 뿐, 특정 인스턴스의 정답에 대한 충실도를 측정하지 못하기 때문에 Type-II 환각을 감지하는 데 실패하는 경우가 많습니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 언제, 어떻게 지원되지 않는 세부 사항이 디퓨전 기반 역문제 해결 과정에 유입되며, 측정 일관성을 해치지 않으면서 이를 어떻게 완화할 수 있는가?

2. 방법론: 교대 최적화 및 RPU

본 논문은 베이즈 규칙 기반의 디퓨전 역문제 솔버(특히 DPS)를 두 가지 뚜렷한 단계로 구성된 교대 최적화(alternating optimization) 과정으로 재정의합니다:

1. 사전 확률 업데이트(Prior Update): 디퓨전 사전 확률(diffusion prior)이 누락되거나 모호한 콘텐츠를 채우기 위해 변위(displacement)를 제안합니다.
2. 측정치 조건화(Measurement Conditioning): 재구성을 관측된 측정값 $y$와 연산자 $A$에 고정하는 교정 단계입니다.

저자들은 환각이 주로 디퓨전 모델이 측정치에 의해 약하게 제약되는 콘텐츠를 제안하는 사전 확률 업데이트 단계에서 발생한다고 가설을 세웠습니다. 이를 해결하기 위해, 저자들은 측정 조건화는 변경하지 않고 오직 사전 확률 업데이트 단계에만 개입하는 솔버 레벨 모듈인 **강건한 사전 확률 업데이트(Robust Prior Update, RPU)**를 제안합니다.

RPU 메커니즘:

• 탐색(Probing): 디퓨전 모델이 제안하는 고유한 사전 변위 $d_\theta(x_t, t)$를 수용하기 전에, RPU는 국소적 안정성 탐색을 수행합니다. 정규화된 사전 변위의 반대 방향으로 작은 거리만큼 $K$ 단계 이동하여 섭동된 지점 $x_t^{adv}$를 생성합니다.
• 재고정(Re-anchoring): 이 섭동된 지점 $x_t^{adv}$에서 디퓨전 사전 확률을 평가하여 새로운 변위를 얻습니다. 결정적으로, 이 변위는 섭동된 지점이 아닌 원래의 반복값 $x_t$에 **재고정(re-anchored)**됩니다.
  • 공식: $\tilde{x}_{t-1}^{prior} = x_t + (p_\theta(x_t^{adv}, t) - x_t^{adv})$.
• 측정치 교정(Measurement Correction): 이후 탐색된 모델 출력으로부터 유도된 노이즈 제거 추정치를 사용하여 표준 측정치 업데이트가 적용됩니다.

이 접근 방식은 사전 변위가 작은 섭동에 대해 국소적으로 강건하도록 보장함으로써 생성 제안을 효과적으로 안정화하며, 측정 제약이 다시 적용되기 전에 지원되지 않는 세부 사항이 주입되는 것을 줄입니다.

3. 주요 기여

1. 환각의 정의: 본 논문은 역문제의 환각을 Type-I(타당하지 않음)과 Type-II(측정치에 의해 뒷받침되지 않으나 그럴듯함)로 나누어 공식적으로 정의합니다.
2. 이론적 분해: 베이즈 규칙 기반 솔버를 측정 일관성 단계와 사전 확률 업데이트 단계로 명시적으로 분리하여 교대 최적화 관점을 도출하고, 환각의 개입 지점으로 사전 확률 업데이트를 식별합니다.
3. RPU 알고리즘: 사전 확률 업데이트의 국소적 안정성을 탐색하고 변위를 재고정하는 RPU를 제안하여, 이를 측정 업데이트로부터 분리합니다.
4. 경험적 검증: DPS 프레임워크 내에 RPU를 구현하고, 자동 지표와 인간 충실도 연구를 모두 사용하여 FFHQ 및 ImageNet 데이터셋에 대해 평가합니다.

4. 실험 결과

저자들은 FFHQ (256x256) 및 ImageNet (256x256)의 세 가지 역문제(박스 인페인팅, 가우시안 디블러링, 모션 디블러링)에 대해 RPU를 평가했습니다.

• 정량적 지표 (FFHQ):
  • 박스 인페인팅: RPU는 PSNR(19.72 $\to$ 20.40)과 LPIPS(0.400 $\to$ 0.394)를 개선했습니다. FID는 약간 증가(45.44 $\to$ 50.35)했는데, 이는 RPU가 인스턴스 충실도를 위해 분포적 선명도를 일부 희생하는 트레이드오프가 있음을 시사합니다.
  • 디블러링: RPU는 가우시안 및 모션 디블러링 작업 모두에서 PSNR과 LPIPS의 일관된 개선을 보여주었습니다.
• 인간 충실도 연구:
  • 맹검 쌍별 비교(Blind Pairwise): 박스 인페인팅에서 RPU는 DPS 대비 **91.9%**의 비동률 다수 선호도를 얻었습니다.
  • 정답 참조 비교(Ground-Truth-Assisted): 독자들이 출력을 정답과 비교했을 때, 박스 인페인팅에서 RPU는 **91.1%**의 비동률 선호도를 얻었습니다.
  • 디블러링: 맹검 비교에서는 많은 동률(유사한 시각적 실재성을 나타냄)이 발생했으나, 정답 참조 연구에서는 RPU에 대한 강한 선호도가 나타났습니다(가우시안 86.2%, 모션 디블러링 82.1%). 이는 RPU가 맹검으로는 탐지하기 어려운 미세하고 측정치와 일치하지 않는 세부 사항을 줄여줌을 확인시켜 줍니다.
• ImageNet 전이: ImageNet 가우시안 디블러링에서 RPU는 PSNR(20.406 $\to$ 20.509)을 개선했습니다. 인간 연구에서는 (동률이 많았음에도 불구하고) RPU에 대한 선호도(72.7%)를 보였습니다.

5. 의의 및 주장

본 논문은 사전 확률 업데이트를 강건하게 만드는 것이 디퓨전 역문제 솔버의 인스턴스 충실도를 향상시키기 위한 표적화되고 효과적인 전략이라고 주장합니다.

• 메커니즘: 결과는 환각이 주로 측정 교정 전의 사전 확률 측 제안에서 발생한다는 견해를 뒷받침합니다. 이 특정 단계를 안정화함으로써 RPU는 지원되지 않는 세부 사항의 유입을 줄입니다.
• 범위: 저자들은 RPU가 재구성 지표나 인간의 검사를 대체하는 보편적인 도구가 아니며, 독립적인 환각 탐지기도 아님을 강조합니다. RPU의 효과는 사전 확률이 약하게 제약된 콘텐츠(예: 큰 인페인팅 마스크)를 형성하는 시나리오에서 가장 두드러집니다.
• 한계: 저자들은 이 방법이 작업 의존적임을 언급합니다. 매우 제약이 강한 작업(일부 디블러링 시나리오 등)이나 더 넓은 분포(ImageNet)에서는 이점이 덜 극적이며 인간 연구에서 더 많은 "동률" 결과를 초래합니다. 저자들의 주장은 겸손하며, RPU를 일반적인 솔버 개선보다는 충실도 향상을 위한 특정 개입책으로 포지셔닝합니다.