기술 요약: 블라인드 역문제(Blind Inverse Problems)를 위한 모스-보트(Morse-Bott) 프레임워크

문제 정의

본 논문은 간접 관측값 $y = A(\bar{\theta})\bar{x} + b$로부터 이미지 $\bar{x}$와 순방향 연산자 파라미터 $\bar{\theta}$(예: 블러 커널)를 동시에 복구하는 **블라인드 역문제(blind inverse problems)**를 다룹니다. 이러한 문제는 무수히 많은 $(x, \theta)$ 쌍이 동일한 관측값을 설명할 수 있기 때문에 매우 심하게 부적정(ill-posed)합니다.

저자들은 음의 로그 사후 확률(negative log-posterior)을 최소화하여 해를 찾는 최대 사후 확률(Maximum A Posteriori, MAP) 추정 프레임워크에 집중합니다:
$$L(x, \theta; y) = \frac{1}{2\sigma^2} \|A(\theta)x - y\|^2 - \log p_x(x) - \log p_\theta(\theta)$$
과거에는 수작업으로 설계된 사전 확률(예: 희소성)이 주를 이루었으나, 최근에는 자연 이미지의 복잡성을 포착하기 위해 학습된 사전 확률(특히 확산 모델)을 활용하는 발전이 있었습니다. 그러나 하나의 역설이 존재합니다: 신중한 초기화를 동반한 국소 최적화(local optimization)는 종종 성공하는 반면, 전역 MAP 최적화(global MAP optimization)는 지속적으로 퇴화된 "노 블러(no-blur)" 솔루션(연산자가 항등 함수로 붕괴하고 이미지는 흐릿하게 남는 현상)으로 수렴하는 "블러리 트랩(blurry trap)"에 빠집니다. 본 논문은 이 현상을 엄밀하게 설명하고, 국소적 복구가 이론적으로 보장되는 조건을 확립하는 것을 목표로 합니다.

방법론

1. 모스-보트 모델링 가설

저자들은 이미지 포텐셜 $q(x) = -\log p_x(x)$를 **모스-보트 함수(Morse-Bott function)**로 모델링할 것을 제안합니다. 전통적인 볼록성(convexity) 가정과 달리, 이 프레임워크는 자연 이미지가 저차원 매니폴드(manifold) 상에 존재한다는 점을 인정합니다.

• 정의: 포텐셜 $q$가 임계점 $\bar{x}$에서 모스-보트라는 것은, 임계점들의 집합이 국소적으로 매끄러운 부분 다양체(submanifold) $\mathcal{M}$을 형성하며, 헤시안 $\nabla^2 q(\bar{x})$가 $\mathcal{M}$에 수직인 방향에 대해 비퇴화(non-degenerate)임을 의미합니다.
• 함의: 포텐셜은 이미지 매니폴드의 접공간($T_{\bar{x}}\mathcal{M}$)을 따라서는 평탄하지만, 법선 방향으로는 엄격하게 볼록합니다.

2. 가설의 경험적 검증

저자들은 최신 확산 모델(FFHQ, ImageNet, AFHQ)을 사용하여 이 가설을 검증합니다:

• 임계점 위치 파악: 자연 이미지, 관련 없는 데이터셋, 그리고 노이즈로부터 경사 하강법(gradient descent)을 실행합니다. 이를 통해 입력의 "디노이징(denoised)" 버전 역할을 하는 임계점으로 수렴함을 관찰합니다.
• 랜드스케이프 곡률: 포텐셜이 매니폴드에서 벗어날 때(횡방향) 급격히 증가하지만, 매니폴드를 따라 이동할 때는 상대적으로 평탄하다는 것을 보여줍니다.
• 헤시안 스펙트럼 분석: 임계점에서의 헤시안 스펙트럼을 계산합니다. 이들은 명확한 스펙트럼 갭(spectral gap)을 발견했습니다: 즉, 소수의 근접 제로 고윳값(매니폴드의 접공간에 대응)과 대다수의 큰 양의 고윳값(법선 방향에 대응)이 존재합니다. 이는 학습된 확산 포텐셜의 모스-보트 구조를 확인시켜 줍니다.

3. 안정성 이론 분석

모스-보트 가정을 사용하여, 저자들은 비블라인드(non-blind) 및 블라인드 역문제 모두에 대한 **국소 복구 보장(local recovery guarantees)**을 도출합니다.

• 비블라인드 케이스: 만약 기저 이미지 $\bar{x}$가 포텐셜의 2차 임계점이고 연산자 $A$가 매니폴드의 접공간($T_{\bar{x}}\mathcal{M} \cap \ker A = \{0\}$) 상에서 단사(injective)라면, $\bar{x}$는 안정적인 국소 최소해(stable local minimizer)임을 증명합니다.
• 블라인드 케이스: 이를 공동 복구 $(\bar{x}, \bar{\theta})$로 확장합니다. 안정성을 위해서는 세 가지 기하학적 조건이 필요합니다:
  1. 매니폴드 상의 식별 가능성(Identifiability on the manifold): $T_{\bar{x}}\mathcal{M} \cap \ker A(\bar{\theta}) = \{0\}$.
  2. 파라미터의 식별 가능성: $\ker J_{\bar{x}}(\bar{\theta}) = \{0\}$ (파라미터 $\theta$의 변화가 측정 가능한 변화를 생성함).
  3. 매니폴드-연산자 디커플링(Manifold-operator decoupling): $(A(\bar{\theta})T_{\bar{x}}\mathcal{M}) \cap \text{Im } J_{\bar{x}}(\bar{\theta}) = \{0\}$ (이미지 변화가 연산자 변화와 혼동될 수 없음).
• 결과: 이러한 조건 하에서, 기저 참값(ground truth)은 안정적인 국소 최소해가 됩니다. 솔루션은 데이터 섭동(perturbation)에 따라 매끄럽게 변하며, 근처에서 초기화된 경사 하강법은 이 최소해로 수렴합니다.

4. 전역 실패 분석 (The "Blurry Trap")

저자들은 국소적 안정성에도 불구하고 왜 전역 MAP가 실패하는지 조사합니다.

• 경험적 관찰: 자연 이미지에 대해 학습된 확산 기반 포텐셜에 대해, 이미지가 더 흐릿해질수록 포텐셜 $q(x)$가 엄격히 감소함을 입증합니다. 이는 단순한 국소적 아티팩트가 아니라 랜드스케이프의 전역적 특성입니다.
• 이론적 증명: 포텐셜이 "블러 선호(blurry preference)" 조건($q(h * x) \leq q(x)$, 모든 블러 커널 $h$에 대해)을 만족하면, MAP 목적 함수의 전역 최소해는 생성 모델의 품질과 관계없이 항상 퇴화된 "노 블러" 솔루션임을 증명합니다.
• 결론: 전역 MAP의 실패는 사전 확률의 품질 문제가 아니라, 랜드스케이프 토폴로지의 내재적 특성입니다.

주요 결과

1. 국소 안정성: 본 논문은 광범위한 블라인드 역문제 클래스에 대해, 연산자와 이미지 매니폴드가 특정 기하학적 횡단성(transversality) 조건을 만족할 때 기저 참값이 안정적인 국소 최소해임을 확립합니다. 이는 적절히 초기화된 국소 최적화 방법의 경험적 성공을 정당화합니다.
2. 전역 불안정성: "블러리 트랩"은 최첨단 확산 사전 확률에서도 지속됨을 확인했습니다. 자연 이미지 통계는 저주파 콘텐츠를 선호하기 때문에 전역 랜드스케이프는 매끄럽고 흐릿한 구조로 편향되어 있습니다.
3. 수치적 검증:
   • 다양한 블러 커널(가우시안, 모션, 디포커스, 심플렉스)에 대한 실험 결과, **모스-보트 밸리(Morse-Bott valley, 국소 베이슨)**가 존재하지만 종종 전역 끌개(global attractor)에 의해 압도된다는 것을 보여줍니다.
   • 커널에 따른 식별성 변화: 모션 블러와 디포커스 블러는 가우시안이나 에어리(Airy) 블러보다 더 날카로운 국소 최소값을 가지며 조건 설정(conditioning)이 더 좋아, 디커플링 조건을 더 효과적으로 만족합니다.
   • 노이즈 민감도: 노이즈 수준이 높아짐에 따라 국소 복구 베이슨이 붕괴하고 전역 "블러리 트랩"이 지배하게 되어, 임계 노이즈 임계값 너EOF에서는 MAP 추정기가 일관성을 잃게 됩니다.
4. 초기화 전략: 저자들은 랜드스케이프를 탐색하기 위한 휴리스틱 교대 최적화 기법(Algorithm 6.1)을 제안합니다:
   • 베이슨 인지 초기화(Basin-aware initialization): 작은 커널 대신 "큰"(최대 지원 범위를 가진) 커널로 초기화합니다. 이는 이미지 성분이 고주파 콘텐츠를 포함하도록 강제하여, 매니폴드-연산자 디커플링이 작동하는 횡방향 영역에 놓이게 합니다.
   • 비대칭 업데이트(Asymmetric updates): 커널 업데이트마다 여러 번의 이미지 업데이트를 수행하여 이미지를 매니폴드 바닥 근처에 유지합니다.
   • 주기적 리셋(Periodic reset): 작은 국소 함정에 빠지는 것을 방지하고 데이터 일관성을 유지하기 위해 주기적으로 이미지를 관측값 $y$로 리셋합니다.
   • 검증: 이 전략은 합성 실험과 실제 데이터(Kömler 데이터셋)에서 기저 참값을 성공적으로 복구하는 반면, 작은 커널 초기화는 실패합니다.

의의 및 주장

본 논문은 학습된 사전 확률을 사용하는 블라인드 역문제에서 국소 최적화의 성공과 전역 최적화의 실패 사이의 이분법을 설명하는 **엄밀한 이론적 프레임워크(Morse-Bott)**를 제공한다고 주장합니다.

• 이론적 기여: 학습된 포텐셜이 모스-보트 함수임을 보여줌으로써 이들의 기하학적 구조를 공식화합니다. 또한, 비볼록(non-convex) 학습 환경으로 압축 센싱 이론을 확장하여 명시적인 안정성 상수와 조건(식별성, 디커플링)을 제공합니다.
• 실무적 통찰: "블러리 트랩"은 특정 모델 아키텍처의 결함이 아니라 자연 이미지 통계의 근본적인 토폴로지적 특징임을 입증합니다. 따라서 사전 확률의 생성 품질을 개선하는 것만으로는 전역 MAP 실패를 해결할 수 없습니다.
• 전략적 전환: 저자들은 블라인드 역문제 연구의 초점이 전역 극대화자를 찾는 것에서 국소 복구 베이슨을 규명하고 타겟팅하는 것으로 전환되어야 한다고 주장합니다. 성공 여부는 "토폴로지 정보를 활용한 최적화", 즉 전역 끌개를 피하는 전략적 초기화에 달려 있습니다.

결론적으로, 국소 복구는 기하학적 조건 하에서 이론적으로 보장되지만, 전역 랜드스케이프는 본질적으로 편향되어 있습니다. 따라서 실질적인 알고리즘은 전역 최적성의 개념에 의존하기보다, 복잡한 지형을 탐색하기 위한 휴리스틱(예: 큰 커널 초기화)에 의존해야 합니다.