기술적 요약: 선형 제약 하의 조건부 확산

문제 정의

본 논문은 사전 훈련된 확산 모델을 사용하여 선형 역문제 (예: 이미지 인페인팅, 초해상도) 에 대한 제로샷 조건부 샘플링 문제를 다룹니다. 이러한 시나리오에서 관측치 $y$는 선형 연산자 $A$를 통해 깨끗한 신호 $Z$와 $y = AZ$로 관련되어 있습니다. 목표는 조건부 분포$\text{Law}(Z \mid AZ = y)$로부터 샘플링하는 것입니다.

기존의 투영 기반 방법들 (예: DDRM, DDNM) 은 역확산 과정에서 신호의 "정상 (normal)" 성분 (즉, $A$에 의해 결정되는 부분) 을 분석적으로 보정함으로써 측정 일관성을 강제합니다. 그러나 저자들은 측정 일관성만으로는 불충분하다고 주장합니다. 관측치에 의해 정상 성분이 고정되더라도, $A$의 영공간 (null space) 에 있는 "접선 (tangent)" 성분은 여전히 미결정 상태로 남습니다. 표준 투영 기반 방법들은 접선 역학을 완전히 사전 훈련된 무조건부 스코어에 의존하게 남겨둡니다. 이는 접선 공간 편향을 초래하여, 확률 질량이 실현 가능한 아핀 집합을 따라 잘못 분포되게 만들고, 종종 특정 관측치와 무관한 무조건부 사전 분포의 지배적 모드들로부터 오류가 누적되게 합니다.

방법론

저자들은 가우시안 노이즈 하의 조건부 스코어 함수에 대한 정상 - 접선 분해에 기반한 2 단계 샘플링 프레임워크를 제안합니다.

1. 정상 - 접선 분해

분산 폭발 (VE) 확산 과정 $X_t = Z + W_t$에 대해, 조건부 스코어 $s^*_t(x)$는 $A$의 행 공간에 대한 정상 ($P_\perp$) 및 접선 ($P_\parallel$) 성분으로 분해될 수 있습니다:

• 정상 성분: 정상 스코어 $P_\perp s^*_t(x)$는 트위디 (Tweedie) 공식과 관측치 $b = P_\perp Z$를 통해 폐쇄형으로 구할 수 있습니다. 이는 $\frac{1}{t}P_\perp(b - x)$로 주어집니다.
• 접선 성분: 접선 스코어 $P_\parallel s^*_t(x)$는 알려지지 않았습니다. 투영 기반 방법들은 이를 무조건부 접선 스코어 $P_\parallel s_t(x)$로 근사합니다.

저자들은 표준 제로샷 샘플링의 오류가 알려지지 않은 조건부 접선 스코어를 무조건부 스코어로 대체함으로써 발생함을 규명했습니다. 이 근사는 무조건부 스코어가 모든 데이터 모드의 정보를 집계하여 샘플을 관련 없는 클러스터 쪽으로 끌어당길 수 있는 높은 노이즈 수준에서 가장 문제가 됩니다.

2. 제안된 샘플러: 투영된 랑주뱅 초기화 + 유도된 탈노이즈

이러한 편향을 완화하기 위해 저자들은 3 단계 알고리즘 (알고리즘 1) 을 제안합니다:

1. 중간 노이즈 ($t^*$) 에서 초기화: 역과정을 가장 높은 노이즈 수준 ($T$) 에서 시작하는 대신, 샘플러는 중간 "안전" 노이즈 수준 $t^*$에서 시작합니다. 이 수준에서 정상 성분은 조건부 법 $\text{Law}(P_\perp X_{t^*} \mid P_\perp Z = b)$에서 정확하게 샘플링됩니다.
2. 투영된 감쇠 랑주뱅 혼합: 역 탈노이즈를 시작하기 전에, 샘플러는 노이즈가 있는 정상 성분으로 정의된 아핀 집합에 제한된 투영된 감쇠 랑주뱅 역학 (BAOAB 적분기 사용) 의 짧은 단계를 실행합니다. 이 단계는 투영된 무조건부 스코어 $P_\parallel s_{t^*}$를 사용하여 접선 성분을 혼합합니다. 목표는 실현 가능한 매니폴드를 따라 잘 혼합되고 제약 조건과 일관된 초기화를 생성하여 접선 스코어 불일치 오류의 누적을 줄이는 것입니다.
3. 유도된 역 탈노이즈: $t^*$에서 초기화된 상태로부터, 샘플러는 $t=0$까지 유도된 역 탈노이즈를 수행합니다. 역학은 제약 조건을 강제하기 위한 정확한 정상 드리프트와 접선 방향을 유도하기 위한 사전 훈련된 무조건부 접선 스코어를 사용합니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 이론적 분해: 아핀 조건부 확산에 대한 엄밀한 정상 - 접선 분해를 유도하여, 정상 스코어가 측정치에 의해 정확히 결정됨을 보여주고, 제로샷 설정에서 근사 오류의 유일한 원인으로 접선 스코어를 격리합니다.
2. 알고리즘 제안: 정확한 정상 보정과 투영된 랑주뱅 초기화 단계를 결합하는 샘플러를 도입합니다. 이 단계는 유도된 탈노이즈 전에 중간 노이즈 수준에서 접선 방향을 명시적으로 혼합하여, 단순 투영 방법에서 관찰되는 편향 누적을 해결합니다.
3. 정보이론적 오류 상한: 저자들은 이상적인 조건부 경로와 대리 경로 간의 쿨백 - 라이블러 (KL) 발산이 조건부 상호 정보 $I(Z_\parallel; Z_\perp \mid X_{t^*})$에 의해 상한된다는 경로별 오류 상한 (정리 4) 을 증명합니다. 이는 정보이론적 기준을 제공합니다: 선택된 노이즈 수준에서 접선 및 정상 성분 간의 잔류 통계적 의존성이 작을 때 방법이 정확합니다.
4. 종단 보장: 잠재 가우시안 혼합 모델 가정 하에, 논리는 초기화 항과 경로별 항으로 오류를 분리하는 종단 KL 상한 (정리 9) 을 제공합니다. 또한 잠재 코드북에 대한 분리 조건 하에 (정리 11), 저자들은 두 오류 항 모두 분리 - 노이즈 비율에 따라 지수적으로 감소함을 보여, 방법이 매우 정확한 영역을 확립합니다.

실험 결과

제안된 방법인 LCDM-BAOAB는 CelebA-HQ, LSUN Church, ImageNet 데이터셋에 걸쳐 표준 선형 이미징 역문제 (인페인팅 및 8 배 초해상도) 에서 평가되었습니다.

• 베이스라인: 이 방법은 강력한 제로샷 투영 기반 베이스라인인 DDNM과 비교되었습니다.
• 지표: 성능은 일치된 계산 예산 (100 회 네트워크 함수 평가) 하에서 프레체트 인셉션 거리 (FID) 와 학습된 지각적 이미지 패치 유사성 (LPIPS) 을 사용하여 측정되었습니다.
• 결과:
  • LCDM-BAOAB는 모든 데이터셋과 작업에서 DDNM 일관적으로 우월한 성능을 보였습니다.
  • 개선은 ImageNet과 8 배 초해상도에서 가장 두드러졌는데, 이는 동일한 저해상도 관측치와 일치하는 많은 고해상도 이미지로 특징지어지는 높은 접선 공간 모호성을 가진 설정입니다.
  • 시각적 결과는 LCDM-BAOAB 가 DDNM 에 비해 특히 고모호성 시나리오에서 더 깨끗하고 일관된 재구성을 생성하며 텍스처 아티팩트가 적음을 보여주었습니다.

중요성 및 주장

본 논문은 확산 사전 분포를 가진 매우 잘 못 정의된 선형 역문제를 해결하는 데 있어 정상 방향에서의 측정 일관성 강제가 불충분하다고 주장합니다. 핵심 장애물은 접선 공간 모호성으로, 무조건부 스코어가 실현 가능한 집합을 따라 확률 질량을 올바르게 분배하지 못하게 합니다.

이 연구의 중요성은 다음과 같습니다:

• 편향의 원인 규명: 기존 제로샷 방법에서 편향을 유발하는 특정 메커니즘으로 접선 스코어 근사를 격리합니다.
• 차원 무관 보장: 이론적 상한은 차원에 무관하며, 대신 조건부 상호 정보와 접선 조건부가 정상 코드에 민감한 정도에 의존합니다.
• 파인튜닝 없는 실용적 유효성: 이 방법은 작업별 파인튜닝이나 추가 모델 학습 없이 추론 시 조건부 및 랑주뱅 혼합을 활용하여 최첨단 제로샷 성능을 달성합니다.
• 접선 혼합에 대한 이론적 정당성: 중간 노이즈 수준에서 접선 방향을 혼합하는 것이 샘플링 품질을 향상시키는 이유에 대한 이론적 정당성을 제공하며, 이러한 향상을 관측된 및 관측되지 않은 성분 간의 잔류 통계적 의존성 감소와 연결합니다.