Why DDIM Hallucinates More than DDPM: A Theoretical Analysis of Reverse Dynamics

제목: DDIM 이 DDPM 보다 더 많은 환각을 생성하는 이유: 역동역학에 대한 이론적 분석

문제 제기
심각한 진전이 있음에도 불구하고, 최첨단 확산 모델은 종종 훈련 분포의 구조적 또는 의미론적 제약에 위배되는 생성물, 즉 왜곡된 객체나 시간적 불일치와 같은 환각을 보입니다. "모드 보간 (mode interpolation)"이라고 불리는 환각의 한 특정 형태는, 샘플링된 확산 궤적이 목표 분포의 두 모드 사이를 연결하는 선분 위에 종료되어 실제 모드에 수렴하지 않을 때 발생합니다. 이전 연구들은 이러한 오류를 탐지하거나 완화하기 위한 전략들을 제안해 왔으나, 결정적 샘플러 (DDIM) 가 확률적 대응물 (DDPM) 보다 더 빈번하게 환각을 생성하는 근본적인 기계적 원인을 체계적으로 탐구하지는 못했습니다. 본 논문은 다음과 같은 질문에 답합니다: DDIM 이 DDPM 보다 더 많은 환각을 생성하는 이유를 형식적으로 특징화할 수 있는가?

방법론
저자들은 두 가지 표준 확산 샘플러인 확률적 딧노이징 확산 확률 모델 (DDPM) 과 결정적 딧노이징 확산 암시적 모델 (DDIM) 의 역동역학에 대한 엄밀한 이론적 분석을 수행합니다.

• 목표 분포: 분석은 잘 분리된 모드를 가진 $N$-모드 가우시안 혼합물로 구성된 목표 분포 $p_{data}$를 가정합니다.
• 동역학: 연구는 DDIM 을 지배하는 역 확률 흐름 (PF) 상미분 방정식 (ODE) 과 DDPM 을 지배하는 역 분산 보존 (VP) 확률 미분 방정식 (SDE) 을 비교합니다.
• 가정: 이론적 유도에서는 정확한 스코어 함수 (무한한 샘플을 사용한 기대 스코어) 에 대한 접근을 가정하지만, 경험적 검증은 학습된 신경망 스코어를 사용하여 수행됩니다. 분석은 궤적이 두 모드 쌍에 충분히 근접하여 다른 모드들의 영향이 무시할 수 있는 "이중 모드 지배" 영역에 초점을 맞춥니다.
• 수렴 단계: 저자들은 역 과정을 두 단계로 분해합니다: (1) 궤적이 두 가장 가까운 모드를 연결하는 선분으로 수렴하는 초기 단계, 그리고 (2) 이 선분을 따라 운동이 발생하는 후기 단계.

주요 기여 및 이론적 결과

1. DDIM 포착 메커니즘: 저자들은 DDIM ODE 하에서, 궤적이 두 모드를 연결하는 선분을 둘러싼 $\epsilon$-튜브에 진입하면, 선분까지의 수직 거리가 지수적으로 감소함을 증명합니다. 이 튜브 내에서 동역학은 선분을 따라 평행하게 운동하는 것으로 지배됩니다. 저자들은 두 모드 사이의 중점이 쌍곡선 불안정 평형점으로 작용함을 보여줍니다. 그러나 ODE 의 결정적 성질로 인해, 궤적이 이 중점의 특정 $\vartheta$-근방에 진입하면 탈출할 메커니즘이 결여됩니다. 결과적으로 궤적은 중점 근처에 "끼어 있게" 되어 모드 보간 (환각) 을 초래합니다.
2. DDPM 탈출 메커니즘: 반면, 저자들은 DDPM SDE 의 확률적 잡음 항이 궤적이 중점 주변에서 탈출할 수 있게 함을 보여줍니다. 이등분 초평면을 따라 운동하는 것을 1 차원 SDE 로 모델링함으로써, DDPM 궤적이 중점 근처에서 종료될 확률이 지수적으로 작음을 증명합니다. 잡음은 효과적으로 궤적을 불안정 평형점에서 실제 모드 중 하나로 밀어냅니다.
3. 단계 건너뛰기와의 무관성: 본 논문은 DDIM 의 더 높은 환각율이 단계 건너뛰기 (거친 이산화) 로 인한 수치적 오류 때문이라는 가설을 반박합니다. 이론적 결과는 0 수치 오류 하에서 유도되었으며, 경험적 검증은 DDIM 과 DDPM 이 동일한 이산화 체계를 사용할 때조차 환각 격차가 유지됨을 보여줍니다.
4. 하이브리드 샘플링 전략: 잡음이 포착 영역에서 탈출하는 데 도움이 된다는 이론적 통찰에 기반하여, 저자들은 궤적이 중점 주변에 수렴할 때까지 DDIM 을 실행한 후, 몇 개의 확률적 DDIM 단계를 주입하는 하이브리드 접근법을 제안하고 검증합니다. 이 전략은 순수 DDIM 에 비해 환각율을 현저히 낮춥니다.

실험 결과
저자들은 가우시안 혼합물 (2 차원 및 고차원에서의 25 개 모드) 과 이미지 데이터셋 (삼각형) 에 대한 광범위한 실험을 통해 이론적 발견을 검증합니다.

• 환각율: 경험적 결과는 DDIM 이 DDPM 보다 훨씬 더 많은 모드 보간을 생성함을 확인해 줍니다.
• 수렴 동역학: 두 샘플러 모두의 궤적이 모드 사이의 가장 가까운 선분으로 빠르게 수렴하는 것이 관찰되어 "이중 모드 지배" 가정을 검증합니다.
• 중점 포착: 실험은 중점의 특정 반경 내에서 시작되는 DDIM 궤적은 실제 모드에 도달하지 못하지만, DDPM 궤적은 이 영역에서 탈출함을 보여줍니다.
• 하이브리드 효과: DDIM 궤적의 끝에 소수의 DDPM 단계 (예: 2~8 개) 를 추가하면 환각율이 효과적으로 낮아지며, 잡음 주입이 포착 영역에서 탈출하는 데 도움이 됨을 확인합니다.

의의 및 주장
본 논문은 DDIM 이 DDPM 보다 더 많은 환각을 생성하게 만드는 구조적 인공물을 수학적으로 특징화한 최초의 연구임을 주장합니다. 핵심 발견은 역 과정에서 잡음을 제거함으로써 (DDIM), 궤적이 모드 사이의 "중점 주변"에 포착될 수 있는 취약점이 생성되어 모드 보간으로 이어진다는 것입니다. 반면, DDPM 의 확률성은 이러한 불안정 영역에서 탈출하는 데 필수적인 메커니즘으로 작용합니다.

저자들은 이 분석이 정확한 스코어 함수를 사용하더라도 유효하며, 현상을 스코어 근사나 수치적 이산화의 인공물이 아닌 역동역학의 근본적 속성으로 격리시켰음을 강조합니다. 그들은 결론적으로 잡음 항이 모드 보간 환각을 줄이는 데 유익하며, 미래의 샘플러 설계는 효율성을 위해 순전히 결정적 흐름에 의존하기보다 궤적이 끼어 있을 때를 탐지하고 이에 따라 확률성을 주입하는 메커니즘을 고려해야 한다고 제안합니다. 이 연구는 구조적 충실도가 중요한 맥락에서 DDIM 을 DDPM 보다 선호하는 것의 함정을 강조함으로써, 실무자들이 더 안전한 생성 모델링을 할 수 있도록 안내하는 것을 목표로 합니다.