기술 요약: EDDY – 발산 없는 동역학을 통한 정확한 한계 분산 다양화

문제 제기

확산 및 흐름 매칭 모델은 이미지, 분자, 텍스트와 같은 다양한 모달리티에서 강력한 생성 도구로 자리 잡았습니다. 샘플 품질을 향상시키기 위한 일반적인 추론 시간 전략은 **가이드 (guidance)**로, 조건이나 제약을 만족하도록 드리프트 항을 조정하는 것입니다. 그러나 동일한 조건에 대해 여러 개의 샘플을 생성할 때, 표준적인 독립 동일 분포 (I.I.D.) 샘플링은 종종 낮은 다양성을 보이며, 출력물이 유사한 모드 주변에 군집화되는 결과를 낳습니다.

이러한 다양성 부족을 해결하기 위한 기존 방법들은 보통 샘플 간의 상호작용을 도입합니다. 예를 들어 초기 노이즈 잠재 변수를 최적화하거나 샘플링 중에 반발 퍼텐셜을 추가하는 방식입니다. 이러한 접근법들은 다양성을 증가시킬 수 있지만, 해당 논문은 치명적인 결함을 지적합니다: 종종 개별 샘플의 한계 분포 (marginal distribution) 를 왜곡한다는 점입니다. 이러한 왜곡은 다양성 증가가 샘플 충실도 (fidelity) 의 손실을 대가로 치르는 트레이드오프로 이어져, 가시적인 아티팩트, 프롬프트 준수성 저하, 또는 지각적 열화와 같은 현상으로 나타납니다. 핵심 과제는 단일 샘플의 목표 한계 분포를 변경하지 않고 (이상적으로는 추가 학습 없이) 조건부 분포의 서로 다른 모드들을 탐색하도록 유도하는 입자 기반의 다양성을 도입하는 것입니다.

방법론: EDDY

저자들은 포커 - 플랑크 방정식 (FPE) 의 대칭성을 활용하는 학습이 불필요한 가이드 메커니즘인 EDDY(발산 없는 동역학을 통한 정확한 한계 분산 다양화) 를 제안합니다.

이론적 기반

이 방법은 확률 밀도 $p_t$의 진화를 지배하는 FPE 가 비자명한 대칭성을 허용한다는 관찰에 기반합니다. 구체적으로, 특정 드리프트 섭동은 입자 궤적을 변경하면서도 진화하는 한계 밀도를 변경하지 않을 수 있습니다.

• FPE 의 대칭성: 저자들은 **행렬 스타인 연산자 (Matrix Stein operator)**를 활용합니다. 그들은 매끄러운 반대칭 행렬 필드 $A$로부터 연산자 $A_p(A) = \text{div}(A) + A\nabla \log p$를 통해 드리프트 섭동 $\psi_t$가 구성될 경우, 결과적인 FPE 가 변하지 않음을 증명합니다. 결과적으로, 다중 상호작용 입자의 결합 분포가 수정되더라도 한계 분포 $p_t$는 모든 시간 $t$에 대해 보존됩니다.

알고리즘 구성

EDDY 는 이 원리를 구현하여 한계 보존을 유지하면서 입자 간 반발 상호작용을 유도하는 가이드 필드를 구성합니다:

1. 쌍별 반대칭 행렬: 모든 입자 쌍 $(x_i, x_j)$에 대해, 유사성 커널 $k$에서 유도된 반발 방향 $r^{(ij)} = -\nabla k(x_i, x_j)$와 벡터 $v^{(j)}$(일반적으로 입자 $j$의 드리프트 또는 스코어) 를 사용하여 반대칭 행렬 $A^{(ij)}$를 구성합니다.
   $$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$$
2. 발산 없는 드리프트: 입자 $i$에 대한 가이드 항은 모든 이웃에 대해 이러한 행렬에 적용된 스타인 연산자의 평균입니다:
   $$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$$
   이는 국소적으로 발산이 없는 수송 필드를 생성합니다 (따라서 "EDDY"라는 이름). 이는 입자들을 서로 밀어내어 다양성을 증가시키면서도 이론적으로 단일 입자 한계가 $p_t$로 유지됨을 보장합니다.

고차원에서의 실용적 근사

텍스트 - 이미지 생성과 같은 고차원 설정에서는 발산 항에 필요한 커널의 정확한 2 차 도함수를 계산하는 것이 계산적으로 불가능합니다. EDDY 는 두 가지 실용적인 근사를 사용합니다:

• 유한 차분: 헤시안 - 벡터 곱을 근사하는 데 사용됩니다.
• 허치슨 트레이스 추정: 라플라시안 항을 근사하는 데 사용됩니다.
  이러한 근사들은 방법을 원시 픽셀 공간이 아닌 지각적 특징 공간 (예: DINO 또는 CLIP 임베딩) 에서 작동할 수 있게 합니다. 이러한 근사들은 이론적 의미에서 한계 보존이 더 이상 정확하지 않음을 의미하지만, 저자들은 이 방법이 증명 가능한 한계 보존 필드의 유한 표본 추정치로 남아 있다고 주장합니다.

계산 비용을 더욱 줄이기 위해 가이드는 샘플링 궤적의 초기 고노이즈 부분 (예: 첫 20% 단계) 에만 적용됩니다.

주요 기여

논문은 네 가지 주요 기여를 제시합니다:

1. 이론적 식별: 근본적인 한계 분포를 보존하는 입자 가이드 메커니즘을 허용하는 FPE 대칭성의 식별 및 증명.
2. 커널 기반 구성: 이러한 대칭성과 호환되는 반발 상호작용을 유도하기 위해 반대칭 쌍별 행렬을 사용하는 구체적인 구성의 도입.
3. 확장 가능한 근사: 특징 공간 커널의 사용을 가능하게 하는 실용적인 근사 (유한 차분 및 허치슨 추정기) 개발로, 텍스트 - 이미지 생성과 같은 고차원 작업에 방법을 적용 가능하게 함.
4. 실증적 검증: 합성 분포 및 현대적 텍스트 - 이미지 모델 (FLUX.1-dev 및 SDXL) 에 대한 평가로, 베이스라인에 비해 향상된 다양성과 유지된 분포 충실도를 입증.

실험 결과

저자들은 EDDY 를 독립 동일 분포 (I.I.D.) 샘플링, 입자 가이드 (PG), 조건 어닐링 확산 샘플링 (CADS) 과 비교 평가합니다.

• 합성 2D 가우시안 혼합: 2D 가우시안 혼합에서 EDDY-RBF(정확한 RBF 커널 사용) 는 모드 커버리지 (다양성) 를 성공적으로 증가시키는 동시에 한계 분포가 I.I.D. 베이스라인과 구별할 수 없음을 확인하는 통계적 검정 (콜모고로프 - 스미르노프, 만 - 휘트니, 웰치 t-검정) 을 통과합니다.
• 텍스트 - 이미지 생성:
  • 다양성 vs. 충실도: EDDY 는 PG 보다 일관되게 더 나은 파레토 프론티어를 달성합니다. 일치된 다양성 수준 (DINO 쌍별 유사성으로 측정) 에서 EDDY 는 더 높은 프롬프트 정렬 (CLIPScore) 과 더 나은 미적 점수를 제공합니다.
  • 아티팩트 감소: PG 는 다양성을 추구할 때 종종 심각한 시각적 아티팩트 (예: 왜곡된 구조) 를 도입하는 반면, EDDY 는 광학적 사실성을 유지하며, 어떤 열화도 구조적 아티팩트 대신 경미한 흐림으로 나타납니다.
  • CADS 와의 비교: CADS 는 조건 신호를 교란시켜 다양성을 향상시키지만 프롬프트 준수성을 크게 저하시킵니다. EDDY 는 다양성을 증가시키면서도 강력한 프롬프트 충실도를 유지합니다.
  • 테스트된 모델: 실험은 FLUX.1-dev(흐름 매칭) 와 Stable Diffusion XL(확산) 에서 수행되었습니다.

중요성 및 주장

이 논문은 EDDY 가 다양한 조건부 생성을 위한 원칙적인 경로를 제공한다고 주장합니다. 포커 - 플랑크 방정식의 대칭성을 활용함으로써, 기존 반발 샘플링 방법들이 겪는 다양성과 충실도 사이의 트레이드오프를 분리합니다.

저자들은 EDDY 가 잠재 함수나 중요도 가중치를 학습하는 방법과 달리 **학습이 불필요 (training-free)**하며 추가 모델 학습이 필요하지 않음을 강조합니다. 이 방법은 커널 평가 및 근사로 인해 계산 오버헤드 (FLUX.1-dev 에서 약 25% 실행 시간 증가) 를 수반하지만, 저자들은 경쟁 방법들에서 보이는 심각한 아티팩트 없이 고품질 다양 샘플을 달성하기 위해 이 비용은 필수적이라고 주장합니다. 이 연구는 조건부 분포의 모드를 탐색하면서도 생성 출력의 품질을 유지하기 위해 한계 분포를 보존하는 것이 중요한 제약 조건임을 시사합니다.