기술 요약: 초기화는 전투의 절반이다: 가이던스 포텐셜 사후 분포로부터 다양한 이미지 생성하기

1. 문제 정의

디퓨전 모델(Diffusion Models)과 플로우 매칭(Flow Matching) 모델을 포함한 현대적 생성 모델들의 높은 충실도에도 불구하고, 이들은 빈번하게 모드 붕괴(mode collapse) 문제를 겪는다. 무작위 시드(random seed)를 변경하더라도 생성된 샘플들이 흔히 정형화된 출력으로 수렴하며, 이는 창의적 잠재력을 제한하고 극단적인 경우 학습 데이터의 정확한 암기(memorization)로 이어지기도 한다.

다양성을 높이기 위한 기존의 훈련 불필요(training-free) 전략들은 주로 생성 궤적(generation trajectory) 중에 개입하는 것(예: 가이던스 스케일 조작 또는 궤적 간의 반발 유도)에 집중되어 있다. 저자들은 이러한 접근 방식들이 중요한 간과 사항을 가지고 있음을 지적한다. 즉, 표준적인 등방성 가우시안 초기화(isotropic Gaussian initialization, $x_T \sim \mathcal{N}(0, I)$)는 종종 가이던스 포텐셜(guidance potential) 지형에 무관하게 설정된다는 점이다. 기하학적으로, 높은 조건부 가이던스 포텐셜을 가진 영역은 생성 흐름(generative flow)에서 높은 부피 수축률(volume contraction rates)을 유도한다. 결과적으로, 이 고포텐셜 영역에서 초기화된 서로 다른 확률적 궤적들은 하나의 지배적인 모드로 끌려 들어가 모드 붕패를 일으킨다. 반면, 저자들은 저포텐셜 분지(low-potential basins)에서 초기화하는 것이 궤적들을 자연스럽게 발산시켜 다양성을 보존할 수 있다는 가설을 세운다.

2. 방법론: 다양성 유도 초기화 (DivIn)

본 논문은 DivIn을 제안한다. 이는 초기 노이즈를 고정된 사전 분포(prior)에서 추출하는 것이 아니라, **가이던스 포텐셜 사후 분포(guidance potential posterior)**로부터 샘플링하는 것으로 재정의하는 훈련 불필요, 추론 시간(inference-time) 방식이다.

2.1. 이론적 정식화

저자들은 표준 가우시안 사전 분포를 다양성이 풍부한 영역으로 재가중치 부여하는 타겟 분포 $p_{\text{diverse}}(x_T | c)$를 다음과 같이 정의한다:
$$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$$
여기서:

• $p(x_T)$는 표준 등방성 가우시안 사전 분포이다.
• $\tau$는 사전 분포 준수와 다양성 극대화 사이의 트레이드오프를 조절하는 온도 하이퍼파라미터이다.
• $U(x_T, c)$는 초기 단계에서의 조건부 가이던스 강도를 대리하는 가이던스 포텐셜이다.

2.2. 가이던스 포텐셜 대리물 (The Guidance Potential Proxy)

다양한 추론 스케줄(예: 단계 수 변화) 및 아키텍처(Diffusion vs. Flow Matching)에 대한 견고성과 플러그 앤 플레이(plug-and-play) 호환성을 보장하기 위해, 포텐셜 $U(x_T, c)$는 **일반화된 트위디 포텐셜(generalized Tweedie potential)**을 사용하여 추정된 데이터 공간에서 정의된다:
$$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$$
여기서 $\hat{x}_0$는 깨끗한 데이터에 대한 단일 단계 디노이징 추정치이다. 이 메트릭은 조건부 디노이징 추정치와 무조건부 디노이징 추정치 사이의 유클리드 거리를 측정한다. 이 포텐셜을 최소화함으로써, 조건부 가이던스가 지배적인 모드로 과도하게 강력한 인력을 행사하는 초기 상태를 억제하고, 지형의 더 평탄한 영역으로 초기화를 유도한다.

2.3. 랑주뱅 역학(Langevin Dynamics)을 통한 샘플링

$p_{\text{diverse}}$로부터 직접 샘pling하는 것은 다루기 어렵기 때문에, DivIn은 랑주뱅 역학을 사용하여 초기 가우시안 사전 분포로부터 타겟 사후 분포로 샘플을 반복적으로 전이시킨다. $k$번째 반복에서의 잠재 상태 $x_T$에 대한 업데이트 규칙은 다음과 같다:
$$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$$
이 메커니즘은 세 가지 힘의 균형을 맞춘다:

1. 다양성 힘 ($-\tau \nabla U$): 잠재 변수를 고포텐셜 분지에서 멀어지게 하여 더 평탄한 영역으로 유도한다.
2. 사전 제약 ($-x_T$): 잠재 변수를 원래 정규 분포의 유효한 매니폴드 내에 고정시켜, 매니폴드 이탈(off-manifold drift)을 방지한다.
3. 확률적 노이즈 ($\sqrt{2\eta}\xi$): 얕은 국소 최솟값(local minima)을 탈출하고 탐색을 장려하기 위해 노이즈를 주입한다.

단일 최적 시드를 찾는 결정론적 최적화 방법(예: Sharpness-Aware Initialization, SAIL)과 달리, DivIn은 **분포적 사후 샘플링(distributional posterior sampling)**을 수행하여 엔트로피를 보존하고 진정한 다양성을 가능하게 한다.

3. 주요 기여

1. 초기화의 결정적 요인 식별: 본 논문은 모드 붕괴가 초기화 지형의 기하학적 구조, 특히 조건부 가이던스에 의해 정의되는 고포텐셜 영역으로의 궤적 인력에 의해 크게 발생함을 밝혀냈다.
2. 가이던스 포텐셜 사후 분포 정식화: 저자들은 표준 사전 분포를 재가중치 부여하는 다양성 가중 사후 분포를 정식화하였으며, 다양한 추론 단계에 견고하고 Diffusion과 Flow Matching 아키텍처를 통합하는 일반화된 트위디 포텐셜을 활용하였다.
3. DivIn 알고리즘: 랑주뱅 역학을 활용하여 이 사후 분포로부터 샘플링하는 플러그 앤 플레이 방식의 훈련 불필요 알고리즘을 제안한다. 이는 기존의 궤적 기반 다양성 방법들과 직교(orthogonal)한다.
4. 이론적 정당성: 본 논문은 높은 조건부 샤프니스(곡률)와 역과정 중의 급격한 엔트로피 손실 사이의 관계를 연결하는 이론적 분석(Theorem A.3)을 제공하여, 저포텐셜 영역으로부터의 샘플링이 분포 부피를 보존함을 입증한다.

4. 실험 결과

ImageNet-1K(class-to-image) 및 일반 프롬프트 데이터셋(text-to-image)에 대해 Stable Diffusion v1.4 및 Stable Diffusion 3.5 Medium(Flow Matching)을 사용하여 광범 실험을 수행하였다.

• 다양성 개선: DivIn은 Vendi Score, Recall, Coverage와 같은 다양성 지표에서 SAIL(기초 모델 방식) 및 궤적 기반 방법들(Particle Guidance, CADS, Interval Guidance)보다 일관되게 우수한 성능을 보였다.
  • ImageNet (SD v1.4)에서 DivIn은 Vendi Score 4.688(기초 모델 4.265 대비)을 달성하여 SAIL(4.549) 및 궤적 기반 방법들을 앞질렀다.
  • Text-to-image (SD v3.5)에서 DivIn은 기초 모델의 Vendi Score를 1.803에서 1.864로 높였다.
• 품질 보존: 다양성을 위해 품질을 희생하는 많은 방법들과 달리, DivIn은 이미지 충실도를 유지하거나 오히려 향상시킨다. ImageNet에서 단독 베이스라인 중 가장 낮은 FID(16.158)를 기록했으며, text-to-image 작업에서도 높은 CLIP 및 Aesthetic 점수를 유지했다.
• 직교성 및 파레토 프런티어(Pareto Frontier): DivIn이 궤적 기반 개입과 직교한다는 점은 핵심적인 발견이다. DivIn을 PG, CADS, 또는 IG와 결 조합하면 다양성-품질 파레토 프런티어를 크게 확장할 수 있으며, 두 방법 각각을 사용할 때보다 동일한 충실도 수준에서 더 높은 다양성을 달s 성할 수 있다.
• 효율성: DivIn은 계산 오버헤드가 매우 적다. 단일 랑주뱅 단계($K=1$)를 사용할 경우, 이미지당 실제 실행 시간(wall-clock time)에 약 3%만 추가된다(예: 0.754초에서 0.779초로 증가). 반면 SAIL과 같은 결정론적 최적화 방법은 종종 더 복잡한 거부 샘플링(rejection sampling)이나 2차 근사를 필요로 한다.
• 안정성: 초기 중단 임계값에 민감하고 오프 매니폴드 잠재 변수로 인해 고주파 아티팩트를 유발할 수 있는 SAIL과 달리, DivIn은 안정적이며 잠재 공간의 가우시안성을 보존한다.

5. 의의 및 주장

본 논문은 **초기화가 생성의 "절반의 전투"**라고 주장한다. 생성 궤적이 아닌 초기화 지형으로 초점을 전환함으로써, DivIn은 궤적 기반 방법들이 간과하는 모드 붕괴의 근본 원인을 해결한다.

저자들은 다음을 강조한다:

• DivIn은 표준 디퓨전 및 현대적 플로우 매칭 모델 모두와 호환되는 보편적이고 플러그 앤 플레이 가능한 전략이다.
• 이는 궤적 개입으로는 포착되지 않는 다양성의 별도 원천을 제공하여, 표준 샘플링이 놓치는 다양한 모드의 발견을 가능하게 한다.
• 이 방법은 다양성과 품질 사이의 트레이드오프를 효과적으로 균형 있게 조절하여, 의미론적 정렬이나 이미지 충실도를 저해하지 않으면서 파레토 프런티어를 확장한다.
• 결정론적 시드 최적화(SAIL 등)에 비해 확률적 샘플링을 통해 분포 엔트로피를 유지함으로써 더 강력한 대안을 제공한다.

결론적으로, DivIn은 현재 온도 하이퍼파라미터에 의존하고 최소한의 추론 오버헤드를 추가하지만, 생성 다양성을 향상시키는 방식에 있어 근본적인 변화를 나타내며, 기존 샘플링 메커니즘에 대한 강력하고 직교하는 도구를 제공한다.