Breaking the Lock-in: Diversifying Text-to-Image Generation via Representation Modulation

기술 요약: 표현 변조를 통한 락인(Lock-in) 현상 타파

문제 정의

대규모 트랜스포머 백본과 플로우 기반 목적 함수(flow-based objectives)를 활용하는 최신 텍스트-이미지(T2I) 모델들은 탁월한 텍스트-이미지 정렬 및 사진적 사실성을 달성했다. 그러나 이러한 모델들은 빈번하게 "다양성 붕괴(diversity collapse)" 문제를 겪는다: 고정된 프롬프트로부터 여러 이미지를 생성할 때, 출력물들이 지나치게 유사한 구도, 레이아웃 및 스타일 패턴으로 수렴하는 현상이다. 이러한 균질성은 광범위한 후보 탐색이나 합성 데이터셋 구축을 요구하는 작업에서 생성 모델의 효용성을 제한한다.

다양성을 향상시키기 위한 기존 방법들은 크게 두 가지 범주로 나뉜다: 배치 단위의 다양화(예: Particle Guidance, OSCAR)와 개별 궤적 조작(예: CADS)이다. 이러한 접근 방식들은 효과적이기는 하지만, 보조적인 최적화, 병렬 후보 생성 또는 샘플 간 상호작용으로 인해 상당한 계산 및 메모리 오버헤드를 발생시킨다. 더욱이, 모델 내부 표현에서의 다양성 붕괴에 대한 근본적인 메커니즘적 원인은 여전히 미개척 영역으로 남아 있으며, 기존 연구들은 근본 원인 분석보다는 주로 추론 시점의 휴리스틱에 집중해 왔다.

방법론: DAVE

저자들은 생성 궤적의 "락인(lock-in)"을 깨기 위해 설계된 학습이 필요 없는(training-free) 표현 수준의 개입 방법인 DAVE(DC Attenuation for diVersity Enhancement)를 제안한다.

근본 원인 분석

트랜스포머 중간 특징(features) 분석을 통해, 저자들은 생성 초기 단계에서 은닉 표현의 **영주파수 공간 평균(Zero-frequency spatial average, DC 성분)**이 서로 다른 무작위 시드(random seeds) 간에 빠르게 수렴한다는 것을 확인했다.

• 관찰: 초기 디노이징 단계(고노이즈 레짐)에서, DC 성분은 높은 교차 시드 코사인 유사도와 낮은 분산을 보이며, 이는 표현의 전체 에너지 중 50% 이상을 차지한다.
• 메커니즘: "초기 DC 드리프트(early DC drift)"라고 명명된 이 현상은 신경망의 스펙트럴 편향(저주파 신호를 우선시함)과 고불확실성 하에서의 플로우 매칭 목적 함수의 특성이 결합된 결과로 기인한다. 모델은 텍스트 조건부 데이터의 기댓값을 예측하며, 이로 인해 DC 성분이 시드 불변적인 전역 평균(seed-invariant global mean)에 정렬된다. 이러한 초기 정렬은 초기 노이즈 시드가 전역 레이아웃 및 거친 의미론적 구조에 충분한 변이를 유도하는 능력을 제한하는 구조적 닻(anchor) 역할을 한다.

DAVE 개입

이 락인 현상을 완화하기 위해, DAVE는 생성 초기 단계 동안 DC 성분을 선택적으로 감쇄시킨다.

• 연산: 트랜스포머 블록 $\ell$과 타임스텝 $t$에서의 은닉 표현 $h^{(\ell)}_t$에 대해, DC 성분 $\mu^{(\ell)}_t$는 시각적 토큰들에 대한 공간 평균으로 계산된다. 그 후 표현은 다음과 같이 수정된다:
  $$\hat{h}^{(\ell)}_t = \alpha \cdot \mu^{(\ell)}_t + (h^{(\ell)}_t - \mu^{(\ell)}_t)$$
  여기서 $\alpha \in (0, 1)$는 감쇄 강도 파라미터이다.
• 제약 사항: 이 개입은 강한 교차 시드 DC 수렴을 보이는 특정 트랜스포머 블록($\ell \in \mathcal{L}$)과 초기 타임스텝($t < \tau$) 동안에만 적용된다.
• 구현: DAVE는 재학습, 샘플링 파이프라인의 변경, 또는 피처 뱅크를 위한 추가 메모리를 요구하지 않는다. 이는 중간 출력이 다음 블록으로 전달되기 전 수행되는 정교한 수정 작업으로 작동한다.

주요 기여

1. 메커니즘적 통찰: 본 논문은 생성 초기 단계에서의 DC 성분의 급격한 수렴을 시드 수준의 변이를 제한하는 주요 병목 현상으로 식별하여, 궤적 락인(trajectory lock-in)에 대한 이론적 및 경험적 설명을 제공한다.
2. DAVE 알고리즘: 시각적 품질이나 의미적 정렬을 해치지 않으면서 생성 다양성을 해방하기 위해 DC 성분을 감쇄시키는 가볍고 학습이 필요 없는 방법을 제시한다.
3. 효율성: 배치 크기에 따라 제곱으로 스케일링되는($O(TB^2)$) 상호작용 기반 방법들과 달리, DAVE는 무시할 만한 오버헤드로 선형 복잡도($O(TB)$)를 유지하여 현대적인 대규모 모델에 대한 확장성을 갖춘다.
4. 강건성: DAVE는 다양한 모델 아키텍처(Stable Diffusion 3/3.5, FLUX.1-dev, SANA1.5)와 프롬프트 복잡도에 대해 강건함을 보이며, 대상 블록 풀 $\mathcal{L}$은 데이터셋에 관계없이 범용적이다.

실험 결과

저자들은 시각적 품질(FID, Precision, Density), 다양성(Recall, Coverage, Vendi Score), 텍스트-이미지 정렬(CLIP Score) 지표를 사용하여 ImageNet 및 MS-COCO 벤치마크에서 DAVE를 평가했다.

• 다양성 향상: DAVE는 테스트된 모든 모델에서 일관되게 다양성 지표(Recall, Vendi Score)를 개선하며, 원래의 샘플러 및 CADS, SPARKE와 같은 최첨단 방법들과 대등하게 경쟁한다.
• 품질 보존: 품질을 희생하여 다양성을 얻는 일부 베이스라인(예: 특정 모델에서 CLIP 점수가 저하되는 CADS)과 달리, DAVE는 경쟁력 있는 이미지 품질과 텍스트 정렬을 유지한다.
• 인-배치(In-Batch) 성능: 명시적인 인-배치 생성 설정에서, DAVE는 Particle Guidance 및 SPELL과 같은 방법들에 비해 현저히 낮은 계산 비용을 발생시키면서도 더 낮은 피처 수준 유사도와 더 높은 지각적 거리(perceptual distance)를 달ach한다.
• 증류된 모델(Distilled Models): DAVE는 증류된 모델(예: SD3.5-Large-Turbo)과도 호환되며, 효율화된 샘플링 레짐에서도 다양성을 향상시킨다.
• 어블레이션 연구(Ablation Studies):
  • 시간적 컷오프($\tau$): 초기 15~20% 단계에서 개입하는 것이 품질 저하 없이 최적의 다양성을 제공한다.
  • 감쇄 강도($\alpha$): 0.2에서 0.5 사이의 값은 구조적 변이와 의미적 일관성 사이의 균형을 맞춘다.
  • 블록 선택: 이 방법은 식별된 고수렴 풀 $\mathcal{L}$ 내의 특정 블록 선택에 대해 강건하다.

의의 및 주장

본 논문은 DAVE가 플로우 기반 T2I 모델의 핵심 문제인 제한된 생성 다양성을 해결하기 위한 실용적이고 확장 가능한 프레임워크를 제공한다고 주장한다. 궤적 락인의 근본 원인인 초기 DC 성분의 균질화를 목표로 함으로써, DAVE는 사전 학습된 모델의 생성 범위를 성공적으로 넓힌다.

저자들은 DAVE가 기존 솔루션들의 계산적 부담 없이 유리한 다양성-충실도(diversity-fidelity) 트레이드오프를 달성한다고 강조한다. 이는 샘플링 파이프라인을 보존하면서 초기 노이즈의 확률성을 활용하여 유의미한 구조적 변이를 유도하는 "정교한(surgical)" 개입 역할을 한다. 본 연구는 내부 표현 역학을 이해하고 조절하는 것이 재학습이나 복잡한 최적화 절차 없이도 생성 능력을 향상시킬 수 있는 유효한 경로임을 시사한다.