It's Never Too Late: Noise Optimization for Collapse Recovery in Trained Diffusion Models

"훈련된 확산 모델에서 붕괴 회복을 위한 노이즈 최적화: 늦지 않았다" 논문의 상세 기술적 요약입니다.

1. 문제 제기

현대적인 텍스트 - 이미지 확산 모델 (예: SDXL-Turbo, Flux.1) 은 모드 붕괴 (mode collapse) 현상에 시달립니다. 동일한 텍스트 프롬프트에서 서로 다른 무작위 시드 (i.i.d. 노이즈) 를 사용하여 여러 이미지를 샘플링할 때, 모델은 종종 최소한의 시각적 변이만 보이는 거의 동일한 출력물을 생성합니다.

• 현재의 한계: 기존 해결책들은 다음에 의존합니다:
  • 가이드 메커니즘: 수정된 조건부 입력을 통해 모델을 조종하는 방식 (예: 파티클 가이드, DPP) 은 종종 다양성을 위해 품질을 희생합니다.
  • 검색 기반 방법: 대규모 후보군을 생성한 후 이를 선별하는 방식 (예: "Best-of-N") 은 계산 비용이 많이 들고 메모리 집약적입니다.
  • 프롬프트 엔지니어링: 텍스트 입력을 수정하는 방식은 출력 공간의 모든 변이를 쉽게 포착할 수 없습니다.
• 핵심 질문: 사전 훈련된 모델이나 사용자 프롬프트를 변경하지 않고도 초기 노이즈 ($x_0$) 를 직접 최적화하여 모드 붕괴에서 회복하고 다양하며 고품질인 이미지를 생성할 수 있을까요?

2. 방법론

저자들은 초기 노이즈 벡터를 학습 가능한 매개변수로 간주하는 엔드 - 투 - 엔드 노이즈 최적화 프레임워크를 제안합니다. 이 과정은 다음과 같습니다:

A. 노이즈 최적화 목적 함수

고정된 프롬프트 $c$와 고정된 확산 모델 $g_\theta$가 주어졌을 때, 이 방법은 초기 노이즈 샘플의 배치 $\{x_0^{(i)}\}_{i=1}^B$를 최적화합니다. 목적 함수는 세 가지 항으로 구성된 손실 $\mathcal{L}$을 최소화합니다:

1. 품질 보상 ($r_s$): 개별 이미지가 프롬프트를 준수하고 높은 충실도를 유지하도록 보장합니다 (예: CLIPScore 또는 HPSv2 사용).
2. 다양성 지표 ($v_\mathcal{B}$): 배치 내 이미지 간의 비유사성을 극대화합니다. 논문은 다양한 지표를 탐구합니다:
   • 쌍별 (Pairwise): DINOv2 패치 특징, DreamSim, LPIPS, 색상 히스토그램.
   • 집합 수준 (Set-level): 결정론적 포인트 프로세스 (DPP) 와 Vendi 점수로, 집합 내 고유 항목의 유효 개수를 측정합니다.
3. 정규화 ($\text{reg}$): 최적화된 노이즈가 사전 분포 $N(0, I)$로부터 너무 멀리 벗어나는 것을 방지합니다. 이는 노이즈 노름의 $\chi_d$ 분포에서의 편차를 패널티로 부과함으로써 달성됩니다.

이 최적화는 고정된 샘플러 $g_\theta$를 통한 역전파를 통해 수행됩니다.

B. 노이즈 초기화 전략 (핑크 노이즈)

논문의 핵심 통찰은 노이즈 진화에 대한 분석입니다. 최적화 과정에서 저자들은 가장 중요한 변화가 노이즈 스펙트럼의 저주파 성분에서 발생하며 고주파는 상대적으로 안정적으로 유지된다는 것을 관찰했습니다.

• 가설: 자연 이미지는 $1/f$ 전력 스펙트럼을 따릅니다 (저주파에 더 많은 전력). 표준 백색 노이즈는 주파수 스펙트럼이 평탄합니다.
• 해결책: 저자들은 핑크 노이즈 초기화를 도입합니다. FFT 를 통해 백색 노이즈를 주파수 영역으로 변환한 후, $f^{-\alpha/2}$ (여기서 $\alpha \approx 0.2$) 의 전력 스케일링 인자를 적용하고 다시 역변환합니다.
• 이점: 이 초기화는 시작 노이즈를 자연 이미지의 통계적 특성과 최적화 역학에 정렬시켜 더 빠른 수렴과 더 높은 다양성을 이끕니다.

C. 최적화 모드

• 배치 최적화: 집합 수준의 다양성을 극대화하기 위해 이미지 세트 (예: 4 개) 를 공동으로 최적화합니다.
• 순차 최적화: 이미지를 하나씩 생성하며, 각 이미지를 이전에 생성된 출력과 다르게 되도록 최적화합니다. 이는 메모리 오버헤드를 줄이고 대규모 다양 집합 생성을 가능하게 합니다.

3. 주요 기여

1. 다양성을 위한 노이즈 최적화: 가이드 기반 또는 검색 기반 방법보다 모드 붕괴 회복을 위한 초기 노이즈 직접 최적화가 우월한 전략임을 입증합니다.
2. 집합 수준 다양성 목적 함수: 단순한 쌍별 지표보다 DPP와 Vendi 점수가 다양 집합 최적화에 더 효과적임을 규명했습니다. 이는 한 이미지를 매우 다르게 만들고 나머지는 유사하게 유지함으로써 "평균 쌍별" 지표를 속이는 것을 방지하기 때문입니다.
3. 핑크 노이즈 초기화: 추가 최적화 없이도 다양한 모델 (SDXL-Turbo, Flux.1) 과 기준선에서 일관되게 다양성을 향상시키는 간단하고 매개변수가 없는 전략 (핑크 노이즈 사용) 을 제안합니다.
4. 품질 - 다양성 트레이드오프: 가이드 기반 방법에서 흔히 보이는 전형적인 트레이드오프를 극복하며, 이미지 품질이나 프롬프트 준수를 희생하지 않고 다양성을 증가시킬 수 있음을 보여줍니다.

4. 실험 결과

이 방법은 GenEval, DPG-Bench(복잡한 프롬프트), T2I-CompBench에서 SDXL-Turbo 및 **Flux.1 [schnell]**과 같은 모델을 사용하여 평가되었습니다.

• 정량적 성능:
  • 다양성: 모든 지표 (DINO, DreamSim, LPIPS, Vendi 점수) 에서 i.i.d. 샘플링 및 최신 검색 방법 [Parmar et al., 2025] 을 능가합니다.
  • 품질: 기준선 대비 이미지 품질 점수 (HPSv2, CLIPScore) 를 유지하거나 약간 향상시킵니다.
  • 효율성: 핑크 노이즈 초기화를 사용하면 백색 노이즈 (912 회 반복) 에 비해 훨씬 적은 반복 횟수 (예: 68 회) 에서 기준선 검색 방법보다 높은 다양성 점수에 도달합니다.
• 정성적 결과:
  • 복잡한 프롬프트를 엄격히 준수하면서 물체의 자세, 색상, 스타일, 배경에서 다양한 변형을 생성합니다.
  • i.i.d. 샘플링이 변형을 생성하지 못하는 복잡한 프롬프트 (예: "화려한 가을 풍경...") 를 성공적으로 처리합니다.
• 사용자 연구: 인간 평가자들은 i.i.d. 샘플링 및 검색 기준선보다 제안된 방법의 출력 (특히 DPP/Vendi 로 최적화된 것) 을 **85–91%**의 경우에서 선호했습니다.

5. 의의

이 연구는 확산 모델에서의 다양성 생성 패러다임을 샘플링 전략(좋은 시드를 기다림) 이나 가이드(생성 경로 수정) 에서 입력 최적화로 전환합니다.

• 일반 적용 가능성: 이 접근법은 모델에 구애받지 않으며, 단계 증류된 (빠른) 모델과 표준 확산 모델 모두에서 작동합니다.
• 효율성: 노이즈를 직접 최적화함으로써 선별을 위해 수백 개의 후보를 생성하고 저장하는 막대한 메모리 오버헤드를 피합니다.
• 잠재 공간에 대한 통찰: 저주파 노이즈 성분이 다양성을 주도한다는 발견은 확산 모델이 초기 노이즈를 어떻게 해석하는지에 대한 새로운 이해를 제공하며, "구조"가 주파수 영역에서 초기에 확립됨을 시사합니다.

결론적으로, 이 논문은 모드 붕괴 문제에 대한 강력하고 효율적이며 고품질의 솔루션을 제시하며, 훈련된 확산 모델의 전체 다양성 잠재력을 해제하기 위해 입력 노이즈를 최적화하는 것은 "늦지 않았다"는 것을 입증합니다.