기술 요약: 컬러 노이즈 확산 샘플링 (CNS)

문제 제기

확산 모델은 이미지 합성 분야에서 최첨단 성능을 입증했으나, 그 생성 궤적은 근본적인 스펙트럼 편향을 보입니다. 샘플링 과정 초기에는 저주파수 글로벌 구조가 먼저 해결되고, 고주파수 세부 사항은 나중에 해결되는 경향이 있습니다. 기존의 확률 미분 방정식 (SDE) 솔버는 이러한 역동성을 고려하지 못합니다. 이들은 생성 과정 전반에 걸쳐 균일한 백색 노이즈를 단순히 주입하여 모든 주파수 대역을 동일하게 취급합니다. 이러한 접근법은 확률 과정의 유한한 "에너지 예산"을 오용하여, 이미 구조적으로 해결된 주파수 대역에는 노이즈 에너지를 할당하고 뒤처진 대역은 소홀히 합니다. 결과적으로 표준 SDE 는 생성된 이미지와 실제 이미지 간의 "스펙트럼 갭"을 초래하며, 실제 데이터 매니폴드의 전력 스펙트럼 밀도 (PSD) 를 완벽하게 복원하지 못하는 경우가 많습니다.

기존 해결책들은要么 훈련 프레임워크를 변경하여 비용이 많이 드는 재훈련을 요구하거나,要么 근본적인 확률 솔버를 정적 블랙박스처럼 취급하는 추론 시 수정을 적용합니다 (예: 주파수 분리 연산 또는 단계 크기 조정). 이러한 방법들은 여전히 스펙트럼적으로 균일한 솔버에 대한 의존성으로 인해 제약받습니다.

방법론: 컬러 노이즈 샘플링 (CNS)

저자들은 모델의 고유한 스펙트럼 편향을 능동적으로 활용하는 새로운 훈련 없는 확률 솔버인 **컬러 노이즈 샘플링 (CNS)**을 제안합니다. 핵심 통찰력은 SDE 추론을 표적화된 주파수 분리 에너지 전달로 재해석할 수 있다는 점입니다.

1. 수학적 프레임워크

저자들은 확산 추론이 신호를 보존하는 전달 메커니즘으로 작용함을 규명했습니다. 초기 노이즈는 일정 정도 보존되지만, SDE 솔버가 궤적 전반에 걸쳐 주입하는 확률적 증분 또한 최종 이미지의 공간적 특징으로 직접 매핑됩니다. 중요한 점은 이 매핑이 주파수 분리되어 있다는 것입니다. 즉, 특정 주파수 대역에 주입된 노이즈는 동일한 대역의 공간적 특징에 매핑됩니다.

저자들은 균일한 백색 노이즈에 대한 고전적인 랑주뱅 (Langevin) 요구사항을 안전하게 완화할 수 있음을 입증했습니다. 단계별 총 주입 에너지가 정규화되도록 보장 (전체 분산 보존 제약) 하는 경우, 노이즈의 스펙트럼 구성이 변경되더라도 중간 상태가 분포 밖으로 이탈하지 않습니다.

2. CNS 알고리즘

CNS 는 균일한 백색 노이즈 주입을 동적이며 시간 단계 및 주파수 의존적인 스케줄로 대체합니다.

• 진행 추적: 이 방법은 네트워크가 시간 단계 $t$에서 특정 주파수 대역의 최종 구조를 얼마나 해결했는지를 측정하는 유계 진행 지수 $\gamma(f, t)$를 활용합니다. 저주파수는 일찍 해결되어 $\gamma \to 1$이 되는 반면, 고주파수는 늦게 해결됩니다.
• 동적 할당: CNS 는 각 주파수 대역에 대한 스케일링 가중치 $\beta_f(t)$를 계산합니다. 이 가중치는 해당 대역의 구조적 해결 정도에 반비례합니다. 구체적으로, 분산 승수는 구조적 부족분 ($1 - \gamma(f, t)$) 에 비례합니다.
  • 완전히 해결된 대역 ($\gamma \approx 1$) 은 주입 에너지를 적게 받습니다 (감쇠).
  • 구조적으로 해결되지 않은 대역 ($\gamma \approx 0$) 은 더 많은 주입 에너지를 받습니다 (증폭).
• 전역 제약: 안정성을 유지하기 위해 스케일링 가중치는 모든 차원에 걸쳐 평균 주입 에너지가 일정하도록 정규화됩니다: $\frac{1}{D}\sum \beta_f^2(t) = 1$. 이는 노이즈 주입을 제로섬 게임으로 간주하여 "해결된" 대역의 에너지를 "뒤처진" 대역으로 재배분합니다.

3. 구현

CNS 는 표준 SDE 솔버 (예: 오일러 - 마루야마, 하이엔, SRK) 를 대체하는 플러그인 방식의 솔루션으로 구현됩니다. 모델 재훈련이 필요 없으며 추론 시에만 작동합니다. 이 알고리즘은 현재 상태의 스펙트럼 프로파일에 기반하여 매 단계마다 노이즈 증분에 동적으로 색을 입힙니다.

주요 기여

1. 이론적 프레임워크: 본 논문은 SDE 노이즈 주입을 표적화된 에너지 전달로 재해석하는 수학적 프레임워크를 정립했습니다. 중간 상태가 분포 밖으로 이탈하지 않으면서 스펙트럼 갭을 해결하기 위해 스펙트럼적으로 균일한 백색 노이즈에 대한 엄격한 요구사항을 완화할 수 있음을 증명합니다.
2. 새로운 솔버 (CNS): 구조적으로 해결되지 않은 주파수 대역으로 주입된 노이즈 에너지를 동적으로 할당하여 모델의 스펙트럼 편향을 능동적으로 활용하는 훈련 없는 확률 솔버인 컬러 노이즈 샘플링을 도입했습니다.
3. 실증적 검증: 다양한 아키텍처 (SiT, JiT, FLUX) 와 모달리티 (픽셀 공간, 잠재 공간, 텍스트 - 이미지) 에 걸친 광범위한 실험을 통해 CNS 가 표준 ODE 및 SDE 베이스라인을 크게 능가함을 입증했습니다.

실험 결과

저자들은 ImageNet-256 및 텍스트 - 이미지 벤치마크 (FLUX) 에서 CNS 를 평가하였으며, 성능 측정을 위해 프레이체 인셉션 거리 (FID), 공간 FID(sFID), 인셉션 점수 (IS), 그리고 인간 선호도 지표를 사용했습니다.

• 클래스 조건부 생성 (ImageNet-256):
  • SiT-XL/2: CNS 는 SDE 기준의 가이드 없는 FID 를 8.26에서 6.27로 감소시켰습니다.
  • JiT-B/16: CNS 는 SDE 기준의 가이드 없는 FID 를 32.39에서 26.69로 감소시켰습니다.
  • JiT-H/16: CNS 는 SDE 기준의 가이드 없는 FID 를 11.88에서 8.31로 감소시켰습니다.
  • CNS 는 분류기 없는 가이드 (CFG) 와 함께 사용될 때도 베이스라인 대비 약 8% 에서 약 50% 에 이르는 일관된 상대적 FID 개선을 보입니다.
• 텍스트 - 이미지 생성 (FLUX):
  • FLUX.1-dev 및 FLUX.2-klein 에 통합된 CNS 는 CLIPScore 를 통한 의미적 정렬을 유지하면서 자동 인간 선호도 점수 (ImageReward) 와 미적 점수를 향상시켰습니다.
• 강건성: CNS 는 다양한 이산화 단계 및 솔버 차수 (1 차부터 5 차까지) 에서 표준 샘플링보다 일관되게 우수한 성능을 발휘합니다.
• 직교성: CNS 는 대안적인 노이즈 분포 (예: Diffusion Models 를 위한 블루 노이즈) 로 훈련된 모델에 적용되더라도 개선을 제공하여 그 일반적 유용성을 확인시켜 줍니다.

중요성 및 주장

본 논문은 CNS 가 표준 확산 SDE 솔버의 근본적인 비효율성, 즉 낭비적인 균일 백색 노이즈 주입을 해결한다고 주장합니다. 추론을 표적화된 에너지 전달로 재개념화함으로써 CNS 는 생성된 분포를 체계적으로 실제 데이터 매니폴드로 유도합니다.

저자들은 CNS 가 엄격히 플러그인 방식의 솔루션임을 강조합니다. 이는 모델 재훈련이나 기본 네트워크 아키텍처 수정 없이 생성 충실도와 시각적 품질을 향상시킵니다. 이 연구는 생성된 이미지에서의 "스펙트럼 갭"이 단순한 수치적 오류가 아니라 에너지 할당의 불일치로 인한 것이며, 모델의 구조적 학습 곡선에 맞춰 노이즈를 동적으로 색칠함으로써 교정될 수 있음을 시사합니다.

한계점: 저자들은 CNS 가 SDE 프레임워크에 의존하므로 초고속 저단계 추론에 여전히 선호되는 결정적 ODE 솔버와는 호환되지 않는다고 지적합니다. 향후 작업으로는 주파수 의존적 에너지 라우팅을 결정적 패러다임으로 확장하고 비디오 생성에 적용하는 방안을 모색할 필요가 있습니다.