기술 요약: 적응형 스케줄 최적화를 통한 정보 이론적 분류기 없는 가이던스 (Classifier-Free Guidance)

문제 정의

확산 모델(Diffusion models)은 생성 작업에서 최첨단 성능을 달ace하였으며, 분류기 없는 가이던스(Classifier-Free Guidance, CFG)는 조건부 생성(예: 텍스트 프롬프트 또는 클래스 레이블 준수)을 제어하는 표준 메커즘으로 자리 잡았습니다. CFG는 조건부 점수 추정치와 무조건부 점수 추정치를 가이던스 가중치 $w$를 사용하여 결합함으로써 작동합니다. $w$를 높이면 조건 일관성(condition consistency)과 지각적 품질(perceptual quality)이 향상되지만, 일반적으로 샘플 다양성과 분포 커버리지(distributional coverage)가 저하됩니다.

역방향 확산 궤적(reverse diffusion trajectory) 전반에 걸쳐 일관성-커버리지 트레이드오프를 어떻게 제어할 것인가에 대한 중요한 격차가 존재합니다. 기존의 직관은 CFG를 고정된 시간에서의 분포 틸트(fixed-time distributional tilt)로 취급하지만, 본 논문은 CFG에 의해 유도된 실제 분포가 특정 단계에서의 가이드된 점수 필드(guided score field)에 의해 주어진 고정 시간 틸트 분포와 단순히 일치하지 않음을 보여줍니다. 대신, 최종 생성 분포는 전체 역방향 궤적의 누적 결과입니다. 따라서 클린 엔드포인트(clean endpoint, 예: 특정 조건 일치도와 데이터 분포 근접성 사이의 균형)에서 지정된 원하는 트레이드오프는 프로세스 전반에 적용되는 상수 가이던스 가중치 $w$로 직접 변환되지 않습니다. CFG 튜닝이 어려운 이유는 가이던스 스케줄과 최종 분포 사이의 관계가 비국소적(non-local)이고 암시적(implicit)이며, 이로 인해 샘플로부터 직접적으로 일관성-커버리지 목적 함수를 추정하기 어렵기 때문입니다.

방법론

저자들은 가이드된 샘플러에 의해 유도된 실제 분포를 명시적으로 타겟팅하여 CFG 스케줄을 최적화하는 정보 이론적 프레임워크를 제안합니다.

1. 정보 이론적 목적 함수

본 방법의 핵심은 실제 CFG 유도 분포 $q^w_0(x_0|y)$와 "클린 엔드포인트 참조" 분포 $q^\lambda_{0,clean}(x_0|y)$ 사이의 순방향 쿨백-라이블러(Kullback-Leibler, KL) 발산을 최소화하는 목적 함수입니다.

• 참조 분포: $q^\lambda_{0,clean}(x_0|y) \propto p_0(x_0)p_0(y|x_0)^\lambda$로 정의되며, 여기서 $\lambda$는 참조 파라미터로서 원하는 트레이드오프를 지정합니다. $p_0(x_0)$ 항은 참조를 원래의 데이터 분포에 고정하며, $\lambda$는 조건 일치성에 대한 가중치를 조절합니다.
• 분해: $KL(q^w_0 \parallel q^\lambda_{0,clean})$을 최소화하는 것은 두 가지 해석 가능한 항으로 분해됩니다:
  1. 일관성 항 (Consistency Term): $-\lambda \mathbb{E}[\log p_0(y|x_0)]$로, 조건과의 정렬을 보상합니다.
  2. 커버리지 항 (Coverage Term): $KL(q^w_0 \parallel p_0)$로, 원래의 클린 데이터 분포로부터의 이탈을 처벌합니다.
• 분해: $KL(q^w_0 \parallel q^\lambda_{0,clean})$을 최소화하는 것은 두 가지 해석 가능한 항으로 분해됩니다:
  1. 일관성 항 (Consistency Term): $-\lambda \mathbb{E}[\log p_0(y|x_0)]$로, 조건과의 정렬을 보상합니다.
  2. 커버리지 항 (Coverage Term): $KL(q^w_0 \parallel p_0)$로, 원래의 클린 데이터 분포로부터의 이탈을 처벌합니다.

2. 궤적 수준 추정 (Trajectory-Level Estimation)

유도된 분포 $q^w_0$는 암시적이며 생성된 궤적을 통해서만 가용하기 때문에, 저자들은 명시적인 밀도 추정 없이 목적 함수를 추정하기 위한 궤적 수준의 항등식을 도출합니다.

• 일관성 추정기: 드 브루인(de Bruijn) 유형의 항등식을 사용하여, 일관성 항을 점수 차이 $s^{diff}_t = s^{con}_t - s^{un}_t$와 가이드된 점수 필드의 발산 및 내적을 포함하는 확률 흐름 궤적을 따르는 적분으로 표현합니다.
• 커버리지 추정기: 마찬가지로, 커버리지 KL은 궤적을 따르는 적분으로 재작성되어, 점수 평가($s^{un}_t, s^{con}_t$)와 생성된 샘플만을 사용하여 추정할 수 있게 합니다.
• 이산 최적화: 연속적인 목적 함수는 샘플링 그리드 상에서 이산화됩니다. 저자들은 현재의 스케줄 하에서 궤적을 생성하고, 이산 목적 함수의 그래디언트를 기반으로 제안된 업데이트를 계산하며, 새로운 스케줄 하에서의 리샘플링이 추정된 손실을 감소시키는 경우에만 업데이트를 수락하는 반복적 최적화 알고리즘(SGD와 유사한 리샘플링 체크 포함)을 사용합니다.

주요 기여

1. 이론적 프레임워크: 본 논문은 CFG가 고정 시간 밀도 틸트가 아닌 궤적 수준의 문제로서 최적화되어야 함을 입증합니다. 또한 클린 엔드포인트 틸트 분포와 실제 CFG 유도 분포 사이의 불일치를 공식화합니다.
2. 목적 함수 정식화: 클린 엔드포인트 참조를 사용하여 일관성과 커버리지를 균형 있게 조절하는 KL 기반 목적 함수를 도입하며, 이를 추정 가능한 일관성 및 커버리지 항으로 분해합니다.
3. 궤적 추정기: 명시적인 밀도 추정을 우회하여 샘플과 점수 평가로부터 이러한 정보 이론적 양을 직접 추정하는 공식을 도형합니다.
4. 적응형 스케줄 최적화: 노이즈 레벨에 따라 비균일한 가이던스 가중치를 학습하는 알고리즘을 개발하였으며, 이를 통해 최적의 스케줄은 상수가 아니라 역방향 궤적 전반에 걸쳐 크게 변한다는 것을 입증했습니다.

실험 결과

방법론은 ImageNet-512 (EDM-XXL 사용) 및 COCO 텍스트-이미지 (SD-XL 사용)에서 평가되었습니다.

• ImageNet-512: 학습된 적응형 스케줄은 상수 가이던스에 비해 우수한 정밀도-재현율(precision-recall) 프런티어를 달성했습니다. 구체적으로, 유사한 정밀도 수준에서 재현율(분포 커버리지)을 개선했습니다. 가장 좋은 적응형 스케줄은 FID 1.45를 달성하여, 수동으로 설계된 구간 가이던스 베이스라인(FID 1.40)과 경쟁할 만한 수준이었으며, 최상의 상수 가이던스 베이스라인(FID 1.83)보다 유의미하게 뛰어났습니다.
• COCO (SD-XL): 매칭된 평균 가이던스 강도($\bar{w} = 5, 7, 9$)에 대해, 학습된 스케줄은 상수 가이던스보다 일관되게 높은 CLIP 점수(텍텍스트-이미지 일관성)와 낮은 FID(이미지 품질)를 달성했습니다. 특히, 적응형 스케줄은 LPIPS 점수(프롬프트 내 변이)를 유지하거나 개선함으로써, 품질과 일관성의 이득이 다양성의 희생으로 오지 않았음을 보여주었습니다.
• 스케줄 분석: 학습된 스케줄은 일관된 질적 패턴을 보였습니다: 고노이즈 영역에서는 약한 가이던스, 선택된 중간 노이즈 범위에서는 강한 가이던스, 그리고 저노이즈 영역에서의 선택적 활성화를 나타냈습니다.
• 절제 연구 및 시각화: 단계별 절제 연구를 통해 고노이즈 가이던스는 주로 전역적 레이아웃을 변경하고, 저노이즈 가이던스는 국소적 디테일에 영향을 미친다는 것을 밝혔습니다. 궤적 시각화 결과, 강한 상수 가이던스는 잘못된 구조를 조기에 "고정(lock in)"할 수 있는 반면(예: 4개 대신 5개의 컵을 생성), 적응형 스케일은 이러한 결정을 지연시켜 모델이 모호성을 올바르게 해결할 수 있도록 함을 보여주었습니다.

의의 및 주장

본 논문은 CFG를 정적인 스칼라 제어로 취급하는 것이 차선책임을 주장합니다. 왜냐하면 가이드된 역방향 역학은 고정 시간 틸트 해석과는 근본적으로 다른 분포를 유도하기 때문입니다. 제안된 방법은 클린 엔드포인트 참조를 향해 실제 샘플러 유도 분포를 최적화함으로써, 조건 일관성과 분포 커버리지 사이의 더 나은 트레이드오프를 달 achieves 합니다.

저자들은 이 접근 방식이 확산 모델을 재학습할 필요가 없으며, 사전 학습된 모델을 사용하여 샘플링 스케줄을 최적화한다는 점을 강조합니다. 결과는 가이던스 적용의 타이밍이 그 크기만큼 중요하다는 것을 시사합니다. 학습된 스케줄은 효과적인 가이던스가 비균일하며, 전역 구조를 방해하는 고노이즈 레벨에서의 과도한 개입을 피하고, 최소한의 방해로 조건 정렬을 개선하는 곳에 집중한다는 것을 보여줍니다. 이는 휴리스틱한 CFG 가중치 튜닝에 대한 원칙적인 정보 이론적 대안을 제공합니다.