🤖 machine learning

Analytic Distribution of Classifier-Free Guidance for Schedule Design

이 논문은 Classifier-Free Guidance 분포에 대한 정확한 해석적 경로 적분 표현을 유도하여 가이던스 스케줄이 샘플링에 미치는 영향을 밝히고, 이를 통해 확산 모델의 다양성-충실도 트레이드오프와 샘플링 효율성을 크게 향상시키는 제안된 Distribution-Guided CFG (DG-CFG) 스케줄을 제시한다.

원저자: Enze Jiang, Zheng Ma

게시일 2026-07-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Enze Jiang, Zheng Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 "모자를 쓴 고양이"와 같은 설명을 주면 로봇이 그림을 그리도록 가르치려 한다고 상상해 보세요. 로봇은 빈 캔버스에서 시작하는 것이 아니라, TV가 채널이 맞지 않을 때 나오는 것과 같은 혼란스러운 정적 노이즈(static noise)의 폭풍 속에서 시작합니다. 이 노이즈를 선명한 이미지로 바꾸기 위해, 로봇은 "확산 모델(diffusion model)"이라는 영리한 기술을 사용합니다. 이 과정을 마치 역재생되는 슬로 모션 영화처럼 생각해보세요. 로봇은 단계적으로 노이즈를 제거하여 결국 선명한 이미지가 나타나게 합니다.

하지만 까다로운 점이 있습니다. 로봇은 당신의 설명에 맞춰 무엇을 제거하고 무엇을 남겨야 할지 알아야 합니다. 단순히 노이즈를 제거하라고만 하면, 로봇은 무작위의 고양이나 무작위의 모자를 만들어낼 수도 있습니다. 이를 해결하기 위해 우리는 "클래시파이어 프리 가이던스(Classifier-Free Guidance, CFG)"라는 기술을 사용합니다. 로봇에게 두 개의 내면의 목소리가 있다고 상상해 보세요. 한 목소리는 모자를 쓴 고양이가 정확히 어떻게 생겼는지 아는 "전문가(Expert)"입니다. 다른 목소리는 고양이와 모자를 각각 따로는 알지만, 그 둘의 조합은 모르는 "일반인(Generalist)"입니다. CFG는 로봇에게 전문가의 말에 더 귀를 기울이고 일반인의 말에는 덜 귀를 기울이도록 지시하는 방식으로 작동합니다. 이 볼륨 조절기를 높이면 높일수록 그림이 당신의 설명과 더 일치하게 되지만, 너무 높게 올리면 그림이 이상해지거나, 채도가 너무 높아지거나, 다양성을 잃을 수 있습니다.

오랫동안 과학자들은 이 볼륨 조절기가 정확히 어떻게 작동하는지 이해하고 있다고 믿었습니다. 그들은 만약 당신이 볼륨을 특정 수준으로 설정하면, 로봇이 두 목소리를 고정된 비율로 혼합하여 최종 이미지를 만들어낼 것이라고 믿었습니다. 그러나 상하이 교통 대학교의 쟝 엔제(Enze Jiang)와 마 정(Zheng Ma)의 새로운 논문은 이 단순한 "혼합"이라는 아이디어가 사실 약간의 거짓말이라고 주장합니다. 그들은 로봇이 단순히 마지막에 두 목로를 한 번 섞는 것이 아니라, 노이즈가 제거됨에 따라 듣는 방식이 끊임없이 변하며, 각 단계에서 들리는 "볼륨"이 기존 이론이 놓쳤던 복잡하고 숨겨진 방식으로 누적된다는 것을 발견했습니다.

숨겨진 여정과 새로운 지도

논문의 저자들은 기존의 CFG를 이해하는 방식이 출발점과 목적지만을 보고 그 사이의 구불구불한 길은 무시한 채 자동차 여행을 이해하려는 것과 같다는 점을 깨달았습니다. 그들은 로봇이 노이즈를 정리하면서 거치는 정확한 여정을 지도화하기 위해 고급 수학(구체적으로 "확률 흐름 ODE(probability flow ODEs)")을 사용했습니다.

그들이 발견한 것은 놀라웠습니다. 그들은 최종 이미지가 단순히 두 목소리의 단순한 블렌딩이 아니라, 타겟 이미지가 "보정 계수(correction factor)"에 곱해진 결과라는 정밀한 수학적 공식을 도출했습니다. 이 계수는 로봇이 통과하는 길고 구불구불한 경로와 같습니다. 이 경로를 따라 로봇은 전문가가 원하는 것과 일반인이 원하는 것의 차이를 끊임없이 확인합니다. 만약 어느 지점에서 두 목소리가 강하게 의견 차이를 보인다면, 로봇은 최종 그림을 변화시키는 "패널티"를 지불해야 합니다.

논문은 단순히 일정한 볼륨을 설정하는 것(예를 들어 전체 과정 동안 볼륨을 "5"로 유지하는 것)이 실제로는 비효율적이라고 주장합니다. 왜 그럴까요? 로봇의 뇌 속의 "노이즈"는 균일하지 않기 때문입니다. 프로세스의 시작 단계에서는 이미지가 대부분 정적이며 노이즈가 큽니다. 마지막 단계에서는 이미지가 선명해지고 노이즈는 작아집니다. 저자들은 일정한 볼륨 조절기를 사용하는 것이 노이즈가 클 때(여행의 시작 부분)는 볼륨을 너무 높게 올리고, 노이즈가 작을 때(여행의 끝부분)는 너무 낮게 설정하는 실수를 범한다는 것을 보여줍니다. 이러한 불균형은 로봇이 이상하게 밝은 색상에 갇히거나 그림의 미세한 디테일을 잃게 만드는 원인이 됩니다.

해결책: 스마트하게 변하는 볼륨

이를 해결하기 위해 저자들은 DG-CFG(Distribution-Guided Classifier-Free Guidance)라고 불리는 더 스마트한 볼륨 조절 방법을 설계했습니다. 볼륨을 일정하게 유지하는 대신, 이 방법은 이미지 생성 과정의 매 단계마다 자동으로 볼륨을 조절합니다.

이것을 자동차의 스마트 크루즈 컨트롤처럼 생각해보세요. 길이 울퉁불퉁하면(높은 노이즈) 차는 속도를 줄이고 서스펜션을 조절합니다. 길이 매끄러우면(낮은 노이즈) 속도를 높이고 디테일에 집중합니다. DG-CFG도 이미지 생성기에 똑같이 적용됩니다:

노이즈의 균형을 맞춥니다: 로봇이 압도당하지 않도록 노이즈가 클 때는 볼륨을 낮춥니다.
신호에 집중합니다: 실제 이미지가 나타나기 시작하면 로봇이 디테일에 주의를 기울일 수 있도록 볼륨을 높입니다.
오류를 방지합니다: 수학적 계산이 까다로워지는 이미지 완성 직전 단계에서는 아주 약간 볼륨을 낮추어 로봇이 실수를 하는 것을 방지합니다.

이것이 실제로 효과가 있을까요?

저자들은 수학만 계산한 것이 아니라 실제로 테스트했습니다. 먼저, 정확한 답을 계산할 수 있는 작고 단순한 "토이(toy)" 모델을 구축했습니다. 이 토이 모델에 새로운 방법을 실행했을 때, 결과는 그들의 복잡한 수학 공식과 완벽하게 일치했으며, 이는 그들의 이론이 타당함을 증명했습니다.

그다음, 그들은 강력한 이미지 생성기인 Stable Diffusion 1.5를 테스트했습니다. 그들은 로봇에게 다양한 볼륨 설정(완만한 설정부터 극단적인 설정까지)을 사용하여 이미지를 그리도록 요청했습니다.

기존 방식 (Constant CFG): 상세한 이미지를 얻기 위해 볼륨을 높이면, 그림이 네온처럼 밝은 색상을 띠거나 이상하게 색이 바랜 질감을 보이는 등 보기 흉해지는 경우가 많았습니다.
새로운 방식 (DG-CFG): 동일한 높은 볼륨 설정에서도 이미지는 자연스러움을 유지했습니다. 색상이 과포화되지 않았고, 디테일은 날카로웠으며, 이미지는 더 사실적으로 보였습니다.

그들은 또한 로봇이 좋은 그림을 얻기 위해 몇 단계를 거쳐야 하는지도 측정했습니다. 그 결과, DG-CFG를 사용하면 기존 방식보다 더 적은 단계만으로도 높은 품질의 결과에 도달할 수 있음을 발견했습니다. 즉, 새로운 방법은 더 예쁜 그림을 만드는 데 뛰어날 뿐만 아니라, 더 빠르고 비용 효율적입니다.

핵심 요약

이 논문은 단순히 "볼륨을 다르게 조절해 보세요"라고 말하는 것이 아닙니다. 기존 방식이 왜 잘못되었는지, 그리고 어떻게 고칠 수 있는지 보여주는 수학적 지도를 제공합니다. 로봇의 노이즈 속 여정이 변화가 축적되는 경로라는 점을 이해함으로써, 저자들은 로봇을 더 세심하게 안내하는 스케줄을 만들어냈습니다. 그 결과, 더 다양하고, 색상 오류가 적으며, 컴퓨팅 자원을 덜 소모하면서도 고품질의 이미지를 생성할 수 있는 방법을 제시했습니다. 이는 AI의 세계에서 때때로 비결은 단순히 더 열심히 하는 것이 아니라, 정확한 시점에 올바른 목소리에 귀를 기울이는 '더 스마트하게' 일하는 것임을 상기시켜 줍니다.

기술 요약: 스케줄 설계를 위한 분류기-자유 가이던스(Classifier-Free Guidance)의 분석적 분포

문제 정의
분류기-자유 가이던스(Classifier-Free Guidance, CFG)는 가이던스 강도 파라미터 $\omega$ 를 통해 조건부 및 무조건부 스코어 함수를 혼합하는 확산 모델의 표준 메커니즘이다. 이는 경험적으로 성공적이지만, 근본적인 이론적 질문은 여전히 미해결 상태로 남아 있다: 즉, 결정론적인 CFG 역과정(reverse process)이 실제로 어떤 분포를 샘플링하는가 하는 점이다. 흔히 사용되는 휴리스틱은 CFG가 정규화된 곱 분포 $\tilde{r}_0 \propto p_0^\omega q_0^{1-\omega}$ 로부터 샘플링한다고 가정한다. 그러나 이러한 점별(pointwise) 해석은 전체 샘플링 궤적을 따르는 시간 의존적 스코어 섭동(perturbation)의 누적 효과를 포착하지 못한다. 기존의 이론적 연구들은 특정 실패 모드(예: 모드 붕괴, 과포화)를 설명하거나 휴리스틱을 제안하지만, 결정론적 확률 흐름 ODE(probability flow ODE) 하에서 유도된 분포에 대한 정확한 특성화를 제공하지는 않는다. 이러한 정확한 해석적 형태의 부재는 원칙적인 시간 의존적 가이던스 스케줄 설계를 저해한다.

방법론
저자들은 결정론적 확률 흐름 상미분 방정식(ODE) 프레임워크 내에서 CFG를 분석한다. 이들의 접근 방식은 세 가지 주요 단계로 구성된다:

이론적 유도:
- 이들은 가이드된 역과정을 스코어가 아핀 결합(affine combination) $s_\omega^t(x) = \omega \nabla \log p_t(x) + (1-\omega) \nabla \log q_t(x)$ 로 대체된 ODE로 정식화한다.
- 정규화된 곱 참조 분포 $\tilde{r}_t$ 에 대한 포커-플랑크 방정식(Fokker–Planck equation)을 유도함으로써, 조건부 스코어와 참조 스코어 사이의 불일치에서 발생하는 "상호작용 포텐셜(interaction potential)" 항을 식별한다.
- 특성 기반 분석(characteristic-based analysis)을 사용하여, 정지 시간(stopping time) $t_0$ 에서의 유도된 분포 $\hat{r}_{t_0}$ 에 대한 정확한 해석적 경로 적분(path-integral) 표현을 구한다. 이 유도는 상수 가이던스( $\omega(t) \equiv \omega$ )와 시간 의존적 가이던스( $\omega(t)$ )를 모두 다룬다.
스케줄 설계 (DG-CFG):
- 유도된 경로 적분 공식을 분석하면서, 저자들은 각 타임스텝에서의 유효 가이던스 가중치가 노이즈 스케줄 계수 $\beta(t)$ (VPSDE 설정 시)와 가이던스 편차 $\omega(t)-1$ 에 의해 조절됨을 관찰한다.
- 이들은 표준적인 상수 CFG가 $\beta(t)$ 가 수 차례의 오더(orders of magnitude)로 변함에 따라 고노이즈 영역에 가이던스를 과하게 가중치를 두어, 결과적으로 포화(saturation)와 다양성 손실을 초래함을 확인한다.
- 이를 교정하기 위해, 저자들은 경로 적분 기여도를 균형 있게 맞추도록 설계된 스케줄인 **분포 가이드 CFG (DG-CFG)**를 제안한다. 이 스케줄은 다음과 같이 구성된다:
  - $\beta(t)$ 의 비균일성을 보상함.
  - 의미 있는 신호가 있는 타임스텝에 집중하기 위해 신호 콘텐츠( $\sqrt{\bar{\alpha}_t}$ )에 따라 가중치를 부여함.
  - 저노이즈 영역( $\sigma_t \to 0$ )에서 스코어 근사 오차의 증폭을 완화하기 위해 $(1-\bar{\alpha}_t)$ 로 스케일링함.
- 최종 공식은 다음과 같다: $\omega(t) = 1 + C \cdot (\bar{\omega} - 1) \cdot \frac{(1-\bar{\alpha}_t)\sqrt{\bar{\alpha}_t}}{\beta(t)}$ .
실험적 검증:
- 토이 모델: 해석적 스코어를 가진 원 위의 이산 분포를 사용하여 이론을 검증하며, 경험적 샘플을 이론적 경로 적분 예측값과 비교한다.
- 대규모 평가: MS-COCO 2017 검증 세트를 사용하여 Stable Diffusion 1.5 (SD1.5)에서 DG-CFG를 평가하며, 다양한 가이던스 강도 및 샘플링 스텝 예산에 대해 상수 CFG 및 휴리스틱 베이스라인(Interval CFG, $\beta$ -CFG)과 비교한다.

주요 기여

정확한 해석적 분포: 본 논문은 상수 가이던스와 시간 의dependent 가이던스 모두에서 결정론적 CFG에 의해 유도된 분포에 대한 최초의 정확한 해석적 경로 적분 표현을 유도한다(정리 4.3 및 4.4). 이 공식들은 CFG가 단순히 곱 분포로부터 샘플링하는 것이 아니라, $\omega(t)-1$ 에 의해 가중치가 부여된 지수적 경로 적분 보정을 통해 타겟 분포를 수정함을 밝혀낸다.
원칙적인 스케줄 설계: 경로 적분 특성화를 바탕으로 저자들은 DG-CFG를 제안한다. 이 스케줄은 노이즈 스케줄의 비균일성, 신호 콘텐츠의 변화, 그리고 저노이즈 오차 증폭을 명시적으로 보정하여 가이던스의 시간적 기여도를 균형 있게 맞춘다.
경험적 검증: 이론은 예측된 분포가 경험적 샘플과 일치하는 토이 모델에서 엄격하게 검증되었다. SD1.5에서 DG-CFG는 높은 가이던스 강도에서도 베이스라인들이 저하되는 양상을 보이는 것과 달리, 향상된 견고성, 더 나은 색상 포화 제어, 그리고 우수한 다양성-충실도(diversity–fidelity) 트레이드오프를 보여준다.

결과

토이 모델: DDIM 샘플링으로부터 얻은 경험적 분포는 이론적 예측과 밀접하게 일치했다(전체 변동 거리(Total Variation distance) $\approx 1-2\%$ ). 시간 의존적 가이던스는 특히 높은 가이던스 강도( $\omega=9$ )에서 상수 CFG에 비해 모드 균형(Min-Max ratio)을 유의미하게 개선하여 주변부 모드의 붕괴를 방지했다.
Stable Diffusion 1.5:
- 높은 가이던스 성능: 높은 가이던스 강도( $\bar{\omega} \ge 15$ )에서 상수 및 휴리스틱 베이스라인은 심각한 색상 과포화와 품질 저하(음수의 ImageReward 점수)를 보였다. 반면, DG-CFG는 양수의 ImageReward 점수와 경쟁력 있는 FID/CLIP 점수를 유지했다.
- 포화 제어: DG-CFG는 베이스라인들이 실제 이미지 참조치를 크게 초과하는 것과 달리, 포화 지표를 실제 이미지 참조치에 훨씬 가깝게 유지했다.
- 효율성: 고정된 품질 분석에서 DG-CFG는 특정 ImageReward, CLIP, FID 목표에 도달하기 위해 모든 베이스라인보다 적은 샘플링 스텝(NFE)을 필요로 했다. 예를 들어, $\bar{\omega}=23$ 에서 ImageReward $\ge 0.2$ 를 달려하기 위해 가장 강력한 베이스라인은 16 스텝이 필요했던 반면, DG-CFG는 12 스텝만 필요했다.

의의 및 주장
본 논문은 그 주요 의의가 CFG를 이해하기 위한 이론적 토대를 제공하는 데 있다고 주장한다. "곱 분포 휴리스틱"을 넘어 정확한 경로 적분 특성화를 제시함으로써, 저자들은 왜 상수 가이던스가 실패하는지(경로 적분에서의 시간적 불균형)를 명확히 하고, 어떻게 이를 교정할 수 있는지를 밝힌다.

저자들은 DG-CFG가 단순한 휴리스틱이 아니라 유도된 분포 표현으로부터 직접 도출된 스케줄이라고 명시한다. 결과에 따르면, 이러한 원칙적인 접근 방식은 전형적인 포화 및 다양성 손실의 트레이드오프 없이도 더 강력한 가이던스 강도를 사용할 수 있게 하며, 결과적으로 고품질 조건부 생성을 위해 필요한 계산 비용(샘플링 스텝)을 줄여준다. 본 연구는 실패 모드에 관한 기존 연구들을 보완하며, 스코어 불일치의 축적을 설명하고 스케줄 설계를 가이드하는 통합적인 분석 프레임워크를 제공한다.

유사한 논문