🤖 AI

Improving Classifier-Free Guidance of Flow Matching via Manifold Projection

본 논문은 매니폴드 제약 조건을 갖는 호모토피 최적화 문제로 Classifier-Free Guidance 를 재해석하여 대규모 모델 전반에서 생성 충실도, 프롬프트 정렬 및 견고성을 향상시키기 위해 점진적 경사 하강법과 앤더슨 가속화를 통해 효율적으로 해결하는 훈련이 없는 방법을 Flow Matching 을 개선하기 위해 제안합니다.

원저자: Jian-Feng Cai, Haixia Liu, Zhengyi Su, Chao Wang

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jian-Feng Cai, Haixia Liu, Zhengyi Su, Chao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

특정 설명을 바탕으로 그림을 그려보라고 상상해 보세요. 예를 들어 "빨간 매트에 앉아 있는 고양이" 같은 설명입니다. 당신은 무엇이든 그릴 수 있는 매우 재능 있는 화가 (AI 모델) 를 가지고 있습니다. 하지만 때로는 그 화가가 약간 혼란을 겪거나 게으름을 피워, 일반적인 바닥 위에 일반적인 고양이를 그리곤 합니다.

이를 해결하기 위해 분류기 없는 안내 (Classifier-Free Guidance, CFG) 라는 기법을 사용합니다. 이는 일종의 "보정 인자"로 생각할 수 있습니다. 화가에게 구체적인 장면 ("빨간 매트에 있는 고양이") 을 그려달라고 요청하는 동시에, 일반적인 장면 ("그냥 고양이") 도 그려달라고 요청합니다. 그런 다음 두 그림 사이의 차이를 취해 이를 증폭시켜 최종 결과가 당신의 구체적인 요청에 더 가깝도록 밀어붙입니다.

문제는 이 "보정"이 현재는 대략적인 추측을 통해 이루어진다는 점입니다. 너무 세게 밀어붙이면 (높은 "안내 스케일"), 그림이 기이해지거나 과포화되거나 왜곡됩니다. 너무 약하게 밀어붙이면 지시를 무시하게 됩니다. 완벽한 밀어붙임 정도를 찾는 것은 손가락 위에 빗자루를 세워 균형을 맞추는 것과 같습니다. 까다롭고 특정 화가에 따라 달라집니다.

이 논문의 핵심 아이디어: "매니폴드 투영 (Manifold Projection)"

"Flow Matching 의 분류기 없는 안내를 매니폴드 투영을 통해 개선하기 (Improving Classifier-Free Guidance of Flow Matching via Manifold Projection)"라는 제목의 이 논문은 이러한 보정을 수행하는 더 지적인 방법을 제안합니다. 단순히 얼마나 세게 밀어붙일지 추측하는 대신, 그림을 그리는 과정을 산에서 특정 목적지에 도달하려는 등산가처럼 취급합니다.

간단한 비유를 사용한 상세 설명은 다음과 같습니다:

1. 문제: "예측 간격 (Prediction Gap)"

화가에게 두 가지 내부 지도가 있다고 상상해 보세요.

지도 A: "일반적인 고양이"가 사는 곳.
지도 B: "빨간 매트에 있는 고양이"가 사는 곳.

기존의 CFG 에서 화가는 지도 A 에서 지도 B 로 걸어갑니다. 하지만 화가가 완벽하지 않기 때문에, 그들이 지도 B 가 있다고 생각하는 위치와 실제 위치 사이에 "간격"이 존재합니다. 논문은 이를 "예측 간격" 이라고 부릅니다. 이 간격이 클수록 그림은 밀어붙이는 정도 (안내 스케일) 에 더 민감해집니다. 간격이 매우 크다면, 밀어붙이는 힘의 미세한 변화만으로도 그림이 절벽으로 떨어지게 됩니다.

2. 해결책: "매니폴드 (Manifold)" (보이지 않는 울타리)

저자들은 이상적인 이미지로 가는 경로가 단순히 직선이 아니라, 화가의 "일반적인"과 "구체적인" 내부 지도가 완벽하게 정렬되는 특정 곡선 경로 (즉, "매니폴드") 라는 사실을 깨달았습니다.

그들은 CFG-MP(매니폴드 투영) 라는 새로운 방법을 제안합니다.

비유: 화가가 목적지를 향해 걷고 있지만 경로에서 벗어나기 시작한다고 상상해 보세요. 방향을 단순히 추측하는 대신, 그들을 올바른 길에 머물게 하는 마법 같은 보이지 않는 울타리 (매니폴드) 가 있습니다.
작동 원리: 그림을 그리는 과정의 모든 단계에서 이 방법은 "우리는 여전히 '일반적인'과 '구체적인' 지시가 일치하는 경로 위에 있는가?"를 확인합니다. 화가가 길을 벗어났다면, 이 방법은 그들을 부드럽게 다시 경로 위로 밀어붙입니다. 이를 매니폴드 투영이라고 합니다.

3. 속도 높이기: "앤더슨 가속 (Anderson Acceleration)"

화가를 다시 경로 위로 확인하고 밀어붙이는 작업은 추가 시간과 에너지를 소모합니다. 이를 너무 느리게 수행하면 그림을 그리는 과정이 실용적일 만큼 너무 느려집니다.

이를 해결하기 위해 저자들은 앤더슨 가속 (CFG-MP+) 이라는 두 번째 트릭을 추가했습니다.

비유: 언덕을 오르는 중에 계속 미끄러진다고 상상해 보세요. 단순히 한 걸음만 내딛는 대신, 지난 세 걸음을 살펴보세요. 그 과거 데이터를 활용하여 앞으로 나아가는 가장 직접적이고 최선의 경로를 예측하고, 흔들리는 부분을 건너뛰세요.
결과: 이를 통해 시스템은 화가를 다시 가르치거나 무거운 장비를 추가할 필요 없이, 훨씬 더 빠르고 안정적으로 완벽한 이미지에 수렴할 수 있게 됩니다.

이 논문이 중요한 이유 (논문에 따르면)

이 논문은 "매니폴드 투영"과 "가속"을 사용함으로써 다음과 같은 효과를 얻는다고 주장합니다:

낮은 민감도: "완벽한" 안내 스케일을 찾는 것에 대해 덜 걱정해도 됩니다. 평소보다 조금 더 세게 또는 부드럽게 밀어붙여도 이 방법은 잘 작동합니다.
향상된 품질: 이미지들이 더 선명해지고, 색감이 더 좋아지며, 지시를 더 정확하게 따릅니다 (예: 물체 개수를 정확히 세거나 올바른 위치에 배치하는 것).
재학습 불필요: Stable Diffusion 3.5, Flux, DiT 와 같은 기존 강력한 AI 모델에 이 방법을 플러그인할 수 있으며, 새로운 것을 가르칠 필요가 없습니다. 이는 하드웨어 변경이 아닌 소프트웨어 업그레이드입니다.

요약

이 논문은 AI 예술 생성에 널리 사용되지만 까다로운 기법인 CFG 를 업그레이드합니다. AI 를 어떻게 조종할지 맹목적으로 추측하는 대신, 수학적으로 AI 가 "올바른 경로"에 머무르고 있는지 지속적으로 확인하고 부드럽게 보정합니다. 또한 이 보정이 속도를 늦추지 않도록 속도 향상 기능을 추가했습니다. 그 결과, 더 신뢰할 수 있고, 고품질이며, 제어가 쉬운 AI 생성 이미지가 만들어집니다.

기술 요약: 매니폴드 투영을 통한 흐름 매칭의 클래스프리 가이드 개선

문제 정의

클래스프리 가이드 (CFG) 는 확산 및 흐름 기반 모델에서 제어 가능한 생성을 위한 주된 메커니즘으로, 무조건부 및 조건부 예측 간의 선형 외삽을 통해 원하는 조건을 향해 샘플링을 유도합니다. 경험적 성공에도 불구하고, 표준 CFG 는 스칼라 가이드 스케일 $w$ 로 제어되는 휴리스틱 선형 외삽에 의존합니다. 이 접근법은 잘 알려진 트레이드오프를 보입니다: 작은 $w$ 값은 약한 조건부 정렬을 초래하는 반면, 큰 $w$ 값은 종종 과포화, 아티팩트, 그리고 다양성 손실을 유발합니다.

$w$ 의 선택은 매우 민감하며 모델에 의존적이어서, 일반적으로 임의의 튜닝이 필요합니다. 또한, 기존 개선 방법들은 특히 다음 사항에 대해 엄밀한 이론적 기반이 부족합니다:

흐름 매칭에서 표준 CFG 외삽이 근사하는 목적 함수.
수학적으로 최적의 가이드 스케일의 존재 및 정의.
"예측 격차"(조건부 및 무조건부 출력 간의 차이) 를 줄이는 것이 생성 품질과 견고성을 향상시키는 이유를 설명하는 이론적 메커니즘.

현재 방법들은 종종 확산 중심적이며, 샘플링이 속도장에 의해 정의된 연속 시간 상미분 방정식 (ODE) 을 따르는 흐름 매칭으로 직접 이전되지 않는 노이즈 스케줄 속성에 의존합니다.

방법론

저자들은 휴리스틱 외삽과 제약 최적화 간의 격차를 연결하는 최적화의 관점을 통해 CFG 샘플링을 재해석합니다.

1. CFG 의 최적화 기반 해석

본 논문은 흐름 매칭에서 이상적인 조건부 속도장이 일련의 평활화된 거리 함수의 기울기에 해당함을 보여줍니다. 구체적으로, 속도장은 잠재 변수를 스케일링된 목표 이미지 집합으로 유도합니다.

이론적 기반: 저자들은 조건부 이미지 집합 $K_y$ 와 무조건부 집합 $K_\emptyset$ 에 대한 평활화된 제곱 거리 함수를 정의합니다. 그리고 이상적인 속도장 $v^*_{t,y}$ 와 $v^*_{t,\emptyset}$ 이 이러한 거리 함수의 기울기 (정규화 항을 뺀 값) 임을 증명합니다.
호모토피 최적화: 샘플링 과정은 목표 매니폴드까지의 거리를 최소화하는 것을 목표로 하는 호모토피 최적화 문제로 재형성됩니다. 표준 CFG 는 이 목적 함수의 기울기에 대한 근사임이 입증됩니다.
오차 분해: CFG 의 근사 오차는 고유 모델 오차와 $(w^* - w)^2 \times \text{예측 격차}^2$ 에 비례하는 항으로 분해됩니다. 이는 가이드 스케일에 대한 민감도가 예측 격차의 크기에 의해 지배됨을 보여줍니다. 따라서, 최적의 $w$ 를 찾는 것보다 예측 격차를 제거하는 것이 이론적으로 더 효과적입니다.

2. CFG-MP: 매니폴드 투영 샘플링

예측 격차를 완화하기 위해, 저자들은 매니폴드 제약 $M_t = \{z \mid v_\theta(t, z, y) = v_\theta(t, z, \emptyset)\}$ 을 부과하는 CFG-MP를 제안합니다.

수식화: 샘플링 업데이트는 투영 경사 하강 (PGD) 단계로 재형성됩니다. 단순한 오일러 단계 대신, 이 방법은 경사 하강 단계를 수행한 후 매니폴드 $M_t$ 로 투영합니다.
구현: $M_t$ 로의 투영에 대한 폐쇄형 해가 없으므로, 저자들은 증분 경사 하강 방식을 구현합니다. 훈련된 네트워크 $v_\theta$ 를 사용하여 이상적인 투영을 근사하고 순차적 업데이트를 수행합니다: 먼저 무조건부 속도에 기반한 단계를 취한 다음, 조건부 속도에 기반한 단계를 취합니다. 이 반복 과정은 모델을 재훈련하지 않고도 샘플링 중 예측 격차를 효과적으로 줄입니다.

3. CFG-MP+: 앤더슨 가속

반복적 투영의 계산 오버헤드를 해결하기 위해, 저자들은 매니폴드 투영 단계에 **앤더슨 가속 (AA)**을 통합하여 **CFG-MP+**를 도출합니다.

메커니즘: 투영 단계는 고정점 반복으로 간주됩니다. AA 는 잔차 노름을 최소제곱법으로 최소화하면서 과거 평가들의 선형 외삽으로 다음 반복을 계산하여 수렴을 가속화합니다.
효율성: 이 접근법은 표준 투영 단계에 필요한 것 이상의 추가 모델 평가를 요구하지 않으면서도 수렴 속도와 안정성을 크게 향상시킵니다.

주요 기여

최적화 기반 해석: 본 논문은 CFG 에 대한 원칙적인 해석을 제공하여, 조건부 속도장이 정규화된 거리 목적 함수의 기울기에 해당함을 보여줍니다. 이를 통해 근사 오차를 최소화하는 최적 가이드 스케일을 공식적으로 정의할 수 있습니다.
민감도에 대한 이론적 분석: 저자들은 가이드 스케일 민감도를 예측 격차와 명시적으로 연결하는 오차 분해를 유도합니다. 이는 조건부 및 무조건부 예측 간의 불일치를 줄이는 것이 견고성을 향상시키는 이유에 대한 이론적 근거를 제공합니다.
CFG-MP 알고리즘: 조건부 샘플링을 제약 최적화 문제로 공식화한 새로운 훈련 없는 샘플링 방법입니다. 예측 격차가 최소화되는 매니폴드로 샘플링 궤적을 반복적으로 투영하기 위해 증분 경사 하강 방식을 사용합니다.
CFG-MP+ 가속: 매니폴드 투영 과정을 안정화하고 가속화하기 위해 앤더슨 가속을 통합하여, 반복 방법의 실제 안정 영역을 실질적으로 확대합니다.

실험 결과

저자들은 ImageNet 의 클래스-이미지 생성 (DiT-XL-2-256 사용) 과 Stable Diffusion 3.5 및 Flux-dev 를 사용한 텍스트-이미지 생성을 포함한 다양한 벤치마크에서 방법을 검증했습니다.

정량적 성능:
- ImageNet (DiT-XL-2-256): CFG-MP 와 CFG-MP+ 는 프리드 inception 거리 (FID) 와 인셉션 점수 (IS) 에서 바닐라 CFG 및 기타 변형 (Z-sampling, Re-sampling, FSG) 보다 현저히 우수한 성능을 보입니다. 특히, CFG-MP+ 는 $\omega=2.0$ 에서 CFG(D2F) 기준 대비 14.78 포인트의 IS 향상을 달성했으며, FSG 는 5.50 포인트였습니다.
- 텍스트-이미지 (SD3.5 및 Flux-dev): 이 방법들은 CLIP 점수, ImageReward (IR), PickScore, HPSv2 를 포함한 여러 지표에서 기준선 (CFG-0*, Rectified-CFG++) 보다 일관되게 우수한 성능을 보입니다. CFG-MP+ 는 HPSv2 와 IR 에서 특히 강력한 성능을 보여 인간 선호도와 더 잘 정렬됨을 나타냅니다.
- GenEval: 이 방법들은 카운팅, 색상 귀속, 공간 위치 지정과 같은 세분화된 구성 작업에서 우수한 성능을 입증합니다.
견고성 및 안정성:
- 이 방법들은 가이드 스케일에 대한 생성 품질의 민감도를 크게 줄입니다. CFG-MP+ 는 $w$ 가 증가함에 따라 다른 방법들이 저하되는 반면, 낮은 FID 성장 비율을 유지합니다.
- 제거 연구는 앤더슨 가속 방식 (특히 윈도우 크기 $m=1$ 및 감쇠 $\beta=1.0$ 사용) 이 견고하며 최소한의 튜닝이 필요함을 확인합니다.
- 정성적 결과는 선명도, 질감 보존, 색상 포화도의 향상과 흐림이나 과도한 평활화와 같은 아티팩트의 제거를 보여줍니다.

중요성 및 주장

본 논문은 흐름 매칭 모델에서 예측 격차의 관점을 통해 CFG 근사 오차에 대한 첫 번째 엄밀한 이론적 분석을 제공한다고 주장합니다. 휴리스틱 해석을 넘어 이동함으로써, 저자들은 샘플링 궤적의 무결성을 보존하기 위해 예측 격차를 최소화하는 것에 대한 원칙적인 근거를 확립합니다.

제안된 방법 (CFG-MP 및 CFG-MP+) 은 훈련이 필요 없는 (training-free) 것으로, 기존 사전 훈련된 모델에 재훈련 없이 적용할 수 있습니다. 이는 현재 제어 가능한 생성 워크플로우의 중요한 한계를 해결하는 가이드 스케일에 대한 생성 충실도 및 견고성을 체계적으로 개선하는 방법을 제공합니다. 저자들은 이 방법이 추가적인 고정점 반복을 도입하여 NFE(모델 평가 횟수) 를 증가시키지만, 샘플 품질과 안정성의 이점이 상당하다고 지적합니다. 또한 향후 연구는 예측 격차 완화 전략을 훈련 단계로 이동하거나 이러한 기법을 확산 모델에 적용하는 것을 탐구할 수 있다고 제안합니다.