🤖 machine learning

Adversarial Learning of Classifier-Free Guidance Schedules

이 논문은 텍스트-이미지 생성에서 정적 및 휴리스틱 방식보다 우수한 성능을 보이기 위해, 문제를 밀도 비율 추정(density ratio estimation)으로 구성함으로써 확산 시간, 조건부, 노이즈 샘플의 함수로서 classifier-free 가이던스 스케줄을 동적으로 최적화하는 적대적 학습 프레임워크를 제안한다.

원저자: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

게시일 2026-08-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 당신의 말로 설명된 그림을 그리는 로봇을 가르치려 한다고 상상해 보세요. 당신은 "검은 개가 지도 위에서 잠자고 있는 모습을 그려줘"라고 말합니다. 그러자 로봇은 TV 노이즈 같은 정적(static)으로 가득 찬 빈 캔버스에서 시작합니다. 로봇은 그 후 이 노이즈를 단계적으로 천천히 정리하며, 그 눈을 선명한 이미지로 바꿔 나갑니다. 이것이 현대적인 "확산(diffusion)" 모델이 작동하는 방식입니다. 하지만 여기서 까다로운 점이 있습니다. 로봇이 당신의 말을 잘 듣도록, 즉 단순히 무작위의 개나 무작위의 지도를 그리는 것이 아니라 당신의 지시를 따르도록 하기 위해 약간의 밀어주는 힘이 필요합니다. 이 밀어주는 힘을 "가이던스(guidance)"라고 부릅니다. 이것은 마치 투어 가이드가 목줄을 잡고 있는 것과 같습니다. 가이드가 너무 살살 당기면 로봇은 길을 잃고 당신의 지시를 무시하게 됩니다. 반대로 가이드가 너무 세게 당기면 로봇은 혼란에 빠져 이미지가 과포화되거나 이상해지며, 혹은 현실의 만화 버전처럼 보일 수도 있습니다.

오랫동안 과학자들은 "원 사이즈 피트 올(one-size-fits-all, 일률적인)" 방식을 사용해 왔습니다. 즉, 그림을 그리는 전체 과정 동안 가이드의 당기는 힘을 하나의 고정된 숫자로 설정하는 것입니다. 이는 마치 투어 가이드에게 산책의 첫 초부터 마지막 초까지 똑같은 힘으로 당기라고 명령하는 것과 같습니다. 이 방식도 어느 정도 효과는 있었지만, 그림의 각 단계마다 필요한 도움의 양이 다르기 때문에 종종 결과가 엉망이 되곤 했습니다. 어떤 부분은 부드러운 자극이 필요하고, 어떤 부분은 단호한 손길이 필요합니다. 이 분야의 큰 질문은 이것이었습니다: 우리는 가이드가 특정 순간에 로봇이 무엇을 하고 있는지에 따라 동적으로 당기는 강도를 조절하도록 가르칠 수 있을까?

이 논문은 로봇의 가이드에게 어떻게 당길지를 가르치는 영리한 새로운 방법을 제안합니다. 저자들은 인간이 언제 세게 당기고 언제 살살 당길지에 대한 스케줄을 수동으로 설계하는 대신, 로봇이 "진짜와 똑같은 것을 맞히기" 게임을 통해 이를 학습하도록 했습니다. 그들은 "판별기(discriminator, 똑똑한 심판)"를 설정하여, 실제 사진과 로봇이 현재 그리고 있는 그림 사이의 차이점을 구별하도록 했습니다. 그러면 로봇의 가이드는 로봇이 그저 무작위의 개나 지도를 그리는 것이 아니라, 당신의 말에 귀를 기울이도록 당기는 힘을 조절하는 법을 배웁니다. 이 게임을 통해 가이드는 이미지를 만드는 매 단계마다, 그리고 당신이 준 특정 단어와 특정 이미지에 맞춰 정확히 얼마나 당겨야 하는지를 배우게 됩니다. 결과는 이 방법이 기존의 고정된 방식보다 훨씬 더 사실적인 이미지를 만들 뿐만 아니라, 당신의 원래 설명에도 훨씬 더 밀접하게 부합한다는 것을 보여줍니다.

"일률적인" 목줄의 문제점

공원에서 개와 함께 산책하고 있다고 상상해 보세요. 때때로 개는 차분해서 느슨한 목줄로 산책할 수 있습니다. 하지만 다른 때는 개가 다람쥐를 발견하여 길로 뛰어들지 못하게 하려고 꽉 쥔 손길이 필요합니다. 만약 산책 내내 목줄의 팽팽함을 똑같이 유지한다면, 개를 교통사고 위험에 빠뜨리거나(너무 느슨함) 개의 목을 조르게 될(너무 팽팽함) 수도 있습니다.

AI 이미지 생성의 세계에서 이 "목줄"은 가이던스 가중치(흔히 $\omega$ 라고 불림)입니다. 수년 동안 연구자들은 이미지를 생성하는 내내 보통 7.5 정도의 일정한 값을 사용해 왔습니다. 이 방식은 작동은 하지만 완벽하지는 않습니다. 때로는 AI가 너무 흥분하여 색상이 네온처럼 밝고 과포화되기도 하며, 다른 때에는 당신의 프롬프트(지시어)의 세부 사항을 무시하기도 합니다.

과학자들은 이를 해결하기 위해 "처음에는 세게 당기고, 중간에는 살살 당겨라"와 같은 수동 규칙인 "스케줄"을 만들어 보았습니다. 하지만 이러한 규칙은 일반적인 지도와 같아서, 당신의 개가 치와와인지 그레이트 데인인지는 알지 못합니다. 이 규칙들은 프롬프트가 얼마나 복잡한지, 혹은 이미지가 현재 어떤 모습인지와 상관없이 모든 이미지에 동일한 규칙을 적용합니다.

새로운 전략: "진짜 vs 가짜" 게임

이 논문의 저자들은 추측하는 것을 멈추고 대신 AI가 게임을 통해 규칙을 배우도록 하기로 결정했습니다. 그들은 두 네트워크 사이의 '쫓고 쫓기는 게임'과 같은 적대적 학습(adversarial learning) 개념을 사용했습니다.

생성기 (The Generator, 예술가): 이미지를 만들고 매 단계에서 목줄을 얼마나 세게 당길지 결정하는 부분입니다.
판별기 (The Discriminator, 심판): 이미지를 보고 "이것이 데이터셋에서 가져온 실제 사진인가, 아니면 AI가 현재 시도 중인 결과물인가?"를 판단하도록 훈련된 똑똑한 비평가입니다.

여기에 마법 같은 기술이 있습니다. 저자들은 AI의 "가이드된" 이미지가 매 순간 실제 사진의 분포와 완벽하게 일치하기를 원합니다. 그들은 이를 **한계 일관성(marginal consistency)**이라고 부릅니다.

예술가에게 가르치기 위해 그들은 다음과 같은 루프를 설정했습니다:

심판은 실제 사진과 AI의 현재 "가이드된" 사진을 살펴봅니다.
심판은 둘을 구별하려고 노력합니다.
예술가는 심판을 속이기 위해 자신의 가이던스 가중치를 조절하려고 노력합니다.
만약 심판이 차이를 구별하지 못한다면, 예술가는 일을 잘하고 있는 것입니다.

이 게임을 수행함으로써, 예술가는 동적인 스케줄을 학습합니다. 예술가는 "고양이"와 같은 단순한 프롬프트에는 부드럽게 당겨야 할 수도 있지만, "지도 위에서 잠자고 있는 검은 개"와 같은 복잡한 프롬프트의 경우, 개의 털이나 지도의 세부 사항이 형성되는 단계에 따라 다르게 당겨야 한다는 것을 배웁니다.

연구 결과

연구팀은 다양한 크기의 모델을 사용하여 표준적인 텍스트-이미지 작업 데이터셋(MS-COCO)에서 이 새로운 방법을 테스트했습니다. 그들은 자신들의 "학습하는 가이드"를 기존의 상수 목줄 및 수동 스케줄과 비교했습니다.

결과는 유망했습니다. 그들의 방법인 GAN + MC(Marginal Consistency를 적용한 Generative Adversarial Network)는 일관되게 인간이 더 선호하는 이미지를 생성했습니다. 구체적으로는 다음과 같습니다:

더 나은 정렬(Alignment): 이미지가 텍но 프롬프트와 더 잘 일치했습니다. 예를 들어, "지도가 그려진 책 위에 누워 있는 검은 개"를 그려달라는 요청을 받았을 때, 이 방법을 사용한 AI는 실제로 개가 책과 상호작용하는 모습을 그렸지만, 다른 방법들은 세부 사항을 놓치거나 개를 평범하게 만드는 경우가 있었습니다.
더 높은 미적 점수: 인간 평가자들에게 이미지가 더 아름답고 자연스럽게 보였습니다.
트레이드오프(Trade-off): 작은 단점도 있었습니다. 이미지 통계가 실제 사진과 얼마나 유사한지를 측정하는 지표인 "FID" 점수는 이 방법이 일부 베이스라인 모델들에 비해 약간 높았습니다(즉, 성능이 낮았습니다). 저자들은 이것이 적대적 학습과 보상 신호를 사용하는 데서 오는 알려진 부작용이라고 설명합니다. 즉, 모델이 훈련 데이터의 정확한 통계적 지문을 맞추는 것보다 "멋져 보이고" 프롬프트에 부합하는 것을 우선시하기 때문입니다. 하지만 인간이 실제로 무엇을 '좋아하는가'의 관점에서는 그들의 방법이 승리했습니다.

이것이 왜 중요한가

이 논문은 우리가 AI가 어떻게 그림을 그려야 하는지에 대한 규칙을 직접 설계할 필요가 없다는 점을 시사합니다. 대신, AI가 창조의 매 순간마다 완벽한 "목줄 긴장도"를 스스로 학습할 수 있는 시스템을 구축할 수 있습니다.

저자들은 이 방식이 훌륭하게 작동하지만 몇 가지 한계가 있다는 점도 언급했습니다. 훈련된 "가이드"는 그것이 훈련된 AI 모델의 유형에 특화되어 있어, 이 가이드를 가져다가 훈련 없이 완전히 다른 로봇에 바로 사용할 수는 없습니다. 또한 훈련 과정이 복적이며 세밀한 균형 조절이 필요합니다. 하지만 현재로서는, "진짜 vs 가짜" 게임을 통해 AI가 스스로 가이던스 스케줄을 학습하게 하는 것이 AI 예술을 우리의 말에 더 순종적이고 우리의 눈에 더 아름답게 만드는 강력한 방법임을 보여줍니다.

기술 요약: 분류기-자유 가이던스 스케줄의 적대적 학습

문제 정의
현대의 텍스트-이미지(T2I) 확산(Diffusion) 및 플로우 매칭(Flow Matching) 모델은 높은 이미지 충실도와 프롬프트 정렬을 달𝙖 achieve하기 위해 분류기-자유 가이던스(Classifier-Free Guidance, CFG)에 크게 의존한다. 일반적인 관행은 모든 타임스텝, 샘플, 그리고 컨디셔닝 입력에 대해 정적이고 전역적인 가이던스 가중치( $\omega \approx 7.5$ )를 사용하는 것이다. 저자들은 이러한 정적 접근 방식이 최적이 아니라고 주장한다. 즉, 확산 궤적의 서로 다른 상태는 다양한 수준의 가이던스를 필요로 할 수 있으며, 일정한 높은 가중치는 과포화(over-saturation)와 같은 아티팩트를 유발할 수 있다. 시간 가변적 스케줄이 존재하기는 하지만, 이는 대개 수동으로 설계되며, 애플리케이션에 따라 달라지고, 특정 텍스트 프롬프트의 복잡성이나 현재의 노이즈가 섞인 샘플에는 무관하다. 동적 가이던스를 학습하려는 이전의 시도들(예: Galashov et al., 2026)은 샘 품질(FID)과 텍스트 정렬 사이의 균형을 맞추는 데 어려움을 겪었으며, 목적 함수의 높은 분산으로 인해 정렬 지표에서 상수 CFG를 능가하는 데 자주 실패했다.

방법론
본 논문은 확산 시간( $t$ ), 컨디셔닝( $c$ ), 그리고 현재의 노이즈가 섞인 샘플( $x_s$ )의 함수로서 가이던스 스케줄을 학습할 것을 제안한다. 핵심적인 이론적 변화는 엄격한 *자기 일관성(self-consistency)*에서 더 약한 한계 일관성(marginal consistency) 조건으로 이동하는 것이다. 목표는 샘플링 궤적을 따라 모든 타임스텝 $t$ 에서 가이드된 입자들의 주변 분포( $p_{s,\omega}^t$ )가 실제 데이터 분포( $p_t$ )와 일치하도록 보장하는 것이다.

이를 강제하기 위해, 저자들은 문제를 생성적 적대 신경망(GAN) 프레임워크 내의 밀도 비율 추정(density ratio estimation) 작업으로 구성한다:

적대적 목적 함수:
- 판별기 ( $d_\phi$ ): "실제" 주변 샘플(시간 $t$ 에서의 데이터 분포로부터 직접 추출된 것)과 "가짜" 가이드 샘플(현재 가이던스 가중치를 사용하여 시간 $s$ 에서 $t$ 로 가이드된 단계를 거쳐 생성된 것)을 구별하도록 학습된다. 판별기는 로그 밀도 비율 $\log(p_t(x_t) / p_{s,\omega}^t(x_t))$ 를 추정한다.
- 생성기 (가이던스 네트워크 $\omega_\psi$ ): 최적의 가이던스 가중치 $\omega$ 를 예측하는 경량 멀티 레이어 퍼셉트론(MLP)이다. 이는 판별기의 출력을 최대화하도록(즉, 추정된 KL 발산을 최소화하도록) 학습되어, 결과적으로 실제 주변 분포와 일치하는 샘플을 생성하도록 학습된다.
네트워크 파라미터화:
- 계산 효율성과 견고성을 보장하기 위해, 가이던스 네트워크는 고차원의 로우(raw) 잠재 변수를 입력으로 받지 않는다. 대신, 조건부 속도의 로그 노름(log-norm), CFG 방향, 잠재 변수와 가이던스 방향 사이의 코사인 유사도, 데이터 매니폴드까지의 로그 거리 등 좌표 불변 기하 통계량을 활용한다.
- 또한, 네트워크는 추론 시 사용되는 더 작은 스텝 사이즈로의 매끄러운 보간을 용이하게 하기 위해 타임스텝의 푸리에 임베딩(Fourier embeddings)을 포함한다.
손실 함수:
- 판별기 손실: 매끄러운 비율 추정을 보장하기 위해 R1 그래디언트 페널티를 포함한 표준 이진 교차 엔트로피를 사용한다.
- 생성기 손실: 세 가지 항으로 구성된다:
  - 적대적 손실: 생성된 샘플을 구별하는 판별기의 능력을 최소화한다.
  - 정규화: 가이던스 가중치의 폭주나 과잉 교정을 방지하기 위한 $L_2$ 페널티.
  - 보상 손실: 텍스트 정렬을 명시적으로 향상시키기 위해 보상 함수(예: CLIP 점수)의 음의 기댓값을 사용한다.
학습 전략:
- 학습은 두 가지 시간 척도 업데이트 규칙(Two-Time-Scale Update Rule, TTUR)을 사용하는 적대적 패러다임을 따른다.
- 결정적으로, 이 방법은 학습 중 "실제" 경로와 "가짜" 경로에 대해 독립적인 이미지-컨디셔닝 쌍을 사용한다. 이는 판별기가 단일 궤적 내의 특정 노이즈 패턴을 식별하는 것이 아니라, 가이드된 입자들의 분포가 전역 데이터 분포와 일치하는지를 평가하도록 강제한다.

주요 기여

한계 일관성 공식화: 저자들은 가이던스 스케줄을 한계 일관성 조건에 기반하여 학습할 것을 제안하며, 이를 통해 가이드된 분포가 모든 타임스텝에서 실제 데이터 분포와 일치하도록 장려한다. 이는 더 엄격한 자기 일관성을 강제하는 것보다 완화된 접근이다.
가이던스를 위한 적대적 프레임워크: 밀도 비율을 추정하는 판별기를 사용하여 동적이고 상태 의존적인 가이던스 스케일을 예측하는 경량 생성기를 학습시키는 GAN 기반 접근 방식을 도입한다.
경험적 우월성: 제안된 방법은 T2I 벤치마크에서 상수 가이던스, 휴리스틱 동적 스케줄(Limited Interval Guidance 및 Clamp-linear 등), 그리고 이전의 학습된 가이던스 방법(MMD 기반)보다 뛰어난 성능을 보이는 것으로 나타났다.

결과
MMDiT-XS (740M) 및 MMDiT-S (1.05B) 백본을 사용하여 MS-COCO 2014 데이터셋 (512x512)에서 평가하였다:

정렬 및 품질: 제안된 "GAN + MC" 방법은 상수 CFG 및 휴리스틱 베이스라인에 비해 CLIP(텍스트 정렬), Aesthetic, HPSv2 (Human Preference Score), PickScore에서 일관되게 우수한 점수를 달성했다.
FID 트레이드오프: 이 방법은 일부 베이스라인에 비해 FID(Fréchet Inception Distance)가 미세하게 증가하는 결과를 보인다. 저자들은 이를 높은 가이던스 영역에서 Inception-v3 통계와 인간의 미적 선호도 사이의 알려진 불일치 때문이라고 설명하며, 본 방법이 시맨틱 특징과 시각적 "팝(pop)"을 우선시한다고 언급했다.
질적 개선: 시각적 결과는 복잡한 프롬프트에 대한 더 나은 준수 능력을 보여주며, 베이스라인 방법들이 단순화하거나 생략하기 쉬운 미묘한 디테일(예: 객체 간의 특정 상호작 작용)을 포착해 낸다.
절제 연구(Ablations): 현재의 노이즈가 섞인 샘플( $x_s$ )을 가이던스 네트워크의 입력으로 추가하면 정렬 지표는 개선되지만 FID는 증가한다. 이는 시맨틱 정렬과 저수준 통계적 충실도 사이의 트레이드오프를 시사한다.

의의 및 한계
본 논문은 한계 일관성을 통해 동적이고 컨디셔닝에 의존적인 스케줄을 학습하는 것이 모델이 이미지 리얼리즘과 프롬프트 준수 사이의 균형을 더 잘 탐색할 수 있게 해준다고 주장한다. 이 접근 방식은 모델 용량에 따라 효과적으로 확장되며, 수동으로 설계된 스케줄보다 더 신뢰할 수 있는 가이던스 신호를 제공한다.

그러나 저자들은 몇 가지 한계를 인정한다:

학습 복잡성: 적대적 학습 절차는 복잡하며 TTUR과 같은 세심한 최적화 전략을 필요로 한다.
백본 특이성: 학습된 스케줄러는 사전 학습된 플로우 매칭 모델(예: MMDiT)의 국소적 기하 통계에 특화되어 있어, 재학습 없이 다른 아키텍처로 제로샷 전이가 불가능하다.
보상 신호: 현재 구현은 보상 항을 위해 CLIP에 의존하고 있으며, 저자들은 CLIP의 한계를 극복하기 위해 대안적인 보상 신호를 탐색하는 것이 향후 연구 방향이라고 언급했다.

"일률적인" 목줄의 문제점

새로운 전략: "진짜 vs 가짜" 게임

연구 결과

이것이 왜 중요한가

유사한 논문