🤖 machine learning

DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models

이 논문은 단일 작업 탐색과 다중 작업 통합을 분리하기 위해 온라인 정책 증류 (Online Policy Distillation) 를 활용하는 확산 모델용 통합 다중 작업 학습 패러다임인 DiffusionOPD 를 제안하며, 이는 다양한 벤치마크에서 최첨단 성능과 효율성을 달성하는 강화 학습에 대한 이론적으로 근거가 있고 분산이 낮은 대안을 제공한다.

원저자: Quanhao Li, Junqiu Yu, Kaixun Jiang, Yujie Wei, Zhen Xing, Pandeng Li, Ruihang Chu, Shiwei Zhang, Yu Liu, Zuxuan Wu

게시일 2026-05-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Quanhao Li, Junqiu Yu, Kaixun Jiang, Yujie Wei, Zhen Xing, Pandeng Li, Ruihang Chu, Shiwei Zhang, Yu Liu, Zuxuan Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

재능은 있지만 경험이 부족한 화가 (학생) 가 그림을 그리는 법을 가르치려 한다고 상상해 보세요. 문제는 이 화가가 완벽한 텍스트를 그리는 것, 그림을 아름답게 만드는 것, 장면 내 사물을 올바르게 배치하는 것 등 세 가지 매우 다른 기술을 동시에 습득해야 한다는 점입니다.

과거에는 이러한 모든 기술을 동시에 가르치려다 큰 실패를 겪었습니다. 화가에게 "아름답게 만들고" 동시에 "텍스트를 완벽하게 하라"고 지시하면 혼란에 빠졌고, 가르침들이 서로 충돌했습니다. 대안으로 한 가지 기술씩 차례로 가르치는 방법 (먼저 텍스트, 다음으로 아름다움, 마지막으로 배치) 은 너무 느렸으며, 세 번째 기술을 배울 때쯤이면 종종 처음 두 가지 기술을 잊어버리는 경우가 많았습니다.

DiffusionOPD는 이 화가를 훈련시키는 새로운, 더 지적인 방법입니다. 그 작동 원리를 간단한 단계로 나누어 설명해 보겠습니다.

1. "전문가 교사" 전략

학생에게 모든 것을 한 번에 가르치려 하기 대신, 연구자들은 먼저 세 명의 전문가 교사를 고용합니다.

교사 A는 텍스트 그리기의 대가입니다.
교사 B는 사물을 아름답게 만드는 대가입니다.
교사 C는 사물을 배치하는 대가입니다.

각 교사는 혼자 훈련하며 오직 자신의 특정 기술에만 집중합니다. 학생의 주의를 두고 다투지 않기 때문에 혼란 없이 각자의 분야에서 전문가가 됩니다.

2. "그림자 따라 하기" 기술 (On-Policy Distillation)

이제 학생이 스스로 그림을 그리기 시작합니다. 학생이 그림을 그리는 동안 단순히 추측하는 것이 아니라 교사들을 "그림자 따라 하기"합니다.

학생이 그림 그리기 과정에서 한 걸음을 내딛습니다.
관련 전문가 교사가 그 걸음을 보고 "이 특정 부분은 내가 이렇게 그렸을 것이다"라고 말합니다.
학생은 즉시 그 특정 걸음을 따라 합니다.

학생이 전체 그림을 그리는 동안 이 과정이 지속적으로 일어납니다. 학생은 사후에 무엇을 해야 하는지 지시를 받는 것이 아니라, 전문가들이 실제로 작업을 수행하는 모습을 보며 배웁니다.

3. 비결: "투명한" 수학 공식

이 논문에서 가장 큰 breakthrough 는 학생이 교사들로부터 배우는 방식입니다.

구식 방법 (PPO): 많은 정적 잡음을 통해 말하는 교사의 말을 듣고 배운다고 상상해 보세요. 전체적인 아이디어는 얻지만 세부 사항은 추측해야 하며, 모든 추측으로 인해 뇌가 피로해집니다. 이는 "잡음 많은" 수학을 사용하여 배우는 것과 같습니다.
DiffusionOPD 방식: 연구자들은 "투명한" 수학 공식을 발견했습니다. 확산 모델이 작동하는 방식이 예측 가능하기 때문에 (불규칙한 점프가 아닌 매끄러운 미끄럼틀처럼), 학생이 한 일과 교사가 했을 법한 일 사이의 정확한 차이를 계산할 수 있습니다.

이는 마치 학생이 손에 완벽하고 잡음 없는 청사진을 들고 있는 것과 같습니다. 추측할 필요가 없습니다. 교사의 해결책으로 가는 정확한 경로를 직접 볼 수 있고 그 길을 따라갈 수 있습니다. 이로 인해 학습이 훨씬 더 빠르고 안정적이 됩니다.

4. 왜 더 나은가

이 논문은 이 방법이 두 가지 주요 방식으로 우월함을 보여줍니다.

속도: 학생이 추측하거나 상충되는 지시를 처리하는 데 시간을 낭비하지 않기 때문에 훨씬 더 빠르게 배웁니다.
품질: 최종 그림은 학생이 모든 것을 한 번에 배우거나 하나씩 배웠을 때보다 모든 작업 (텍스트, 아름다움, 배치) 에서 더 뛰어납니다.

결론

DiffusionOPD는 완벽한 잡음 없는 지침서를 사용하여 학생 화가가 자신의 창의적 과정을 단계별로 안내하도록 세계적 수준의 전문가 팀을 고용하는 것과 같습니다. 이는 모든 것을 한 번에 하려는 혼란과 하나씩 배우는 과정에서 발생하는 기억 상실을 피하여, 훈련 속도가 더 빠르고 수행하는 모든 작업에서 더 뛰어난 AI 를 만들어냅니다.

기술 요약: DiffusionOPD

문제 제기

강화학습 (RL) 은 단일 목적 보상 신호 (예: 미적 요소 또는 텍스트 충실도) 에 대해 확산 기반 텍스트 - 이미지 모델을 최적화하는 데 효과적임이 입증되었습니다. 그러나 기존 방법들은 단일 모델이 동시에 여러 가지 잠재적으로 상충되는 목표를 충족해야 하는 다중 작업 설정에서는 어려움을 겪습니다. 현재 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

공동 최적화: 모든 작업을 동시에 훈련하는 것은 종종 작업 간 간섭과 작업 난이도 불균형을 초래합니다. 이는 더 쉬운 작업이 학습 역학을 지배하여 더 어려운 작업들의 신호를 억제합니다.
캐스케이드 RL: 작업을 순차적으로 최적화하면 직접적인 그래디언트 충돌을 피할 수 있지만, 여러 훈련 단계와 신중한 일정이 필요하여 번거롭습니다. 또한, 후속 작업에 대한 적응이 이전에 학습된 작업의 성능을 저하시키는 파괴적 망각에 취약합니다.

본 논문은 다중 작업 RL 을 단일 작업 온-폴리시 탐색과 다중 작업 능력 통합이라는 두 가지 명확한 과정으로 분리해야 한다고 주장합니다.

방법론: DiffusionOPD

저자들은 **온라인 정책 증류 (OPD)**를 기반으로 한 통합된 다중 작업 훈련 패러다임인 DiffusionOPD를 제안합니다. 이 프레임워크는 두 단계로 운영됩니다:

1. 훈련 단계: 독립적 교사 전문화

공동 최적화 대신, 이 방법은 먼저 일련의 작업별 교사 모델을 독립적으로 훈련합니다. 각 교사는 표준 오프더셰일 (off-the-shelf) RL 알고리즘을 사용하여 단일 작업 (예: OCR, 미적 요소, 구성적 정렬) 에 대해 최적화됩니다. 이를 통해 각 교사는 다른 작업의 간섭 없이 특정 목표에서 높은 성능 한계를 달성할 수 있습니다.

2. 통합 단계: 온-폴리시 증류

그런 다음 통합된 학생 모델이 이러한 전문화된 교사들의 능력을 증류하도록 훈련됩니다. 핵심적으로, 학생은 **자신의 롤아웃 궤적 (on-policy)**을 따라 학습합니다.

과정: 학생은 노이즈 제거 궤적을 생성합니다. 이 궤적의 각 단계에서 해당 작업별 교사가 감독을 제공합니다.
목적: 학생은 모든 노이즈 제거 단계에서 교사의 전이 행동을 일치하도록 훈련됩니다.

이론적 유도: 이산에서 연속으로

핵심 이론적 기여는 OPD 프레임워크를 이산 토큰 전이 (LLM) 에서 **연속 상태 마르코프 과정 (확산 모델)**으로 확장하는 것입니다.

마르코프 체인 공식화: 확산 노이즈 제거 과정은 역시간 확률 미분 방정식 (SDE) 에 의해 유도된 이산 시간 마르코프 체인으로 모델링됩니다.
가우시안 전이: 학생과 교사는 모두 1 단계 가우시안 전이 커널을 정의합니다. 두 모델은 공분산 (스케줄러와 노이즈 수준에 의해 결정됨) 은 공유하지만 평균은 다르므로, 역 Kullback-Leibler (KL) 발산은 폐쇄형 표현을 허용합니다:
$\text{KL}(p_S \parallel p_T) = \frac{\|\mu_S - \mu_T\|^2}{2\sigma^2}$
여기서 $\mu_S$ 와 $\mu_T$ 는 각각 학생과 교사의 전이 평균입니다.
최적화: 학생은 이 폐쇄형 KL 목적 함수를 직접 역전파를 통해 최소화함으로써 최적화됩니다.

PPO 스타일 그래디언트와의 비교

본 논문은 이 폐쇄형 접근 방식을 PPO 스타일 정책 그래디언트 공식화 (교사를 과정 보상 모델로 취급) 와 대비시킵니다.

분산 감소: PPO 스타일 그래디언트는 기대값에서 편향되지 않지만, 가우시안 노이즈에 비례하는 스코어 함수 항을 도입하여 더 높은 그래디언트 분산을 초래합니다.
결정론적 호환성: 폐쇄형 KL 목적 함수는 전이가 직접적인 $L_2$ 일치를 이루는 결정론적 ODE 샘플러로 자연스럽게 확장되는 반면, PPO 스타일 목적 함수는 확률적 정책 밀도에 의존합니다.
결론: 폐쇄형 KL 은 SDE 및 ODE 샘플러 모두에 적용 가능한 더 낮은 분산의 더 일반적인 최적화 원리를 제공합니다.

주요 기여

DiffusionOPD 프레임워크: 작업별 교사를 활용하여 통합된 학생을 자체 궤적을 따라 감독함으로써 단일 작업 탐색과 다중 작업 통합을 분리하는 새로운 패러다임.
이론적 통합: 확률적 SDE 와 결정론적 ODE 정제를 통합하는 원리적이고 폐쇄형인 단계별 KL 목적 함수를 확산 모델에 대해 유도하여, PPO 스타일 그래디언트보다 낮은 분산의 최적화를 제공합니다.
실증적 검증: 훈련 효율성과 최종 성능 측면에서 다중 작업 RL 베이스라인 (공동 최적화) 과 캐스케이드 RL 베이스라인 모두를 능가하는 DiffusionOPD 의 성능을 보여주는 광범위한 실험.

실험 결과

저자들은 SD3.5-Medium 을 기본 모델로 사용하여 GenEval(구성적 생성), OCR(텍스트 렌더링), Aesthetics(시각적 품질) 등 다양한 벤치마크에서 DiffusionOPD 를 평가했습니다.

성능: DiffusionOPD 는 평가된 모든 벤치마크에서 최고 수준 (SOTA) 결과를 달성하여 Multi-Task GRPO-Guard, Multi-Task NFT, Cascade NFT 를 능가했습니다.
- 평균 점수: DiffusionOPD (0.929) 대 Cascade NFT (0.851) 대 Multi-Task NFT (0.715).
효율성: 이 방법은 다중 작업 RL 베이스라인에 비해 훨씬 빠른 수렴과 더 높은 성능 한계를 보여주었습니다.
훈련 시간: DiffusionOPD 는 공동 RL 방법에 비해 목표 점수에 도달하는 데 필요한 총 실제 시간이 적었으며, 캐스케이드 방법의 순차적 오버헤드를 피했습니다.
어블레이션 연구:
- 손실 공식화: 폐쇄형 KL 목적 함수는 수렴 속도와 최종 보상 모두에서 PPO 스타일 정책 그래디언트보다 일관되게 우수했습니다.
- 노이즈 수준: 낮은 노이즈 수준 (ODE 샘플링에 근접) 은 더 빠른 수렴과 더 높은 성능으로 이어졌으며, 고노이즈 SDE 샘플러에 비해 ODE 샘플러는 최대 5 배 더 효율적이었습니다.

중요성과 주장

본 논문은 DiffusionOPD 가 탐색을 통합에서 분리함으로써 확산 모델을 위한 현재 다중 작업 RL 의 근본적인 한계를 해결한다고 주장합니다. 확산 전이의 분석적 특성을 활용함으로써, 이 방법은 다양한 샘플러 유형 (SDE 및 ODE) 에 적용 가능한 통합된 저분산 훈련 원리를 제공합니다.

저자들은 DiffusionOPD 를 단순한 특정 증류 방법이 아닌, 확산 모델에서의 온-폴리시 증류를 위한 일반적 프레임워크로 위치시킵니다. 그들은 이 접근 방식이 (공동 훈련에서의) 최적화 충돌과 (캐스케이드 훈련에서의) 파괴적 망각/비효율성 사이의 트레이드오프를 효과적으로 해결하여, 다중 작업 및 선호도 정렬 확산 모델링을 위한 새로운 기반을 확립한다고 주장합니다.