🤖 AI

DUET: A Diversity-Quality Duet of Distillation Experts for Two-Step Video Generation

이 논문은 고노이즈 구조적 다양성을 위한 sCM 전문가와 저노이즈 외관 정교화를 위한 DMD 전문가라는 독립적으로 훈련된 전문가들의 노이즈 레벨 듀엣을 채택하여 품질-다양성 트레이드오프를 조화시키고, 더욱 나아가 우수한 성능을 달성하기 위해 RL 가이드 적응을 통한 DUET+로 강화된 2단계 비디오 생성 프레임워크인 DUET을 소개한다.

원저자: Zian Li, Litong Gong, Borui Liao, Pengfei Liu, Xinyu Wang, Xinyuan Wei, Yifan Gao, Tiezheng Ge, Muhan Zhang

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zian Li, Litong Gong, Borui Liao, Pengfei Liu, Xinyu Wang, Xinyuan Wei, Yifan Gao, Tiezheng Ge, Muhan Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 걸작을 그리는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에는 이러한 로봇처럼 행동하는 특별한 '확산 모델(diffusion models)'이 있습니다. 이들은 신호가 없는 TV 화면 같은 노이즈(static noise)로 가득 찬 캔버스에서 시작하여, 단계별로 노이즈를 걷어내며 선명한 그림이나 영상을 드러냅니다. 문제는 이 과정이 믿기 힘들 정도로 느리다는 점입니다. 완벽한 이미지를 얻으려면 로봇이 수백 번의 작고 세심한 단계를 거쳐야 할 수도 있으며, 이는 강력한 컴퓨터로도 몇 분 또는 몇 시간이 걸릴 수 있습니다. 이는 실시간으로 영화나 게임을 만들기에는 너무 느립니다.

이를 해결하기 위해 과학자들은 이 로봇들에게 '지름길'을 가는 법을 가르치려 노력해 왔습니다. 전체 경로를 다 걷는 대신, 단 몇 번의 거대한 도약만으로 결승선까지 바로 달려가기를 원하는 것입니다. 하지만 문제가 있습니다. 로봇에게 지름길을 강요하면, 보통 두 가지 중 하나를 선택해야 합니다. 이미지를 정말 멋지게(날카롭고 상세하게) 만들 것인지, 아니면 매번 요청할 때마다 결과물이 서로 다르게(다양하고 창의적으로) 나오게 할 것인지 말입니다. 보통 아주 선명한 이미지를 얻으면 매번 똑같은 모습이 됩니다. 반대로 아주 창의적인 이미지를 얻으면 약간 흐릿하거나 엉망이 될 수 있습니다. 이는 마치 요리사가 매번 완벽하고 동일한 스테이크를 만들거나, 혹은 매우 창의적이고 독특한 요리를 만들 수는 있지만, 두 가지를 동시에 해내기는 어려운 것과 같습니다.

이 퍼즐을 풀기 위해 "DUET"이라는 새로운 논문이 등장했습니다. 연구진은 Wan2.1이라는 비디오 생성 모델을 활용하여, 어떻게 하면 이 두 가지 장점을 모두 갖춘, 즉 아주 선명하면서도 매우 창의적인 영상을 단 두 단계 만에 만들어낼 수 있을지 알아보고자 했습니다. 그들은 두 가지 방식의 요리 스타일을 한 솥에 넣고 섞으려 하면 오히려 엉망이 된다는 것을 발견했습니다. 대신, 그들은 두 명의 전문가가 릴레이 경주처럼 협력하는 팀을 구축했습니다.

두 단계의 릴레이 경주

이 논문은 DUET(Diversity–Quality Expert Tandem)이라고 불리는 방법을 소개합니다. 비디오 생성 과정을 안개가 자욱하고 혼란스러운 세상(노이즈)에서 맑고 화창한 세상(최종 비디오)으로 가는 긴 여정이라고 생각해 보세요. 연구진은 이 여정의 서로 다른 구간에는 서로 다른 종류의 도움이 필요하다는 것을 깨달았습니다.

여정의 초반부, 즉 이미지가 여전히 매우 안개 낀 상태일 때는 '큰 그림'을 결정하는 것이 가장 중요합니다. 개가 어디에 있는가? 뛰고 있는가, 아니면 자고 있는가? 해가 지고 있는가, 아니면 뜨고 있는가? 이것이 비디오의 '구조(structure)'입니다. 논문은 sCM이라 불리는 한 종류의 지름길 방식이 이 작업에 탁월하다는 것을 발견했습니다. 이는 마치 다양한 레이아웃을 빠르게 그려낼 수 있는 거친 스케치 화가와 같습니다. 다양성에는 뛰어나지만 때로는 약간 흐릿할 수 있습니다.

여정의 후반부, 이미 이미지가 대부분 선명해졌을 때는 '디테일'을 수정하는 것이 가장 중요합니다. 털의 질감, 눈의 반사, 나뭇잎의 선명함 같은 것들 말이죠. 이것이 비디오의 '품질(quality)'입니다. 또 다른 지름길 방식인 DMD는 이 작업의 달인입니다. 이는 모든 것을 날카롭고 완벽하게 만드는 데 집중하는 초집중 편집자와 같지만, 창의적인 다양성을 잃고 모든 것을 비슷하게 만드는 경향이 있습니다.

이전의 시도들은 한 명의 로봇에게 두 가지 일을 동시에 하도록 강요하거나, 두 방식을 하나로 섞으려 했습니다. 논문은 두 방식이 서로 반대되는 것을 원하기 때문에 이 방법이 잘 작동하지 않는다고 주장합니다. 대신, DUET은 업무를 분담합니다. 구조를 잡는 데는 sCM 전문가를 첫 번째 단계(고노이즈 구간)에 배치하여 다양하고 창의적인 구조를 놓게 합니다. 그다음, 바통을 DMD 전문가에게 넘겨 두 번째 단계(저노이즈 구간)에서 디테일을 날카롭게 다듬고 전문적으로 보이게 만듭니다.

릴레이와 코치

논문은 이 단순한 '릴레이'가 놀라울 정도로 잘 작동한다는 것을 보여줍니다. sCM 전문가가 혼란스러운 시작 부분을 맡고, DMD 전문가가 깔끔한 마무리 부분을 맡게 함으로써, 선명함만을 추구하는 방식보다 약 2배 더 다양한 영상을 얻으면서도 거의 동일한 높은 품질을 유지할 수 있었습니다. 이는 마치 기발한 아이디어를 스케치하는 크리에이티브 디렉터와, 그 뒤를 이어 그것을 다듬는 완벽주의 편집자가 서로 다투지 않고 협력하는 것과 같습니다.

하지만 연구진은 이 팀조차 완벽하지는 않다는 점을 발견했습니다. 때때로 두 전문가 사이의 바통 터치가 다소 서툴렀고, 창의적인 전문가가 항상 최선의 창의적인 아이디어를 고르는 것은 아니었습니다. 이를 해결하기 위해, 그들은 RL-guided expert adaptation(더 발전된 버전인 **DUET+**를 만드는 기술)을 사용하는 '코치'를 추가했습니다.

이 코치는 보상 시스템(시각적으로 좋은 영상에 점수를 주는 비디오 게임과 같은 방식)을 사용하여 sCM 전문가가 더욱 보기 좋고 훌륭한 구조를 목표로 하도록 가르칩니다. 또한 DMD 전문가가 sCM 전문가로부터 전달받은 특정 스타일의 스케치에 익나 익숙해지도록 돕습니다. 그 결과인 **DUET+**는 훨씬 더 뛰어납니다. 엄청난 다양성의 이점을 유지하면서도 품질을 가장 선명한 방식들과 대등한 수준까지 끌어올렸습니다.

논문이 말하는 것과 말하지 않는 것

저자들은 자신들이 발견한 바를 매우 명확하게 밝히고 있습니다. 그들은 두 가지 방식을 단일 훈련 과정에서 단순히 섞을 수 있다는 생각에 대해 명시적으로 반대합니다. 그들은 두 방식의 '손실 함수(loss functions, 로봇이 따르는 수학적 규칙)'를 결합하려고 시도하는 것이 두 마리 토끼를 잡는 것이 아니라, 품질과 다양성을 모두 조금씩 잃게 만드는 타협안이 된다는 것을 보여줍니다. 또한, 단순히 좋은 스케치로 시작해서 그것을 정교화하는 방식(init-then-DMD라고 불리는 흔한 방법)이 충분하지 않다는 점도 입증했는데, 왜냐하면 그 방식은 다양성을 매우 빠르게 앗아가기 때문입니다.

논문은 자신들의 "노이즈 레벨 전문가 듀엣(noise-level expert duet)" 방식이 Wan2.1-T2V-1.3B라는 특정 모델에서 작동함을 증명했습니다. 연구진은 수치로 이를 측정했습니다. 그들의 방식은 선명함만을 추구하는 방식보다 다양성 점수가 약 109% 높았으면서도, 품질 점수는 거의 동일하게 유지했습니다. 그들은 이 접근법이 두 단계 비디오 생성의 트레이드오프 문제를 해결한다고 확신합니다. 다만, 이 실험을 하나의 모델 크기에서만 테스트했다는 점을 인정하며, 더 큰 모델에서도 테스트하는 것이 향후 과제라고 제안합니다. 그들은 이것이 모든 AI 비디오 생성의 영원한 최종 해답이라고 주장하는 것이 아니라, '노이즈 레벨'에 따라 업무를 나누는 것이 아름다움과 다양성을 순식간에 모두 얻을 수 있는 단순하고 효과적인 방법임을 보여주는 것입니다.

기술 요약: DUET – 2단계 비디오 생성을 위한 다양성-품질 듀엣 증류 전문가

1. 문제 정의

최근 확산 모델(Diffusion Models)의 발전은 고품질 비디오 생성을 가능하게 했으나, 반복적인 샘플링에 의존함에 따라 발생하는 과도한 계산 비용이 실제 배포를 저해하고 있습니다. 적은 단계의 증류(Few-step distillation)는 생성 궤적을 적은 수의 네트워크 평가(NFE), 일반적으로 2회로 압축함으로써 이 문제를 해결하고자 합니다. 그러나 기존의 증류 패러다임은 근본적인 **품질-다양성 트레이드오프(quality–diversity trade-off)**에 직면해 있습니다:

궤적 수준 증류 (예: sCM): 교사(Teacher) 모델의 샘le 다양성과 구조적 레이아웃을 보존하지만, "평균 추구(mean-seeking)" 특성으로 인해 결과물이 보수적이고 흐릿해지는 경향이 있습니다.
분포 수준 증류 (예: DMD): 교사의 분포를 매칭하여 선명하고 높은 충실도의 디테일을 생성하지만, 심각한 다양성 붕괴(모드 추구(mode-seeking) 현상)를 겪으며 확률 질량이 소수의 모드에 집중됩니다.

이 두 가지 목적을 단일 손실 함수로 결합하여 이를 해결하려는 일반적인 시도들(예: rCM)은 대개 진정한 해결책이 아닌 타협안을 제시하며, 상충하는 그래디언트로 인한 최적화의 어려움을 초0 유발하고 두 패러다임의 강점을 온전히 계승하지 못합니다.

2. 방법론

저자들은 손실 수준의 결합이 아닌 **노이즈 레벨 전문가 특화(noise-level expert specialization)**를 통해 이러한 패러다임을 조화시키는 프레임워크인 DUET(Diversity–qUality Expert Tandem)를 제안합니다.

핵심 아키텍처: 노이즈 레벨 전문가 듀엣

DUET는 샘플링 스케줄의 노이즈 레벨에 따라 두 개의 독립적으로 훈련된 전문가에게 서로 다른 역할을 할당합니다.

고노이즈 구간 ( $t \in [1, \tau]$ ): sCM 전문가가 담당합니다. 이 단계는 객체의 정체성, 레이아웃, 구도, 모션 패턴과 같은 거친 변수들을 결정합니다. sCM 전문가는 샘플 공간의 넓은 커버리지를 보장하기 위해 고유의 일관성 목적 함수(consistency objective)로 훈련됩니다.
저노이즈 구간 ( $t \in [\tau, 0]$ ): DMD 전문가가 담당합니다. 이 단계는 시각적 디테일, 질감, 외형을 정교화합니다. DMD 전문가는 높은 충실도와 선명도를 보장하기 위해 고유의 분포 매칭 목적 함수로 훈련됩니다.

추론 과정:
두 전문가는 단일 2단계 생성 과정 내에서 릴레이 방식으로 작동합니다:

sCM 전문가는 초기 노이즈( $x_1$ )로부터 깨끗한 종단점(endpoint)을 예측합니다.
이 예측값은 재노이징 연산자(re-noising operator)를 사용하여 스위치 타임 $\tau$ 로 다시 노이즈화됩니다.
DMD 전문가는 $\tau$ 에서의 재노이즈된 잠재 변수를 받아 최종적인 깨끗한 비디오 잠재 변수( $\hat{x}_0$ )를 생성하는 마지막 단계를 수행합니다.
스위치 타임 $\tau$ 는 교사 모델의 플로우 매칭(flow-matching) ODE 궤적의 곡률을 분석하여 결정됩니다. 경험적으로, 궤적이 급격한 구조 형성에서 느린 디테일 정교화로 전환되는 지점인 $\tau = 0.8$ 이 선택되었습니다.

DUET+: RL 기반 전문가 적응

남아있는 병목 현상, 즉 sCM 전문가의 출력과 DMD 전문가의 훈련 분포 사이의 분포 격차 및 sCM 전문가의 용량 제한을 해결하기 위해, 저자들은 **DUET+**를 도입합니다. 이는 역할 인지 적응(role-aware adaptation) 전략을 포함합니다:

sCM 전문가 적응: sCM 전문가는 GRPO(Group Relative Policy Optimization)를 사용하여 미세 조정됩니다. 이는 sCM 전문가의 다양한 출력을 인간 선호도 점수(HPSv3 등)에 기반한 더 높은 보상 구조로 유도하면서도, 그 커버리지 동작은 유지하도록 합니다.
DMD 전문가 적응: DMD 전문가는 고유의 손실 함수를 계속 사용하여 훈련되지만, 교사의 고유한 역방향 시뮬레이션 대신 추론 과정 중 적응된 sCM 전문가가 실제로 생성한 중간 잠재 변수를 사용합니다. 이는 DMD 전문가를 실제 릴레이 인터페이스에 정렬시킵니다.

3. 주요 기여

목적 함수 수준의 진단: 본 논문은 품질-다양성 트레이드오프가 궤적 수준 목적 함수와 분포 수준 목적 함수 사이의 본질적인 충돌에서 기인하며, 이들이 서로 다른 노이즈-데이터 매핑을 유도한다는 점을 식별했습니다. 하나의 파라미터 세트가 두 가지를 모두 만족하도록 강제하는 것은 최적화를 어렵게 만듭니다.
노이즈 레벨 전문가 듀엣 (DUET): 서로 다른 노이즈 영역에 목적 함수를 할당함으로써 이를 분리하는 새로운 아키텍처를 제안합니다. 이는 그래디언트 충돌과 손실 가중치 튜닝을 피하며, 모델이 다양성과 품질을 동시에 달取得할 수 있게 합니다.
역할 인지 적응 (DUET+): sCM의 다양성을 선호도 최적화에 활용하고 DMD의 릴레이 인터페이스를 복구하는 경량화된 RL 기반 적응법을 통해, 다양성을 희생하지 않으면서 전체적인 품질을 더욱 향상시킵니다.
경험적 검증: 극단적인 2단계(two-step) 환경에서도 DMD 수준의 품질에 접근하면서 sCM의 구조적 다양성을 거의 모두 유지할 수 있음을 입증했습니다.

4. 실험 결과

실험은 832 $\times$ 480 해상도의 텍스트-투-비디오 생성을 위해 Wan2.1-T2V-1.3B 백본을 사용하여 수행되었습니다.

품질 vs 다양성:
- sCM: 가장 높은 다양성(ViCLIP 평균: 0.1865)을 달성하지만 낮은 품질(VBench 평균: 81.51)을 보입니다.
- DMD: 높은 품질(VBench 평균: 84.38)을 달성하지만 낮은 다양성(ViCLIP 평균: 0.0727)을 보입니다.
- rCM (베이스라인): 튜닝을 거치더라도 다양성이 sCM보다 현저히 낮게 유지되는 트레이드오프를 보여줍니다.
- DUET: DMD에 근접한 품질 점수(83.96)를 달성하는 동시에, 다양성 점수 0.1512를 유지합니다(DMD 대비 108.0% 증가 및 sCM의 구조적 다양성 상당 부분 보존).
- DUET+: 다양성 이점(ViCLIP: 0.1521)을 유지하면서 품질을 84.40까지 더욱 향상시킵니다.
정성적 분석:
- DUET는 (sCM으로부터) 다양한 레이아웃과 포즈를 보존하면서 (DMD로부터) 디테일을 날카롭게 만듭니다.
- 스타일 특정 프롬프트(예: 픽셀 아트)에서, DUET는 DMD가 흔히 매끄럽고 일반적인 모드로 붕괴되는 낮은 확률의 스타일들을 유지합니다.
- DUET+는 기본 릴레이에 비해 더 깨끗하고 일관된 프레임을 생성하며 아티팩트가 적습니다.
어블레이션 연구 (Ablation Studies):
- 스위치 타임 ( $\tau$ ): $\tau=0.8$ 이 최적임이 밝혀졌습니다. 값이 낮으면 sCM 전문가에 과부하가 걸려(흐릿한 결과) 결과가 나빠지고, 값이 높으면 DMD 전문가가 정교화할 여지가 부족해집니다.
- 보상 함수: sCM 적응을 위한 보상으로 HPSv3가 선택되었으며, 이는 SFS-Nature나 TA에 비해 일관성과 미적 품질 면에서 우수한 성능을 보였습니다.
- 초기화: "init-then-DMD" 방식(몇 단계 생성기에서 DMD를 초기화한 후 훈련하는 방식)과 달리, DUET+는 별개의 전문가 역할을 유지합니다. "init-then-DMD"는 상속된 다양성이 빠르게 붕ك패되는 반면, DUET+는 이를 보존합니다.

5. 의의 및 주장

본 논문은 노이즈 레벨 전문가 특화가 몇 단계 비디오 생성에서 다양성과 품질을 조화시키기 위한 단순하면서도 효과적인 패러다임임을 주장합니다. 구조적 다양성과 시각적 충실도의 최적화를 서로 다른 노이즈 레벨에서 작동하는 별도의 전문가로 분리함으로써, DUET는 손실 수준의 결합에서 발생하는 "타협"을 피합니다.

저자들은 자신들의 결과가 2단계 생성의 새로운 표준을 세웠다고 강조하며, 구조적 다양성과 시각적 충실도가 서로 다른 목적 함수의 상호 보완적인 강점을 활용하도록 증류 과정을 설계한다면 고품질과 고다양성이 상충하는 개념이 아님을 보여주었다고 설명합니다. 현재의 평가는 Wan2.1-1.3B 모델에 국한되어 있으나, 저자들은 DUET의 속성이 백본에 종속되지 않는다는 점을 언급하며 향-후 더 큰 모델로 확장 가능성을 시사했습니다.