💻 computer science

Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation

이 논문은 교사 모델의 스코어 불일치를 활용하여 학생 모델을 실제 데이터 분포로 유도함으로써, 몇 단계 비디오 생성 과정에서의 다양성 손실과 과포화 아티팩트를 해결하고, 최소한의 미세 조정을 통해 충실도를 효과적으로 복원하며 심지어 교사 모델의 성능을 능가하는 단순한 사후 학습 프레임워크인 Data-Forcing Distillation(DFD)을 소개한다.

원저자: Siyi Chen, Shaowei Liu, Yixuan Jia, Zian Wang, Huan Ling, Qing Qu, Jun Gao

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siyi Chen, Shaowei Liu, Yixuan Jia, Zian Wang, Huan Ling, Qing Qu, Jun Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 재능은 있지만 손이 느린 마스터 셰프(선생님)에게, 보통 스무 단계나 걸리는 과정을 단 한두 단계 만에 완벽한 요리를 만드는 법을 가르치려 한다고 상상해 보세요. 당신이 원하는 것은 학생 셰프(학생)가 즉각적으로 동일하게 맛있고 고품질인 요리를 만들어내는 것입니다.

AI 비디오 생성의 세계에서, 연구자들은 바로 이 일을 하고 있습니다. 즉, 훌륭한 영상을 만들지만 속도가 느린 강력한 AI를 몇 단계만으로도 가능한 빠른 버전으로 "증류(distill)"하는 것입니다.

문제점: "흉내 내기"의 함정

이 학생 셰프를 가르치는 기존 방식들은 효과적이긴 했지만, 두 가지 큰 결함이 있었습니다. 마치 자신의 요리 맛만 보고 배우는 학생처럼 말이죠:

밋밋한 메뉴판 (모드 붕괴, Mode Collapse): 학생 셰프가 똑같은 요리 몇 가지만 계속 만드는 상태에 빠집니다. 선생님이 100가지 종류의 케이크를 만들 수 있다면, 학생은 오직 가장 맛있는 "초콜릿 케이크" 하나만을 만드는 법만 배웁니다. 다양성을 잃어버리는 것입니다.
간이 너무 센 요리 (과포화, Over-Saturation): 학생이 그 하나의 완벽한 케이크를 만들기 위해 너무 애를 쓴 나머지, 설탕과 프로스팅을 너무 많이 얹어서 가짜처럼 보이고 부자연스럽게 만듭니다. 영상이 너무 밝고, 색감이 지나치게 화려해지며, 현실 세계의 실사 느낌을 잃게 됩니다.

논문에 따르면, 이는 기존의 교육 방식이 "역방향" 논리에 의존하기 때문에 발생합니다. 기존 방식은 학생에게 "네가 방금 만든 요리가 네가 만든 것과 어떻게 비교되니?"라고 묻습니다. 이는 학생을 자신의 실수만을 개선하고 실제 세상의 방대한 다양성은 무시하게 만드는 루프에 가두어 버립니다.

해결책: "데이터 강제(Data-Forcing)" (진정한 테이스팅 메뉴)

저자들은 **데이터 강제 증류(Data-Forcing Distillation, DFD)**라는 새로운 방법을 제안합니다.

선생님 셰프가 학생에게 자신의 요리를 자신의 요리와 비교하라고 요구하는 것을 멈춘다고 상상해 보세요. 대신, 선생님은 **시장(실제 인터넷의 실제 영상)**에서 신선하고 진짜인 식재료를 집어 들며 이렇게 말합니다:

"이 진짜 사과를 봐라. 이제 네가 방금 그린 사과를 봐. 네 그림은 너무 붉고 번쩍거린다. 다시 돌아가서 이 진짜 사과와 더 닮도록 수정해라."

기술적인 용어로, 이 논문은 아주 간단한 트릭을 소개합니다: 단 한 줄의 코드 변경입니다.

기존 방식: AI는 자신이 생성한 비디오를 선생님이 예측한 자기 자신의 생성 비디오와 비교합니다.
새로운 방식 (DFD): AI는 자신이 생성한 비디오를 선생님이 예측한 실제 데이터셋의 실제 영상과 비교합니다.

이것은 학생을 실제 세계로 끌어당기는 "자석" 역할을 합니다.

만약 학생이 특정 유형의 영상(예: 특정 카메라 각도)을 놓치고 있다면, 실제 데이터가 학생을 그 방향으로 끌어당겨 다양성을 회복시킵로 합니다.
만약 학생이 무언가를 너무 밝거나 이상하게 만들고 있다면(과포화), 실제 데이터가 학생을 그 "문제 구역"에서 멀어지게 하여 **충실도(Fidelity, 실사감)**를 회복시킵니다.

결과: 빠르고, 다양하며, 실제와 같은

연구진은 두 가지 다른 비디오 생성 AI 모델(텍스트 투 비디오용 하나와 이미지 투 비디오용 하나)에 대해 테스트를 진행했습니다. 그 결과, 아주 적은 양의 추가 학습(AI 관점에서 매우 빠른 약 100~300 스텝)만으로도 다음을 발견했습니다:

영상이 더 좋아졌습니다: 더 이상 지나치게 밝거나 "플라스틱"처럼 보이지 않습니다.
영상이 더 다양해졌습니다: AI는 이제 반복적인 스타일 하나가 아니라, 다양한 종류의 장면을 생성할 수 있습니다.
선생님을 능가합니다: 어떤 경우에는 빠른 학생 모델이 느린 원래의 마스터 모델보다 더 나은 영상을 만들어냈습니다. 특히 움직임이 얼마나 매끄러운지, 혹은 물리 법칙(예: 물체가 갑자기 사라지거나 나타나는 현상)이 얼마나 현실적인지 측면에서 그러했습니다.

한계점

논문은 한 가지 한계를 인정합니다. 만약 영상을 두 단계 또는 그 미만으로 만들려고 시도한다면, 마법 같은 효과가 희미해지기 시작합니다. 영상이 여전히 흐릿하거나, 빠르게 움직이는 물체가 왜곡되어 보일 수 있습니다. 이는 학생 셰프에게 10초 안에 고급 요리를 만들라고 요구하는 것과 같습니다. 할 수는 있겠지만, 디테일은 다소 뭉개질 수 있습니다.

요약

요컨대, 이 논문은 다음과 같이 말합니다: "AI 비디오를 품질이나 다양성을 잃지 않으면서 빠르게 만들려면, AI가 스스로를 가르치게 두지 마라. 학습 중에 실제 영상을 보도록 강제하라. 이것은 '지루함'과 '가짜처럼 보이는' 문제를 해결하는 아주 작은 변화다."

기술 요약: 데이터 포싱 증류 (Data-Forcing Distillation, DFD)

문제 정의

최근 비디오 생성 분야의 발전은 대규모 확산(diffusion) 및 흐름 기반(flow-based) 모델을 통해 고충실도 합성을 가능하게 했습니다. 그러나 이러한 모델들은 일반적으로 수많은 디노이징 단계를 필요로 하며, 이는 실시간 또는 대화형 배포를 저해하는 높은 추론 지연 시간을 초래합니다. 이를 해결하기 위해 연구자들은 효율적인 "몇 단계(few-step)" 학생 모델을 학습시키기 위한 증류(distillation) 방법들을 개발해 왔습니다.

DMD(Distribution Matching Distillation)와 그 후속 모델인 DMD2는 강력한 몇 단계 품질과 빠른 수렴 속도를 달ach했으나, 대규모 비디오 생성에 적용할 때 두 가지 결정적인 실패 모드를 보입니다:

모드 붕괴(Mode Collapse): 교사(teacher) 모델에 비해 샘플 다양성이 크게 저하되는 현상.
과포화(Over-Saturation): 출력물이 눈에 띄게 과포화되어 실제 비디오의 외형에서 벗어나는 현상.

저자들은 이러한 실패의 근본 원인을 DMD에서 사용되는 역 쿨백-라이블러(reverse Kullback–Leibler, KL) 목적 함수로 지목합니다. 이 목적 함수는 본질적으로 "모드 탐색적(mode-seeking)"입니다. 즉, 학생 모델은 자신의 생성 분포를 기반으로 최적화를 수행합니다. 만약 학생 모델이 실제 데이터에 존재하는 특정 모드를 놓치더라도, 손실 함수는 해당 영역에서 페널티를 부과하지 않으므로 누락된 모드를 복구하기 위한 그래디언트 신호를 제공하지 못합니다. 반대로, 실제 데이터 분포에는 존재하지 않지만 학생의 생성물에 존재하는 모드(예: 과포화된 아티팩트)에 대해서는 페널티를 줄 수 없습니다.

방법론: 데이터 포싱 증류 (Data-Forcing Distillation, DFD)

저자들은 DMD 기반 증류에서 다양성과 충실도를 회복하기 위해 설계된 포스트 트레이닝(post-training) 프레임워크인 **데이터 포싱 증류(DFD)**를 제안합니다. 핵심 혁신은 학생의 자체 생성 샘플이나 판별기(discriminator)의 암시적 신호에만 의존하는 대신, 실제 비디오 데이터를 증류 목적 함수에 명시적으로 포함시킨 것입니다.

이론적 프레임워크

DFD는 교사 스코어 불일치(teacher score discrepancy) 항을 도입하여 표준 DMD 그래디언트를 수정합니다. 그래디언트 업데이트는 다음과 같이 공식화됩니다:
$g_{DFD}(\theta) = g_{DMD}(\theta) - \mathbb{E}_{\mathbf{x} \sim p_{real}, \mathbf{z}} \left[ \Delta_{p_{real}, \mathbf{x}, G_\theta(\mathbf{z})} \nabla_\theta G_\theta(\mathbf{z}, c) \right]$

여기서:

$g_{DMD}(\theta)$ 는 본래의 DMD 그래디언트입니다.
$\Delta_{p_{real}, \mathbf{x}, G_\theta(\mathbf{z})} = \nabla_x \log p_{real}(\mathbf{x}) - \nabla_x \log p_{real}(G_\theta(\mathbf{z}, c))$ 는 교사 스코어 불일치입니다.
$\mathbf{x}$ 는 데이터 분포 $p_{real}$ 에서 추출된 실제 비디오 샘플입니다.
$G_\theta(\mathbf{z}, c)$ 는 학생의 생성 샘플입니다.

메커니즘:
불일치 항은 실제 샘플과 학생의 생성물 사이의 교사 스코어 필드(score field) 간의 격차를 측정합니다. 이 불일치를 최소화함으로써, 학생 모델은 실제 데이터 분포의 다양하고 고품질인 모드 쪽으로 명시적으로 끌려가며(모드 붕괴 완화), 동시에 학생의 생성물에는 존재하지만 실제 데이터에는 없는 문제적인 모드(예: 과포화)로부터 밀려나게 됩니다.

실제 구현

DFD의 구현은 매우 간단하며, 기존 DMD2 파이프라인에 단 한 줄의 코드 변경만을 요구합니다:

기존 DMD에서는 "실제(real)" 스코어 $\nabla_x \log p_{real}$ 를 학생의 자체 생성 출력 $G_\theta(\mathbf{z}, c)$ 에서 평가합니다.
DFD에서는 "실제" 스코어를 데이터셋에서 추출한 실제 데이터 샘플 $\mathbf{x}$ 에서 평가하는 반면, "가짜(fake)" 스코어에는 여전히 학생의 생성을 사용합니다.

저자들은 각 단계마다 표준 DMD 그래디언트와 DFD 그래디언트 사이를 확률 $w$ (기본값 $w=0.5$ )로 전환하는 확률적 샘플링 전략을 통해 이를 구현했습니다.

주요 가정 및 조건:
이론적 분석에 따르면, DFD가 학습을 안정화하기 위해서는 학생의 생성이 이미 실제 데이터 분포와 가까워야 합니다. 구체적으로, 정규화 항의 분산은 실제 샘플과 생성 샘플 사이의 제곱 차이( $\|\mathbf{x} - G_\theta(\mathbf{z}, c)\|^2$ )에 의존합니다. 따라서 DFD는 유효성 조건을 충족하기 위해 이미 DMD2로 사전 학습된 모델 위에 적용되는 포스트 트레이닝 단계로 사용됩니다.

데이터 큐레이션:
"포싱(forcing)" 데이터의 품질을 보장하기 위해, 저자들은 ViPE-Wild-1M 컬렉션에서 데이터를 큐레이션했습니다. 100만 개의 비디오를 클러스터링한 후 명확한 의미론, 시간적 일관성, 다양한 역동성을 보이는 클러스터를 수동으로 선택하여 2만 개의 애니메이션 세트와 3만 개의 혼합 스타일 세트를 구성했습니다.

주요 기여

실패 모드 식별: 본 논문은 DMD2의 모드 붕괴와 과포화를 역 쿨백-라이블러 목적 함수의 모드 탐색적 특성과 명시적으로 연결했습니다.
DFD 프레임워크: 교사 스코어 불일치를 통해 실제 데이터를 증류 그래디언트에 직접 주입하는 단순하고 효과적인 포스트 트레이닝 프레임워크를 제안했습니다.
구현의 단순성: DFD는 DMD2와 비교했을 때 단 한 줄의 코드 변경만을 필요로 하며, DMD2에서 실제 데이터를 암시적으로 처리하기 위해 사용되었던 보조 GAN 판별기를 제거하여 학습 불안정성을 해소했습니다.
이론적 분석: 저자들은 정규화 항이 학생 모델이 완벽할 때 평균이 0임을 증명하고, 그래디언트 분산이 유계(bounded)를 유지하는 조건을 도출함으로써 정규화의 이론적 타당성을 입증했습니다.

실험 결과

저자들은 세 가지 작업에 대해 서로 다른 사전 학습된 모델을 사용하여 DFD를 평가했습니다:

Text-to-Video (T2V): Wan2.1-1.3B 모델 증류.
Image-to-Video (I2V): Cosmos-Predict2.5-2B 모델 증류.
자기회귀 비디오 생성 (Autoregressive Video Generation): Self Forcing 프레임워크 내에 DFD 적용.

정량적 결과:

다양성: DFD는 시각적 다양성 지표(CLIP/DINO 유사도) 및 카메라 포즈 다양성 측면에서 DMD2와 DP-DMD(Diversity-Preserving DMD) 베이스라인을 크게 상회했습니다.
품질: DFD는 VBench에서 더 높은 미적 품질과 움직임의 매끄러움 점수를 달성했습니다. I2V 작업에서 DFD는 주제 및 배경 일관성 등 여러 지표에서 심지어 교사 모델보다 뛰어난 성능을 보였습니다.
충실도: 이 방법은 베이스라인에서 관찰되는 과포화 아티팩트와 환각(예: 추가 객체나 끊어진 기차 칸과 같은 구조적 이상)을 효과적으로 해결합니다.

정성적 결과:
시각적 비교 결과, DFD는 DMD2 및 DP-DMD에 비해 더 나은 시간적 일관성, 물리적 타당성(예: 일관된 객체 수, 현실적인 움직임), 그리고 미세한 디테일(예: 질감 보존)을 가진 비디오를 생성함을 보여줍니다.

절제 연구 (Ablation Studies):

GAN 손실: DMD2가 의존하는 GAN 손실을 제거해도 성능이 저하되지 않았으며, 오히려 역동성 정도와 이미지 품질이 향상되었습니다. 이는 DFD가 적대적 학습 없이도 명시적인 실제 데이터 가이드를 제공할 수 있음을 확인시켜 줍니다.
사전 학습 (Pretraining): DMD2 사전 학습 없이 처음부터 DFD를 적용했을 때는 수렴에 실패하였으며, 이는 유효성 조건(학생이 실제 데이터에 근접해야 함)의 필요성을 입증합니다.
배치 크기: 배치 크기를 16에서 128로 확장했을 때 시간적 안정성과 물리적 타당성이 더욱 향고되었습니다.

의의 및 한계

의의:
본 논문은 DFD가 비디오 생성에서의 지속적인 분포 기반 증류의 실패 모드를 성공적으로 해결했다고 주장합니다. 실제 데이터 분포로 학생을 명시적으로 유도함으로써, DFD는 GAN의 복잡성이나 궤적 기반 방법의 품질 저하 없이 다양성과 충실도를 회산합니다. 이 방법은 고품질 비디오 생성을 가속화하기 위한 견고하고 효율적이며 쉽게 채택 가능한 솔루션으로 제시됩니다.

한계:
저자들은 DFD가 몇 단계 생성 성능을 개선하지만, 극도로 제한된 예산(예: 2단계 이하) 하에서는 성능이 여전히 제한적이라는 점을 인정합니다. 이러한 공격적인 환경에서는 빠른 움직임의 객체(블러 현상), 미세한 디테일(충실도 저하), 그리고 정적인 비디오로의 붕해 문제가 발생할 수 있습니다.

사회적 영향:
저자들은 DFD가 계산 비용을 줄임으로써 고충실도 비디오 생성에 대한 접근성을 민주화하는 동시에, 딥페이크 및 허위 정보와 같은 생성 모델 관련 위험을 가속화할 수 있다고 언급했습니다. 이에 따라 안전 필터, 출처 추적 및 워터마킹을 결합할 필요가 있음을 강조했습니다.