💻 computer science

Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation

본 논문은 실시간 상호작용 비디오 생성을 위해 프레임 단위 자기회귀 확산 모델을 효율적으로 초기화하기 위해 인과적 일관성 증류 기술을 활용하는 확장 가능한 파이프라인인 Causal Forcing++을 소개하며, 기존 청크 단위 방법들에 비해 우수한 품질과 현저히 감소된 지연 시간을 달성합니다.

원저자: Min Zhao, Hongzhou Zhu, Kaiwen Zheng, Zihan Zhou, Bokai Yan, Xinyuan Li, Xiao Yang, Chongxuan Li, Jun Zhu

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Min Zhao, Hongzhou Zhu, Kaiwen Zheng, Zihan Zhou, Bokai Yan, Xinyuan Li, Xiao Yang, Chongxuan Li, Jun Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Causal Forcing++" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어보겠습니다.

큰 그림: 비디오 AI 를 "실시간"으로 만들기

로봇이 영화를 프레임 단위로 그리도록 가르치면서, 그 과정을 지켜본다고 상상해 보세요.

목표: 로봇이 다음 프레임을 즉시 그리게 하여 (지연 시간 최소화) 비디오 게임처럼 실시간으로 상호작용할 수 있게 하는 것입니다.
문제: 현재의 AI 비디오 생성기는 느린 화가들처럼 행동합니다. 종종 그리기 시작하기 전에 전체 영화를 다 본 뒤이거나, 프레임 하나를 그리기 위해 많은 단계를 거칩니다. 이로 인해 실시간 상호작용에는 너무 느립니다.
해결책: 저자들은 **Causal Forcing++**이라는 새로운 방법을 개발했습니다. 이 방법은 AI 가 품질을 잃지 않으면서 매우 빠르게 한 번에 1~2 개의 프레임만 그리도록 가르칩니다.

문제: "잘못된 지도"와 "무거운 배낭"

AI 를 빠르게 만들기 위해 연구자들은 **증류 (Distillation)**라는 기법을 사용합니다. 이는 마스터 화가 (Teacher) 가 학생 (Student) 에게 그림을 그리는 법을 가르치는 것과 같습니다.

이 논문은 이 특정 "실시간" 목표를 달성하기 위해 이전까지 사람들이 학생을 가르치려 했던 세 가지 주요 방법과 그 실패 원인을 지적합니다.

"시간 여행자" 실수 (양방향 Teacher):
- 비유: Teacher 가 한 프레임도 그리기 전에 전체 영화 (과거와 미래) 를 볼 수 있는 화가라고 상상해 보세요. 반면 Student 는 과거만 볼 수 있습니다.
- 실패: Teacher 가 미래를 봐야 하는 계획을 가지고 학생을 가르치려 하면, 학생은 혼란을 겪습니다. 마치 학생이 아직 도달하지도 않은 문제들이 포함된 답지를 이용해 수학 문제를 풀려고 하는 것과 같습니다. 그 결과는 흐릿하고 혼란스러운 비디오가 됩니다.
"약한 학생" 실수 (훈련 생략):
- 비유: 마스터 화가 대신, 학생에게 자신의 이전 작업보다 약간 더 나은 버전만 주고 "계속 해봐"라고 말합니다.
- 실패: 프레임당 1~2 단계만으로 전체 영화를 그리려 하면, 학생이 저지르는 작은 실수들이 증폭됩니다. 눈가리개를 한 채 줄타기를 하려는 것과 같습니다. 아주 작은 흔들림이 큰 추락으로 이어집니다. 비디오 품질이 무너집니다.
"무거운 배낭" 실수 (Causal ODE 초기화):
- 비유: 이전의 최선책이었던 Causal Forcing 은 "시간 여행자" 실수를 수정하기 위해, Teacher 가 먼저 전체 영화를 단계별로 그리고, 그 모든 그림을 저장한 뒤 이를 이용해 학생을 가르치는 방식으로 해결했습니다.
- 실패: 이는 훌륭하게 작동하지만, 비용이 엄청나게 듭니다. 마치 Teacher 에게 데이터셋의 모든 비디오에 대해 매 프레임마다 48 가지 다른 버전을 그려 Hard Drive 에 모두 저장한 뒤, 가르친 뒤에는 모두 폐기하라고 요구하는 것과 같습니다. 이는 실용적이기에는 시간과 저장 공간이 너무 많이 필요합니다.

해결책: Causal Forcing++

저자들은 **Causal Consistency Distillation (Causal CD)**이라는 새로운 학생 가르침 방식을 제안합니다.

핵심 아이디어:
Teacher 에게 미리 전체 영화를 그리게 하는 것 (무거운 배낭) 대신, 학생이 지켜보는 동안 Teacher 에게 지금 바로 한 단계만 앞으로 나아가게 합니다.

작동 방식:
- Teacher 가 길을 걷는다고 상상해 보세요. 학생이 외우도록 전체 경로를 매핑하는 대신, Teacher 는 한 걸음만 내디디고 "봐, 내가 A 지점에서 B 지점으로 이동했어"라고 말한 뒤 멈춥니다.
- 학생은 "A 에서 B 로 이동할 때, 나는 이렇게 보여야 한다"는 규칙을 배웁니다.
- 그들은 실제 비디오 위에서 이 과정을 한 걸음씩 반복합니다.

왜 이것이 더 나은가요?

무거운 배낭 없음: 미리 그려진 수천 개의 영화를 저장할 필요가 없습니다. Teacher 는 "온라인 (실시간)"으로 수업을 생성합니다. 이는 막대한 컴퓨터 저장 공간과 시간을 절약합니다 (약 4 배 빠르고, 추가 저장 공간은 0).
더 나은 학습: 시작부터 끝까지 한 번에 거대한 도약을 하는 것보다 작은 단계 (A 에서 B 로) 를 배우는 것이 더 쉽습니다. 이로 인해 학생이 더 정확하고 빠르게 학습합니다.
실시간 속도: 학생이 작고 효율적인 걸음을 배우도록 함으로써, 최종 AI 는 4 단계 대신 1~2 단계로 비디오를 생성할 수 있어 대기 시간 (지연 시간) 이 절반으로 줄어듭니다.

결과: 더 빠르고 선명함

이 논문은 Wan2.1이라는 모델에서 이를 테스트했습니다. 그들이 발견한 바는 다음과 같습니다.

속도: 새로운 방법은 이전 방법들에 비해 비디오의 첫 프레임을 표시하는 속도가 50% 더 빠릅니다.
품질: 속도가 빨라지고 단계가 줄어들었음에도 불구하고, 비디오 품질은 이전의 "느린" 방법들보다 실제로 더 좋습니다.
효율성: 새로운 모델을 훈련시키는 데는 컴퓨터 성능이 4 배 적게 필요했으며, 미리 계산된 데이터를 저장하기 위한 추가 하드 드라이브 공간이 전혀 필요하지 않았습니다.

부연 설명: "모드 추구 (Mode-Seeking)" 대 "모드 커버링 (Mode-Covering)"

이 논문은 또한 이미지들을 매우 선명하게 만드는 경향이 있는 "Score Distillation"이라는 다른 가르침 스타일도 테스트했습니다.

비유: 나무를 그리는 가장 인기 있는 방법만 배우고 싶어 하는 학생 (모드 추구) 을 상상해 보세요. 그들은 매우 선명하고 완벽한 나무를 그립니다. 하지만 아주 작은 실수를 범하면, 그들은 "나쁜" 나무 버전에 갇혀서 회복할 수 없게 됩니다.
결과: 프레임마다 실수가 쌓이는 실시간 비디오에서, 이 "완벽하지만 취약한" 학생은 실패합니다. "Causal CD" 학생은 더 유연합니다 (모드 커버링). 첫 프레임에서 약간 덜 선명할 수는 있지만, 훨씬 더 안정적이며 비디오가 진행됨에 따라 무너지지 않습니다.

요약

**Causal Forcing++**은 AI 비디오 생성기가 빠르고 상호작용 가능하도록 가르치는 새로운 훈련 파이프라인입니다. 이는 "모든 것을 미리 계산하는" 비싸고 구식 방법을 "실시간으로 단계별로 학습하는" 더 지능적인 방법으로 대체합니다. 이를 통해 이전보다 더 빠르고, 훈련 비용이 저렴하며, 품질이 높은 실시간 상호작용 비디오 생성이 가능해집니다.

기술 요약: Causal Forcing++

문제 정의

실시간 상호작용 비디오 생성은 저지연, 스트리밍, 제어 가능한 롤아웃을 요구합니다. 최근 자기회귀 (AR) 확산 증류 방법이 양방향 기반 모델을 몇 단계 AR 학생 모델로 증류하여 블록 단위 4 단계 환경에서 성공을 거두었음에도 불구하고, 이들은 거친 응답 세분성과 무시할 수 없는 샘플링 지연에 의해 제한받고 있습니다.

저자들은 더 공격적이고 미탐구된 환경인 1~2 단계 샘플링만으로 이루어진 프레임 단위 자기회귀를 조사합니다. 이러한 설정에서 저자들은 비대칭 확산 모델 증류 (DMD) 이전의 소수 단계 AR 학생 모델의 초기화가 결정적인 병목 현상임을 규명합니다. 기존 전략들은 상호 보완적인 이유로 이 환경에서 실패합니다:

양방향 ODE 초기화(예: CausVid, Self Forcing): 구조적 불일치. 교사 궤적이 AR 학생에게 사용 불가능한 미래 프레임에 의존하므로 프레임 단위 단사성을 위반하고, 조건부 기대값을 향해 타겟이 붕괴되어 흐릿한 출력을 초래합니다.
직접 다단계 AR 초기화(예: LiveAvatar, WorldPlay): 소수 단계 생성 능력이 부족합니다. 공격적인 1~2 단계 설정에서 프레임당 근사 오차는 자체 롤아웃 중 심각하게 증폭되어 모델이 붕괴됩니다.
인과 ODE 초기화(예: Causal Forcing): 이론적으로 정확하지만 확장성이 없습니다. 이는 모든 학습 샘플 (예: 48 단계) 에 대해 교사 AR 이 전체 다단계 확률 흐름 ODE(PF-ODE) 궤적을 사전 계산하고 저장해야 하므로, 막대한 데이터 관리 및 저장 병목 (8 만 개 비디오 기준 약 11,600 GPU 시간 및 1,900 GiB 저장 공간) 을 초래합니다.

방법론: Causal Forcing++

본 논문은 비싼 인과 ODE 초기화를 **인과 일관성 증류 (Causal CD)**로 대체하는 확장 가능한 파이프라인인 **Causal Forcing++**을 제안합니다.

핵심 통찰

저자들은 인과 ODE 증류와 인과 CD 가 동일한 학습 목표, 즉 교사의 AR-조건부 흐름 맵(또는 일관성 함수) 을 공유함을 관찰합니다.

인과 ODE 증류: 사전 생성된 전체 궤적을 사용하여 노이즈가 있는 상태 $x_t$ 를 직접 깨끗한 끝점 $x_0$ 으로 회귀합니다.
인과 CD: 실제 비디오에 대한 단일 온라인 교사 ODE 단계를 사용하여 인접한 시간 단계 ( $t$ 와 $t-\Delta t$ ) 간에 국소적으로 일관성을 강제합니다.

파이프라인

Causal Forcing++ 파이프라인은 Causal Forcing 의 3 단계 구조를 유지하지만 2 단계를 수정합니다:

1 단계: 교사 강제 (teacher forcing) 를 통한 다단계 AR 확산 훈련.
2 단계 (수정된): 인과 CD 초기화. 전체 궤적을 사전 계산하는 대신, 학생은 정답 데이터에서 인접한 시간 단계 간의 단일 ODE 단계를 사용하여 교사의 흐름 맵과 일치하도록 훈련됩니다. 이는 오프라인 궤적 생성을 완전히 제거합니다.
3 단계: 학생의 자체 롤아웃을 수반하는 비대칭 DMD. 이때 교사와 비평가 (critic) 는 양방향으로 유지되는 반면 학생은 AR 입니다.

월드 모델 확장

이 파이프라인은 행동 조건부 월드 모델 생성(Genie3 스타일) 으로 확장됩니다. 카메라 포즈 조건부 양방향 생성기를 상호작용형 AR 월드 모델로 증류함으로써, 이 방법은 행동 신호에 기반한 저지연 제어 가능한 비디오 생성을 가능하게 합니다.

대안 분석

본 논문은 초기화로서 **인과 점수 증류 (Causal DMD)**도 조사합니다. 이는 더 선명한 초기 프레임을 생성하지만 (모드 추구 행동으로 인해), 자기회귀 롤아웃 중 심각한 노출 편향을 겪습니다. DMD 의 집중된 확률 질량은 누적된 역사 오차에 매우 민감하여 후속 프레임에서 급격한 품질 이동을 초래합니다. 반면, 인과 CD 의 모드 커버링 행동 (forward KL) 은 역사 변화에 더 강건합니다.

주요 기여

초기화 병목 현상의 규명: 본 논문은 기존 초기화 전략들이 구조적 결함이 있거나, 소수 단계 능력이 부족하거나, 프레임 단위 1~2 단계 생성을 확장하기에는 비용이 너무 많이 든다는 것을 입증합니다.
Causal Forcing++ 파이프라인: 인과 CD 를 초기화에 사용하는 원칙적인 방법으로, 목표 측면에서는 인과 ODE 증류와 이론적으로 동등하지만 훨씬 더 효율적입니다.
효율성 향상: 오프라인 궤적 생성을 온라인 단일 단계 감독으로 대체함으로써, 2 단계 훈련 비용을 약 4 배 줄이고 보조 저장 공간 요구 사항을 제거합니다.
공격적 환경에서의 성능: 이 방법은 이전 방법들이 실패하거나 붕괴되었던 프레임 단위 2 단계 생성 환경에서 최첨단 (SOTA) 결과를 달성합니다.

실험 결과

8 만 개 비디오 데이터셋을 갖춘 Wan2.1-1.3B에서 평가된 Causal Forcing++ 는 다음을 보여줍니다:

품질: 프레임 단위 2 단계 설정에서 Causal Forcing++ 은 SOTA 4 단계 블록 단위 Causal Forcing 방법보다 VBench Total 에서 0.1, VBench Quality 에서 0.3, VisionReward 에서 0.335만큼 뛰어납니다.
지연 시간: 처리량은 약 1.4 배 증가시키면서 첫 번째 프레임 지연 시간을 50% 감소(0.60 초에서 0.27 초로) 시킵니다.
절대 실험 (Ablation Studies):
- 인과 CD 대 인과 ODE: 인과 CD 는 1 단계, 2 단계, 4 단계 설정 전반에 걸쳐 인과 ODE 와 일치하거나 능가하는 반면, 2 단계 비용을 약 11,600 에서 약 2,900 A800-GPU 시간으로 줄입니다.
- 초기화의 필요성: 직접 다단계 AR 초기화는 저단계 설정에서 (예: 1 단계 설정에서 거의 0 인 동적 정도) 성능이 저조하여 명시적 소수 단계 증류의 필요성을 확인시켜 줍니다.
- 인과 DMD: 다단계 초기화보다 개선되었지만, 노출 편향으로 인해 인과 CD 보다 성능이 떨어집니다.

중요성

본 논문은 **Causal Forcing++**이 공격적인 프레임 단위 2 단계 환경에서 고품질 실시간 상호작용 비디오 생성을 성공적으로 달성한 최초의 방법이라고 주장합니다. 인과 ODE 초기화의 확장성 병목 현상을 해결함으로써, 대규모 응용을 위한 저지연 AR 확산 증류를 실용화합니다. 이 방법은 확산 모델의 높은 표현력과 실시간 월드 모델의 상호작용 요구 사항 사이의 간극을 메우며, Genie3 스타일의 상호작용 생성을 위한 확장 가능한 경로를 제공합니다.