기술 요약: 인과적 강제 (Causal Forcing)

1. 문제 제기

현재 실시간 상호작용 비디오 생성을 달성하기 위한 기존 방법들은 강력한 사전 학습된 **양방향 비디오 확산 모델 (bidirectional video diffusion models)**을 소수 단계 자기회귀 (AR) 학생 모델로 증류하는 방식에 의존합니다. 이 접근법은 다단계 샘플링의 지연 시간을 해결하지만, 미래 프레임에 대한 접근이 가능한 전체 어텐션 (full attention) 모델을 과거 컨텍스트에만 조건부인 인과적 아키텍처로 변환함으로써 근본적인 아키텍처 간극을 도입합니다.

기존 최첨단 (SOTA) 방법들, 예를 들어 Self Forcing은 다음과 같은 2 단계 파이프라인을 통해 이 간극을 메우려 시도합니다:

1. ODE 증류 (ODE Distillation): 양방향 교사를 사용하여 노이즈가 있는 프레임을 깨끗한 프레임으로 회귀시킴으로써 AR 학생을 초기화합니다.
2. 분포 매칭 증류 (Distribution Matching Distillation, DMD): 성능을 더욱 향상시킵니다.

그러나 이러한 방법들은 표준 양방향 증류에 비해 동적 정도 (dynamic degree), 시각적 품질, 그리고 지시 따르기 (instruction following) 측면에서 상당한 성능 저하를 겪습니다. 본 논문은 이러한 저하가 ODE 초기화 단계의 이론적 결함에서 비롯된다고 지적합니다. 구체적으로, 기존 방법들은 프레임 단위 주입성 (frame-level injectivity) 요구 사항을 위반합니다. 양방향 교사 모델에서 동일한 노이즈가 있는 프레임은 미래 컨텍스트에 따라 여러 개의 서로 다른 깨끗한 프레임에 대응될 수 있습니다. 미래 컨텍스트가 없는 AR 학생이 이러한 노이즈가 있는 프레임을 깨끗한 프레임으로 매핑하도록 훈련될 때, 고유한 흐름 맵 (flow map) 을 복원할 수 없습니다. 대신, 이는 조건부 기대값 (conditional expectation) (가능한 깨끗한 프레임들의 평균) 으로 수렴하여 흐릿하고 일관성 없는 비디오 생성을 초래합니다.

2. 방법론: 인과적 강제 (Causal Forcing)

저자들은 초기화 동안 이론적 정렬을 보장함으로써 아키텍처 간극을 메우도록 설계된 3 단계 프레임워크인 Causal Forcing을 제안합니다.

1 단계: Teacher Forcing 을 통한 자기회귀 확산 모델 훈련

저자들은 먼저 교사 역할을 할 자기회귀 확산 모델을 훈련합니다. 두 가지 훈련 패러다임을 비교합니다:

• Diffusion Forcing (DF): 노이즈가 있는 과거 프레임에 조건부입니다. 논문은 추론이 깨끗한 과거 프레임에 조건부이므로 이는 훈련 - 추론 불일치를 초래한다고 주장합니다.
• Teacher Forcing (TF): 깨끗한 과거 프레임에 조건부입니다.
  저자들은 이론적 및 실증적으로 Teacher Forcing이 AR 확산 훈련에 더 우월함을 입증했습니다. 이는 훈련 목적을 추론 과정과 정렬시켜 분포 불일치를 방지하기 때문입니다.

2 단계: 인과적 ODE 증류

TF 로 훈련된 AR 모델을 교사로 사용하여 ODE 증류를 수행하여 AR 학생을 초기화합니다.

• 메커니즘: AR 교사는 확률 흐름 ODE (PF-ODE) 궤적을 샘플링합니다. 교사가 자기회귀적이므로, 그 PF-ODE 는 자연스럽게 프레임 단위 주입성을 만족합니다. 즉, 임의의 노이즈가 있는 프레임 $x^i_t$에 대해 인과적 과거에 의해서만 결정되는 고유한 깨끗한 프레임 $x^i_0$이 존재합니다.
• 훈련: 학생 $G_\theta$는 동일한 깨끗한 과거에 조건부인 노이즈가 있는 중간값 $x^i_t$로부터 깨끗한 목표 $x^i_0$를 회귀하도록 훈련됩니다.
• 결과: 이 설정은 학생이 조건부 평균으로 수렴하지 않고 교사의 흐름 맵을 정확하게 학습할 수 있게 하여 아키텍처 간극을 효과적으로 메웁니다.

3 단계: 비대칭 DMD

인과적 ODE 초기화 후, 이 방법은 Self Forcing 에서 사용된 동일한 분포 매칭 증류 (Distribution Matching Distillation, DMD) 절차를 적용합니다. 이 단계는 소수 단계 AR 학생을 더욱 정제하여 고품질이고 효율적인 실시간 생성을 가능하게 합니다.

확장: 논문은 또한 이 논리를 **인과적 일관성 증류 (Causal Consistency Distillation, CD)**로 확장하여, 양방향 교사를 사용하는 비대칭 CD 보다 네이티브 AR 교사를 사용하는 CD 가 더 우수한 성능을 보임을 보여줍니다.

3. 주요 기여

1. 아키텍처 간극에 대한 이론적 분석: 논문은 기존 AR 증류의 성능 격차가 DMD 단계 때문이 아니라 ODE 초기화에서 비롯된다고 규명합니다. 양방향 교사로부터 AR 학생을 증류하는 것이 프레임 단위 주입성을 위반하여 조건부 기대값으로의 수렴과 흐릿한 출력을 초래함을 증명합니다.
2. Causal Forcing 프레임워크: 이론적 정렬을 보장하는 3 단계 신규 방법:
   • Teacher Forcing을 사용하여 AR 교사를 훈련 (AR 에 대해 Diffusion Forcing 보다 우월함이 입증됨).
   • 주입성을 보장하기 위해 이 AR 교사를 사용하여 인과적 ODE 증류 수행.
   • 최종 최적화를 위해 비대칭 DMD 적용.
3. 실증적 우월성: 이 방법은 여러 지표를 통해 기존 최첨단 증류 AR 모델 및 양방향 확산 모델을 포함한 모든 베이스라인을 일관되게 능가합니다.

4. 실험 결과

저자들은 Causal Forcing 을 양방향 모델 (Wan2.1, LTX-1.9B), 네이티브 AR 모델 (NOVA, Pyramid Flow, SkyReels-V2), 그리고 증류된 AR 모델 (CausVid, Self Forcing) 을 포함한 다양한 베이스라인과 비교 평가했습니다.

주요 지표 (선별된 100 개 프롬프트 모션 세트 기준):

• 동적 정도 (Dynamic Degree): SOTA Self Forcing 보다 19.3% 우수합니다.
• VisionReward: Self Forcing 보다 8.7% 우수합니다.
• 지시 따르기 (Instruction Following): Self Forcing 보다 16.7% 우수합니다.
• 처리량 (Throughput): 기존 증류된 AR 모델과 동일한 높은 처리량 (17.0 FPS) 과 낮은 지연 시간 (0.69 초) 을 유지하며, 양방향 모델보다 훨씬 빠릅니다.

정성적 결과:
이 방법은 Self Forcing 에서 흔히 발생하는 흐림과 아티팩트에 비해 훨씬 높은 시간적 일관성과 시각적 충실도를 가진 비디오를 생성합니다. 실시간 상호작용성을 유지하면서 양방향 모델의 품질과 일치하거나 능가합니다.

애블레이션 연구:

• Teacher Forcing vs. Diffusion Forcing: TF 는 DF 에 비해 시각적 품질이 현저히 높습니다 (VisionReward +111.2%).
• 초기화 영향: Chunk-wise 설정에서 Self Forcing 의 ODE 초기화를 Causal ODE 초기화로 교체하면 VisionReward 가 90.0%, 동적 정도가 183.3% 향상됩니다.
• 양방향 vs. AR 교사: Causal ODE 증류를 위해 양방향 모델을 교사로 사용하더라도 여전히 Self Forcing 보다 우월합니다. 이는 성능의 주요 동인이 학생 초기화뿐만 아니라 **증류 설정 (교사 유형)**임을 확인시켜 줍니다.

5. 중요성과 주장

본 논문은 Causal Forcing이 현재 자기회귀 비디오 증류 파이프라인에 내재된 이론적 불일치를 해결한다고 주장합니다. 자기회귀 교사를 통해 프레임 단위 주입성을 강제함으로써, 이 방법은 학생이 흐릿한 평균이 아닌 실제 흐름 맵을 복원할 수 있게 합니다.

저자들은 기존 증류된 모델에 비해 훈련 예산을 증가시키지 않고 (ODE 초기화 및 DMD 에 동일한 단계 수 사용) 이러한 이점을 달성했다고 강조합니다. 이 작업은 "아키텍처 간극"이 AR 모델의 고유한 한계가 아니라 부적절한 증류 전략의 결과임을 보여주며, 이 간극을 메우면 AR 모델이 실시간 상호작용 애플리케이션에 필요한 속도로 양방향 모델의 품질을 달성할 수 있음을 입증합니다.