minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

기술 요약: minWM

문제 제기
최근 확산 기반 기초 모델들은 고품질의 텍스트-비디오 (T2V) 및 텍스트-이미지-비디오 (TI2V) 생성에서 상당한 성과를 거두었습니다. 그러나 이러한 오프라인 양방향 생성기를 실시간 상호작용 비디오 세계 모델로 변환하는 것은 여전히 상당한 도전 과제로 남아 있습니다. 효과적인 상호작용 세계 모델은 인과적 롤아웃 (causal rollout) 을 지원하고, 사용자 동작 (예: 카메라 궤적) 에 반응하며, 충분히 낮은 지연 시간으로 미래 프레임을 생성해야 합니다. 최근 연구들은 이 격차를 해소하기 위해 자기회귀 (AR) 확산 증류 (distillation) 를 탐구해 왔으나, 이러한 기술들은 현재 별도의 파이프라인에 분산되어 있습니다. 완전한 상호작용 시스템을 구축하려면 여전히 데이터 구성, 제어 가능한 미세 조정, AR 학습, 소수 단계 증류, 추론 정렬 등에서 상당하고 단편적인 노력이 필요합니다. 이 전체 파이프라인을 관리할 통합적이고 재현 가능하며 확장 가능한 프레임워크는 부재합니다.

방법론
저자들은 기존 양방향 T2V/TI2V 기초 모델을 카메라 제어 가능한 소수 단계 자기회귀 세계 모델로 변환하도록 설계된 풀스택 오픈소스 프레임워크인 minWM을 제시합니다. 이 파이프라인은 모듈화되어 있으며 두 가지 주요 단계로 구성됩니다:

1. 1 단계: 양방향 확산 모델을 위한 카메라 제어 가능 학습

   • 목표: 다단계 양방향 확산 백본에 원래의 시각적 품질을 유지하면서 지정된 카메라 궤적을 따를 수 있는 능력을 부여합니다.
   • 기법: 이 프레임워크는 주입 방법으로 PRoPE(Projective Rotation and Position Embedding) 를 채택합니다. 카메라 파라미터 (내부 행렬 $K_i$ 및 외부 변환 $T^{cw}_i$) 가 주어지면, PRoPE 는 각 프레임에 대해 리프트된 투영 행렬을 구성합니다. 이 변환은 GTA(Generalized Token Attention) 형태로 자기주의 (self-attention) 메커니즘에 주입되어, 모델이 원래의 자기주의 생성 구조를 방해하지 않고 상대적인 카메라 내부 파라미터와 포즈를 인코딩함으로써 카메라 궤적에 조건부적으로 반응할 수 있게 합니다.

2. 2 단계: 실시간 상호작용 모델을 위한 AR 확산 증류

   • 목표: 카메라 제어 가능한 다단계 양방향 모델을 저지연 추론에 적합한 소수 단계 자기회귀 생성기로 변환합니다.
   • 파이프라인: 이 프레임워크는 세 단계를 포함하는 Causal Forcing 또는 Causal Forcing++ 파이프라인을 구현합니다:
     • 1 단계 (AR 확산 학습): 양방향 모델은 teacher forcing 을 통해 AR 확산 모델로 미세 조정됩니다. 이는 깨끗한 비디오와 노이즈가 있는 대응물을 연결하고 인과적 주의 마스크 하에서 학습하는 것을 포함합니다. 이는 자기회귀 능력을 부여하지만 다단계 지연 시간과 노출 편향 (exposure bias) 문제를 유지합니다.
     • 2 단계 (초기화): 모델을 소수 단계 생성기로 증류합니다. 프레임워크는 두 가지 옵션을 제공합니다:
       • Causal ODE: AR teacher 가 생성한 PF-ODE 궤적을 사용하여 노이즈가 있는 중간 프레임에서 깨끗한 프레임으로 회귀합니다.
       • Causal CD(Consistency Distillation): 오프라인 ODE 데이터 생성의 필요성을 제거하여 저장 및 시간 오버헤드를 줄이는 이론적으로 동등한 대안입니다.
     • 3 단계 (비대칭 DMD): AR teacher 로부터 물려받은 품질 한계를 극복하기 위해 비대칭 증류 (Distillation with a Diffusion Model, DMD) 단계를 적용합니다. 소수 단계 AR 학생 모델이 전체 시퀀스를 생성하기 위해 자체 롤아웃을 수행한 후, 이를 고정된 고품질 양방향 teacher 모델 ("real" 점수) 에 대해 표준 DMD 기울기를 사용하여 최적화합니다.
   • 카메라 통합: 모든 증류 단계 전반에 걸쳐 카메라 조건은 AR teacher, 학생 모델, 그리고 점수 추정기 ($s_{real}$ 및 $s_{fake}$) 에 일관되게 공급되어, 최종 소수 단계 모델이 카메라 제어 가능하도록 보장합니다.

주요 기여

• minWM 프레임워크: 실시간 상호작용 비디오 세계 모델을 구축하기 위한 완전한 오픈소스 엔드투엔드 파이프라인을 공개합니다. 이는 카메라 조건부 데이터 구성 및 제어 가능한 미세 조정부터 Causal Forcing 증류 및 저지연 추론에 이르는 전체 워크플로우를 포괄합니다.
• 아키텍처 일반화: 이 프레임워크가 아키텍처에 구애받지 않음을 입증합니다. 저자들은 두 가지 다른 오픈 백본에 minWM 을 구현했습니다:
  • Wan2.1-T2V-1.3B: 교차 주의 (cross-attention) 기반 조건 주입을 사용합니다.
  • HY1.5-TI2V-8B: MMDiT 스타일 아키텍처를 사용합니다.
• 적응성: 이 프레임워크는 기존 세계 모델 (예: HY-WorldPlay) 을 새로운 데이터 분포, 학습 레시피 및 지연 시간 목표에 맞게 적응시키는 것을 지원합니다.
• 실용적 제거 실험: 이 논문은 지면-참조 (ground-truth) 카메라 궤적의 필요성 (감각 추정 포즈 대비), 제어 가능성을 위한 최소 학습 단계, 그리고 최소 배치 크기 요구 사항 등 중요한 학습 요소에 대한 실행 가능한 지침을 제공합니다.

결과

• 지연 시간 감소: 소수 단계 AR 모델은 다단계 양방향 기준 모델에 비해 첫 번째 프레임 지연 시간을 극적으로 줄였습니다.
  • HY1.5: 지연 시간을 771.04 초에서 3.446 초로 감소 (223.75 배 속도 향상).
  • Wan2.1: 지연 시간을 269.055 초에서 1.137 초로 감소 (236.64 배 속도 향상).
  • 이러한 낮은 지연 시간은 사용자가 생성이 진행되는 동안 프레임을 볼 수 있는 실시간 상호작용을 가능하게 합니다.
• 제어 가능성 유지: 시각적 결과는 증류된 소수 단계 AR 모델이 다양한 카메라 동작 하에서 비디오를 생성할 수 있는 능력을 유지함을 확인시켜 주며, 증류 알고리즘이 제어 가능성을 유지하는 데 효과적임을 검증합니다.
• 제거 실험 발견:
  • 데이터 품질: 감각 추정 카메라 포즈 (SpatialVid) 를 가진 데이터셋으로 학습하면 신뢰할 수 있는 제어 가능성을 얻지 못했습니다. 성공적인 학습을 위해서는 3D 재구성/재렌더링 (DL3DV) 을 통해 얻은 지면-참조 궤적이나 WorldPlay 에 의해 생성된 궤적이 필요했습니다.
  • 학습 단계: 카메라 제어 가능성은 점진적으로 나타났습니다. 모델은 1~2k 단계에서는 대부분 제어 불가능했으며, 약 5k 단계에서 반응을 시작하여 8k 단계에서 강력한 제어 가능성을 달성했습니다.
  • 배치 크기: 4 미만의 배치 크기는 종종 제어 가능성 학습 실패로 이어졌습니다. 16 의 배치 크기가 안정적이고 높은 제어 가능성을 가진 학습에 필요함이 확인되었습니다.

의의
이 논문은 minWM 을 단일 학습된 체크포인트가 아닌 커뮤니티를 위한 재현 가능하고 확장 가능한 레시피로 위치시킵니다. 이는 강력한 오프라인 기초 모델을 실시간 상호작용 에이전트로 변환하는 통합 파이프라인을 제공함으로써 현재 연구의 단편화 문제를 해결합니다. 실행 가능한 스크립트, 체크포인트 및 문서를 공개함으로써, minWM 은 연구자들이 실시간 상호작용 비디오 세계 모델을 구축, 적응 및 확장하는 장벽을 낮추는 것을 목표로 하며, 특히 저지연 및 카메라 제어 생성이 필요한 응용 분야에 중점을 둡니다. 저자들은 현재 카메라 제어에 초점을 맞추고 있지만, 이 프레임워크는 향후 다른 제어 조건 (예: 포즈) 및 추가 모델로 확장되도록 설계되었다고 명시적으로 언급합니다.