minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

Riepilogo Tecnico: minWM

Enunciato del Problema
Recenti modelli fondazionali basati sulla diffusione hanno ottenuto successi significativi nella generazione video da testo (T2V) e da testo-immagine (TI2V) di alta qualità. Tuttavia, trasformare questi generatori bidirezionali offline in modelli di mondo video interattivi in tempo reale rimane una sfida sostanziale. Un modello di mondo interattivo efficace deve supportare l'evoluzione causale, rispondere alle azioni dell'utente (come le traiettorie della telecamera) e generare fotogrammi futuri con latenza sufficientemente bassa. Sebbene lavori recenti abbiano esplorato la distillazione di diffusione autoregressiva (AR) per colmare questo divario, queste tecniche sono attualmente disperse tra pipeline separate. Costruire un sistema interattivo completo richiede ancora uno sforzo sostanziale e disgiunto nella costruzione dei dati, nel fine-tuning controllabile, nell'addestramento AR, nella distillazione in pochi passaggi e nell'allineamento dell'inferenza. Manca un framework unificato, riproducibile ed estendibile per gestire l'intera pipeline.

Metodologia
Gli autori presentano minWM, un framework open-source full-stack progettato per convertire i modelli fondazionali T2V/TI2V bidirezionali esistenti in modelli di mondo autoregressivi in pochi passaggi e controllabili tramite telecamera. La pipeline è modulare e consiste in due fasi principali:

1. Fase 1: Addestramento Controllabile tramite Telecamera per Modelli di Diffusione Bidirezionali

   • Obiettivo: Dotare un backbone di diffusione bidirezionale multi-passaggio della capacità di seguire traiettorie di telecamera prescritte preservando la qualità visiva originale.
   • Tecnica: Il framework adotta PRoPE (Projective Rotation and Position Embedding) come metodo di iniezione. Dati i parametri della telecamera (matrice intrinseca $K_i$ e trasformazione estrinseca $T^{cw}_i$), PRoPE costruisce una matrice proiettiva sollevata per ogni fotogramma. Questa trasformazione viene iniettata nel meccanismo di self-attention sotto forma di GTA (Generalized Token Attention), consentendo al modello di condizionarsi sulle traiettorie della telecamera codificando intrinseche e pose relative della telecamera senza interrompere la struttura generativa originale di self-attention.

2. Fase 2: Distillazione di Diffusione AR per Modelli Interattivi in Tempo Reale

   • Obiettivo: Trasformare il modello bidirezionale controllabile tramite telecamera e multi-passaggio in un generatore autoregressivo in pochi passaggi adatto a inferenze a bassa latenza.
   • Pipeline: Il framework implementa la pipeline Causal Forcing o Causal Forcing++, composta da tre stadi:
     • Stadio 1 (Addestramento Diffusione AR): Il modello bidirezionale viene fine-tunato in un modello di diffusione AR tramite teacher forcing. Ciò comporta la concatenazione di video puliti con le loro controparti rumorose e l'addestramento sotto una maschera di attenzione causale. Questo conferisce capacità autoregressiva ma mantiene la latenza multi-passaggio e i problemi di bias di esposizione.
     • Stadio 2 (Inizializzazione): Il modello viene distillato in un generatore in pochi passaggi. Il framework offre due opzioni:
       • Causal ODE: Regressione da fotogrammi intermedi rumorosi a fotogrammi puliti utilizzando traiettorie PF-ODE generate dal teacher AR.
       • Causal CD (Consistency Distillation): Un'alternativa teoricamente equivalente che elimina la necessità di generazione offline di dati ODE, riducendo l'overhead di archiviazione e tempo.
     • Stadio 3 (DMD Asimmetrico): Per superare i limiti di qualità ereditati dal teacher AR, viene applicata una fase asimmetrica di Distillazione con un Modello di Diffusione (DMD). Il modello studente AR in pochi passaggi esegue un'auto-evoluzione per generare sequenze complete, che vengono poi ottimizzate rispetto a un modello teacher bidirezionale ad alta qualità e congelato (il "voto" reale) utilizzando gradienti DMD standard.
   • Integrazione della Telecamera: In tutti gli stadi di distillazione, le condizioni della telecamera vengono inviate in modo coerente al teacher AR, al modello studente e agli stimatori del punteggio ($s_{real}$ e $s_{fake}$), garantendo che il modello finale in pochi passaggi rimanga controllabile tramite telecamera.

Principali Contributi

• Framework minWM: Il rilascio di una pipeline end-to-end completamente open-source per la costruzione di modelli di mondo video interattivi in tempo reale. Copre l'intero flusso di lavoro, dalla costruzione di dati condizionati alla telecamera e dal fine-tuning controllabile alla distillazione Causal Forcing e all'inferenza a bassa latenza.
• Generalizzazione dell'Architettura: Dimostrazione che il framework è agnostico rispetto all'architettura. Gli autori hanno istanziato minWM su due backbones open distinti:
  • Wan2.1-T2V-1.3B: Utilizzando l'iniezione di condizioni basata su cross-attention.
  • HY1.5-TI2V-8B: Utilizzando un'architettura di tipo MMDiT.
• Adattabilità: Il framework supporta l'adattamento di modelli di mondo esistenti (ad es. HY-WorldPlay) a nuove distribuzioni di dati, ricette di addestramento e target di latenza.
• Ablazioni Pratiche: Il paper fornisce indicazioni attuabili su fattori critici di addestramento, inclusa la necessità di traiettorie di telecamera ground-truth (rispetto a pose stimate per percezione), il numero minimo di passaggi di addestramento richiesti per il controllo e i requisiti minimi di dimensione del batch.

Risultati

• Riduzione della Latenza: I modelli AR in pochi passaggi hanno ottenuto riduzioni drammatiche della latenza del primo fotogramma rispetto alle baseline bidirezionali multi-passaggio.
  • HY1.5: Riduzione della latenza da 771,04s a 3,446s (un accelerazione di 223,75×).
  • Wan2.1: Riduzione della latenza da 269,055s a 1,137s (un accelerazione di 236,64×).
  • Questa bassa latenza consente un'interazione in tempo reale in cui gli utenti possono visualizzare i fotogrammi mentre la generazione è in corso.
• Preservazione del Controllo: I risultati visivi confermano che i modelli AR in pochi passaggi distillati mantengono la capacità di generare video sotto diverse azioni della telecamera, validando l'efficacia dell'algoritmo di distillazione nel preservare il controllo.
• Risultati delle Ablazioni:
  • Qualità dei Dati: L'addestramento su dataset con pose di telecamera stimate per percezione (SpatialVid) non ha prodotto un controllo affidabile. L'addestramento di successo ha richiesto traiettorie ground-truth ottenute tramite ricostruzione/rerendering 3D (DL3DV) o generazione da WorldPlay.
  • Passaggi di Addestramento: Il controllo della telecamera è emerso progressivamente; i modelli erano in gran parte incontrollabili a 1–2k passaggi, hanno iniziato a rispondere a ~5k passaggi e hanno raggiunto un forte controllo a 8k passaggi.
  • Dimensione del Batch: Una dimensione del batch inferiore a 4 ha spesso portato al fallimento nell'apprendimento del controllo. Una dimensione del batch di 16 è risultata necessaria per un addestramento stabile e ad alto controllo.

Significato
Il paper posiziona minWM non come un singolo checkpoint addestrato, ma come una ricetta riproducibile ed estendibile per la comunità. Affronta la frammentazione nella ricerca attuale fornendo una pipeline unificata che converte potenti modelli fondazionali offline in agenti interattivi in tempo reale. Rilasciando script eseguibili, checkpoint e documentazione, minWM mira ad abbassare la barriera per i ricercatori per costruire, adattare ed estendere modelli di mondo video interattivi in tempo reale, in particolare per applicazioni che richiedono generazione controllabile tramite telecamera a bassa latenza. Gli autori notano esplicitamente che, sebbene attualmente si concentrino sul controllo della telecamera, il framework è progettato per essere esteso ad altre condizioni di controllo (ad es. pose) e ad altri modelli in futuro.