minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

Technische Samenvatting: minWM

Probleemstelling
Recente op diffusie gebaseerde fundamentele modellen hebben aanzienlijke successen geboekt bij het genereren van hoge-kwaliteit tekst-naar-video (T2V) en tekst-en-beeld-naar-video (TI2V). Het omzetten van deze offline, bidirectionele generators in realtime interactieve videowereldmodellen blijft echter een aanzienlijke uitdaging. Een effectief interactief wereldmodel moet causale uitrol ondersteunen, reageren op gebruikersacties (zoals cameratrajecten) en toekomstige frames genereren met voldoende lage latentie. Hoewel recente werken autoregressieve (AR) diffusiedistillatie hebben onderzocht om deze kloof te overbruggen, zijn deze technieken momenteel verspreid over aparte pijplijnen. Het bouwen van een compleet interactief systeem vereist nog steeds aanzienlijke, losgekoppelde inspanningen op het gebied van dataconstructie, controleerbare fijne afstemming, AR-training, distillatie in weinig stappen en afstemming van de inferentie. Er ontbreekt een uniform, reproduceerbaar en uitbreidbaar raamwerk om deze volledige pijplijn te beheren.

Methodologie
De auteurs presenteren minWM, een full-stack open-source raamwerk dat is ontworpen om bestaande bidirectionele T2V/TI2V fundamentele modellen om te zetten in camera-controleerbare, autoregressieve wereldmodellen in weinig stappen. De pijplijn is modulair en bestaat uit twee hoofdfasen:

1. Fase 1: Camera-controleerbare training voor bidirectionele diffusiemodellen

   • Doel: Een bidirectionele diffusiebackbone met meerdere stappen toegerust maken met de mogelijkheid om voorgeschreven cameratrajecten te volgen, terwijl de oorspronkelijke visuele kwaliteit behouden blijft.
   • Techniek: Het raamwerk adopteert PRoPE (Projective Rotation and Position Embedding) als injectiemethode. Gegeven cameraparameters (intrinsieke matrix $K_i$ en extrinsieke transformatie $T^{cw}_i$), construeert PRoPE een opgetilde projectieve matrix voor elk frame. Deze transformatie wordt in een GTA-vorm (Generalized Token Attention) geïnjecteerd in het zelf-attentie-mechanisme, waardoor het model kan conditioneren op cameratrajecten door relatieve camera-intrinsieken en poses te coderen zonder de oorspronkelijke zelf-attentie generatieve structuur te verstoren.

2. Fase 2: AR-diffusiedistillatie voor realtime interactieve modellen

   • Doel: Het camera-controleerbare bidirectionele model met meerdere stappen omzetten in een autoregressieve generator in weinig stappen die geschikt is voor inferentie met lage latentie.
   • Pijplijn: Het raamwerk implementeert de Causal Forcing- of Causal Forcing++-pijplijn, bestaande uit drie fasen:
     • Fase 1 (AR-diffusietraining): Het bidirectionele model wordt via teacher forcing fijne afgestemd tot een AR-diffusiemodel. Dit omvat het concateneren van schoon video met ruisende tegenhangers en trainen onder een causale attentiemasker. Dit verleent autoregressieve capaciteit, maar behoudt latentie met meerdere stappen en blootstellingsbiasproblemen.
     • Fase 2 (Initialisatie): Het model wordt gedistilleerd tot een generator in weinig stappen. Het raamwerk biedt twee opties:
       • Causal ODE: Regressie van ruisende tussenframes naar schone frames met behulp van PF-ODE-trajecten gegenereerd door de AR-leraar.
       • Causal CD (Consistency Distillation): Een theoretisch equivalent alternatief dat de noodzaak van offline ODE-gegevensgeneratie elimineert, waardoor opslag- en tijdsoverhead worden verminderd.
     • Fase 3 (Asymmetrische DMD): Om de kwaliteitsbeperkingen die worden overgeërfd van de AR-leraar te overwinnen, wordt een asymmetrische Distillation with a Diffusion Model (DMD)-fase toegepast. Het AR-studentmodel in weinig stappen voert zelf-uitrol uit om volledige sequenties te genereren, die vervolgens worden geoptimaliseerd tegen een bevroren, hoogwaardig bidirectioneel leraarmodel (de "echte" score) met behulp van standaard DMD-gradiënten.
   • Camera-integratie: Gedurende alle distillatiefasen worden cameracondities consequent ingevoerd in de AR-leraar, het studentenmodel en de scoreschatters ($s_{real}$ en $s_{fake}$), zodat het uiteindelijke model in weinig stappen camera-controleerbaar blijft.

Belangrijkste Bijdragen

• minWM-raamwerk: De release van een volledig open-source, end-to-end pijplijn voor het bouwen van realtime interactieve videowereldmodellen. Het dekt de volledige workflow af, van camera-geconditioneerde dataconstructie en controleerbare fijne afstemming tot Causal Forcing-distillatie en inferentie met lage latentie.
• Architectuurgeneralisatie: Demonstratie dat het raamwerk architectuuronafhankelijk is. De auteurs hebben minWM geïnstancierd op twee verschillende open backbones:
  • Wan2.1-T2V-1.3B: Met gebruik van cross-attention-gebaseerde conditie-injectie.
  • HY1.5-TI2V-8B: Met gebruik van een MMDiT-achtige architectuur.
• Aanpasbaarheid: Het raamwerk ondersteunt het aanpassen van bestaande wereldmodellen (bijv. HY-WorldPlay) aan nieuwe datadistributies, trainingsrecepten en latentiedoelen.
• Praktische Ablaties: Het artikel biedt bruikbare richtlijnen over kritieke trainingsfactoren, waaronder de noodzaak van grondwaarheid cameratrajecten (in plaats van waarnemingsgeschatte poses), het minimum aantal trainingsstappen vereist voor controleerbaarheid, en minimale batchgrootte-eisen.

Resultaten

• Latentievermindering: De autoregressieve modellen in weinig stappen hebben dramatische verminderingen in latentie van het eerste frame bereikt in vergelijking met bidirectionele basismodellen met meerdere stappen.
  • HY1.5: Latentie verlaagd van 771,04s naar 3,446s (een 223,75× snelheidswinst).
  • Wan2.1: Latentie verlaagd van 269,055s naar 1,137s (een 236,64× snelheidswinst).
  • Deze lage latentie maakt realtime interactie mogelijk waarbij gebruikers frames kunnen bekijken terwijl de generatie gaande is.
• Behoud van controleerbaarheid: Visuele resultaten bevestigen dat de gedistilleerde autoregressieve modellen in weinig stappen de mogelijkheid behouden om video's te genereren onder verschillende camera-acties, wat de effectiviteit van het distillatiealgoritme in het behouden van controleerbaarheid valideert.
• Ablatiebevindingen:
  • Datakwaliteit: Training op datasets met waarnemingsgeschatte cameraposities (SpatialVid) leverde geen betrouwbare controleerbaarheid op. Succesvolle training vereiste grondwaarheidstrajecten verkregen via 3D-reconstructie/her-rendering (DL3DV) of generatie door WorldPlay.
  • Trainingsstappen: Cameracontroleerbaarheid ontstond progressief; modellen waren bij 1–2k stappen grotendeels niet controleerbaar, begonnen te reageren bij ~5k stappen, en bereikten sterke controleerbaarheid bij 8k stappen.
  • Batchgrootte: Een batchgrootte kleiner dan 4 resulteerde vaak in het niet leren van controleerbaarheid. Een batchgrootte van 16 bleek noodzakelijk voor stabiele training met hoge controleerbaarheid.

Betekenis
Het artikel positioneert minWM niet als een enkel getraind checkpoint, maar als een reproduceerbaar en uitbreidbaar recept voor de gemeenschap. Het adresseert de fragmentatie in het huidige onderzoek door een uniforme pijplijn te bieden die krachtige offline fundamentele modellen omzet in realtime interactieve agenten. Door uitvoerbare scripts, checkpoints en documentatie vrij te geven, beoogt minWM de drempel te verlagen voor onderzoekers om realtime interactieve videowereldmodellen te bouwen, aan te passen en uit te breiden, met name voor toepassingen die generatie met lage latentie en camera-controle vereisen. De auteurs merken expliciet op dat hoewel ze momenteel focussen op cameracontrole, het raamwerk is ontworpen om in de toekomst te worden uitgebreid naar andere controlecondities (bijv. pose) en aanvullende modellen.