💻 computer science

minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

Das Papier stellt minWM vor, ein vollständiges Open-Source-Framework, das bestehende bidirektionale Videofundamentmodelle durch eine umfassende Pipeline aus Feinabstimmung, kausalem Erzwingen des Trainings und Destillation in Echtzeit-fähige, kamerasteuerbare, wenige Schritte umfassende autoregressive Weltmodelle verwandelt.

Ursprüngliche Autoren: Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten High-End-Filmregisseur (ein Video-Foundation-Modell), der auf Basis eines Drehbuchs atemberaubende, hochwertige Filme erstellen kann. Dieser Regisseur arbeitet jedoch sehr langsam: Er plant den gesamten Film Szenen für Szenen, bevor er Ihnen auch nur ein einziges Bild zeigt. Wenn Sie mitten im Film die Kameraeinstellung ändern möchten, muss er anhalten, den gesamten Film neu planen und von vorne beginnen. Das ist großartig für die Herstellung eines polierten Films, aber katastrophal für ein Videospiel oder einen Live-Chat, bei dem Sie sofortige Reaktionen benötigen.

minWM ist ein neues „Trainingslager" und ein „Werkzeugkasten", der entwickelt wurde, um diesen langsamen, perfektionistischen Regisseur in einen Echtzeit-Interaktionsregisseur zu verwandeln, der sofort auf Ihre Befehle reagieren kann, ohne dabei seine künstlerische Qualität zu verlieren.

So funktioniert minWM, aufgeschlüsselt in einfache Schritte:

1. Das Problem: Der „langsame Regisseur"

Aktuelle Video-KI-Modelle sind wie der langsame Regisseur. Sie sind erstaunlich darin, schöne Videos zu erstellen, aber sie sind bidirektional. Das bedeutet, sie betrachten Anfang, Mitte und Ende eines Videos gleichzeitig, um sicherzustellen, dass alles perfekt zusammenpasst.

Das Problem: Wenn Sie die Kamera in Echtzeit bewegen oder die Szene ändern möchten, kann dieses Modell dies nicht schnell tun. Es dauert zu lange, über das gesamte Video „nachzudenken", bevor es Ihnen das erste Bild zeigt.

2. Die Lösung: Das minWM „Trainingslager"

minWM ist ein Full-Stack-Framework (ein vollständiger Satz von Werkzeugen), das einen bestehenden langsamen Regisseur nimmt und ihn trainiert, zu einem schnellen, interaktiven Darsteller zu werden. Dies geschieht in zwei Hauptphasen:

Phase 1: Lernen, die Kamera zu bewegen (Die „Kamerasteuerung"-Lektion)

Zuerst lehrt das Framework den langsamen Regisseur, wie er spezifische Kamerainstruktionen befolgt.

Die Analogie: Stellen Sie sich vor, Sie bringen dem Regisseur bei, eine Kamera auf einem Gimbal zu halten. Anstatt nur zu raten, wo die Kamera sein sollte, lernen sie, einem präzisen Pfad zu folgen, den Sie für sie zeichnen.
Wie: Das Team verwendet eine spezielle Technik namens PRoPE. Denken Sie daran, als würden Sie dem Regisseur eine Brille mit „Smart Glasses" geben, die genau versteht, wo sich die Kamera im 3D-Raum befindet. Sie üben an Videos, bei denen die Kamerabewegung perfekt bekannt ist (wie bei einer 3D-Animation), damit der Regisseur die exakte Beziehung zwischen „nach links bewegen" und „die Ansicht verschiebt sich nach links" lernt.

Phase 2: Beschleunigung des Prozesses (Die „Distillation"-Lektion)

Jetzt, wo der Regisseur Kamerabewegungen folgen kann, ist er immer noch zu langsam. Er plant immer noch den gesamten Film, bevor er ein Bild zeigt. minWM verwendet eine Technik namens Causal Forcing, um ihn zu beschleunigen.

Die Analogie: Stellen Sie sich einen Schüler (das neue schnelle Modell) vor, der neben einem Meisterlehrer (dem langsamen, hochwertigen Modell) sitzt.
1. Teacher Forcing: Der Schüler lernt, die Geschichte Satz für Satz (Bild für Bild) zu schreiben, anstatt das ganze Buch auf einmal zu planen. Das macht ihn schneller.
2. Die „Spickzettel" (Distillation): Um den Schüler noch schneller zu machen, wird er trainiert, Schritte zu überspringen. Anstatt 50 kleine Schritte zu machen, um ein Bild zu zeichnen, lernt er, es in nur 4 große, selbstbewusste Striche zu tun.
3. Das Sicherheitsnetz (Asymmetric DMD): Es besteht das Risiko, dass der Schüler beim Beschleunigen anfängt, unordentliche Bilder zu zeichnen. Um dies zu beheben, überprüft der Schüler gelegentlich seine Arbeit gegen den ursprünglichen Meisterlehrer. Wenn die schnelle Zeichnung des Schülers etwas abwegig aussieht, korrigiert der Lehrer ihn sanft, sodass das Endergebnis immer noch von hoher Qualität ist.

3. Die Ergebnisse: Vom „Kino" zum „Videospiel"

Die Arbeit zeigt, dass dieser Prozess unglaublich gut funktioniert:

Geschwindigkeit: Die neuen Modelle sind über 200-mal schneller beim Anzeigen des ersten Bildes als die ursprünglichen langsamen Modelle.
- Vorher: Sie warten über 10 Sekunden, bis Sie das erste Bild sehen.
- Nachher: Sie sehen das erste Bild in etwa 1 Sekunde.
Kontrolle: Die schnellen Modelle können Ihre Kamerabefehle immer noch perfekt befolgen. Sie können dem Video sagen, es soll „nach links schwenken" oder „heranzoomen", und es passiert sofort.
Flexibilität: Das Team hat dies an zwei verschiedenen Arten von „Regisseuren" (den Modellen Wan2.1 und HY1.5) getestet, und es funktionierte für beide, was beweist, dass die Methode ein universelles Werkzeugkasten ist und nicht nur eine einmalige Lösung.

4. Wichtige Erkenntnisse (Die „Ablationsstudien")

Die Arbeit teilt auch einige praktische Tipps, die sie beim Aufbau entdeckt haben, die wie „Faustregeln" für jeden sind, der dies versucht:

Gute Daten sind der Schlüssel: Sie können den Regisseur nicht einfach mit unscharfen, geratenen Kamerabewegungen unterrichten. Sie benötigen „Ground Truth"-Daten – Videos, bei denen der Kamerapfad mathematisch perfekt ist (wie 3D-Rekonstruktionen). Wenn Sie unordentliche Daten verwenden, gerät der Regisseur in Verwirrung.
Übung macht den Meister: Der Regisseur muss eine Weile trainieren (etwa 8.000 Schritte), bevor er wirklich versteht, wie man die Kamera bewegt. Wenn Sie zu früh aufhören, wird er Ihren Befehlen nicht folgen.
Sparen Sie nicht an der Klassengröße: Sie benötigen eine angemessene Anzahl von Beispielen (eine „Batch-Größe"), damit der Regisseur lernen kann. Wenn die Klasse zu klein ist (weniger als 4 Beispiele), scheitert er beim Erlernen der Kamerabewegungen.

Zusammenfassung

minWM ist ein Open-Source-Rezept, das ein hochwertiges, langsames Video-KI-Modell in eine Echtzeit-Interaktions-Video-Engine verwandelt. Es lehrt die KI, Kamerabefehle zu befolgen, und beschleunigt sie dann, sodass sie Video generieren kann, während Sie zuschauen. Dies macht es möglich, interaktive Video-Welten (wie Videospiele oder Live-Simulationen) zu erstellen, die mit herkömmlicher Video-KI zuvor unmöglich waren.

Technischer Zusammenfassung: minWM

Problemstellung
Neueste diffusionsbasierte Fundamentmodelle haben erhebliche Erfolge bei der hochqualitativen Generierung von Text-zu-Video (T2V) und Text-und-Bild-zu-Video (TI2V) erzielt. Die Umwandlung dieser offline arbeitenden, bidirektionalen Generatoren in Echtzeit-interaktive Video-Weltmodelle bleibt jedoch eine erhebliche Herausforderung. Ein effektives interaktives Weltmodell muss eine kausale Rollout-Fähigkeit unterstützen, auf Benutzeraktionen (wie Kameratrajektorien) reagieren und zukünftige Frames mit ausreichend geringer Latenz generieren. Während neuere Arbeiten autoregressive (AR) Diffusions-Distillation erforscht haben, um diese Lücke zu schließen, sind diese Techniken derzeit über separate Pipelines verstreut. Der Aufbau eines vollständigen interaktiven Systems erfordert nach wie vor erhebliche, getrennte Anstrengungen bei der Datenkonstruktion, der kontrollierbaren Feinabstimmung, dem AR-Training, der Few-Step-Distillation und der Inferenz-Ausrichtung. Es fehlt ein einheitliches, reproduzierbares und erweiterbares Framework, um diese gesamte Pipeline zu verwalten.

Methodik
Die Autoren stellen minWM vor, ein Full-Stack-Open-Source-Framework, das darauf ausgelegt ist, bestehende bidirektionale T2V/TI2V-Fundamentmodelle in kamerakontrollierbare, Few-Step-autoregressive Weltmodelle umzuwandeln. Die Pipeline ist modular und besteht aus zwei Hauptphasen:

Phase 1: Kamerakontrolliertes Training für bidirektionale Diffusionsmodelle
- Ziel: Ausstattung eines mehrstufigen bidirektionalen Diffusionsrückgrats mit der Fähigkeit, vorgeschriebene Kameratrajektorien zu befolgen, unter Beibehaltung der ursprünglichen visuellen Qualität.
- Technik: Das Framework übernimmt PRoPE (Projective Rotation and Position Embedding) als Injektionsmethode. Gegeben Kameraparameter (intrinsische Matrix $K_i$ und extrinsische Transformation $T^{cw}_i$ ) konstruiert PRoPE für jeden Frame eine gehobene projektive Matrix. Diese Transformation wird in Form eines GTA (Generalized Token Attention) in den Selbst-Aufmerksamkeitsmechanismus injiziert, wodurch das Modell auf Kameratrajektorien konditionieren kann, indem es relative Kameraintrinsiken und -posen kodiert, ohne die ursprüngliche selbstaufmerksamkeitsbasierte Generierungsstruktur zu stören.
Phase 2: AR-Diffusions-Distillation für Echtzeit-interaktive Modelle
- Ziel: Umwandlung des kamerakontrollierten mehrstufigen bidirektionalen Modells in einen Few-Step-autoregressiven Generator, der für Inferenz mit geringer Latenz geeignet ist.
- Pipeline: Das Framework implementiert die Causal Forcing- oder Causal Forcing++-Pipeline, die aus drei Stufen besteht:
  - Stufe 1 (AR-Diffusions-Training): Das bidirektionale Modell wird durch Teacher Forcing zu einem AR-Diffusionsmodell feinabgestimmt. Dies umfasst das Konkatenieren von klarem Video mit verrauschten Gegenstücken und das Training unter einer kausalen Aufmerksamkeitsmaske. Dies verleiht autoregressive Fähigkeiten, behält jedoch die Latenz mehrstufiger Verfahren und Probleme der Exposure Bias bei.
  - Stufe 2 (Initialisierung): Das Modell wird zu einem Few-Step-Generator distilliert. Das Framework bietet zwei Optionen:
    - Causal ODE: Regression von verrauschten Zwischenframes zu klaren Frames unter Verwendung von PF-ODE-Trajektorien, die vom AR-Lehrer generiert wurden.
    - Causal CD (Consistency Distillation): Eine theoretisch äquivalente Alternative, die die Notwendigkeit einer Offline-ODE-Datengenerierung eliminiert und somit Speicher- und Zeitkosten reduziert.
  - Stufe 3 (Asymmetrische DMD): Um die Qualitätsbeschränkungen zu überwinden, die vom AR-Lehrer geerbt wurden, wird eine asymmetrische Distillation mit einem Diffusionsmodell (DMD) angewendet. Das Few-Step-AR-Schülermodell führt selbst Rollouts durch, um vollständige Sequenzen zu generieren, die dann unter Verwendung standardmäßiger DMD-Gradienten gegen ein eingefrorenes, hochqualitatives bidirektionales Lehrermodell (der „wahre" Score) optimiert werden.
- Kameraintegration: Während aller Distillationsstufen werden Kamerabedingungen konsistent in den AR-Lehrer, das Schülermodell und die Score-Schätzer ( $s_{real}$ und $s_{fake}$ ) eingespeist, um sicherzustellen, dass das finale Few-Step-Modell kamerakontrollierbar bleibt.

Hauptbeiträge

minWM-Framework: Die Veröffentlichung einer vollständig open-source, End-to-End-Pipeline zum Aufbau von Echtzeit-interaktiven Video-Weltmodellen. Sie deckt den gesamten Arbeitsablauf von der kamerakonditionierten Datenkonstruktion und kontrollierbaren Feinabstimmung bis zur Causal-Forcing-Distillation und Inferenz mit geringer Latenz ab.
Architekturgeneralisierung: Demonstration, dass das Framework architekturagnostisch ist. Die Autoren instanziierten minWM auf zwei verschiedenen Open-Source-Rückgraten:
- Wan2.1-T2V-1.3B: Nutzung einer konditionierten Injektion auf Basis von Cross-Attention.
- HY1.5-TI2V-8B: Nutzung einer MMDiT-artigen Architektur.
Anpassungsfähigkeit: Das Framework unterstützt die Anpassung bestehender Weltmodelle (z. B. HY-WorldPlay) an neue Datenverteilungen, Trainingsrezepte und Latenzziele.
Praktische Ablationsstudien: Die Arbeit bietet handlungsleitende Hinweise zu kritischen Trainingsfaktoren, einschließlich der Notwendigkeit von Ground-Truth-Kameratrajektorien (im Gegensatz zu wahrnehmungsgeschätzten Posen), der minimal erforderlichen Trainingsschritte für Kontrollierbarkeit und der minimalen Batch-Größenanforderungen.

Ergebnisse

Latenzreduktion: Die Few-Step-AR-Modelle erzielten drastische Reduktionen der Latenz des ersten Frames im Vergleich zu mehrstufigen bidirektionalen Baselines.
- HY1.5: Reduktion der Latenz von 771,04 s auf 3,446 s (eine 223,75-fache Beschleunigung).
- Wan2.1: Reduktion der Latenz von 269,055 s auf 1,137 s (eine 236,64-fache Beschleunigung).
- Diese geringe Latenz ermöglicht Echtzeit-Interaktion, bei der Benutzer Frames während der laufenden Generierung betrachten können.
Erhalt der Kontrollierbarkeit: Visuelle Ergebnisse bestätigen, dass die distillierten Few-Step-AR-Modelle die Fähigkeit beibehalten, Videos unter verschiedenen Kamerabewegungen zu generieren, was die Wirksamkeit des Distillationsalgorithmus zur Erhaltung der Kontrollierbarkeit validiert.
Ablationsbefunde:
- Datenqualität: Das Training auf Datensätzen mit wahrnehmungsgeschätzten Kameraposen (SpatialVid) führte nicht zu zuverlässiger Kontrollierbarkeit. Erfolgreiches Training erforderte Ground-Truth-Trajektorien, die durch 3D-Rekonstruktion/Neu-Rendering (DL3DV) oder Generierung durch WorldPlay gewonnen wurden.
- Trainingsschritte: Kamerakontrollierbarkeit entwickelte sich progressiv; Modelle waren bei 1–2k Schritten weitgehend unkontrollierbar, begannen bei ca. 5k Schritten zu reagieren und erreichten bei 8k Schritten eine starke Kontrollierbarkeit.
- Batch-Größe: Eine Batch-Größe kleiner als 4 führte häufig zum Scheitern beim Erlernen der Kontrollierbarkeit. Eine Batch-Größe von 16 wurde als notwendig für stabiles Training mit hoher Kontrollierbarkeit ermittelt.

Bedeutung
Die Arbeit positioniert minWM nicht als einzelnen trainierten Checkpoint, sondern als reproduzierbares und erweiterbares Rezept für die Gemeinschaft. Sie adressiert die Fragmentierung in der aktuellen Forschung durch Bereitstellung einer einheitlichen Pipeline, die leistungsstarke offline Fundamentmodelle in Echtzeit-interaktive Agenten umwandelt. Durch die Veröffentlichung ausführbarer Skripte, Checkpoints und Dokumentation zielt minWM darauf ab, die Hürde für Forscher zu senken, Echtzeit-interaktive Video-Weltmodelle zu erstellen, anzupassen und zu erweitern, insbesondere für Anwendungen, die eine latenzarme, kamerakontrollierte Generierung erfordern. Die Autoren weisen ausdrücklich darauf hin, dass sie sich zwar derzeit auf die Kamerasteuerung konzentrieren, das Framework jedoch so konzipiert ist, dass es in Zukunft auf andere Steuerungsbedingungen (z. B. Pose) und zusätzliche Modelle erweitert werden kann.