World Action Models are Zero-shot Policies

Das Paper stellt DreamZero vor, ein World Action Model auf Basis eines Video-Diffusions-Backbones, das als Zero-Shot-Policy durch das gemeinsame Lernen von Video und Aktionen eine überlegene Generalisierungsfähigkeit auf neue Aufgaben und Umgebungen sowie eine effiziente Echtzeit-Steuerung und Embodiment-Transferfähigkeit im Vergleich zu herkömmlichen Vision-Language-Action-Modellen erreicht.

Das Wesentliche

Stell dir vor, du möchtest einem Roboter beibringen, wie man kocht, aufräumt oder sogar einen Ballon aufbläst.

Das alte Problem: Der Roboter, der nur auswendig lernt

Bisherige Roboter-KIs (die sogenannten „VLA-Modelle") funktionieren wie ein Schüler, der nur auswendig lernt, was ihm gezeigt wird.

• Das Szenario: Wenn du dem Roboter 100 Mal zeigst, wie man eine rote Tasse in einen roten Becher stellt, kann er das.
• Das Problem: Wenn du ihn dann bittest, eine blaue Tasse in einen grünen Becher zu stellen, oder eine Aufgabe zu lösen, die er noch nie gesehen hat (z. B. einen Schuh zu binden), scheitert er oft. Er versteht die Bedeutung der Wörter („Stell die Tasse ab"), aber er hat kein intuitives Gefühl dafür, wie sich die Welt physikalisch bewegt. Er weiß nicht, wie sich ein Objekt anfühlt, wenn man es greift, oder wie es fällt.

Die Lösung: DreamZero – Der Roboter, der „träumt"

Das neue Modell DreamZero ist anders. Es ist wie ein junger Mensch, der nicht nur Anweisungen auswendig lernt, sondern die Welt beobachtet und vorhergibt, was als Nächstes passiert.

Stell dir DreamZero als einen Filmemacher und Regisseur vor, der gleichzeitig auch der Stuntman ist.

1. Der Filmemacher (Die Vision): Bevor der Roboter überhaupt eine Bewegung macht, „träumt" er (generiert) einen kurzen Film davon, wie die Welt aussehen wird, wenn er die Aufgabe erfolgreich erledigt. Er sieht im Kopf: „Wenn ich diesen Apfel greife und in den Korb lege, wird der Apfel dort landen und der Korb wackeln."
2. Der Stuntman (Die Aktion): Basierend auf diesem mentalen Film berechnet der Roboter genau, welche Muskeln (Motoren) er bewegen muss, um diesen Film in der Realität zu erzeugen.

Die Magie: Da das Modell auf Milliarden von Videos aus dem Internet trainiert wurde, kennt es die Gesetze der Physik. Es weiß, dass ein Glas zerbricht, wenn es fällt, oder dass ein Ball abprallt. Es muss nicht jedes Detail neu lernen, sondern nutzt dieses allgemeine Verständnis.

Warum ist das so revolutionär?

Hier sind die vier großen Durchbrüche, einfach erklärt:

1. Lernen ohne ständige Wiederholung (Vielfalt statt Langeweile)

• Alt: Um einen Roboter zu trainieren, musste man ihm oft dieselbe Aufgabe 1.000 Mal zeigen (z. B. „Tasse greifen", „Tasse abstellen"). Das ist teuer und langweilig.
• DreamZero: Es reicht, dem Roboter eine vielfältige Sammlung von Videos zu zeigen. Er muss nicht wissen, wie man immer denselben Apfel greift. Er lernt aus der Vielfalt: „Ah, Objekte haben Gewicht, sie rutschen, sie fallen."
• Ergebnis: Mit nur 500 Stunden an vielfältigen Daten (statt tausenden Stunden an repetitiven Daten) lernt er besser als die alten Modelle.

2. Der „Null-Shot"-Trick (Alles auf Anhieb)

• Das Szenario: Du sagst dem Roboter: „Binden Sie mir die Schnürsenkel."
• Das Ergebnis: Der Roboter hat das niemals vorher gesehen. Aber weil er die Physik von Schnüren und Knoten aus seinen „Filmen" kennt, versucht er es sofort und schafft es oft. Er muss nicht erst trainiert werden. Das nennt man Zero-Shot Generalisierung.

3. Der Körper-Tausch (Kreuz-Embodiment)

• Das Problem: Ein Roboter mit zwei Armen lernt normalerweise nicht, wie man sich mit einem Arm bewegt.
• DreamZero: Da es die Welt durch Videos versteht, kann es Wissen übertragen.
  • Beispiel: Wenn wir dem Roboter nur zeigen, wie ein Mensch (oder ein anderer Roboter) einen Apfel pflückt (nur Video, keine Bewegungsbefehle), kann unser Roboter das sofort nachmachen. Er „übersetzt" die menschliche Bewegung in seine eigene Mechanik.
  • Wunder: Es braucht nur 30 Minuten an Spielzeit mit einem neuen Roboter, um sich anzupassen und trotzdem alles andere zu können, was er vorher gelernt hat.

4. Geschwindigkeit: Vom Schneckentempo zum Sprint

• Das Problem: Solche „Traum-Modelle" sind normalerweise sehr langsam, weil sie viele Rechenschritte brauchen, um den Film zu erstellen. Ein Roboter, der 5 Sekunden für eine Bewegung braucht, ist nutzlos.
• Die Lösung: Die Forscher haben den Code extrem optimiert (wie einen Rennwagen, der aerodynamischer gemacht wurde).
• Ergebnis: DreamZero kann jetzt 7 Mal pro Sekunde neue Bewegungen berechnen. Das ist schnell genug für einen echten, flüssigen Roboter, der auf Hindernisse reagieren kann.

Zusammenfassung in einer Metapher

Stell dir vor, du willst jemanden beibringen, Auto zu fahren.

• Die alten Roboter sind wie Fahrschüler, die nur die Strecke geübt haben, auf der sie gelernt haben. Wenn die Straße nass ist oder eine andere Kurve hat, geraten sie in Panik.
• DreamZero ist wie ein erfahrener Fahrer, der Millionen von Fahrvideos gesehen hat. Er versteht, wie ein Auto auf Eis rutscht, wie Bremswege funktionieren und wie man sich in einer neuen Stadt zurechtfindet, ohne je dort gefahren zu sein. Er „sieht" die Zukunft des Fahrwegs, bevor er das Lenkrad dreht.

Fazit

DreamZero ist ein großer Schritt hin zu echten Allzweck-Robotern. Sie sind nicht mehr nur Werkzeuge, die man programmiert, sondern intelligente Partner, die die Welt verstehen, aus Videos lernen und sich sofort an neue Aufgaben und neue Körper anpassen können – und das alles in Echtzeit.

Technische Zusammenfassung

Titel: World Action Models sind Zero-Shot-Policies: DreamZero

Datum: 19. Februar 2026 (veröffentlicht auf arXiv)
Autoren: Seonghyeon Ye et al. (NVIDIA)

---

1. Problemstellung

Der aktuelle Stand der Technik bei robotischen Basis-Modellen, sogenannte Vision-Language-Action (VLA)-Modelle, zeichnet sich durch eine hervorragende semantische Generalisierung aus (Verstehen von Sprachanweisungen und Objektkategorien). Sie stoßen jedoch an Grenzen, wenn es darum geht, sich auf neue physische Bewegungen oder ungesehene Umgebungen zu verallgemeinern.

• Limitierung von VLAs: VLAs lernen oft nur die Abbildung von Beobachtungen auf Aktionen (State-to-Action). Ihnen fehlen die räumlich-zeitlichen Priors (Wissen über Physik und Dynamik), die notwendig sind, um komplexe, nicht wiederholte Bewegungen zu planen. Sie benötigen oft große Mengen an spezifischen, wiederholten Demonstrationen für jede neue Aufgabe.
• Das Ziel: Ein Modell zu entwickeln, das nicht nur versteht, was zu tun ist, sondern auch wie es physikalisch ausgeführt wird, und dies aus heterogenen, nicht-repetitiven Daten lernen kann, ohne auf massive Mengen an roboterspezifischen Demonstrationsdaten angewiesen zu sein.

---

2. Methodik: DreamZero (World Action Model)

Die Autoren stellen DreamZero vor, ein 14-Milliarden-Parameter-Modell, das als World Action Model (WAM) konzipiert ist. Es basiert auf einem vortrainierten Video-Diffusions-Backbone (Wan2.1-I2V-14B).

Kernkonzept: Gemeinsame Vorhersage von Video und Aktion

Im Gegensatz zu VLAs, die nur Aktionen vorhersagen, lernt DreamZero die gemeinsame Verteilung von zukünftigen Videoframes und Aktionen.

• Prinzip: Das Modell sagt nicht nur die nächste Aktion vorher, sondern generiert auch das zukünftige visuelle Szenario (die Welt), das durch diese Aktion entsteht.
• Inverse Dynamik: Durch das Lernen der Vorhersage zukünftiger Zustände (Video) wird die Aktion als inverse Dynamik gelernt. Das Modell lernt, welche Motorbefehle notwendig sind, um ein gewünschtes visuelles Ergebnis zu erreichen.
• Architektur:
  • Autoregressiv: DreamZero nutzt eine autoregressive Architektur (im Gegensatz zu bidirektionalen Modellen), um lange Kontexte effizient zu verarbeiten und die native Bildwiederholrate (FPS) zu erhalten, was eine präzise Ausrichtung von Video und Aktion ermöglicht.
  • Flow Matching: Als Trainingsziel wird Flow Matching verwendet, um sowohl Video-Latents als auch normalisierte Aktionen zu denoisen.
  • Teacher Forcing: Das Modell wird trainiert, den aktuellen verrauschten Chunk basierend auf sauberen vorherigen Chunks zu denoisen.

Optimierungen für Echtzeit-Steuerung

Video-Diffusionsmodelle sind rechenintensiv und normalerweise zu langsam für geschlossene Regelkreise (Closed-Loop Control). DreamZero überwindet dies durch drei Ebenen von Optimierungen, die eine 38-fache Beschleunigung ermöglichen:

1. System-Level: Parallelisierung von Classifier-Free Guidance (CFG) auf zwei GPUs und Caching-Strategien (DiT Caching), die redundante Berechnungen vermeiden.
2. Implementierungs-Level: Nutzung von torch.compile, CUDA Graphs, Quantisierung (NVFP4 auf Blackwell-Architektur) und Verschiebung des Schedulers auf die GPU.
3. Modell-Level (DreamZero-Flash): Eine entscheidende Innovation ist die Entkopplung der Rauschpläne für Video und Aktion. Während des Trainings wird das Video stark verrauscht (hoher Noise-Level), während die Aktion sauber bleibt. Dies ermöglicht es dem Modell, saubere Aktionen aus einem noch verrauschten visuellen Kontext vorherzusagen. Dadurch kann die Anzahl der Denoising-Schritte von 4 auf 1 reduziert werden, was die Latenz auf ca. 150 ms senkt und eine 7 Hz Echtzeit-Steuerung erlaubt.

---

3. Wichtige Beiträge

1. DreamZero-Modell: Ein 14B WAM, das Video und Aktionen gemeinsam vorhersagt und effektives Lernen aus heterogenen, nicht-repetitiven Robotikdaten ermöglicht.
2. Überlegene Zero-Shot-Generalisierung: Im Vergleich zu State-of-the-Art-VLAs zeigt DreamZero eine über 2-fache Verbesserung bei der Generalisierung auf neue Aufgaben und Umgebungen.
3. Echtzeit-Performance: Durch die genannten Optimierungen wird ein 14B-Modell in der Lage, geschlossene Regelkreise bei 7 Hz zu steuern.
4. Cross-Embodiment Transfer (Embodiment-Transfer):
   • Video-only Transfer: Das Modell kann Aufgaben von anderen Robotern oder Menschen lernen, indem es nur deren Videos (ohne Aktionsdaten) nutzt. Mit nur 10–20 Minuten Video-Daten konnte die Leistung auf unbekannten Aufgaben um über 42 % verbessert werden.
   • Few-Shot Adaptation: Ein auf einem Roboter (AgiBot G1) vortrainiertes Modell konnte sich mit nur 30 Minuten Spiel-Daten (Play Data) auf einen völlig neuen Roboter (YAM) anpassen, wobei die Zero-Shot-Fähigkeiten erhalten blieben.
5. Open Source: Veröffentlichung der Modellgewichte, Inferenz-Code und Benchmarks.

---

4. Ergebnisse

Die Evaluation erfolgte auf zwei Robotern: AgiBot G1 (mobiler bimanualer Manipulator) und Franka (einarmiger Roboter), sowie auf dem DROID-Datensatz.

• Generalisierung auf neue Umgebungen & Objekte:
  • Auf dem AgiBot G1 erreichte DreamZero (von Grund auf trainiert) eine durchschnittliche Task-Progress-Rate von 62,2 %, während die besten vortrainierten VLA-Baselines nur 27,4 % erreichten.
  • VLA-Modelle, die von Grund auf trainiert wurden, scheiterten fast vollständig (nahe 0 % Erfolg), da sie keine physikalischen Priors hatten.
• Generalisierung auf neue Aufgaben (Zero-Shot):
  • Bei 10 völlig neuen Aufgaben (z. B. Schuhbänder lösen, Hut abnehmen, Streichholzschachtel öffnen), die im Training nicht vorkamen, erreichte DreamZero 39,5 % Task Progress.
  • VLA-Baselines lagen hier bei nur 16,3 % (vortrainiert) bzw. nahe 0 % (von Grund auf).
  • Qualitativ zeigte sich eine enge Übereinstimmung zwischen dem generierten Video und der tatsächlichen Ausführung. Fehler entstanden meist durch Fehler in der Videogenerierung, nicht durch falsche Aktionsauswahl.
• Cross-Embodiment Transfer:
  • Mit nur 12 Minuten menschlicher Ego-Zentrierter-Video-Daten oder 20 Minuten Daten eines anderen Roboters (YAM) konnte die Leistung auf unbekannten Aufgaben signifikant gesteigert werden (von 38,3 % auf über 54 %).
• Few-Shot Adaptation:
  • Die Anpassung an einen neuen Roboter (YAM) mit nur 30 Minuten Daten funktionierte erfolgreich, wobei das Modell komplexe Aufgaben wie „Orangenhaut in Kürbis legen" oder „Teddybär aufnehmen" korrekt ausführte.

---

5. Bedeutung und Ausblick

DreamZero markiert einen Paradigmenwechsel in der robotischen KI:

• Vom Imitationslernen zum Weltmodell: Statt nur Aktionen zu imitieren, lernt das Modell die zugrundeliegende Physik der Welt durch Videoprädiktion. Dies ermöglicht das Lernen aus Daten, die nicht für spezifische Aufgaben gesammelt wurden, sondern aus dem „Wilden" (z. B. verschiedene Umgebungen, lange Episoden mit vielen Subaufgaben).
• Skalierbarkeit: Die Ergebnisse deuten darauf hin, dass die Leistung von WAMs direkt mit der Qualität der Videoprädiktion und der Größe des Modells skaliert.
• Daten-Effizienz: Die Fähigkeit, aus reinen Videos (ohne Aktionslabels) zu lernen, öffnet die Tür zur Nutzung der enormen Menge an menschlichen Internet-Videos für das Robotiktraining.
• Echtzeit-Fähigkeit: Die Demonstration, dass ein solch großes Diffusionsmodell (14B Parameter) in Echtzeit (7 Hz) laufen kann, macht es für praktische robotische Anwendungen nutzbar.

Zusammenfassend beweist DreamZero, dass World Action Models, die auf Video-Diffusion basieren, überlegene Generalisierungsfähigkeiten, effizienteres Lernen aus heterogenen Daten und eine robuste Anpassungsfähigkeit an neue Roboter und Umgebungen bieten als herkömmliche VLA-Ansätze.