🤖 AI

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

Z-1 ist ein Reinforcement-Learning-Post-Training-Framework, das Group Relative Policy Optimization (GRPO) auf öffentlich verfügbaren RoboCasa-Demonstrationen nutzt, um die Leistung und Erfolgsraten von Flow-basierten Vision-Language-Action-Modellen signifikant zu steigern, ohne zusätzliche private Daten zu benötigen.

Ursprüngliche Autoren: Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine komplexe Mahlzeit zuzubereiten, wie zum Beispiel Kaffee zu kochen oder eine knifflige Schublade zu öffnen.

Das Problem: Der „Nachahmer“-Roboter
Bis jetzt nutzten die meisten Robotertrainer eine Methode namens „Behavior Cloning“ (Verhaltensklonen). Denken Sie an einen Schüler, der nur lernt, indem er die perfekten Videos seines Lehrers beobachtet. Der Roboter schaut dem Lehrer beim Erfolg zu und versucht, jede Bewegung exakt zu kopieren.

Der Fehler: Wenn der Schüler einen winzigen Fehler macht (wie etwa beim Greifen nach einem Griff einen Millimeter zu weit zu weit zu greifen), zeigt das Video nicht, wie man diesen korrigiert. Der Roboter bleibt stecken, weiß nicht, wie er sich erholen kann, und scheitert. Er kann nicht aus seinen eigenen Fehlern lernen, weil er während des Trainings nie dazu erlaubt war, Fehler zu machen.

Die Lösung: Z-1 (Der „Versuch-und-Irrtum“-Coach)
Das Paper stellt Z-1 vor, ein neues Trainingssystem, das es dem Roboter ermöglicht, durch Tun, Scheitern und erneutes Versuchen zu lernen. Es ist wie ein Coach, der den Schüler in der Küche üben lässt, scheitern lässt und ihm dann spezifisches Feedback gibt, wie er es beim nächsten Mal besser machen kann.

So funktioniert Z-1, unter Verwendung einfacher Analogien:

1. Der Ausgangspunkt (SFT)

Zuerst bekommt der Roboter einen „Crashkurs“, indem er öffentliche Videos von Menschen bei Aufgaben (wie dem Öffnen von Türen oder der Benutzung einer Spüle) beobachtet. Dies gibt ihm eine grundlegende Vorstellung davon, was zu tun ist, ähnlich wie das Lesen eines Rezepts vor dem Kochen.

2. Das „Gruppenpraktikum“ (GRPO)

Anstatt den Roboter alleine üben zu lassen, nutzt Z-1 eine Methode namens Group Relative Policy Optimization (GRTO).

Die Analogie: Stellen Sie sich vor, ein Coach schickt 8 Schüler gleichzeitig in die Küche, um Kaffee zu kochen.
Das Ziel: Der Coach sagt nicht einfach nur „Gut gemacht“ oder „Schlecht gemacht“. Stattdessen vergleicht der Coach die 8 Schüler untereinander. Wenn 7 Schüler den Kaffee verschütten, aber 1 Schüler es richtig macht, sagt der Coach zu dem erfolgreichen Schüler: „Du hast es anders gemacht; mach genau so weiter, wie du es gerade getan hast.“ Dies hilft dem Roboter herauszufinden, welche winzige Bewegung genau den Unterschied gemacht hat.

3. Die smarten Tricks (Die neuen Module)

Das Paper führt vier clevere Tricks ein, um dieses Training effizient und stabil zu gestalten:

Shared-Prefix (Die „Gleicher Start“-Regel):
- Das Problem: Wenn Schüler A beginnt, nach links zu gehen, und Schüler B beginnt, nach rechts zu gehen, ist der Vergleich ihrer abschließenden Fähigkeiten beim Kaffeekochen unfair. Sie hatten unterschiedliche Ausgangspunkte.
- Die Lösung: Z-1 zwingt alle 8 Schüler, mit den exakt gleichen ersten Bewegungen zu beginnen (wie dem Gehen zum Tresen). Sobald sie alle am Tresen stehen, teilen sie sich auf und versuchen verschiedene Wege, die Tasse zu greifen. Dies stellt sicher, dass der Roboter aus dem kritischen Teil der Aufgabe lernt (dem Greifen) und nicht aus dem Gehen.
Tree-Structured Branching (Die „Verzweigender Pfad“-Regel):
- Das Problem: Manchmal muss auch der Teil des „Gehens zum Tresen“ geübt werden. Wenn wir erzwingen, dass sie exakt gleich starten, lernt der Roboter nie, einen schlechten Gang zu korrigieren.
- Die Lösung: Z-1 verwendet eine „Baumstruktur“. Alle Schüler starten gemeinsam, aber dann teilen sie sich in kleine Gruppen an verschiedenen Punkten auf. Einige teilen sich früh auf, andere spät. Dies ermöglicht es dem Roboter, kleine Fehler zu korrigieren, während das Training dennoch organisiert bleibt.
Success-Aware Reward Decay (Der „Geschwindigkeitsbonus“):
- Das Problem: Wenn ein Roboter 10 Minuten braucht, um eine Tür zu öffnen, und ein anderer 1 Minute für dieselbe Tür, würde ein Standard-System beiden vielleicht einfach einen „Gut gemacht“-Aufkleber geben.
- Die Lösung: Z-1 gibt dem Roboter, der schneller fertig ist, einen größeren „Gut gemacht“-Aufkleber. Es bestraft den langsamen Roboter nicht, belohnt aber den schnellen mehr. Dies ermutigt den Roboter, effizient zu sein, ohne Angst vor dem Ausprobieren zu haben.
Selective Joint Training (Der „Gehirn vs. Hände“-Schalter):
- Das Problem: Manchmal scheitert der Roboter, weil seine „Hände“ (der Aktions-Experte) ungeschickt sind. Ein anderes Mal scheitert er, weil sein „Gehirn“ (das Vision-Language-Modell) den Knopf nicht klar sehen kann.
- Die Lösung: Normalerweise trainiert Z-1 nur die „Hände“, um die Stabilität zu gewährleisten. Aber wenn der Roboter ständig scheitert, weil er nicht gut sehen oder das Objekt nicht verstehen kann, schaltet Z-1 einen Schalter um und trainiert das „Gehirn“ und die „Hände“ gemeinsam. Es ist, als würde man erkennen: „Oh, der Schüler ist nicht ungeschickt; er kann nur den Griff nicht gut sehen!“ und ihn dann lehren, besser hinzusehen.

Die Ergebnisse

Das Team testete Z-1 bei 24 verschiedenen Haushaltsaufgaben (wie dem Öffnen von Schubladen, der Benutzung von Spülen und dem Zubereiten von Kaffee).

Vor Z-1 (Nur das Beobachten von Videos): Der Roboter war etwa 67 % der Zeit erfolgreich.
Nach Z-1 (Üben mit den neuen Tricks): Der Roboter war zu 80,6 % erfolgreich.

Diese Verbesserung war signifikant genug, um andere Top-Modelle im Bereich der Robotik zu übertreffen, obwohl Z-1 keine geheimen, privaten Daten verwendete – sondern nur öffentliche Videos und seine eigenen Übungssitzungen.

Zusammenfassend:
Z-1 verwandelt einen Roboter, der nur ein Nachahmer war, in einen Problemlöser. Indem es ihm erlaubt, in Gruppen zu üben, von demselben Punkt aus zu starten, Geschwindigkeit zu belohnen und zu wissen, wann es seine Augen statt seiner Hände trainieren muss, kann der Roboter die chaotischen, realen Herausforderungen eines Zuhauses viel besser bewältigen als zuvor.

Technisches Resümee: Z-1 – Effizientes Reinforcement Learning für Vision-Language-Action-Modelle

1. Problemstellung

Vision-Language-Action (VLA)-Modelle haben sich als vielversprechender Rahmen für die robotergestützte Manipulation etabliert, indem sie sprachliche Anweisungen, visuelle Beobachtungen und kontinuierliche Steuerung vereinigen. Die derzeitigen State-of-the-Art (SOTA)-Policies werden jedoch überwiegend mittels Behavior Cloning (BC) oder Supervised Fine-Tuning (SFT) auf festen menschlichen Demonstration-Daten trainiert. Diese Abhängigkeit vom Imitationslernen weist zwei kritische Einschränkungen auf:

Begrenzte Generalisierung: Die Leistung ist durch die Abdeckung der Demonstrationsdaten begrenzt. Bei Aufgaben mit langem Zeithorizont oder kompositorischen Aufgaben können sich kleine Vorhersagefehler akkumulieren, was den Roboter in Zustände drängt, die in den Trainingsdaten schlecht repräsentiert sind.
Unfähigkeit zur Selbstkorrektur: BC und SFT verfügen über keine Mechanismen, um aus den eigenen Fehlern der Policy zu lernen. Sie können nicht durch Trial-and-Error-Interaktionen auf Basis von spärlichen (sparse) Aufgabenerfolgen optimieren, was für die Verfeinerung komplexer Manipulationsbewegungen essenziell ist.

Obwohl Reinforcement Learning (RL) Post-Training einen Weg bietet, um diese Einschränkungen durch die Optimierung auf aufgabenbezogene Belohnungen zu überwinden, bleibt die Anwendung von RL auf Flow-basierte VLA-Modelle eine Herausforderung. Zu den Haupthindernissen gehören die hohen Kosten der Rollout-Generierung, die Spärlichkeit der Belohnungen (sparse rewards) und die Schwierigkeit, Fehler zu korrigieren, die auf mangelnder visueller Erdung oder räumlicher Logik beruhen, wenn das Vision-Language-Backbone eingefroren ist.

2. Methodik: Das Z-1 Framework

Z-1 ist ein modulares RL-Post-Training-Framework, das speziell für Flow-basierte VLA-Modelle entwickelt wurde. Aufbauend auf dem vortrainierten $\pi_0.5$ Basismodell nutzt Z-1 eine zweistufige Trainingspipeline, die ausschließlich auf öffentlich verfügbaren RoboCasa-Demonstrationen basiert.

Stufe 1: Per-Scene Supervised Fine-Tuning (SFT)

Die Pipeline beginnt mit der Anpassung von $\pi_0.5$ an die RoboCasa-Umgebung. Anstatt ein separates Modell für jede Aufgabe zu trainieren, führt Z-1 ein Per-Scene SFT durch (Gruppierung von Aufgaben nach Szenen-Kategorien, z. B. Türen, Schubladen, Waschbecken). Dieser Ansatz verbessert die Dateneffizienz, indem er gemeinsame Objekt-Layouts und Manipulations-Primitiven innerhalb einer Szene nutzt. Sowohl das Vision-Language-Modul als auch der Action-Experte werden in dieser Phase aktualisiert, um eine robuste Initialisierung zu erzeugen.

Stufe 2: Task-Wise Group Relative Policy Optimization (GRPO)

Im Anschluss an das SFT wendet Z-1 eine aufgabenspezifische GRPO-Post-Training-Strategie an. Im Gegensatz zu Standard-RL, das Rollouts als unabhängige vollständige Trajektorien behandelt, führt Z-1 vier zentrale modulare Komponenten ein, um Effizienz und Stabilität zu erhöhen:

Shared-Prefix GRPO: Um das Problem zu adressieren, dass frühe „Annäherungsphasen“ (approach phases) stark variieren und die Belohnungssignale verwässern können, erzwingt Z-1, dass Rollouts innerhalb einer GRPO-Gruppe einen gemeinsamen Präfix teilen. Der Simulator-Zustand am Verzweigungspunkt wird geklont, und nur die Suffixe (Aktionen nach der Verzweigung) werden unabhängig voneinander gesampelt. Dies stellt sicher, dass der gruppenseitige Vergleich auf die aufgabenkritischen Interaktionsphasen fokussiert ist, statt auf redundante Annäherungsvariationen.
Tree-Structured Prefix Branching: Für Aufgaben, die eine Verfeinerung während der Annäherungsphase erfordern, generalisiert Z-1 den flachen Shared-Prefix-Ansatz. Es führt Zwischenverzweigungspunkte innerhalb des Präfixes ein, wodurch ein Baum aus Rollout-Clustern entsteht. Dies reduziert das Over-Masking und ermöglicht es, dass teilweise geteilte Segmente zum Lernsignal beitragen, während gleichzeitig redundante Berechnungen reduziert werden.
Success-Aware Reward Decay: Um mit spärlichen Belohnungen umzugehen, bei denen alle erfolgreichen Trajektorien gleich behandelt werden, führt Z-1 einen Zerfallsfaktor basierend auf der Abschlusszeit ein ( $\tilde{r}_i = r \cdot \gamma^{d_i}$ ). Schnellere, erfolgreiche Abschlüsse erhalten höhere Belohnungen. Entscheidend ist, dass Z-1 für Gruppen, in denen alle Rollouts erfolgreich sind, eine nicht-negative Minimum-Baseline-Ordnung ( $A_i = R_i - \min_j R_j$ ) anstelle einer Mittelwert-Normalisierung verwendet. Dies verhindert, dass langsamere, aber erfolgreiche Durchläufe negative Advantages erhalten, und vermeidet so die Überbestrafung zuverlässiger, aber langsamerer Abläufe.
Selective VLM–Action Expert Joint Training (Sel-JT): Während Standard-VLA-RL das Vision-Language-Backbone oft einfriert, entscheidet Z-1 dynamisch, ob das Vision-Language-Modell zusammen mit dem Action-Experten aktualisiert werden soll. Diese Entscheidung basiert auf Diagnosen der Trainingsphase (z. B. SFT-Erfolgsraten, Fehlermodi). Wenn Fehler auf mangelnde visuelle Erdung oder räumliche Logik zurückzuführen sind (statt auf die Low-Level-Steuerung), wird das VLM entsperrt, um eine Perzeptions-Aktions-Koadaptation zu ermöglichen.

3. Kernbeiträge

Das Paper präsentiert die folgenden Beiträge:

Z-1 Framework: Ein modulares GRPO-Post-Training-Framework für Flow-basierte VLA-Modelle, das effektiv mit nur öffentlichen Demonstrationsdaten arbeitet und somit keine privaten Datensätze benötigt.
Neuartige Rollout-Konstruktion: Der Vorschlag von Shared-Prefix GRPO und Tree-Structured Prefix Branching, um redundante Simulationen zu reduzieren und die Optimierung auf kritische Interaktionssegmente zu fokussieren.
Innovationen bei Belohnung und Training: Die Entwicklung von Success-Aware Reward Decay zur Bereitstellung feineren Feedbacks auf die Abschlussgeschwindigkeit ohne dichte Reward-Shaping, sowie Selective Joint Training zur adaptiven Anpassung der Perzeptionsmodule.
Neue SOTA-Leistung: Die Etablierung einer neuen State-of-the-Art durchschnittlichen Erfolgsrate im RoboCasa-Benchmark unter Verwendung öffentlicher Demonstrationsdaten.

4. Experimentelle Ergebnisse

Z-1 wurde auf 24 Standard-RoboCasa-Manipulationsaufgaben in 7 Kategorien (Türen, Schubladen, Pick-and-Place, Mikrowelle, Waschbecken/Wasserhahn, Herd und Kaffeezubereitung) evaluiert.

Leistungssteigerung: Z-1 RL verbesserte die durchschnittliche Erfolgsrate von 67,4 % (SFT-Initialisierung) auf 80,6 %, was einem Gewinn von 13,2 Prozentpunkten entspricht.
Vergleich mit SOTA: Z-1 RL übertraf zuvor veröffentlichte Ergebnisse, einschließlich GR00T, GR00T N1.5, Video Policy und X-WAM. Insbesondere übertraf es X-WAM (die stärkste Baseline im Vergleich) im Durchschnitt um 1,4 Prozentpunkte, obwohl X-WAM Tiefeninformationen nutzte, während Z-1 sich allein auf öffentliche Demonstrationen stützte.
Aufgabenspezifische Verbesserungen:
- Schublade & Waschbecken/Wasserhahn: Signifikante Verbesserungen wurden beobachtet (z. B. Schublade: 83,4 % $\to$ 96,1 %; Waschbecken: 63,2 % $\to$ 94,3 %), was die Wirksamkeit der Prefix-basierten Rollout-Konstruktion für Aufgaben demonstriert, die eine präzise Manipulation nach der Annäherung erfordern.
- Pick-and-Place: Erhebliche Gewinne wurden erzielt (53,9 % $\to$ 70,9 %).
- Herd-Aufgaben: Obwohl Z-1 gegenüber seinem SFT-Baseline-Modell eine Verbesserung zeigte, blieb es leicht unter X-WAM, was darauf hindeutet, dass Aufgaben, die komplexe, langwierige Transporte und robuste Rekuperation erfordern, weiterhin Herausforderungen darstellen.
Ablationsstudien:
- Die Prefix-basierten Varianten (Shared-Prefix und Tree-Structured) übertrafen konsistent das klassische Vanilla-GRPO, wobei Tree-Structured eine höhere Spitzenleistung erzielte, wenn das Training stabil blieb.
- Selective Joint Training (Sel-JT) übertraf das reine Action-Expert-only-Training bei schwierigen Aufgaben wie „TurnOnStove“ deutlich, was die Notwendigkeit validiert, visuelle Repräsentationen anzupassen, wenn die Erdung unzureichend ist.
- Success-Aware Reward Decay ermöglichte im Vergleich zu Standard-Belohnungsstrafen, die dazu neigten, zu aggressiv zu sein, schnellere und stabilere Verbesserungen der Erfolgsrate.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass systematisches GRPO-Post-Training die Flow-basierten VLA-Policies substanziell verbessern kann, ohne auf zusätzliche private Demonstrationen angewiesen zu sein.

Die Autoren betonen, dass Z-1 die Lebensfähigkeit von Online-RL für VLA-Modelle demonstriert, indem es spezifische Ineffizienzen in der Rollout-Generierung und der Kalibrierung von Belohnungen adressiert. Die Ergebnisse legen nahe, dass mit sorgfältigem Design – insbesondere durch Shared-Prefix-Konstruktion, Abschluss-bewusste Belohnungskalibrierung und adaptive Modulwahl – RL die Grenzen des Imitationslernens effektiv erweitern kann. Die Arbeit etabliert einen neuen Benchmark für das Training von VLA-Modellen ausschließlich mit öffentlichen Daten und zeigt, dass algorithmische Verbesserungen im Post-Training Leistungssteigerungen erzielen können, die mit Modellen vergleichbar oder sogar überlegen sind, die mit umfangreicheren oder proprietären Daten trainiert wurden.