Technische Samenvatting: Z-1 – Efficiënt Reinforcement Learning voor Vision-Language-Action Modellen

1. Probleemstelling

Vision-Language-Action (VLA) modellen zijn een veelbelovend framework geworden voor robotische manipulatie, waarbij taalinstructies, visuele observaties en continue controle worden verenigd. De huidige state-of-the-art (SOTA) policies worden echter voornamelijk getraind via Behavior Cloning (BC) of Supervised Fine-Tuning (SFT) op vaste menselijke demonstraties. Deze afhankelijkheid van imitatie-leren brengt twee kritieke beperkingen met zich mee:

1. Beperkte Generalisatie: De prestaties worden begrensd door de dekking van de demonstratiedata. Bij taken met een lange horizon of composities kunnen kleine voorspellingsfouten accumuleren, waardoor de robot in toestanden terechtkomt die slecht vertegenwoordigd zijn in de trainingsdata.
2. Onvermogen tot Zelfcorrectie: BC en SFT missen mechanismen om te verbeteren op basis van de eigen fouten van de policy. Ze kunnen niet optimaliseren voor taakgerichte succes door middel van trial-and-error interactie, wat essentieel is voor het verfijnen van complexe manipulatiegedragingen.

Hoewel Reinforcement Learning (RL) post-training een pad biedt om deze beperkingen te overwinnen door taakgerichte beloningen te optimaliseren, blijft het toepassen van RL op flow-gebaseerde VLA-modellen uitdagend. Belangrijke obstakels zijn de hoge kosten van het genereren van rollouts, de schaarste van beloningen en de moeilijkheid om fouten te corrigeren die voortkomen uit visuele gronding of ruimtelijk redeneren wanneer de vision-language backbone bevroren is.

2. Methodologie: Het Z-1 Framework

Z-1 is een modulair RL post-training framework dat specifiek is ontworpen voor flow-gebaseerde VLA-modellen. Gebouwd op het vooraf getrainde $\pi_0.5$ basismodel, maakt Z-1 gebruik van een tweestaps trainingspipeline met uitsluitend publiekelijk vrijgegeven RoboCasa demonstraties.

Fase 1: Per-Scene Supervised Fine-Tuning (SFT)

De pipeline begint met het aanpassen van $\pi_0.5$ aan de RoboCasa-omgeving. In plaats van een apart model voor elke taak te trainen, voert Z-1 per-scene SFT uit (waarbij taken worden gegroepeerd per scène-categorie, zoals deuren, laden, gootstenen). Deze aanpak verbetert de efficiëntie van de data door gebruik te maken van gedeelde objectlay-outs en manipulatieprimitieven binnen een scène. Zowel het vision-language module als de action expert worden tijdens deze fase bijgewerkt om een robuuste initialisatie te produceren.

Fase 2: Task-Wise Group Relative Policy Optimization (GRPO)

Na de SFT past Z-1 een taakspecifieke GRPO post-training strategie toe. In tegenstelling tot standaard RL, dat rollouts behandelt als onafhankelijke volledige trajecten, introduceert Z-1 vier belangrijke modulaire componenten om efficiëntie en stabiliteit te verbeteren:

• Shared-Prefix GRPO: Om het probleem aan te pakken waarbij vroege "approach" fasen sterk variëren en de beloningssignalen verwateren, dwingt Z-1 rollouts binnen een GRPO-groep om een gemeenschappelijk prefix te delen. De simulator-toestand op het punt van vertakking wordt gekloond, en alleen de suffixes (post-branching acties) worden onafhankelijk gesampled. Dit zorgt ervoor dat groep-relatieve vergelijkingen zich richten op taalkritische interactiefases in plaats van redundante benaderingsvariaties.
• Tree-Structured Prefix Branching: Voor taken die verfijning vereisen tijdens de approach-fase, generaliseert Z-1 de platte shared-prefix aanpak. Het introduceert tussenliggende vertakkingspunten binnen het prefix, waardoor een boom van rollout-clusters ontstaat. Dit vermindert overmatige masking, waardoor gedeeltelijk gedeelde segmenten kunnen bijdragen aan het leer-signaal terwijl nog steeds redundante berekeningen worden verminderd.
• Success-Aware Reward Decay: Om om te gaan met schaarse beloningen waarbij alle succesvolle trajecten als gelijk worden behandeld, introduceert Z-1 een vervalfactor gebaseerd op voltooiingstijd ($\tilde{r}_i = r \cdot \gamma^{d_i}$). Sneller voltooide successen ontvangen hogere beloningen. Cruciaal is dat voor groepen waar alle rollouts slagen, Z-1 een niet-negatieve minimum-baseline ordening ($A_i = R_i - \min_j R_j$) gebruikt in plaats van gemiddelde normalisatie. Dit voorkomt dat tragere succesvolle rollouts negatieve advantages ontvangen, waardoor overmatige bestraffing van betrouwbare maar tragere voltooiingen wordt vermeden.
• Selective VLM–Action Expert Joint Training (Sel-JT): Terwijl standaard VLA-RL vaak de vision-language backbone bevriest, selecteert Z-1 dynamisch of de Vision-Language Model (VLM) samen met de Action Expert wordt bijgewerkt. Deze beslissing is gebaseerd op training-fase diagnostiek (bijv. SFT succesratio's, foutmodi). Als fouten worden toegeschreven aan slechte visuele gronding of ruimtelijk redeneren in plaats van lage-niveau controle, wordt de VLM ontdooid om perceptie-actie co-adaptatie mogelijk te maken.

3. Belangrijkste Bijdragen

Het artikel presenteert de volgende bijdragen:

1. Z-1 Framework: Een modulair GRPO post-training framework voor flow-gebaseerde VLA-modellen dat effectief opereert met enkel publieke demonstratiedata, zonder de noodzaak voor private datasets.
2. Nieuwe Rollout Constructie: De voorstel van Shared-Prefix GRPO en Tree-Structured Prefix Branching om redundante simulatie te verminderen en de optimalisatie te focussen op kritieke interactiesegmenten.
3. Belonings- en Trainingsinnovaties: De ontwikkeling van Success-Aware Reward Decay om fijnere feedback te geven op voltooiingssnelheid zonder dense reward shaping, en Selective Joint Training om perceptiemodules alleen aan te passen wanneer dat nodig is.
4. Nieuwe SOTA Prestaties: Het vestigen van een nieuwe state-of-the-art gemiddelde succesratio op de RoboCasa benchmark onder publieke demonstratie-instellingen.

4. Experimentele Resultaten

Z-1 werd geëvalueerd op 24 standaard RoboCasa manipulatietaken over 7 categorieën (deuren, laden, pick-and-place, magnetron, gootsteen/kraan, fornuis en koffiezetten).

• Prestatiewinst: Z-1 RL verbeterde de gemiddelde succesratio van 67,4% (SFT initialisatie) naar 80,6%, een winst van 13,2 procentpunt.
• Vergelijking met SOTA: Z-1 RL presteerde beter dan eerder gepubliceerde resultaten, inclusief GR00T, GR00T N1.5, Video Policy en X-WAM. Specifiek overtrof het X-WAM (de sterkste baseline in de vergelijking) met 1,4 procentpunt op gemiddelde, ondanks het feit dat X-WAM diepte-informatie gebruikte terwijl Z-1 uitsluitend vertrouwde op publieke demonstraties.
• Taakspecifieke Verbeteringen:
  • Laden & Gootsteen/Kraan: Significante verbeteringen werden waargenomen (bijv. Lade: 83,4% $\to$ 96,1%; Gootsteen: 63,2% $\to$ 94,3%), wat de effectiviteit van de prefix-gebaseerde rollout constructie demonstreert voor taken die een precieze post-approach manipulatie vereisen.
  • Pick-and-Place: Substantiele winsten werden behaald (53,9% $\to$ 70,9%).
  • Fornuis Taken: Hoewel Z-1 verbeterde ten opzichte van de SFT baseline, bleef het iets onder X-WAM, wat aangeeft dat taken die complexe long-horizon transport en robuust herstel vereisen, nog steeds uitdagingen vormen.
• Ablatie Studies:
  • Prefix-gebaseerde varianten (Shared-Prefix en Tree-Structured) presteerden consistent beter dan vanilla GRPO, waarbij Tree-Structured een hogere piekprestatie bood wanneer de training stabiel bleef.
  • Selective Joint Training (Sel-JT) presteerde significant beter dan Action-Expert-only training op moeilijke taken zoals "TurnOnStove", wat de noodzaak valideert om visuele representaties aan te passen wanneer de gronding ontoereikend is.
  • Success-Aware Reward Decay zorgde voor snellere en stabielere succesratio-verbeteringen vergeleken met standaard beloningsstraffen, die de neiging hadden te agressief te zijn.

5. Betekenis en Claims

Het artikel claimt dat systematische GRPO post-training de flow-gebaseerde VLA policies substantieel kan verbeteren zonder te vertrouwen op aanvullende private demonstraties.

De auteurs benadrukken dat Z-1 de levensvatbaarheid van online RL voor VLA-modellen aantoont door specifieke inefficiënties in de generatie van rollouts en de kalibratie van beloningen aan te pakken. De resultaten suggereren dat met zorgvuldig ontwerp — specifiek door shared-prefix constructie, voltooiingsbewuste beloningskalibratie en adaptieve module selectie — RL effectief policies kan verfijnen voorbij de grenzen van imitatie-leren. Het werk vestigt een nieuwe benchmark voor publieke data-only VLA training, waarbij wordt aangetoond dat algoritmische verbeteringen in post-training prestatiewinsten kunnen opleveren die vergelijkbaar zijn met of zelfs de modellen overtreffen die getraind zijn met meer uitgebreide of propriëtaire data.