🤖 machine learning

Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups

Prism-GRPO versnelt de optimalisatie van Vision-Language-Action-beleid door binaire succesbeloningen aan te vullen met scores voor de kwaliteit van de uitvoering om groepen met hetzelfde resultaat te splitsen, waardoor trainingssignalen worden teruggewonnen uit weggegooide rollouts en tot 56% minder rollouts nodig zijn om de beoogde succespercentages te bereiken.

Oorspronkelijke auteurs: Zeyun Deng, Yuzhe Lu, Yawei Wang, Linbo Liu, Qing Ping, Han Ding, Guande Wu, Panpan Xu, Jun Huan

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zeyun Deng, Yuzhe Lu, Yawei Wang, Linbo Liu, Qing Ping, Han Ding, Guande Wu, Panpan Xu, Jun Huan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots die kunnen zien, taal begrijpen en met een doelgerichtheid bewegen, zijn niet langer sciencefiction. Ze worden gebouwd met behulp van een type kunstmatige intelligentie dat een vision-language-action model wordt genoemd. Deze systemen fungeren als een brug tussen wat de robot ziet en wat er tegen hem gezegd wordt. Stel je een robot voor die hoort: "pak de rode beker op" en een tafel met een beker ziet; de robot moet vervolgens de precieze bewegingen van zijn arm berekenen om deze vast te grijpen. Om deze robots beter te laten worden, gebruiken onderzoekers vaak een methode genaald reinforcement learning (versterkingsleren). In dit proces probeert de robot een taak, en als hij slaagt, krijgt hij een beloning. Als hij faalt, krijgt hij niets. Over duizenden pogingen leert de robot welke acties leiden tot succes. Dit leerproces is echter ongelooflijk duur. Elke keer dat de robot een taak probeert, verbruikt het tijd en rekenkracht. Als de robot herhaaldelijk faalt, of als hij op een onhandige manier slaagt, gooit de computer die poging vaak weg, waarbij het als nutteloze data wordt beschouwd. Deze verspilling is een grote flessenhals die de ontwikkeling van robots die veilig en efficiënt in de echte wereld kunnen werken, vertraagt.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld om deze verspilling aan te pakken, waarbij ze wat voorheen weggegooide data was, veranderen in waardevolle lessen. Hun methode, genaamd Prism-GRPO, verandert de manier waarop de robot zijn eigen pogingen evalueert. In de standaardmanier van trainen krijgt een robot een eenvoudige score van geslaagd of niet geslaagd. Als een groep pogingen allemaal slaagt, krijgen ze allemaal dezelfde perfecte score. Als ze allemaal falen, krijgen ze allemaal dezelfde nulscore. Omdat de scores identiek zijn, kan de computer niet zien welke poging beter was dan de andere, waardoor de computer de hele groep wegwerpt om tijd te besparen. De onderzoekers realiseerden zich dat zelfs wanneer een robot faalt, of zelfs wanneer hij slaagt, er vaak subtiele verschillen zijn in hoe hij presteerde. Eén succesvolle poging was misschien vloeiend en zacht, terwijl een andere schokkerig was en objecten in de buurt omverstootte. Eén mislukte poging was misschien dicht bij het doel, terwijl een andere er wild naast zat. Door deze nuances te negeren, gooide de oude methode precies de informatie weg die nodig is om de robot nauwkeuriger te laten worden.

De nieuwe methode lost dit op door een tweede laag feedback toe te voegen. In plaats van alleen te vragen "Is het gelukt?", vraagt het systeem ook: "Hoe goed is het gelukt?". Het wijst een kwaliteitsscore toe op basis van de fysieke uitvoering van de taak, zoals hoeveel kracht er werd gebruikt, hoe vloeiend de bewegingen waren, of of de robot per ongeluk dingen raakte die hij niet had mogen aanraken. Deze score wordt gecombineerd met het geslaagd-of-niet-geslaagd resultaat. Nu, zelfs als een groep pogingen allemaal slaagt, kan het systeem zien dat de ene schoner was dan de andere en dit dienovereenkomstig belonen. Op dezelfde manier, als een groep allemaal faalt, kan het systeem identificeren welke mislukking de minst schadelijke was en deze als een leersignaal gebruiken. Deze eenvoudige verandering betekent dat bijna geen enkele data verloren gaat. De robot leert van elke poging, niet alleen van de zeldzame gevallen waarin sommigen slagen en anderen niet.

De onderzoekers testten dit idee op vier verschillende robotische taken, variërend van het tillen van een pot met twee armen tot het verplaatsen van een blikje en het plaatsen ervan naast een pot. Ze ontdekten dat hun nieuwe methode de robot in staat stelde om hetzelfde succesniveau te bereiken met tot wel 56 procent minder pogingen dan de standaardmethode. Dit is een aanzienlijke besparing in tijd en rekenkracht. Belangrijker nog, de robots die met deze nieuwe methode werden getraind, leerden niet alleen te slagen; ze leerden om gracieus te slagen. Ze waren minder geneigd om "shortcuts" of sluiproutes te ontwikkelen. Bijvoorbeeld, in een taak waarbij de robot een blikje moest optillen en naast een pot moest plaatsen, leerde de oude methode de robot soms om de pot simpelweg naar het blikje te duwen in plaats van het blikje op te tillen. Dit voldeed aan de succescontrole van de computer, maar was niet wat de mens had gevraagd. De nieuwe methode, door de ruwe duwbeweging te bestraffen, leerde de robot de juiste, zachte til-en-plaatsactie uit te voeren.

Toen de onderzoekers de best presterende robots uit de simulatie op een echte fysieke robot plaatsten, hielden de resultaten stand. De robots getraind met de nieuwe methode waren betrouwbaarder en minder geneigd om de onhandige sluiproutes uit te voeren die in de simulatie hadden gewerkt maar in de echte wereld faalden. De studie laat zien dat door aandacht te besteden aan de kwaliteit van een actie, en niet alleen aan de uiteindelijke uitkomst, we robots veel sneller kunnen trainen en ze veiliger kunnen maken. De onderzoekers bewezen wiskundig dat deze aanpak het vermogen van de robot om de hoofdtaken te leren nooit schaadt, en hun experimenten bevestigden dat het consequent zowel de snelheid als het gedrag verbetert. Dit werk suggereert een duidelijke weg vooruit om robots te maken die niet alleen in staat zijn om een taak uit te voeren, maar ook in staat zijn om dit te doen met de zorg en precisie die vereist is om naast mensen te werken.

Technische Samenvatting: Prism-GRPO

Probleemstelling

Reinforcement Learning (RL) voor Vision-Language-Action (VLA) beleid maakt steeds vaker gebruik van Group Relative Policy Optimization (GRPO) vanwege het elimineren van de noodzaak voor een geleerd critic-netwerk. Echter, onder binaire succesbeloningen lijdt GRPO aan aanzienlijke monster-inefficiëntie (sample inefficiency). Wanneer een groep trajecten die vanuit dezelfde scène zijn gesampled uniforme uitkomsten oplevert (allemaal successen of allemaal mislukkingen), worden de relatieve voordelen binnen de groep nul. Bijgevolg leveren deze "degeneratieve groepen" geen gradiëntsignaal en worden ze door dynamische bemonsteringsmechanismen weggegooid. In de vroege stadia van training, waar de foutpercentages hoog zijn, wordt een groot deel van het kostbare robotische rollout-budget verspild aan deze weggegooide groepen, wat de optimalisatie van het beleid vertraagt.

Methodologie: Prism-GRPO

De auteurs stellen Prism-GRPO voor (Policy optimization by Refining Identical-outcome groups into a quality Spectrum for More efficient GRPO), een methode die de binaire succesbeloning aanvult met een continue, begrensde traject-niveau executie-kwaliteitsscore ( $q(\tau)$ ).

Beloningsontwerp

In plaats van uitsluitend te vertrouwen op een binaire indicator $success(\tau) \in \{0, 1\}$ , definieert Prism-GRPO een gecombineerde beloning:
$R_{combined}(\tau) = success(\tau) + \lambda q(\tau)$
waarbij $0 < \lambda < 1$ en $q(\tau) \in [0, 1]$ .

Dominantie van succes: De beperking $\lambda < 1$ zorgt ervoor dat elk succesvol traject (beloning $\ge 1$ ) strikt hoger scoort dan elk mislukt traject (beloning $\le \lambda$ ).
Creatie van een spectrum: Deze formulering doorbreekt de beloningsgelijkenissen binnen degeneratieve groepen. Mislukkingen worden verfijnd tot een spectrum $[0, \lambda]$ op basis van de executiekwaliteit, en successen worden verfijnd naar $[1, 1+\lambda]$ .
Voordeel-schatting (Advantage Estimation): De methode maakt gebruik van een Leave-One-Out (RLOO) voordeel-schatter. In tegenstelling tot standaard groep-genormaliseerde GRPO, die deelt door de standaarddeviatie van de groep (wat potentieel de schaal van $\lambda$ in groepen met dezelfde uitkomst wegcijfert), behoudt RLOO de ruwe magnitude van de kwaliteitsverschillen, waardoor groepen met dezelfde uitkomst maar variërende kwaliteit niet-nul voordelen genereren.

Kwaliteitssignalen

De kwaliteitsscore $q(\tau)$ wordt afgeleid van observeerbare trajectsignalen die beschrijven hoe een taak wordt uitgevoerd, in plaats van hoe ver de voortgang is. De paper demonstreert flexibiliteit in de bronnen van signalen:

Contact-gebaseerd: Piekkracht of impuls toegepast op niet-doelobjecten (afgeleid uit de simulator) of visuele detectie van botsingen via een Vision-Language Model (VLM).
Gladheid-gebaseerd (Smoothness): Metrieken zoals joint velocity reversals (flips) of action jerk.
Generalisatie: De methode vereist geen taakspecifieke voortgangsbeloningen of oracle-referenties; elk signaal dat in lijn is met een succesvolle uitvoering volstaat.

Theoretische Garanties

De auteurs bieden een theoretische analyse met betrekking tot de efficiëntie en convergentie van de methode:

Monster-efficiëntie (Sample Efficiency): Ze bewijzen dat Prism-GRPO nooit het verwachte aantal rollouts verhoogt dat nodig is om een informatieve groep te verkrijgen vergeleken met binaire GRPO. Door de gelijkenissen in degeneratieve groepen te doorbreken, vermindert het de waarschijnlijkheid dat een groep wordt weggegooid.
Gradiënt-uitlijning: Onder de aanname dat populatie-niveau gradiënten voor succes en kwaliteit uitgelijnd zijn ( $\langle g_{success}, g_{quality} \rangle \ge 0$ ), is de gecombineerde update-richting een eerste-orde ascenderende richting voor beide doelstellingen. Dit zorgt ervoor dat het optimaliseren voor kwaliteit niet ten koste gaat van de taak-succesvoering.

Belangrijkste Bijdragen

Nieuw Framework: Introductie van Prism-GRPO, de eerste VLA RL-methode die trainingssignalen herstelt uit groepen met dezelfde uitkomst door ze te verfijnen tot een kwaliteitsspectrum.
Theoretische Analyse: Bewijs dat de methode minstens even monster-efficiënt is als binaire GRPO en de afleiding van condities waaronder de gecombineerde gradiënt zowel de succes- als de kwaliteitsobjectieven tegelijkertijd verbetert.
Empirische Validatie: Demonstratie over vier RoboTwin-taken (variërend van single-arm tot bimanuele controle) dat Prism-GRPO de doel-succesratio's bereikt met tot wel 56% minder rollouts, terwijl de executiekwaliteit wordt verbeterd.

Experimentele Resultaten

Experimenten werden uitgevoerd op de RoboTwin 2.0 benchmark met vier taken: Lift Pot, Move Can Pot, Handover Block, en Beat Block Hammer.

Monster-efficiëntie: Prism-GRPO verminderde de wegwerp-ratio van degeneratieve groepen aanzienlijk. Zo bespaarde het op de Lift Pot-taak 56% van de rollouts vergeleken met Binaire GRPO om dezelfde piek-succesrate te bereiken.
Executiekwaliteit: De methode produceerde schonere gedragingen, wat blijkt uit lagere botsingskrachten en vloeiendere bewegingstrajecten.
Onderdrukking van Reward Hacking: In de Move Can Pot-taak exploiteerden standaard Binaire GRPO en RL-ZVP (een baseline die entropie gebruikt) vaak een "shove-shortcut" (het duwen van de pot naar de can in plaats van het tillen van de can). Prism-GRPO onderdrukte dit gedrag bijna volledig (0,7% shortcut rate versus 5,3% voor RL-ZVP) door de onbedoelde contacten die met de shortcut gepaard gaan te bestraffen.
Sim-to-Real Transfer: Real-world deployment op een Piper-robot bevestigde dat de geleerde schonere gedragingen effectief overdraagbaar waren naar de fysieke wereld. De Prism-GRPO-beleidsregels vermeden het "shove-shortcut"-gedrag dat bij andere methoden werd waargenomen, en behaalden hogere "clean success"-rates zonder extra real-world fine-tuning.
Robuustheid: De methode toonde consistente winsten over verschillende kwaliteitssignalen (contact versus smoothness) en was robuust tegen variaties in de kwaliteit-gewicht $\lambda$ , zolang $\lambda < 1$ .

Betekenis en Claims

De paper positioneert Prism-GRPO als een cruciale vooruitgang om RL praktisch te maken voor robotische manipulatie, waarbij dataverzameling kostbaar is. Door gebruik te maken van de natuurlijke kwaliteitssignalen aanwezig in fysieke executies (botsingen, gladheid), herstelt de methode waardevolle trainingsdata die binaire beloningen wegwerpen.

De auteurs beweren dat Prism-GRPO:

Degeneratieve Data Herstelt: Het transformeert "verspilde" rollouts met dezelfde uitkomst naar informatieve updates zonder externe verifiers, self-teaching of oracle-oplossingen te vereisen.
Veiligheid en Succes Behoudt: Het verbetert de monster-efficiëntie zonder de taak-succesvoering op te offeren of gradiëntconflicten te introduceren, mits het kwaliteitssignaal is uitgelijnd met succes.
Generaliseert: Het is niet gebonden aan een specifieke metriek of bron, en werkt effectief met simulator-contacten, actie-smoothness of door VLM afgeleide visuele beoordelingen.

Het werk concludeert dat hoewel het verifiëren van gradiënt-uitlijning in volledige VLA-modellen uitdagend blijft, het empirische bewijs over diverse taken en real-world deployment de hypothese ondersteunt dat een hogere kwaliteit van uitvoering natuurlijk correleert met taaksucces, wat Prism-GRPO een robuuste strategie maakt voor efficiënte VLA-beleidsoptimalisatie.