🤖 AI

RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models

RePO-VLA is een herstelgedreven beleidsoptimalisatiekader voor Vision-Language-Action-modellen dat de robuustheid bij langdurige, contactrijke manipulatie verbetert door successen, mislukkingen en herstelpaden te onderscheiden om een waarde-geconditioneerd beleid te trainen dat uitvoeringsafwijkingen autonoom kan corrigeren zonder online mislakkingsdetectoren.

Oorspronkelijke auteurs: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een complexe maaltijd te bereiden of een delicate handdoek te vouwen. Je laat hem een video zien van een mens die het perfect doet. De robot kijkt, leert en probeert je na te bootsen.

Het Probleem: De Valstrik van het "Perfecte Recept"
Huidige robots (zogenaamde Vision-Language-Action-modellen) zijn uitstekend in het kopiëren van perfecte video's. Maar het leven is rommelig. Als de robot een lepel laat vallen, uitglijdt op een natte vloer of een beker op een vreemde hoek vastpakt, raakt hij in de war. Omdat hij alleen is getraind op perfecte video's, weet hij niet wat hij moet doen als dingen misgaan. Hij blijft gewoon proberen het originele "perfecte" script te volgen, zelfs al is de situatie veranderd, wat leidt tot een crash. Het is als een bestuurder die alleen heeft geleerd te rijden op een lege snelweg; zodra er een kuil verschijnt, weet hij niet hoe hij eromheen moet sturen.

De Oplossing: RePO-VLA (De "Herstelcoach")
Het artikel introduceert een nieuwe methode genaamd RePO-VLA. In plaats van de robot alleen perfecte video's te laten zien, leert deze methode hem drie specifieke dingen:

Succes: Hoe het goed moet.
Mislukking: Wat er gebeurt als dingen misgaan.
Herstel: Hoe je de fout oplost en weer op het goede spoor komt.

Denk eraan als het trainen van een turner. Je laat ze niet alleen de perfecte landing zien. Je laat ze ook video's zien van hen die vallen, en vervolgens video's van hen die zichzelf vangen en weer opstaan. De robot leert dat vallen niet het einde van de wereld is; het is gewoon een signaal om van strategie te veranderen.

Hoe Het Werkt: Drie Eenvoudige Stappen

De "Nieuwe Start"-Truc (Herstelbewuste Initialisatie)
Wanneer een robot valt, onthoudt hij vaak de fout die de val veroorzaakte. Als je hem vraagt het probleem op te lossen, kan hij vastlopen in het herhalen van de fout in zijn hoofd.
- De Oplossing: RePO-VLA neemt het "herstel"-gedeelte van de video en snijdt het "fout"-gedeelte eraf. Het reset het geheugen van de robot net voordat de oplossing begint. Het is alsof je tegen de robot zegt: "Vergeet hoe je viel. Kijk gewoon waar je nu bent en bedenk hoe je weer opstaat." Dit voorkomt dat de robot de oorzaak van de val verward met de oplossing.
De "Voortgangsthermometer" (Semantische Waardefunctie)
Het systeem kiest een "score" toe aan elk moment in een video.
- Hoge Score (1.0): Je beweegt naar het doel toe.
- Lage Score (0.0): Je drijft weg of staat op het punt te crashen.
- De Magie: Als een robot uitglijdt, daalt de score. Maar als hij begint de slip te herstellen, stijgt de score weer. De robot leert naar deze "thermometer" te kijken. Als de score laag is, weet hij dat hij zijn huidige plan moet staken en een andere beweging moet proberen om de score weer hoog te krijgen. Hij leert onderscheid te maken tussen "hard proberen maar falen" en "het probleem daadwerkelijk oplossen".
De "Doelgerichte" Aandrijving (Waarde-geconditioneerde Verfijning)
Wanneer de robot daadwerkelijk in de echte wereld werkt, zegt het systeem tegen hem: "Streef naar de hoogst mogelijke score (1.0)."
- Als de robot van koers raakt, daalt de "score". Omdat de robot is getraind om naar de hoge score te jagen, schakelt hij automatisch over naar een "herstelmodus" om terug te keren naar het veilige pad. Hij heeft geen mens nodig die "Stop!" schreeuwt of een speciale sensor die een crash detecteert. Hij ziet gewoon dat de score daalt en corrigeert zich instinctief.

De Test: FRBench
Om te bewijzen dat dit werkt, bouwden de onderzoekers een test genaamd FRBench. Stel je een videospel voor waarin de robot water moet inschenken of een handdoek moet vouwen, maar de spelmeester duwt de robot stiekem of laat het object wegglijden.

Oude Robots: Wanneer ze werden geduwd, bleven ze proberen water in de lucht te schenken of vouwden ze de handdoek verkeerd, wat uiteindelijk leidde tot falen.
RePO-VLA Robot: Wanneer hij werd geduwd, besefte hij dat de score daalde, stopte hij de slechte beweging en bedacht hij een nieuwe manier om te schenken of te vouwen, waardoor hij de taak succesvol voltooide.

De Resultaten
In tests slaagden de oude robots slechts ongeveer 20% van de tijd wanneer er dingen misgingen. De nieuwe RePO-VLA-robot slaagde ongeveer 75% van de tijd. In proeven in de echte wereld met echte robots bereikte hij tot 80% succes.

In Het Korte Bestek
RePO-VLA leert robots dat falen gewoon data is. Door fouten te ontleden, geheugens te resetten en de robot een "score" te geven om na te jagen, verandert het een breekbare robot die snel kapotgaat in een veerkrachtige die zijn eigen problemen kan oplossen. Het is het verschil tussen een student die het antwoordensleutel uit zijn hoofd leert en een student die leert het probleem op te lossen, zelfs als de vraag verandert.

Technische Samenvatting: RePO-VLA

Probleemstelling

Vision-Language-Action (VLA)-modellen hebben de besturing van algemene robots verbeterd, maar blijven kwetsbaar bij langdurige, contactrijke manipulatie taken. Bestaande benaderingen vertrouwen sterk op supervised fine-tuning (SFT) over succesvolle demonstraties, wat een "blinde vlek voor het benutten van fouten" creëert. Wanneer uitvoeringsdrift optreedt – door afwijkingen in grijppose, wegglijden van objecten of timingfouten – ontbreekt het standaard VLA's aan toezicht om zich te herstellen. Bovendien verwerpen bestaande methoden vaak gefaalde rollouts volledig, terwijl ze negeren dat hun vroege fasen geldige benaderingsgedragingen kunnen bevatten. Omgekeerd leidt het naïef imiteren van volledige hersteltrajecten (die zowel foutgeschiedenis als corrigerende acties omvatten) tot causale verwarring, waarbij het beleid leert de voorgaande fout te associëren met de herstelactie, in plaats van te leren reageren op de huidige nadelige toestand.

Methodologie: RePO-VLA

RePO-VLA (Recovery-Driven Policy Optimization for Vision-Language-Action Model) is een raamwerk ontworpen om te leren van succesvolle, gefaalde en herstelde trajecten onder een unificerend progressiesignaal. Het werkt in twee distincte fasen:

1. Herstelbewuste Initialisatie (RAI)

De eerste fase adresseert het probleem van "causale verwarring" waarbij een beleid zou kunnen leren dat een specifieke foutgeschiedenis een noodzakelijke trigger is voor herstel.

Trajectopsnijding met Geschiedenisreset (TSHR): Ruwe hersteltrajecten worden opgesneden om het foutvoorvoegsel te verwijderen. De observatiegeschiedenisbuffer wordt gereset aan het begin van het corrigerende segment. Dit dwingt het beleid om herstel te leren als een toestand-geconditioneerde vaardigheid gebaseerd op de huidige nadelige toestand (bijvoorbeeld een lege grijper of een niet-uitgelijnd object) in plaats van een herhaling van de specifieke fout die het veroorzaakte.
Training: Het beleid wordt gefine-tuned op een mix van expertdemonstraties en deze geresette herstelsegmenten ( $D_{expert} \cup D_{reset}^{rec}$ ), waarbij nominale imitatie in evenwicht wordt gebracht met herstellaarn.

2. Waarde-geconditioneerde Verfijning (VCR)

De tweede fase herstelt de volledige rollende geschiedenis (inclusief foutvoorvoegsels) en introduceert een dicht semantisch waardesignaal om nuttig, driftend en corrigerend gedrag te onderscheiden.

Progressiebewuste Semantische Waardefunctie (PAS-VF): Een lichtgewicht adapternetwerk aligneert spatiotemporale videofeatures met taalinstructies in een gedeeld semantisch manifold. Het leert taakprogressie te schatten door de cosinus-similariteit te meten tussen het huidige trajectvoorvoegsel en een cluster van succesvolle referentietrajecten.
Dichte Labeling:
- Succes/Herstel: Frames die progressie behouden of herstellen, worden gelabeld als $v_t = 1.0$ .
- Foutsegmenten: Voorvoegsels die leiden tot nadelige toestanden worden gelabeld als $v_t = 0.0$ om middeling met corrigerende acties te voorkomen.
- Pure Fouten: Vroege kinematische priors worden behouden via een betrouwbaarheidsvervalmechanisme ( $v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$ ), terwijl terminale instortingen worden down-gewogen.
Waarde-geconditioneerde Training: Het beleid wordt uitgebreid met een waardetoken ( $e_{val}$ ) afgeleid van de dichte labels. Tijdens training leert het beleid om dezelfde nadelige observatie en geschiedenis te mappen naar verschillende actiemodi, afhankelijk van de gewenste waarde.
Implementatie: Bij inferentie gebruikt het beleid de standaard rollende geschiedenisbuffer (zonder resetten), maar fixeert het waardetoken op $v = 1.0$ . Dit bias de actieverdeling naar het geleerde "succesmanifold", waardoor autonoom herstel mogelijk is zonder online foutdetectoren of heuristische retry-regels.

Belangrijkste Bijdragen

RePO-VLA Raamwerk: Een twee-fase (RAI + VCR) architectuur die gefaalde rollouts structureel hergebruikt. Het elimineert causale verwarring via geschiedenisresetten en maakt waarde-gedifferentieerde acties mogelijk via dichte progressielabels.
FRBench: Een nieuwe benchmark voor herstelevaluatie met gestandaardiseerde foutinjectie (E1–E4: te vroeg sluiten, grijpslip, positieverschuiving, oriëntatie-onderlinge mismatch) en een fase-gebaseerd protocol dat nominale bekwaamheid isoleert van corrigerend vermogen, zowel in simulatie (RoboTwin) als in real-world bimanuele taken.
Empirische Validatie: Aangetoond dat expliciete herstelsupervisie en dichte waardegeleiding de robuustheid aanzienlijk verbeteren. Het artikel toont een positief schalingstrend waarbij het verhogen van de dichtheid van hersteldata de prestaties verder verbetert.

Experimentele Resultaten

Simulatie (FRBench-Sim): Over 46 bimanuele taken presteerde RePO-VLA significant beter dan baselines (inclusief $\pi_0$ , $\pi_0.5$ en RDT) onder injectie van fouten. In gerandomiseerde settings met adversariële perturbaties behaalde RePO-VLA een gemiddeld slagingspercentage van 43,0%, vergeleken met 15,4% voor de $\pi_0.5$ baseline.
Real-World Evaluatie: Getest op Dobot X-Trainer-arms voor taken zoals water inschenken, koken en handdoeken vouwen.
- Onder adversariële perturbaties behaalde de baseline $\pi_0.5$ 20,0% succes, terwijl RePO-VLA (alleen Fase I) 37,5% bereikte.
- Data Schaling: Het verhogen van de dichtheid van hersteldata van 1x naar 4x verbeterde de prestaties verder. De Volledige (4x) variant behaalde 75% succes onder adversariële omstandigheden, wat de Fase I baseline overtrof en aantoont dat een dikkere dekking van fout-herstel-nabijheidsgebieden cruciaal is.
Ablatiestudies: Bevestigd dat geschiedenisresetten (TSHR) essentieel is om causale verwarring te voorkomen en dat waardeconditionering ( $v=1.0$ ) een stabiel controlesignaal biedt dat superieur is aan heuristische retries.

Betekenis en Claims

Het artikel claimt dat RePO-VLA de kwetsbaarheid van huidige VLA-modellen aanpakt door fundamenteel te veranderen hoe foutdata wordt benut. In plaats van fouten te verwerpen of herstelperioden uniform positief te behandelen, decomposeert het raamwerk ze in distincte semantische rollen:

Nuttige voorvoegsels van fouten worden behouden als kinematische priors.
Terminale instortingen worden veilig down-gewogen.
Corrigerende acties worden geleerd als toestand-geconditioneerde vaardigheden, gekoppeld aan de specifieke foutgeschiedenis die eraan voorafging.

De auteurs stellen dat deze aanpak het mogelijk maakt dat een enkel beleid zowel nominale uitvoering als autonoom herstel aankan zonder modules te wisselen of te vertrouwen op externe foutdetectoren. De resultaten suggereren dat voor betrouwbare langdurige manipulatie, vooral in contactrijke omgevingen, het vermogen om te herstellen van drift even kritisch is als het vermogen om het nominale plan uit te voeren, en dat dit vermogen direct kan worden geleerd uit interactiedata van gemengde kwaliteit.