🤖 machine learning

VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation

VLCP introduceert een trainingsvrij robotmanipulatiebeleid dat een vision-language model bevroren houdt en closed-loop controle mogelijk maakt door het model elke $K$ stappen zijn eigen Python-besturingscode dynamisch te laten herschrijven op basis van multi-view observaties, waarmee een tienvoudige verbetering in succesratio wordt bereikt ten opzichte van open-loop baselines door middel van herstel tijdens de episode bij falen.

Oorspronkelijke auteurs: Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van de robotica bestaat er een hardnekkige kloof tussen wat een computer kan begrijpen en wat hij daadwerkelijk kan doen. Jarenlang hebben wetenschappers geprobeerd deze kloof te overbruggen door robots de taal van beweging te leren, waarbij krachtige kunstmatige intelligentiemodellen dwongen om een nieuwe, gespecialiseerde woordenschat van motorische commando's te leren. Deze aanpak vereist enorme hoeveelheden trainingsdata en berooft de robot vaak van zijn vermogen om te redeneren, waardoor hij wordt gedwongen specifieke acties te memoriseren in plaats van de situatie te begrijpen. Een recenter idee suggereert dat we, in plaats van een robot een nieuwe taal te leren, hem moeten laten spreken in de taal die hij al het beste kent: computercode. Door een AI te vragen een kort programma te schrijven dat de robot vertelt hoe hij moet bewegen, kunnen onderzoekers de redeneerkracht van de AI intact houden. Een groot gebrek aan deze methode is echter geweest dat het programma eenmaal geschreven wordt, voordat de robot begint te bewegen. Als de robot een greep mist of ergens tegenaan botst, blijft het programma blindelings doorlopen, waarbij het die fout meeneemt naar het einde van de taak zonder enige manier om dit te herstellen.

Een nieuwe studie introduceert een systeem genaamd VLCP, dat de regels verandert door de robot toe te staan zijn eigen instructies te herschrijven terwijl hij nog aan het werk is. De onderzoekers bouwden een framework waarin een bevroren, vooraf getraind kunstmatig intelligentiemodel fungeert als een supervisor. In plaats van één enkele set commando's aan het begin te sturen, pauzeert het systeem elke vijftig stappen om via camera's en sensoren naar de huidige situatie van de robot te kijken. Vervolgens vraagt het de AI om een nieuwe, korte Python-functie te schrijven om de volgende vijftig stappen te afhandelen op basis van wat het zojuist heeft gezien. Als de robot in de vorige fase een object niet heeft opgepakt, ziet de AI de fout in de beelden, schrijft een nieuw stuk code om de benadering te corrigerend, en probeert het opnieuw, allemaal binnen dezelfde poging. Dit creëert een gesloten lus waarbij de besturingssoftware zelf in realtime wordt bewerkt, in plaats van alleen de bewegingen van de robot worden aangepast.

De onderzoekers testten dit systeem in een gesimuleerde omgeving met vijftig zeven verschillende taken, variërend van eenvoudig object oppakken tot complexe sequenties in keuken- en woonkamersettings. Ze vergeleken hun methode met een versie van hetzelfde systeem dat de code slechts één keer aan het begin schreef en nooit meer terugblikte. Het verschil was groot. Het systeem dat zijn code tijdens het proces herschreef, slaagde in vijfendertig procent van de taken, terwijl de versie die zich aan het oorspronkelijke plan hield slechts in drie procent van de gevallen slaagde. Deze tienvoudige verbetering bleef overal waarvoor getest werd standhouden. De sleutel tot dit succes was niet alleen dat de robot zijn fouten kon zien, maar dat hij de instructies kon veranderen die de fouten veroorzaakten. In bijna dertig procent van de gevallen waarin de robot aanvankelijk faalde om een object vast te pakken, detecteerde het systeem de fout, herschreef de benadering en slaagde het er later in dezelfde poging in om het item op te tillen. Zonder deze mogelijkheid om de code halverwege de taak te bewerken, zouden die fouten permanent zijn geweest.

Om te waarborgen dat dit proces praktisch is, mat het team hoeveel rekenkracht het vereiste. Omdat de AI bij elke controle het grootste deel van dezelfde achtergrondinformatie hergebruikte, hoefde het systeem telkens slechts een kleine hoeveelheid nieuwe data te verwerken. Dit stelde de robot in staat om te pauzeren, na te denken en zijn instructies te herschrijven ongeveer tien keer tijdens een enkele taak zonder dat dit te traag of te duur werd om uit te voeren. De studie toonde ook aan dat deze methode niet vertrouwde op het memoriseren van specifieke zinnen of instructies door de robot. Wanneer de onderzoekers de bewoordingen van de taakbeschrijvingen veranderden, bleef de prestatie van het systeem stabiel, terwijl andere modellen die op trainingsdata vertrouwden aanzienlijk moeite hadden wanneer de taal licht veranderde. Dit suggereert dat het systeem werkelijk het doel begrijpt in plaats van enkel patronen te matchen.

De onderzoekers merkten er zorgvuldig bij op dat hun resultaten voortkomen uit een computersimulatie, en niet uit een fysieke robot in een echte kamer. Het systeem vertrouwt momenteel op perfecte digitale informatie over de locatie van objecten, wat iets is dat echte camera's niet altijd met een dergelijke zekerheid kunnen bieden. Daarnaast betekent de tijd die de AI nodig heeft om een nieuwe code te genereren dat deze aanpak beter geschikt is voor taken die geen reacties in fracties van seconden vereisen. Ondanks deze beperkingen toont de studie een duidelijke weg vooruit: door de AI in de taal van code te houden en hem de vrijheid te geven zijn eigen fouten te herstellen terwijl ze gebeuren, kunnen robots veel veelzijdiger worden zonder dat ze getraind hoeven te worden op duizenden menselijke demonstraties. Het werk suggereert dat de toekomst van robotbesturing niet ligt in het leren van machines nieuwe manieren om te bewegen, maar in het geven van de vrijheid om hun eigen plannen te bewerken terwijl ze leren.

Technische Samenvatting: VLCP (Vision Language Control Policy)

Probleemstelling
Huidige benaderingen voor het inzetten van geavanceerde Vision-Language Models (VLM's) in de robotica vertrouwen doorgaans op Vision-Language-Action (VLA) modellen. Deze vereisen het finetunen van vooraf getrainde VLM's om lage-niveau actietokens uit te sturen (bijv. gewrichtsposities of gespecialiseerde motortokens) die het model tijdens de pretraining nooit is tegengekomen. Deze adaptatie brengt het risico met zich mee dat de inherente redeneercapaciteiten van het model verloren gaan en vereist grote hoeveelheden demonstratiegegevens. Bovereenstaande "Code-as-Policy"-methoden genereren controlecode één keer voordat de uitvoering begint. Als er tijdens de uitvoering een fout optreedt (bijv. een mislukte greep), kunnen deze open-loop systemen niet herstellen omdat de policy vaststaat. Daarentegen werken bestaande closed-loop methoden die wel reageren op observaties vaak op taak- of taalniveau (het opnieuw selecteren van subtaken of het opnieuw proberen van vaste policies) in plaats van het herschrijven van de onderliggende controlecode die de fout heeft veroorzaakt.

Methodologie
VLCP stelt een training-vrije, closed-loop framework voor die het VLM bevroren houdt en het gebruikt om een Python-controlefunctie met een korte horizon te genereren. De kerninnovatie is het sluiten van de loop op het niveau van de controlecode zelf binnen een enkele episode.

Code-as-Policy Representatie: In plaats van motortokens uit te sturen, schrijft het bevroren VLM een Python-functie control(obs, J) die multi-view RGB-observaties, proprioceptieve staat en de end-effector Jacobiaan als input neemt. Deze functie geeft een dictionary van gewrichtspositie-doelen uit voor de PD-controller van de simulator.
Closed-Loop Replanning: De episode wordt verdeeld in blokken van $K$ $K$ stappen (standaard $K=50$ $K = 50$ ). Aan het begin van elk blok wordt het VLM bevraagd om een nieuwe controlefunctie te genereren op basis van de huidige staat.
- Observatie: Het VLM ontvangt gesynchroniseerde multi-view RGB-beelden, numerieke staat (end-effector pose, gewrichtsposities, objectposes) en een expliciete staat-delta.
- Herschrijven: Als het vorige blok mislukte (bijv. een poging tot grijpen mislukte), observeert het VLM de foutsignatuur in de nieuwe beelden en herschrijft het de controlefunctie om de benadering voor het volgende blok te corrigeren. Dit maakt herstel mogelijk tijdens de episode, en niet alleen tussen pogingen door.
Skill Library: Helper-modules (skills) die tijdens een herplanning worden geschreven, worden opgeslagen in een gedeelde directory op de harde schijf. Deze worden letterlijk opnieuw geïnjecteerd in de systeemprompt van daaropvolgende herplanningen (zowel binnen dezelfde episode als over verschillende episodes heen), waardoor de policy vaardigheden kan accumuleren en hergebruiken zonder finetuning.
Prompt Engineering: De prompt is gestructureerd om token caching te maximaliseren. Het bevat een statische prefix (documentatie, API, voorbeelden), een dynamische skill library en een "goal pin" (taakbeschrijving) die de context-truncatie overleeft. Beelden worden alleen in de live user turn opgenomen om context-bloat te voorkomen.

Belangrijkste Bijdragen

VLCP Framework: Een training-vrij closed-loop manipulatiesysteem dat het bevroren VLM elke $K$ stappen opnieuw bevraagt om de controlefunctie te herschrijven op basis van live observaties en staat-delta's.
Cross-Episode Skill Library: Een mechanisme waarbij helper-modules gegenereerd tijdens herplanningen worden bewaard en in toekomstige prompts worden geïnjecteerd, wat de accumulatie van vaardigheden mogelijk maakt zonder hertraining.
Gecontroleerde Ablatie (De Loop): Een rigoureuze vergelijking met een open-loop degeneratieve casus ( $K=T$ , waarbij het VLM slechts één keer per episode wordt bevraagd). Dit isoleert de bijdrage van de herplanning-loop binnen de episode, waarbij de simulator, API, model en taakset constant worden gehouden.
Gekwantificeerde Herstelcapaciteit: Directe meting van herstel binnen de episode, waarmee wordt aangetoond dat het systeem mislukte grijpbewegingen halverwege de episode kan detecteren en oplossen.
Haalbaarheidsanalyse: Een demonstratie dat de aanpak computationeel betaalbaar is via prompt caching, waarbij slechts $\sim10$ VLM-aanroepen per episode nodig zijn met een hoge cache hit rate.

Resultaten
Geëvalueerd op een sweep van 57 taken over drie scène-families (Object Picks, Kitchen Scenes, Living-Room Scenes) in MuJoCo/RoboVerse:

Succespercentage: De closed-loop VLCP ( $K=50$ ) behaalde een gecombineerd succespercentage van 35,1%. In contrast hiermee behaalde exact hetzelfde systeem in open-loop modus ( $K=T$ ) slechts 3,5%. Dit vertegenwoordigt een tienvoudige verbetering met niet-overlappende 95% betrouwbaarheidsintervallen over alle scène-families.
Herstelmechanisme: Analyse van de gelogde traces toonde aan dat 27,3% van de mislukte grijpbewegingen succesvol werd hersteld door een daaropvolgende herplanning. De open-loop variant had door constructie een herstelpercentage van 0%.
Generalisatie: Onder instructie-herformulering (het wijzigen van de bewoording van de taakinstructies) behield VLCP een stabiele prestatie (40,0% in zowel de originele als de gewijzigde condities), terwijl een gefinetuned VLA-baseline (VLA-0) een significante prestatie-instorting vertoonde op specifieke taken wanneer instructies werden geherformuleerd.
Efficiëntie: Het systeem bereikte een mediane input token cache hit rate van 84%. Een episode vereiste een mediaan van 10 herplanning-aanroepen, met een mediane latentie van 18,8 seconden per herplanning. Alle 778 gegenereerde controleblokken werden succesvol geparsed en gecompileerd (100% validiteit).

Betekenis en Claims
Het artikel claimt dat VLCP aantoont dat het sluiten van de loop op het niveau van de controlecode een onderscheidende en effectieve grens is voor robotmanipulatie.

Behoud van Redeneren: Door het VLM bevroren te houden en het te gebruiken om code te schrijven (een taal waarin het vloeiend is) in plaats van het te finetunen voor acties, behoudt de methode de redeneercapaciteiten van het model uit de pretraining.
De Locatie van Correctie: De auteurs stellen dat eerdere methoden falen omdat ze vaste policies opnieuw proberen of escaleren naar planners zonder de kernoorzaak (de controlecode) te repareren. VLCP is een van de weinige methoden die het falende artefact halverwege de episode herschrijft.
Training-vrije Levensvatbaarheid: De resultaten suggereren dat een zero-demonstration, training-vrije aanpak een sterke absolute prestatie (35,1%) kan bereiken op complexe manipulatietaken, mits het systeem zichzelf kan corrigeren via code-herwriting.
Continu Leerplatform: De cross-episode skill library biedt een natuurlijk pad voor continu leren, waarbij competentie groeit over episodes heen zonder hertraining.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige implementatie afhankelijk is van door de simulator verstrekte objectposes (wat ruis in perceptie omzeilt) en beperkt wordt door de VLM-inferentielatentie, wat het geschikt maakt voor tragere manipulatietaken in plaats van hoogfrequente reactieve controle. Zij benadrukken dat de bijdrage de loop zelf is, en niet een specif kind programma.

Technische Samenvatting: VLCP (Vision Language Control Policy)

Meer zoals dit