💻 computer science

Agentic-VLA: Efficient Online Adaptation for Vision-Language-Action Models

Agentic-VLA is een efficiënt online aanpassingskader voor Vision-Language-Action-modellen dat gebruikmaakt van adaptieve beloningssynthese, taalgeleide exploratie en ervaringsgeheugen om de generalisatie, steekproefefficiëntie en cross-task-overdracht op benchmarks voor robotische manipulatie aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Ruofan Jin, Zaixi Zhang

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruofan Jin, Zaixi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren een complex gerecht te bereiden, zoals het maken van een specifiek type koffie met een kookpot op het fornuis. In het verleden moest je de robot honderden keren precies laten zien hoe het moet, stap voor stap. Als de robot de pot liet vallen of het fornuis stond op een iets andere plek, raakte hij in de war en faalde hij volledig. Het was als een student die de antwoorden op een specifieke toets uit het hoofd had geleerd, maar een vergelijkbaar probleem niet kon oplossen als de getallen veranderden.

Het artikel introduceert Agentic-VLA, een nieuwe manier om robots te trainen die minder werkt als een stijve student en meer als een slimme leerling met een behulpzame mentor. In plaats van alleen te kopiëren wat ze zien, leert dit systeem hoe het moet leren.

Hier is hoe het werkt, opgesplitst in drie simpele 'superkrachten':

1. De Slimme Coach (Adaptive Reward Synthesis)

Het Probleem: Meestal krijgt een robot pas aan het einde van een taak een 'Goed gedaan!' of 'Probeer opnieuw!'. Als de taak lang is (zoals koken), weet de robot niet welke specifieke stap hij heeft verprutst.
De Oplossing: Agentic-VLA werkt als een coach die een groot doel opdeelt in kleine, hanteerbare stappen.

De Analogie: Stel je voor dat je fietsen leert. Een slechte coach zegt alleen: 'Je hebt de wedstrijd verloren.' Een slimme coach zegt: 'Goed gedaan met het evenwicht bewaren op het vlakke terrein! Nu proberen we linksaf te draaien. Je wankelde een beetje, dus laten we ons daarop focussen.'
Hoe het werkt: Het systeem breekt een complexe taak (zoals 'koffie maken') automatisch op in kleine subdoelen ('vind het fornuis', 'zet het aan', 'vind de pot'). Vervolgens observeert het de robot. Als de robot al goed is in het vinden van het fornuis, stopt de coach met punten geven voor dat onderdeel en richt de aandacht van de robot op het deel waar hij moeite mee heeft (zoals het plaatsen van de pot). Het creëert een op maat gemaakt 'curriculum' dat pas moeilijker wordt naarmate de robot beter wordt.

2. De Behulpzame Gids (Language-Guided Exploration)

Het Probleem: Wanneer robots proberen zelfstandig te leren, slaan ze vaak willekeurig om zich heen, zoals een peuter die op piano-toetsen slaat in de hoop een noot te raken. Dit kost veel tijd en energie.
De Oplossing: In plaats van willekeurig gissen, krijgt de robot aanwijzingen in gewoon Engels.

De Analogie: Stel je voor dat je probeert een verborgen sleutel te vinden in een rommelige kamer. Een willekeurige zoektocht betekent dat je blindelings onder elke vloerkleed en in elke lade kijkt. Een 'taalgeleide' zoektocht is als een vriend die fluistert: 'Hé, ik denk dat je vanuit de verkeerde hoek zoekt; probeer de linkerkant van de tafel.'
Hoe het werkt: Een speciaal 'Critic'-model bekijkt wat de robot doet en stelt specifieke aanpassingen voor in natuurlijke taal, zoals 'Probeer het object van links te benaderen' of 'Grijp het midden voor betere stabiliteit'. Dit helpt de robot veel sneller goede strategieën te ontdekken dan willekeurige trial-and-error.

3. Het Herinneringsboek (Experience Memory)

Het Probleem: Als een robot leert een lade te openen, moet het meestal bij nul beginnen wanneer het leert een kast te openen, zelfs als de bewegingen vergelijkbaar zijn.
De Oplossing: De robot houdt een 'bibliotheek' bij van zijn eerdere successen.

De Analogie: Denk hierbij aan een chef-kok die ui heeft leren snijden. Als ze knoflook moeten snijden, beginnen ze niet bij nul; ze herinneren zich: 'Ik weet hoe je het mes vasthoudt en de beweging is vergelijkbaar.'
Hoe het werkt: Wanneer de robot een nieuwe taak onder ogen ziet, kijkt het in zijn herinneringsboek naar een vergelijkbare taak die het al heeft geleerd. Het 'warmt op' door te beginnen met de vaardigheden uit die vergelijkbare taak, in plaats van met een blanco blad. Hierdoor leert het veel sneller nieuwe dingen.

De Resultaten: Wat Vonden Ze?

De onderzoekers testten dit nieuwe systeem op een benchmark genaamd LIBERO (een reeks robotmanipulatie-taken) en een test met een robot met twee armen genaamd RoboTwin. Dit gebeurde:

Lange Taken: De robot werd 12,3% beter in het voltooien van lange, meerstaps taken in vergelijking met eerdere methoden.
Leren van Eén Voorbeeld: Bij een 'one-shot'-test (waarbij de robot de taak slechts één keer ziet voordat het probeert te leren), verbeterde het met 28,5%. Het kon veel sneller leren met zeer weinig data.
Van Nul tot Held: Zonder specifieke voorbeelden voor een nieuwe taak, kon de robot het toch ongeveer 31% van de tijd uitzoeken, terwijl oudere methoden 100% van de tijd faalden.
Snelheid: Het systeem leerde 2,4 keer sneller dan andere online leermethoden, wat betekent dat het veel minder pogingen nodig had om goed te worden in een taak.

Samenvatting

Agentic-VLA is een raamwerk dat robots slimmere leerlingen maakt. In plaats van alleen video's van mensen die taken uitvoeren uit het hoofd te leren, gebruikt het een Slimme Coach om taken op te splitsen, een Behulpzame Gids om aanwijzingen op basis van taal te geven, en een Herinneringsboek om eerdere vaardigheden opnieuw te gebruiken. Hierdoor kunnen robots zich snel aanpassen aan nieuwe omgevingen en complexe taken leren met veel minder data en tijd dan voorheen.

Technische Samenvatting: Agentic-VLA: Efficiënte Online Adaptatie voor Vision-Language-Action Modellen

1. Probleemstelling

Vision-Language-Action (VLA) modellen hebben robotische manipulatie vooruitgebracht door gebruik te maken van vooraf getrainde visueel-taalkundige representaties om instructies te interpreteren en acties te genereren. Echter, de huidige trainingsparadigma's voor VLA's kampen met twee kritieke beperkingen die een implementatie in de echte wereld belemmeren:

Slechte Generalisatie: Modellen die via Supervised Fine-Tuning (SFT) zijn getraind op expertdemonstraties, neigen ertoe specifieke trajecten te memoriseren in plaats van onderliggende taaksemantiek te leren. Bijgevolg vertonen ze breekbare prestaties wanneer de omstandigheden tijdens implementatie licht afwijken van de trainingsdistributies, en ontbreken ze mechanismen voor foutherstel of adaptieve herplanning.
Lage Trainingsefficiëntie: Huidige methoden vereisen honderden demonstraties per taak, waarbij de kosten voor dataverzameling lineair schalen met het aantal taken. Dit maakt het schalen naar het diverse scala aan taken dat nodig is voor robotica voor algemene doeleinden onpraktisch.

Hoewel recente werken online adaptatie met behulp van Reinforcement Learning (RL) hebben onderzocht, lijden ze aan afhankelijkheid van ruisachtige beloningssignalen, inefficiënte willekeurige exploratie in actie ruimten met hoge dimensies, en het onvermogen om kennis over te dragen tussen gerelateerde taken.

2. Methodologie: Agentic-VLA Framework

Agentic-VLA stelt een agentisch trainingsframework voor dat het leerproces zelf herdenkt als een intelligent, georkestreerd systeem. In plaats van beloningsontwerp, exploratie en kennisoverdracht als vaste procedures te behandelen, maakt het framework gebruik van geleerde agenten om deze componenten actief te beheren op basis van de huidige leerstatus. Het framework integreert drie synergetische innovaties:

2.1 Adaptieve Beloningssynthese (ARS)

Om het ontbreken van orakel-beloningssignalen aan te pakken, genereert en past ARS dynamisch beloningsfuncties aan die zijn toegespitst op de huidige capaciteiten van de VLA.

Taakdecompositie: Een taalkundig model decomposeert complexe, lang-horizontale taakinstructies ( $l_{task}$ ) in een reeks tussenliggende subdoelen ( $G = \{g_1, \dots, g_K\}$ ).
Capaciteitsbewuste Weging: Het systeem onderhoudt een schatting van de bekwaamheid ( $\hat{c}_k$ ) van de VLA voor elk subdoel, berekend als een exponentiële glijdend gemiddelde van recente successnelheden. De beloningsgewicht voor een subdoel wordt gedefinieerd als $w_k = 1 - \hat{c}_k$ . Dit creëert een natuurlijk curriculum: subdoelen waarbij de agent worstelt, ontvangen hoge gewichten om gefocust leren te stimuleren, terwijl beheerste subdoelen verminderde gewichten ontvangen.
Dichte Vooruitgangsbeloningen: Een geleerde criticusmodel ( $C_\phi$ ) levert dichte schattingen van vooruitgang ( $\Delta_k$ ) voor elk subdoel. De totale beloning is de gewogen som van deze vooruitgangssignalen, waardoor feedback zich richt op de huidige leerfrontier van de agent.

2.2 Taalgeleide Exploratie (LGE)

Om de inefficiëntie van willekeurige bemonstering in actie ruimten met hoge dimensies te overwinnen, vervangt LGE blind trial-and-error door gestructureerde exploratie.

VLM-gebaseerde Criticus: Een vooraf getraind Vision-Language Model (VLM) fungeert als een exploratie-criticus. Gegeven de huidige visuele observatie, taakinstructie en trajectcontext, genereert het VLM natuurlijke taal suggesties (bijvoorbeeld "nader van links") om het gedrag te sturen.
Prompt-verrijkte Generatie: Deze suggesties worden samengevoegd met de taakinstructie om de actieverdeling van de VLA te beïnvloeden naar veelbelovend gedrag, terwijl stochasticiteit behouden blijft.
Adaptieve Frequentie: De frequentie van suggesties wordt dynamisch aangepast op basis van leerprogressie, waardoor frequente begeleiding wordt geboden in het begin van de training en deze wordt verminderd naarmate het beleid meer autonomie krijgt.

2.3 Ervaringsgeheugen (EM)

Om kennisoverdracht tussen taken mogelijk te maken, onderhoudt EM een geheugenbank van aangepaste beleidsgewichten, geïndexeerd op taakembeddings.

Warm-Start Retrieval: Bij het tegenkomen van een nieuwe taak berekent het systeem een taakembedding en haalt de $k$ meest vergelijkbare eerder geleerde taken op.
Gewichtsinterpolatie: De initiële beleidsparameters worden berekend als een gewogen combinatie van de opgehaalde beleidsgewichten. Dit biedt een "warm start" die het leren op gerelateerde taken versnelt, in plaats van van scratch te leren.
Capaciteitsbeheer: De geheugenbank wordt bijgewerkt met succesvolle aanpassingen en beheerd om diverse, hoogwaardige entries te prioriteren.

De trainingslus maakt gebruik van GRPO (Group Relative Policy Optimization) voor beleidsupdates, waarbij deze componenten worden geïntegreerd in een geünificeerde cyclus voor online adaptatie.

3. Belangrijkste Bijdragen

Agentisch Framework: Het eerste agentische framework voor online adaptatie van VLA's dat adaptieve beloningssynthese, taalgeleide exploratie en ervaringsgeheugen verenigt.
Adaptief Beloningsmechanisme: Een nieuw mechanisme dat complexe taken automatisch decomposeert en de beloningsgranulariteit aanpast op basis van leerprogressie in real-time, waardoor effectief een capaciteitsbewust curriculum wordt geïmplementeerd.
Gestructureerde Exploratie: Aantonen dat taalgeleide exploratie de sample-efficiëntie aanzienlijk verbetert door systematische, doelgerichte ontdekking van strategieën mogelijk te maken.
Overdracht tussen Taken: Bewijs dat ervaringsgeheugen effectieve overdracht mogelijk maakt, met niet-triviale successnelheden op taken zonder enige taakspecifieke demonstraties.
State-of-the-Art Prestaties: Uitgebreide experimenten die aanzienlijke verbeteringen tonen op meerdere metrieken en benchmarks.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de LIBERO-benchmark (vier taaksets: Spatial, Object, Goal, Long) en de dual-arm RoboTwin 2.0-benchmark.

Algemene Prestaties: Agentic-VLA behaalde een state-of-the-art gemiddelde successnelheid van 97,8% op LIBERO, wat 2,0% beter is dan de vorige beste RL-methode (EVOLVE-VLA) en 8,6% beter dan de SFT-baseline.
Taken met Lange Horizont: De meest significante verbetering werd waargenomen op LIBERO-Long-taken, met een winst van +12,3% ten opzichte van de SFT-baseline, toegeschreven aan adaptieve beloningssynthese en curriculum learning.
One-Shot Learning: In een regime met weinig data, met slechts één demonstratie per taak, behaalde Agentic-VLA een successnelheid van 70,5%, een verbetering van +28,5% ten opzichte van de SFT-baseline en +9,2% ten opzichte van EVOLVE-VLA.
Generalisatie tussen Taken: Zonder enige taakspecifieke demonstraties verbeterde Agentic-VLA de successnelheid voor overdracht tussen taken van 0% (directe overdracht) naar 31,2% op de LIBERO-Object-set na training op LIBERO-Long.
Trainingsefficiëntie: Het framework toonde 2,4× snellere convergentie in vergelijking met bestaande methoden voor online adaptatie, waarbij een successnelheid van 90% werd bereikt in 700 iteraties versus 1.680 voor EVOLVE-VLA. Het vereiste 22,4k rollouts versus 53,8k voor de baseline.
RoboTwin 2.0: Het framework behield zijn voordelen op de dual-arm RoboTwin 2.0-benchmark, met name onder de gerandomiseerde "Hard"-instelling, met een subsetgemiddelde van 34,7% in vergelijking met 16,3% voor $\pi_0$ en 13,7% voor RDT.

Ablatiestudies bevestigden dat elke component (ARS, LGE, EM) synergetisch bijdraagt. Het verwijderen van een component resulteerde in prestatiedalingen en een toename van het aantal trainingsiteraties. Gecontroleerde vergelijkingen met alternatieve curriculum (uniforme gewichten, vaste schema's) en exploratiebonussen (RND, ICM) bevestigden dat de specifieke ontwerpkies van Agentic-VLA verantwoordelijk waren voor de winst.

5. Betekenis en Claims

De auteurs beweren dat Agentic-VLA een belangrijke stap voorwaarts is naar echt adaptieve VLA-systemen die in staat zijn tot continu leren tijdens implementatie. Door over te stappen van statisch imitatie leren naar een agentisch, online adaptatieproces, adresseert het framework de fundamentele breekbaarheid en data-inefficiëntie van huidige VLA-modellen.

Het artikel benadrukt dat het systeem emergente capaciteiten mogelijk maakt, zoals foutherstel (autonoom opnieuw aanpassen na een slip), adaptieve objectbehandeling (aanpassen van trajecten aan verplaatste objecten) en ontdekking van nieuwe strategieën (het vinden van manipulatiestrategieën die niet aanwezig waren in demonstraties).

Hoewel beperkingen worden erkend, zoals potentieel beloningshacken, schaalbaarheid van het geheugen en de uitdagingen van het implementeren van systemen met veel componenten op fysieke robots, positioneren de auteurs Agentic-VLA als een fundamentele stap naar robuust, robotisch leren voor algemene doeleinden dat effectief kan opereren in diverse en veranderende real-world omgevingen.