🤖 AI

EXIMO: VLM Guided Exploration of VLA Policies

Dit artikel introduceert EXIMO, een algoritme bestaande uit drie fasen dat een Vision-Language Model (VLM) planner voor taakdecompositie en dataverzameling combineert met daaropvolgende imitatie-leren en residuële reinforcement learning om grote Vision-Language-Action (VLA) policies efficiënt te finetunen voor nieuwe robotica-taken.

Oorspronkelijke auteurs: Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Gepubliceerd 2026-08-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots worstelen al lang met het aanleren van nieuwe taken zonder dat er een mens direct naast hen staat om elke beweging te begeleiden. Jarenlang was de meest succesvolle aanpak om een robot duizenden uren aan menselijke demonstraties te tonen, waarbij de robot wordt geleerd die specifieke bewegingen te kopiëren. Dit werkt goed voor eenvoudige, repetitieve taken, maar het faalt wanneer een robot een situatie tegenkomt die hij nog nooit eerder heeft gezien, zoals uitzoeken hoe hij een specifieke vrucht in een kom moet leggen op basis van een raadsel over wat een aapje graag eet. Het alternatief, een robot laten leren door middel van vallen en opstaan, is in de echte wereld vaak te traag en gevaarlijk, omdat de robot mogelijk miljoenen pogingen nodig heeft om te slagen. De uitdaging voor wetenschappers is het vinden van een manier om robots het vermogen te geven om over een probleem na te denken en snel te leren, zonder dat een mens elke stap hoeft op te nemen.

Een team van onderzoekers bij Google DeepMind heeft een nieuwe methode ontwikkeld genaamd Eximo om dit probleem op te lossen. Ze begonnen met een robot die al wist hoe hij basisvaardigheden moest uitvoeren, zoals het oppakken van een banaan of het neerzetten van een kopje, maar die niet kon uitzoeken hoe hij deze vaardigheden kon combineren voor complexe, meerstapsdoelen. Om deze kloof te overbruggen, introduceerden ze een tweede, zeer intelligent computerprogramma dat fungeert als een strategische planner. Deze planner, bekend als een vision-language model, kan de omgeving van de robot bekijken en het algemene doel begrijpen, zoals "zet het bord en de kom op het rek". In plaats van te proberen de armen van de robot direct te bewegen, breekt deze planner het grote doel af in een reeks eenvoudige, natuurlijke taalinstructies, zoals "pak het blauwe bord met je linkerhand" en geeft deze door aan de robot.

Het proces vindt plaats in drie duidelijke stadia. Eerst lieten de onderzoekers de robot en de planner samen nieuwe taken verkennen. De planner observeert de voortgang van de robot via een camerabeeld en werkt de instructies voortdurend bij, waarbij de robot door de stappen leidt die nodig zijn om succesvol te zijn. Wanneer de robot een taak succesvol voltooit, slaat het team die opeenvolging van gebeurtenissen op. In de tweede fase gebruiken ze deze opgeslagen successen om de robot direct te onderwijzen. Ze nemen de oorspronkelijke hersenen van de robot en verfijnen deze met behulp van de succesvolle voorbeelden, waardoor ze de robot effectief laten zien hoe hij het probleem zelfstandig kan oplossen zonder dat de planner instructies in zijn oor hoeft te fluisteren. Ten slotte, in de derde fase, laten ze de robot de taak opnieuw oefenen, dit keer met een leermethode die de robot in staat stelt om kleine aanpassingen te maken in zijn bewegingen om nog nauwkeuriger en betrouwbaarder te worden.

De resultaten van deze aanpak werden getest in een gesimuleerde omgeving met tweeentwintig verschillende taken, variërend van het plaatsen van servies op een rek tot het sorteren van gereedschap in specifieke compartimenten. De onderzoekers ontdekten dat de robot, wanneer deze tijdens de initiële verkenning door de planner werd begeleid, deze complexe taken veel vaker kon oplossen dan een robot die probeert ze alleen uit te zoeken. Belangrijker nog, nadat de robot met behulp van de succesvolle voorbeelden van de planner was onderwezen, werd hij aanzienlijk beter in de taak dan zelfs de meest geavanceerde robots die momenteel beschikbaar zijn. De robot leerde problemen op te lossen die redeneren vereisten, zoals het identificeren van een object op basis van een beschrijving in plaats van de naam, en dat deed hij met veel minder pogingen dan traditionele methoden zouden vereisen.

Dit werk toont aan dat het combineren van de fysieke vaardigheden van een robot met een krachtig, denkend computerprogramma een veel beklastere leerling kan creëren. De kerninzicht is dat de robot het denkprogramma niet eeuwig in bedrijf hoeft te houden; in plaats daarvan kan hij leren van de begeleiding van het programma en de taak vervolgens onafhankelijk uitvoeren. Door deze methode te gebruiken, hebben de onderzoekers aangetoond dat robots snel en efficiënt nieuwe, complexe gedragingen kunnen leren, wat een stap dichter bij machines brengt die zich kunnen aanpassen aan de onvoorspelbare aard van de echte wereld zonder constante menselijke supervisie.

Technische Samenvatting: Eximo: VLM-gestuurde exploratie van VLA-policies

Probleemstelling

Het artikel behandelt de uitdaging om robot-policies efficiënt te finetunen om nieuwe, complexe taken on the fly te leren zonder te vertrouwen op dure menselijke teleoperatie. Hoewel de huidige state-of-the-art robotmanipulatie-policies gebaseerd zijn op grootschalige behavior cloning (LBC) van Vision-Language-Action (VLA) modellen, hebben deze modellen moeite met langdurige (long-horizon), compositionele of redeneer-intensieve taken die buiten hun trainingsdistributie liggen.

Twee bestaande benaderingen hebben beperkingen:

Reinforcement Learning (RL): Hoewel in staat tot zelfverbetering, is RL berucht om zijn lage steekproefefficiëntie, vooral voor langdurige taken waarbij exploratie moeilijk is. Het direct toepassen van RL op massieve VLA-modellen wordt verder bemoeilijkt door hun omvang en architecturale ontwerp (bijv. diffusie-heads).
Teleoperatie-gebaseerde Behavior Cloning: Het verzamelen van nieuwe teleoperatie-datasets voor elke nieuwe taak vereist honderden uren aan dure menselijke arbeid en slaagt er niet in de volledige diversiteit van real-world scenario's te vatten.

De auteurs stellen een setting voor waarbij een vooraf getrainde, taal-geconditioneerde VLA-policy wordt aangepast aan nieuwe taken die uitsluitend worden gespecificeerd door natuurlijke taaldoelen en een succesdetector, met als doel steekproefefficiëntie zonder extra teleoperatie.

Methodologie: Eximo

De auteurs stellen Eximo voor, een driestaps algoritme dat ontworpen is om de kloof tussen semantisch begrip en motorische controle te overbruggen. De pijplijn bestaat uit Explore, Imitate en Optimize.

1. Explore: VLM-gestuurde dataverzameling

In deze fase maakt het systeem gebruik van een state-of-the-art Vision-Language Model (VLM) om te fungeren als een hoogwaardige planner en orchestrator voor de VLA.

Mechanisme: De VLM (specifiek Gemini) krijgt de visuele geschiedenis van de omgeving en het natuurlijke taaldoel voorgelegd. Het deelt het complexe, langdurige doel op in een sequentie van behapbare, kortlopende subdoelen of instructies.
Interactie: De VLM werkt in een closed loop en biedt stap-voor-stap natuurlijke taalinstructies aan de VLA-policy (bijv. "pak de blauwe bord met je linkerhand"). De VLA voert deze instructies uit.
Data Filtering: Het systeem voert deze georchestreerde policies uit. Alleen episodes die de taak succesvol voltooien (geverifieerd door een ground-truth succesdetector) worden opgeslagen in een data-buffer. Onsuccesvolle pogingen worden eruit gefilterd.
Doel: Om hoogwaardige, diverse trajecten voor nieuwe taken te verzamelen zonder menselijke tussenkomst, waarbij de wereldkennis van de VLM wordt benut voor semantische exploratie.

2. Imitate: Supervised Finetuning (SFT)

De verzamelde succesvolle trajecten worden gebruikt om de orchestratiekennis van de VLM terug te distilleren naar de VLA.

Proces: De VLA wordt gefinetuned via supervised behavior cloning op de gefilterde dataset.
Distillatie: Cruciaal is dat de VLA wordt getraind om acties te voorspellen die direct geconditioneerd zijn op het oorspronkelijke taakdoel ( $g$ ), in plaats van op de tussenliggende instructies die door de VLM worden gegeven. Dit stelt de VLA in staat om de meerstaps redenering en het ketenen van vaardigheden die door de VLM worden gedemonstreerd, te internaliseren.
Resultaat: De resulterende policy wordt een standalone agent die in staat is de nieuwe taak uit te voeren zonder dat er online VLM-queries nodig zijn, waardoor latentie wordt geëlimineerd en de computationele overhead tijdens implementatie wordt verminderd.

3. Optimize: Residual Online RL

De laatste fase verfijnt de policy verder met behulp van online Reinforcement Learning.

Uitdaging: Directe training van grote VLAs via RL is moeilijk vanwege hun omvang en de schaarste van beloningen in langdurige taken.
Benadering: De auteurs maken gebruik van een residual policy architectuur. Een kleinere residual policy ( $\pi_{ref}$ ) leert een correctieterm ( $\Delta a$ ) te produceren op basis van de huidige staat, het doel en de actie die door de gefinetunede VLA wordt voorspeld ( $a_{VLA}$ ). De uiteindelijke uitgevoerde actie is $a = a_{VLA} + \Delta a$ .
Training: De residual policy wordt getraind met off-policy RL (specifiek het MPO-algoritme) om de kans op succes te maximaliseren. De vooraf gefinetunede VLA biedt een sterke initialisatie, waardoor de exploratie voor de residual policy efficiënter is qua steekproeven.

Belangrijkste Bijdragen

Eximo Framework: Een nieuwe driestaps pijplijn (Explore-Imitate-Optimize) die VLM-gestuurde exploratie combineert met VLA finetuning en residual RL.
VLM als Orchestrator: Het aantonen dat VLMs effectief VLA-policies kunnen orchestreren in natuurlijke taal om complexe, langdurige taken op te lossen zonder dat expliciete grounding naar robot-API's of vooraf gedefinieerde skillsets vereist is.
Knowledge Distillation: Het aantonen dat de strategische distillatie van VLM-gestuurde trajecten naar de VLA via SFT de prestaties van de base VLA aanzienlijk verbetert en de steekproefefficiëntie verhoogt, waardoor een standalone policy ontstaat die zowel de base VLA als de VLM-georchestreerde VLA tijdens inferentie overtreft.
Residual RL Integratie: Het succesvol integreren van online RL met VLA finetuning via een residual policy, wat verdere prestatiewinst oplevert terwijl de steekproefefficiëntie behouden blijft.

Experimentele Resultaten

De auteurs evalueerden Eximo op 22 manipulatietaken in simulatie met het ALOHA robotplatform. De taken omvatten het plaatsen van servies, redeneringsgebaseerde objectselectie (bijv. "het fruit waar de aap van houdt") en ruimtelijk redeneren (bijv. links vs. rechts compartiment).

Exploratie Efficiëntie: VLM-orchestratie verhoogde de succesratio van de base VLA (GROD) aanzienlijk en verkortte de episode-lengtes vergeleken met de base VLA alleen, wat duidt op een efficiëntere dataverzameling.
Finetuning Winsten: Supervised finetuning (SFT) op de door de VLM georchestreerde data verbeterde de prestaties van de base VLA drastisch. De gefinetunede VLA presteerde beter dan de VLM-georchestreerde VLA tijdens inferentie, wat het succes van het distillatieproces bewijst.
RL Prestaties: Wanneer online RL werd toegepast, behaalde de "GROD + SFT + RL" configuratie de hoogste succesratio's en de snelste convergentie. Het presteerde aanzienlijk beter dan het base GROD-model, zelfs wanneer het base-model werd getraind voor veel meer environment-stappen.
Ablatie: Het artikel bevestigt dat alle drie de stadia bijdragen aan de uiteindelijke prestaties. Specifiek is het distilleren van het gedrag van de VLM naar de VLA superieur aan het behouden van de VLM als een online orchestrator tijdens de evaluatie.

Betekenis en Claims

Het artikel claimt dat Eximo een nieuw paradigma vestigt voor het trainen van VLAs. Door de algemene wereldkennis van VLMs te combineren met de sensorische-motorische vaardigheden van VLAs, stelt de benadering robots in staat om nieuwe vaardigheden te verwerven zonder dure uren aan teleoperatie.

De auteurs benadrukken dat deze methode het volgende mogelijk maakt:

Steekproefefficiëntie: Het drastisch verminderen van de hoeveelheid data die nodig is om nieuwe taken te leren vergeleken met pure RL of pure teleoperatie.
Autonomie: Het creëren van een volledig autonome leerlus waarbij de robot zich kan aanpassen aan nieuwe, redenerings-intensieve taken die enkel door natuurlijke taal worden gespecificeerd.
Implementatie Haalbaarheid: Het produceren van een standalone policy die niet afhankelijk is van de hoog-latente VLM-orchestrator tijdens uitvoering, wat het geschikt maakt voor real-time controle.

Het werk suggereert dat toekomstige systemen VLMs niet alleen als planners kunnen gebruiken, maar ook als instrumenten voor zelf-distillatie, waardoor VLAs hun capaciteiten continu kunnen uitbreiden door middel van zelf gegenereerde, hoogwaardige data.