🤖 AI

Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

Dit artikel stelt een retrieval-augmented aanpak voor die bevroren Vision-Language-Action modellen uitbreidt naar nieuwe taken tijdens de testfase door demonstraties van een goedkopere belichaming te indexeren, waardoor de noodzaak voor taakspecifieke fine-tuning wordt geëlimineerd terwijl een superieure prestatie op ongeziene taken en belichamingen wordt bereikt.

Oorspronkelijke auteurs: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die nieuwe taken moet leren. Traditioneel gezien is het aanleren van een nieuwe taak aan een robot (zoals het openen van een specifieke kast of het plaatsen van een fles in een doos) alsof je voor elke nieuwe vaardigheid een persoonlijke tutor inhuurt. Je moet dan:

De robot vastleggen terwijl hij de taak handmatig uitvoert (wat traag en duur is).
Het brein van de robot opnieuw trainen specifiek voor die ene taak (wat veel rekenkracht en tijd kost).

Als je wilt dat de robot 100 verschillende taken uitvoert, moet je dit dure trainingsproces 100 keer herhalen.

Het grote idee van het artikel: "Retrieval, Don't Retrain"

De auteurs van dit artikel stellen een slimmere manier voor genaamd RECAP. In plaats van het brein van de robot telkens opnieuw te trainen, geven ze de robot een bibliotheek van "goedkopere" voorbeelden en leren ze hem hoe hij deze kan opzoeken.

Zo werkt het, met behulp van eenvoudige analogieën:

1. De twee "lichamen" (Embodiments)

Stel je voor dat de robot een zware, onhandige bouwvakker is (de "Target"). Het is moeilijk om hen nieuwe taken te laten demonstreren omdat ze traag zijn en dure apparatuur vereisen om aan te sturen.

Stel je nu een behendige menselijke hand voor (de "Pool"). Het is makkelijk om een mens te filmen die taken uitvoert. Ze zijn snel, goedkoop om op te nemen en kunnen bijna alles doen.

Het probleem is dat de menselijke hand anders beweegt dan de bouwvakker. Als je de bouwvakker simpelweg vertelt om de "mens te kopiëren", kunnen ze dingen kapotmaken omdat hun armen anders zijn.

2. De oude manier versus de nieuwe manier

De oude manier (Retrain): Elke keer dat je de bouwvakker een nieuwe taak wilt leren, huur je een trainer in die naast hem staat, de taak laat zien, en dan urenlang zijn brein bijstelt zodat hij het kan uitvoert. Dit is traag en duur.
De nieuwe manier (RECAP):
1. Eén keer trainen: Je leert het brein van de bouwvakker één keer hoe hij "Menselijke handbeweging" moet vertalen naar "Bouwvakkerbeweging". Je leert hem: "Wanneer je de menselijke hand X ziet doen, doe jij Y."
2. Het brein bevriezen: Zodra die vertaalvaardigheid is geleerd, vergrendel je het brein. Geen verdere training meer.
3. De bibliotheek (Retrieval): Je maakt een bibliotheek aan van video's die een menselijke hand bij veel verschillende taken laten zien.
4. De magie: Wanneer de bouwvakker een nieuwe taak moet uitvoeren die hij nog nooit heeft gezien, train je hem niet opnieuw. In plaats daarvan vraag je aan de bibliotheek: "Hebben we een video van een mens die iets vergelijkbaars doet?"
5. Het resultaat: De bouwvakker vindt de dichtstbijzijnde menselijke video, bekijkt deze en gebruikt zijn "vertaalvaardigheid" om uit te rekenen hoe hij moet bewegen om hetzelfde resultaat te bereiken.

3. De "Residual" truc (Het geheime ingrediënt)

Het artikel gebruikt een speciaal type AI-model (een "World-Action Model") dat fungeert als een voorspellende verhalenverteller.

De menselijke video (Het plan): De opgezochte video geeft de robot een "grove blauwdruk". Het zegt: "Het doel is om het object van hier naar daar te bewegen."
De taak van de robot (De correctie): De robot probeert niet de mens exact te kopiëren. In plaats daarvan berekent hij het verschil (de "residual") tussen hoe de mens beweegt en hoe hijzelf moet bewegen om het doel te bereiken.
- Analogie: Stel je voor dat de mens een danser is die een pirouette draait. De robot is een heftruck. De robot probeert niet te draaien als een danser. Hij kijkt naar het plan van de danser ("Draai naar links") en berekent: "Oké, ik moet mijn wielen naar links draaien om datzelfde resultaat te bereiken."

Het AI-model is getraind om niet alleen de volgende beweging van de robot te voorspellen, maar ook hoe de scène er hierna uitziet. Dit dient als een "reality check". Als het plan van de robot zou resulteren in een rommeltje (zoals het laten vallen van de fles), vangt het model dit op en corrigeert de beweging.

4. Wat ze ontdekten

De onderzoekers hebben dit op drie manieren getest:

Een simpel 2D-spel (PushT): Ze lieten een robot een blokje naar verschillende hoeken duwen. Door meer menselijke video's aan de bibliotheek toe te voegen, werd de robot beter in het duwen van het blokje naar nieuwe hoeken die hij nog nooit had gezien, zonder extra training.
Een complexe simulatie (RoboTwin): Ze testten dit met een tweearmige robot die complexe taken uitvoert. De "Retrieval"-methode presteerde beter dan andere methoden die probeerden de robot voor elke nieuwe baan opnieuw te trainen.
Een echte robot: Ze pasten dit toe op een echte fysieke robot. Ze trainden het op één taak (het openen van een kast) met behulp van menselijke video's. Daarna bevroren ze het brein. Toen ze de robot vroegen om nieuwe taken te doen (de kast sluiten, een fles plaatsen), voegden ze simpelweg menselijke video's van die taken toe aan de bibliotheek. De robot slaagde erin deze uit te voeren, terwijl een standaardrobot volledig faalde.

De kernboodschap

Dit artikel laat zien dat je niet het brein van een robot opnieuw hoeft te trainen voor elke nieuwe taak. In plaats daarvan kun je de robot één keer trainen om te begrijpen hoe hij "goedkope menselijke voorbeelden" moet vertalen naar "dure robotacties". Om hem vervolgens een nieuwe taak te leren, hoef je alleen maar een nieuwe video aan de bibliotheek toe te voegen.

Het verandert het leren van robots van "het bouwen van een nieuw brein voor elke baan" naar "het opzoeken van een recept in een kookboek".

Technische Samenvatting: Retrieve, Don't Retrain (RECAP)

Probleemstelling

Het uitbreiden van Vision-Language-Action (VLA) beleid naar nieuwe taken of nieuwe robot-embodiments (bijv. van een menselijke hand naar een specifieke robotarm) vereist doorgaans het verzamelen van dure, taakspecifieke teleoperatie-demonstraties en het uitvoeren van per-taak fine-tuning. Dit proces brengt twee significante kosten met zich mee:

Kosten voor gegevensverzameling: Teleoperatie-data van robots is traag te vergaren (ongeveer 18× langzamer dan menselijke hand-demonstraties) en aan hardware gebonden.
Rekenkosten: Het fine-tunen van moderne World-Action Models (WAMs) of grote VLA-beleid voor elke nieuwe taak is rekenintensief (bijv. ~24 GPU-uren per taak voor Cosmos Policy) en schaalt met de modelgrootte en contextlengte.

De auteurs stellen dat deze per-taak adaptatiekosten vermijdbaar zijn. In plaats van hertraining kan de gedragsmatige kennis van een goedkope, data-rijke bron (de "pool" embodiment, bijv. menselijke handen) worden overgedragen naar de doel-embodiment (de "query") via een retrieval-gebaseerd paradigma.

Methodologie: RECAP

Het artikel stelt RECAP voor (Retrieval-Conditioned Action Policy), een framework dat adaptatie verschuift van parameteroptimalisatie naar data-retrieval. De kernpremiss is dat hoewel embodiments verschillen in executie-dynamiek, ze grotendeels overeenstemmen in de hoogwaardige vereisten van een taak.

1. Trainingsfase

Backbone: De methode maakt gebruik van een World-Action Model (WAM), specifiek Cosmos Policy, dat acties en toekomstige visuele observaties behandelt als één enkele gedenoised video-sequentie.
Retrieval-Augmented Conditioning: Het beleid wordt eenmalig getraind op gepaarde demonstraties van de query (doelrobot) en pool (bijv. menselijke hand) embodiments.
Residual Parameterization: In plaats van de volledige actie-sequentie te voorspellen, voorspelt het beleid een residue ( $\Delta a$ $Δ a$ ) bovenop de geretrieveerde pool-trajectorie.
- $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
- Dit dwingt het model om alleen de embodiment-specifieke correcties (dynamiek, contactgeometrie) te leren, in plaats van het volledige bewegingsplan.
Gezamenlijke Objectieve Functie: Het model wordt getraind met een flow-matching loss die zowel de voorspelde actie als de voorspelde toekomstige staat (afbeelding) gezamenlijk superviseert. De toekomstige-afbeelding objectieve fungeert als een visueel consistentiesignaal, wat ervoor zorgt dat de geretieveerde trajectorie aansluit bij de fysieke evolutie van de scène op de doelrobot.

2. Test-Time Adaptatie (Inference)

Frozen Policy: Zodra getraind, zijn de beleidsparameters bevroren. Er vinden geen gradiënt-updates plaats voor nieuwe taken.
Dynamische Retrieval Pool: Nieuwe taken worden afgehandeld door relevante pool-embodiment demonstraties (bijv. menselijke video's) toe te voegen aan een retrieval pool.
Stap-voor-stap Retrieval: Bij elke controle-stap $t$ $t$ voert het systeem het volgende uit:
1. Observeert de huidige query-staat $s^{query}_t$ .
2. Retrieveert de meest vergelijkbare state-action chunk $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ uit de pool-database op basis van een samengestelde descriptor (taaldoel, objectpose, proprioceptie en visuele kenmerken).
3. Voedt de huidige observatie en de geretieveerde chunk aan het bevroren beleid.
4. Het beleid geeft de volgende actie-chunk voor de doelrobot uit, geconditioneerd op het geretieveerde hoogwaardige plan.

Belangrijkste Bijdragen

Test-Time Adaptatie Paradigma: Een methode om beleid aan te passen aan nieuwe taken volledig tijdens de testtijd door de retrieval pool uit te breiden met goedkope demonstraties, waarbij het beleid bevroren blijft.
Retrieval-Conditioned Residual Policy op WAMs: Een specifieke architectuur waarbij retrieval de grove hoogwaardige beweging levert, en de WAM alleen de embodiment-specifieke correctie leert. De auteurs benadrukken dat de toekomstige-afbeelding voorspellings-objectieve van de WAM uniek gunstig is, omdat het een visueel uitlijningssignaal biedt dat de retrieval-geconditioneerde acties versterkt.
Empirische Validatie: Heeft consistente winst aangetoond ten opzichte van cross-embodiment baselines in drie settings:
- PushT (2D): Generalisatie naar ongeziene doelhoeken.
- RoboTwin 2.0 (Simulatie): Multi-taak, dual-arm manipulatie.
- Real Robot: Transfer van menselijke hand-video's naar een fysieke robotarm.

Experimentele Resultaten

PushT Benchmark (Cross-Embodiment Generalisatie)

Setup: Een driehoekige duwer (target) getraind op $\pm 45^\circ$ hoeken, geëvalueerd op 9 hoeken (7 ongezien). De pool bestond uit disc-pusher demonstraties.
Resultaten:
- Pool Progressie: Het uitbreiden van de retrieval pool tijdens de testtijd zonder hertraining verbeterde de success rate op ongeziene hoeken monotoon, stijgend van 6,0% (geen retrieval) naar 34,9% (volledige pool).
- Backbone Vergelijking: Retrieval verbeterde zowel de standaard VLA ( $\pi0.5$ ) als de WAM (Cosmos) backbones, maar de winst was aanzienlijk groter voor de WAM (25,1% vs 34,9%), wat de synergie tussen retrieval en de toekomstige-afbeelding objectieve bevestigt.
- Mechanisme: Attentie-analyse toonde aan dat het beleid de vroege lagen gebruikt om te letten op de geretieveerde trajectorie en de latere lagen gebruikt om het plan aan te passen aan de doel-dynamiek.

RoboTwin 2.0 Simulatie

Setup: Target (Aloha-Agilex) vs. Pool (UR5). Getraind op 5 gepaarde taken, geëvalueerd op 5 ongeziene taken.
Resultaten:
- Prestaties: RECAP bereikte 31,5% succes op ongeziene taken, waarmee het de sterkste baseline (Cosmos Policy zonder retrieval) met 26,0% en "Retrieval Only" (naïeve executie) met 26,0% versloeg.
- Pool Groei: De success rates namen monotoon toe naarmate de pool groeide van 11 naar 35 taken, waarbij een piek van 31,5% werd bereikt met de volledige pool.
- Kwalitatief: In taken zoals "hand-over-mic", faalde naïeve retrieval (botsing met objecten), terwijl RECAP de grip-oriëntatie succesvol aanpaste.

Real Robot Experimenten

Setup: Target robot getraind op "open cabinet" (25 gepaarde demo's). Geëvalueerd op uitgesloten taken: "place bottle" en "close cabinet".
Resultaten:
- De baseline (getraind op enkel open cabinet) faalde op de uitgesloten taken (0% en 10% succes), door de trainings-trajectorie af te spelen.
- RECAP, met slechts 10 menselijke hand-demonstraties per nieuwe taak toegevoegd aan de pool, bereikte 80% succes bij het plaatsen van de fles en 30% bij het sluiten van de kast.

Betekenis en Claims

Het artikel claimt dat het indexeren van goedkopere pool-embodiment data tijdens de inzet kan dienen als vervanging voor het verzamelen van nieuwe target-robot demonstraties.

Kostenreductie: De methode vervangt de ~24 GPU-uren/taak fine-tuning kosten en de 18× langzamere teleoperatie kosten met een retrieval proces.
Schaalbaarheid: Door het beleid te bevriezen, kan het systeem nieuwe taken absorberen door simpelweg data toe te voegen aan de retrieval pool, waardoor de cumulatieve kosten van traditionele fine-tuning worden vermeden.
Synergie met WAMs: Het werk demonstreert dat World-Action Models, wanneer gekoppeld aan retrieval, effectief de "grove" planning van de ene embodiment kunnen gebruiken om de "fijne" dynamiek van een andere te leren, een capaciteit die standaard actie-only beleid mist.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de methode gedeelde actieruimtes vereist (bijv. end-effector pose) en dat de huidige retrieval descriptors (combinatie van taal, pose en visie) verder verfijnd moeten worden voor meer complexe of temporeel mismatchende scenario's. De resultaten suggereren echter een levensvatbaar pad naar algemene robot-beleid die adapteert via retrieval in plaats van hertraining.