💻 computer science

Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment

Het artikel stelt Anchor-Align voor, een finetuning-methode die visueel-linguïstische representatieverankering en taal-actie-alignement combineert om het overschrijven van vooraf getrainde kennis in VLA-policies te voorkomen, waardoor de generalisatie en de succespercentages bij echte robots over diverse benchmarks heen aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Dwip Dalal, Shivansh Patel, Chahit Jain, Jeonghwan Kim, Utkarsh Mishra, Alex Baratian, Hyeonjeong Ha, Heng Ji, Svetlana Lazebnik, Unnat Jain

Gepubliceerd 2026-07-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dwip Dalal, Shivansh Patel, Chahit Jain, Jeonghwan Kim, Utkarsh Mishra, Alex Baratian, Hyeonjeong Ha, Heng Ji, Svetlana Lazebnik, Unnat Jain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Brein van de Robot: Een Verhaal over Geheugen, Taal en Iets Tot Stand Brengen

Stel je voor dat je een robot leert om huishoudelijke taken uit te voeren. Je wilt niet elke enkele beweging handmatig programmeren; dat zou eeuwig duren. In plaats daarvan geef je de robot een "brein" dat al het hele internet heeft gelezen. Dit brein is een Vision-Language Model (VLM). Denk aan een superintelligente student die miljoenen plaatjes heeft gezien en miljoenen boeken heeft gelezen. Het weet hoe een "beker" eruitziet, dat "groen" een kleur is, en dat "optillen" betekent dat je iets omhoog tilt. Het begrijpt de wereld op een algemene manier.

Weten hoe de wereld werkt is echter niet hetzelfde als erin bewegen. Om dit brein tot een robot te maken, gebruiken wetenschappers een techniek genaamd Behavior Cloning. Dit is alsof je de robot een video laat zien van een mens die een taak uitvoert (zoals het oppakken van een rode mok) en tegen de robot zegt: "Kopieer dit precies." De robot leert zijn arm te bewegen om de video te matchen. Het grote probleem is dat wanneer de robot deze nieuwe vaardigheid probeert te leren, hij vaak zo gefocust raakt op het kopiëren van de handbewegingen dat hij vergeet wat hij allemaal van het internet heeft geleerd. Hij kan stoppen met begrijpen dat "rood" een specifieke kleur betekent, of dat een "mok" een specifiek object is. Hij wordt een hersenloze nabootser die faalt zodra de scène ook maar een klein beetje verandert. Dit is de uitdaging waar dit artikel zich mee bezighoudt: hoe leren we een robot te bewegen zonder dat hij vergeet hoe hij moet denken?

De Oplossing: Het Verleden Verankeren en de Toekomst Afstemmen

De onderzoekers achter dit artikel, werkend met robots in zowel computersimulaties als een echte fysieke arm, ontdekten dat de standaardmanier om robots te trainen gebrekkig is. Ze ontdekten dat wanneer je een robot simpelweg leert om acties te kopiëren, het langzaam zijn eigen begrip van taal en beeld uitwist. Om dit op te lossen, hebben ze een nieuw trainingsrecept uitgevonden genaamd Anchor-Align.

Denk aan het brein van de robot als een student die een nieuwe, moeilijke toets maakt. De standaardmethode (genoemd Behavior Cloning) is alsof je de student vertelt: "Negeer alles wat je weet over geschiedenis en wiskunde; memoriseer alleen de antwoorden op deze specifieke oefenvragen." Uiteindelijk vergeet de student geschiedenis en wiskunde volledig. Als je hen dan vraagt: "Wat is de hoofdstad van Frankrijk?", kunnen ze "New York" gokken omdat datgene wat ze voor de oefentoets hadden gememoriseerd, ook al weten ze het eigenlijk wel beter.

Anchor-Align verandert de regels van de toets op twee slimme manieren:

Vision-Language Anchoring (De "Geheugenanker"):
Stel je voor dat de robot een tweeling heeft, een "bevroren" versie van zichzelf die nooit verandert en alles onthoudt van zijn internettraining. Terwijl de robot leert bewegen, houdt deze tweeling toezicht op hem. Elke keer dat de robot probeert zijn begrip van hoe een "beker" of "groen" eruitziet te veranderen, zegt de tweeling: "Wacht eens even! Je wist vroeger dat dit een beker was. Vergeet dat niet!" Dit wordt distillatie genoemd. Het is als het hebben van een strenge tutor die ervoor zorgt dat de student zijn algemene kennis niet verliest terwijl hij een specifieke vaardigheid leert. Het artikel laat zien dat zonder deze "anker", de robot zijn visuele en talige vaardigheden bijna volledig verliest.
Language-Action Alignment (De "Consistentiecheck"):
Het tweede probleem dat het artikel vond, is dat robots vaak in de war raken over wat ze zeggen versus wat ze doen. Bij standaardtraining kan de robot leren om te zeggen "pak de roze mok op", maar in werkelijkheid naar de groene mok reiken omdat dat is wat hij in de trainingsvideo zag. Het is als een persoon die zegt: "Ik ga naar het park," terwijl hij naar de supermarkt loopt.
Anchor-Align lost dit op door de robot te dwingen met zichzelf overeen te stemmen. Het neemt de actie van de robot (de arm naar rechts bewegen) en zet dit om in een simpel woordlabel (zoals "Rechts"). Vervolgens vraagt het aan de taal-hersenen van de robot om datzelfde woord ("Rechts") te voorspellen op basis van de afbeelding die hij ziet. Als de robot "Links" zegt maar "Rechts" beweegt, krijgt hij een straf. Dit dwingt de woorden en de bewegingen van de robot om op één lijn te zitten.

Wat Ze Vonden: Echte Robots, Echte Resultaten

Het team testte deze methode op twee verschillende soorten robotbreinen en in twee verschillende werelden: een complexe computersimulatie en een echte fysieke robotarm (een xArm7).

In de computersimulaties gebruikten ze lastige tests waarbij ze de scène rondom de robot veranderden. Bijvoorbeeld, ze wisselden de posities van objecten of veranderden de verlichting.

De Oude Manier: Wanneer de objecten werden gewisseld, faalden de standaardrobots bijna 100% van de tijd. Ze hadden de oude lay-out gememoriseerd en konden zich niet aanpassen.
De Nieuwe Manier: De Anchor-Align robots slaagden in 22,6% van deze "gewisselde" scenario's, terwijl de beste eerdere methoden op 0% scoorden.
Ze testten ook hoe goed de robots omgingen met rommelige omgevingen (zoals sensorruis of vreemde verlichting). De nieuwe methode verbeterde de succespercentages aanzienlijk, met een succespercentage van 99,6% bij veranderende achtergrondtexturen en 99,0% bij veranderende lichtomstandigheden, vergeleken met lagere scores voor andere methoden.

Maar het meest opwindende gebeurde in de echte wereld. De onderzoekers pasten de methode toe op een fysieke robotarm.

De Test: Ze trainden de robot om een groene mok op te pakken. Daarna testten ze het door de robot te vragen een roze mok op te pakken in een nieuwe, rommelige opstelling.
Het Resultaat: De standaardrobot, getraind op de oude manier, negeerde de instructie en reikte in 90% van de gevallen naar de groene mok. Hij was vergeten wat "roze" betekende. De Anchor-Align robot luisterde echter naar de instructie en pakte de roze mok 100% van de tijd op.
Over het algemeen verbeterde de nieuwe methode op de echte robot het succespercentage van moeilijke taken van 28% naar 54% met één type robotbrein, en van 37% naar 60% met een ander.

Waarom Dit Belangrijk Is

Het artikel suggereert dat we niet hoeven te kiezen tussen een robot die slim is (begrijpt taal en beeld) en een robot die bekwaam is (kan zijn arm bewegen). De oude manier van trainen dwong ons tot een afweging: om goed te worden in bewegen, moest de robot hoe te denken vergeten. Anchor-Align bewijst dat je beide kunt hebben.

Door het geheugen van de robot te "verankeren" aan zijn oorspronkelijke kennis en zijn woorden af te stemmen op zijn acties, wordt de robot veel flexibeler. Hij memoriseert niet alleen een enkele video; hij leert de scène voor zich te begrijpen, ongeacht hoe de objecten zijn gerangschikt of welke kleur ze hebben. De auteurs merken op dat deze methode geen nieuwe data of dure hardwarewijzigingen vereist; het verandert simpelweg hoe de robot wordt onderwezen. Het is een eenvoudig recept dat robots aanzienlijk beter maakt in het omgaan met de rommelige, onvoorspelbare echte wereld.

Technische Samenvatting: Generaliseerbare VLA-fijnafstemming via Representatie-verankering en Taal-actie-uitlijning

1. Probleemstelling

Vision-Language-Action (VLA) modellen zijn een standaardbenadering geworden voor robotmanipulatie, die doorgaans worden gecreëerd door een vooraf getraind Vision-Language Model (VLM) te verfijnen op robotdemonstraties via Behavior Cloning (BC). Hoewel deze aanpak de semantische priors van het VLM (begrip van ruimtelijke lay-out, kleur, vorm, etc.) overdraagt naar controlebeleid, lijdt standaard BC-fijnafstemming aan twee kritieke faalmodi die de generalisatie verslechteren:

Catastrofaal Vergeten van Representaties: Standaard BC optimaliseert alleen de actievoorspellingsverlies. Tijdens de fijnafstemming overschrijven de updates progressief de vooraf getrainde visuele-linguïstische en ruimtelijke concepten die tijdens internet-schaal pretraining zijn verworven. Bijgevolg kan een beleid dat getraind is om een "groene mok" op te pakken, falen bij het generaliseren naar een "roze mok" in dezelfde scène, of er niet in slagen zich aan te passen wanneer objectposities worden gewisseld, omdat de backbone zijn kleur- en ruimtelijke redeneervermogen heeft verloren.
Taal-actie Misuitlijning: Veelvoorkomende oplossingen, zoals co-training op algemene webbeeld-tekstdata (bijv. VQA, captioning), passen taal- en actieverlies toe op afzonderlijke observaties. Dit laat de VLA achter met uiteenlopende supervisie: de actie-kop leert van expert-demonstraties terwijl de taal-kop leert van generieke taken. Omdat ze nooit worden gesuperviseerd op dezelfde robotobservatie, kunnen hun voorspellingen elkaar tegenspreken (bijv. de actie-kop beweegt "rechts" terwijl de taal-kop "links" voorspelt), een misuitlijning die standaard benchmarks vaak niet blootlegt.

2. Methodologie: Anchor-Align

De auteurs stellen Anchor-Align voor, een fijnafstemmingsrecept dat standaard BC aanvult met twee specifieke doelstellingen om vooraf getrainde representaties te behouden en taal met actie uit te lijnen. De methode vereist geen extra data, annotatie of architecturale wijzigingen buiten de standaard VLA-opzet.

2.1 Basisarchitectuur

De methode werkt op VLA-architecturen die een vooraf getrainde VLM-backbone gebruiken met een toegewijde actie-kop (die zowel regressie als flow-matching actie-koppen ondersteunt). De backbone codeert visuele observaties en taalinstructies, terwijl een staatsprojector robot-proprioceptie codeert. De actie-kop voorspelt continue actie-chunks op basis van deze multimodale representaties.

2.2 Visueel-Linguïstische Verankering

Om catastrofaal vergeten te voorkomen, introduceert Anchor-Align een distillatieverlies dat de trainbare VLA-backbone verankert aan een bevroren kopie van de originele vooraf getrainde VLM (de "Anchor VLM").

Mechanisme: De bevroren Anchor VLM verwerkt de zelfde input-batch (beelden en tekst) parallel. In elke decoderlaag $u$ worden de verborgen toestanden van de visuele en tekstuele tokens in de trainbare backbone ( $H^S_u$ ) gedwongen om overeen te komen met die van de bevroren anchor ( $H^A_u$ ).
Verliesfunctie: Het verankeringsverlies is de gekwadrateerde Frobeniusnorm van het verschil tussen deze verborgen toestanden, gemiddeld over alle decoderlagen:
$L_{anchor} = \frac{1}{|D|} \sum_{u \in D} \| H^S_u[m] - H^A_u[m] \|_F^2$
waarbij $m$ de set van visuele en tekstuele tokenposities aanduidt. Dit fungeert als een regularisator in de representatieruimte, waardoor de semantische ondergrond behouden blijft zonder gewichtsruimte-beperkingen te vereisen.

2.3 Taal-actie Uitlijning

Om de misuitlijning tussen taal en actie op te lossen, introduceert de methode een gezamenlijke supervisie waarbij beide koppen worden getraind op dezelfde robotobservatie.

Mechanisme: De continue actiedoelen uit expert-demonstraties worden programmatisch omgezet in discrete bewegingsrichting-labels (bijv. "omhoog", "omlaag", "links", "rechts", "voorwaarts", "achterwaarts"). Dit wordt bereikt door de translationele componenten van actie-chunks te middelen, bijna-stationaire monsters te filteren en de dominante as te discretiseren.
Verliesfunctie: Het model wordt getraind om dit discrete richtinglabel te voorspellen met behulp van de output van de taal-kop op dezelfde observatie die gebruikt wordt voor de actievoorspelling. Specifiek wordt de laatste verborgen toestand van het instructie-token (die de visuele prefix en instructie samenvat) geprojecteerd door de bevroren vooraf getrainde taal-kop om logits over het vocabulaire te genereren. Het uitlijningsverlies is de cross-entropy tussen deze logits en het grondwaarheid richtinglabel:
$L_{align} = CE(\hat{a}_{lang}, a_{lang})$
Totaal Doel: Het uiteindelijke trainingsverlies combineert het standaard BC-actieverlies ( $L_{action}$ ) met de verankerings- en uitlijningsverliezen:
$L_{total} = L_{action} + \lambda_{anchor} L_{anchor} + \lambda_{align} L_{align}$

3. Belangrijkste Bijdragen

Identificatie van Dubbele Faalmodi: Het artikel identificeert dat standaard BC zorgt voor representatie-drift (vergeten) en dat co-training faalt in het uitlijnen van taal en actie op dezelfde observatie, wat leidt tot tegenstrijdige voorspellingen.
Anchor-Align Framework: Een nieuw fijnafstemmingsrecept dat Visueel-Linguïstische Verankering (om vooraf getrainde representaties te behouden via distillatie) en Taal-actie Uitlijning (om taalvoorspellingen te funderen in actiedoelen op dezelfde observatie) combineert.
Data-efficiënte Oplossing: De methode bereikt significante verbeteringen zonder nieuwe datasets, menselijke annotaties of architecturale wijzigingen te vereisen, door uitsluitend gebruik te maken van de bestaande demonstratiedata en de bevroren VLM.
Diagnostisch Instrument: Het uitlijningsframework biedt een directe metriek voor het diagnosticeren van taal-actie misuitlijning in co-getrainde VLAs, waarbij aantoont dat betere uitlijning correleert met een hoger taalsucces.

4. Experimentele Resultaten

4.1 Simulatie Benchmarks

De methode werd geëvalueerd op de LIBERO-PRO, LIBERO-Plus en CALVIN benchmarks met behulp van twee verschillende VLA-architecturen (VLA-Adapter en StarVLA).

LIBERO-PRO (OOD Generalisatie): Anchor-Align presteerde aanzienlijk beter dan alle baselines, inclusief co-getrainde modellen. Opvallend genoeg, bij de "Position Swap" test (waar objectlocaties zijn herschikt), scoorden standaard BC en co-getrainde baselines bijna 0% (het herhalen van gememoriseerde trajecten), terwijl Anchor-Align 22,6% behaalde.
LIBERO-Plus (Perceptuele Robuustheid): Anchor-Align verbeterde de prestaties over alle zeven perturbatie-assen (camerabeeld, verlichting, achtergrond, etc.), met de grootste winsten op achtergrondtextuur (+8,9%) en sensorruis (+7,4%).
CALVIN (Long-Horizon): Op de long-horizon ABC→D benchmark behaalde Anchor-Align het hoogste succespercentage voor het voltooien van ketens van vijf instructies (77,9% vs. 66,5% voor OpenVLA-OFT), wat aantoont dat het behoud van semantiek de weerstand tegen cumulatieve fouten verbetert.

4.2 Real-World Experimenten

Experimenten werden uitgevoerd met een fysieke xArm7 robot onder uitdagende omstandigheden, waaronder ruimtelijke herschikkingen, rommelige scènes en semantische perturbaties.

Generalisatie: Anchor-Align verbeterde de succesratio's van de echte robot van 28% naar 54% (VLA-Adapter) en van 37% naar 60% (StarVLA) over ongeziene ruimtelijke en semantische perturbaties.
Semantische Perturbatie: In een kritieke test waarbij een beleid getraind op een "groene mok" de instructie kreeg om een "roze mok" op te pakken, faalde standaard BC 90% van de tijd (door te vallen op de groene mok), terwijl Anchor-Align 100% van de tijd slaagde in het oppakken van het juiste object.
Foutanalyse: De foutanalyse toonde aan dat Anchor-Align "Semantische Fouten" (van 7 naar 0) en "Incorrect Object" benaderingen (van 10 naar 1) bijna volledig elimineerde vergeleken met standaard BC.

4.3 Ablatie en Analyse

Noodzaak van Beide Termen: Ablatiestudies bevestigden dat zowel Verankering als Uitlijning noodzakelijk zijn; het gebruik van één van beide alleen verbeterde de prestaties ten opzichte van standaard BC, maar de combinatie leverde de beste resultaten op.
Uitlijning vs. Regularisatie: Controle-experimenten met gecorrumpeerde labels (Shuffle en Scatter) lieten zien dat de winsten niet louter voortkomen uit regularisatie-effecten, maar uit echte taal-actie uitlijning.
Correlatie: Er werd een sterke positieve Pearson-correlatie (+0,51) gevonden tussen de mate van taal-actie uitlijning en taalsucces, terwijl co-getrainde baselines een bijna nul-correlatie vertoonden.
Behoud van Representatie: Tests voor visueel redeneren (GQA) lieten zien dat terwijl standaard BC tijdens de fijnafstemming 94% van zijn redeneernauwkeurigheid verloor, Anchor-Align 70% behield.

5. Betekenis en Claims

Het artikel claimt dat het behouden van vooraf getrainde representaties en effectief actie-leren niet fundamenteel met elkaar in strijd zijn. Door VLA-fijnafstemming te herformuleren als een proces van het behouden en uitlijnen van vooraf getrainde VLM-priors in plaats van het inruilen daarvoor voor controle, biedt Anchor-Align een eenvoudig, data-efficiënt recept voor het aanpassen van foundation modellen aan belichaamde taken.

De auteurs benadrukken dat hun methode:

Het "catastrofale vergeten"-probleem oplost dat inherent is aan standaard BC.
Het "taal-actie misuitlijning"-probleem oplost dat inherent is aan co-training.
Aantoont dat deze verbeteringen standhouden over verschillende architecturen (regressie en flow-matching) en schalen (0,5B tot 3B parameters).
Een pad biedt naar wereldmodellen die brede spatio-temporele priors behouden terwijl ze controleerbaar en semantisch gegrond blijven.

Het werk suggereert dat toekomstige VLA-ontwikkeling zich moet richten op het verankeren van representaties en het uitlijnen van modaliteiten op dezelfde observatie, in plaats van simpelweg de hoeveelheid data of de modelgrootte op te schalen.