💻 computer science

Breaking Lock-In: Preserving Steerability under Low-Data VLA Post-Training

Dit paper introduceert **DeLock**, een methode die voorkomt dat vision-language-action (VLA) modellen hun algemene vaardigheden verliezen tijdens training met kleine datasets (het zogenaamde 'lock-in' effect), door gebruik te maken van de interne voorkennis van het model en contrastieve sturing tijdens de testfase.

Oorspronkelijke auteurs: Suning Huang, Jiaqi Shao, Ke Wang, Qianzhong Chen, Jiankai Sun, Yanjiang Guo, Mac Schwager, Jeannette Bohg

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Suning Huang, Jiaqi Shao, Ke Wang, Qianzhong Chen, Jiankai Sun, Yanjiang Guo, Mac Schwager, Jeannette Bohg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotarm hebt die bijna alles kan. Hij kan koffiekopjes oppakken, deuren openen en blokken stapelen. Maar er is een probleem: zodra je hem een klein beetje "bijscholen" voor een specifieke taak, wordt hij een soort koppige specialist.

Dit is wat onderzoekers van Stanford hebben ontdekt, en hoe ze het hebben opgelost. Hier is het verhaal van de "DeLock" methode.

Het Probleem: De "Koppige Specialist" (Lock-In)

Stel je voor dat je een nieuwe stagiair in de keuken hebt. Je leert hem één ding: "Pak de groene mok en zet hem op het bord." Je doet dit vijf keer. De stagiair leert het razendsnel!

Maar de volgende dag komt er een klant binnen en zegt: "Pak de rode mok en zet hem op het bord." Wat doet de stagiair? Hij negeert de opdracht en pakt alsnog de groene mok. Of nog erger: hij pakt de rode mok, maar zet hem op de verkeerde plek omdat hij "gewend" is dat alles altijd links op het bord gaat.

In de robotwereld noemen we dit Lock-In. De robot is zo gefocust op de kleine hoeveelheid training die hij heeft gekregen, dat hij "vergeet" hoe hij naar nieuwe woorden of nieuwe plekken moet kijken. Hij zit vast in een tunnelvisie.

Concept Lock-In: De robot ziet alleen de objecten die hij tijdens zijn training heeft gezien (hij ziet alleen "groen", geen "rood").
Spatial Lock-In: De robot is geobsedeerd door de plek waar hij tijdens de training werkte (hij denkt dat "op het bord" altijd "links op het bord" betekent).

De Oplossing: DeLock (De "Brede Blik" Methode)

De onderzoekers hebben een slimme manier bedacht om deze tunnelvisie te doorbreken zonder dat de robot duizenden uren extra training nodig heeft. Ze gebruiken twee trucjes:

1. De "Geheugensteun" (Weight-Drift Regularization)

Normaal gesproken, als je een robot bijscholt, verandert hij zijn hele "brein" om de nieuwe taak te leren. Daarbij gooit hij per ongeluk zijn oude, algemene kennis weg.

DeLock werkt als een coach die zegt: "Leer die nieuwe taak, maar vergeet niet hoe de rest van de wereld eruitziet!" Ze gebruiken een wiskundige rem die voorkomt dat de visuele sensor van de robot te veel verandert. Hierdoor behoudt de robot zijn "brede blik" en blijft hij begrijpen wat een "rode mok" of een "linker kant" is, zelfs als hij die tijdens zijn korte training niet heeft gezien.

2. De "Contrast-Kompas" (Contrastive Prompt Guidance)

Dit is het meest magische onderdeel. Tijdens het werk gebruikt de robot een soort intern kompas om de juiste richting te bepalen.

Stel dat de robot de opdracht krijgt: "Pak de rode mok." De robot is nog steeds een beetje twijfelachtig door zijn training. DeLock laat de robot op dat moment twee scenario's in zijn hoofd vergelijken:

Scenario A (De oude gewoonte): "Pak de groene mok."
Scenario B (De nieuwe opdracht): "Pak de rode mok."

De robot kijkt naar het verschil tussen die twee. Hij denkt: "Oké, het enige verschil tussen deze twee opdrachten is de kleur. Dus ik moet mijn beweging aanpassen op basis van die kleur-informatie." Door dit contrast te gebruiken, kan hij zichzelf tijdens het uitvoeren van de taak corrigeren en de juiste kant op sturen.

Waarom is dit belangrijk?

In plaats van dat we een robot miljoenen euro's aan data moeten geven om hem alles te leren, kunnen we nu met een heel klein beetje informatie (een paar demonstraties) een robot maken die:

Flexibel is: Hij begrijpt nieuwe kleuren en vormen.
Slimme ruimtelijke logica heeft: Hij snapt het verschil tussen links en rechts, ook al deed hij dat tijdens de training nooit.

Kortom: DeLock zorgt ervoor dat een robot niet verandert in een koppige specialist, maar een slimme leerling blijft die kan meebewegen met de wereld.

Technische Samenvatting: Breaking Lock-In

1. Het Probleem: "Lock-In" in VLA-modellen

Wanneer algemene Vision-Language-Action (VLA) modellen (zoals robot-fundatiemodellen) worden aangepast aan een specifieke taak via supervised fine-tuning (SFT) met een beperkte hoeveelheid data (low-data regime), treedt er een fenomeen op dat de auteurs "lock-in" noemen. Hoewel het model de nieuwe vaardigheid leert, verliest het zijn vermogen om te reageren op nieuwe instructies die buiten de trainingsset vallen.

De auteurs identificeren twee specifieke vormen van lock-in:

Concept Lock-In: Het model raakt gefixeerd op specifieke objecten of attributen uit de trainingsdata (bijv. het model blijft altijd "brood" pakken, zelfs als de instructie "appel" is). De taal-visuele koppeling (grounding) stort in.
Spatial Lock-In: Het model raakt gefixeerd op specifieke ruimtelijke locaties (bijv. het model grijpt altijd naar de "rechter" beker, ongeacht of de instructie "linker" beker is).

Dit creëert een dilemma: het model wordt een specialist in de getoonde demonstraties, maar verliest zijn algemene "stuurbaarheid" (steerability).

2. Methodologie: DeLock Framework

Om dit probleem op te lossen, introduceren de auteurs DeLock, een framework dat de interne voorkennis van het pre-trained model behoudt en tegelijkertijd gebruikt om acties te sturen. DeLock bestaat uit twee kerncomponenten:

A. Visual Encoder Weight-Drift Regularization (Tijdens training)
In plaats van de visuele encoder volledig vrij te laten trainen tijdens de SFT, past DeLock een $L_2$ -regularisatie toe op de parameters van de visuele encoder ( $\theta_v$ ). Dit voorkomt dat de visuele representaties te ver afwijken van de pre-trained staat ( $\theta_{pre}^v$ ). Hierdoor blijft de fundamentele visuele koppeling (het vermogen om objecten en ruimtes te herkennen) intact, terwijl de lagere lagen (via LoRA) de specifieke taak leren.

B. Contrastive Prompt Guidance (CPG) (Tijdens inferentie/test-time)
Dit is een techniek om de actiegeneratie te sturen zonder de gewichten aan te passen. Bij het genereren van een actie (via flow-matching) voert het model de actie twee keer uit:

Met de positieve prompt ( $\tau^+$ ): de nieuwe, gewenste instructie (bijv. "pak de rode beker").
Met de negatieve prompt ( $\tau^-$ ): de instructie die tijdens de training werd gebruikt (de bron van de bias).

Door het verschil tussen de twee voorspelde vectoren (de denoising flows) te berekenen, wordt een sturingssignaal gecreëerd dat de robot wegstuurt van de getrainde bias en richting de nieuwe instructie duwt.

3. Belangrijkste Bijdragen

Formalisering van Lock-In: Het definiëren van concept- en ruimtelijke lock-in als een fundamenteel probleem bij het finetunen van robotmodellen.
Nieuwe Benchmark: De ontwikkeling van een evaluatieset (8 taken in simulatie en de echte wereld) die specifiek ontworpen is om te testen of een model reageert op veranderende instructies in plaats van alleen op visuele variaties.
Efficiënte Oplossing: Een methode die geen extra externe modellen (zoals VLM's of extra supervisie) nodig heeft, maar puur gebruikmaakt van de interne kennis van het bestaande model.

4. Resultaten

De experimenten (zowel in de LIBERO-simulatie als op de DROID-robotarm) laten zien dat DeLock superieur is aan sterke baselines:

Generalisatie: DeLock presteert aanzienlijk beter op zowel conceptuele als ruimtelijke instructies dan standaard SFT en methoden zoals RETAIN.
Vergelijking met High-Resource Modellen: DeLock evenaart of overtreft zelfs de prestaties van state-of-the-art algemene modellen die getraind zijn op veel grotere, zorgvuldig samengestelde datasets.
Mechanistische validatie: Visualisatie van de cross-attention laat zien dat DeLock de aandacht effectief verplaatst naar de juiste objecten bij nieuwe instructies, terwijl standaard SFT "blind" blijft voor de nieuwe tekst.

5. Betekenis

Het werk van de auteurs is significant omdat het aantoont dat we niet altijd enorme hoeveelheden nieuwe data nodig hebben om robots aan te passen aan nieuwe taken. Door slim gebruik te maken van de bestaande kennis in fundatiemodellen en technieken toe te passen tijdens de uitvoering (inference), kunnen we robots maken die zowel gespecialiseerd als flexibel zijn. Dit verlaagt de drempel voor de inzet van robots in dynamische, onvoorspelbare omgevingen.