🤖 AI

LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

Dit paper introduceert Language-Action Pre-training (LAP), een methode die robotacties vertaalt naar natuurlijke taal om voor het eerst een Vision-Language-Action-model (LAP-3B) te realiseren dat zonder aanpassing succesvol kan worden overgedragen op nieuwe robotlichamen.

Oorspronkelijke auteurs: Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om te koken. Je geeft hem een recept in het Nederlands: "Snijd de ui in blokjes."

Het oude probleem:
Tot nu toe waren robothersens (zoals de huidige "Vision-Language-Action" modellen) als een zeer slimme student die alleen maar kan koken in de keuken waar hij is opgeleid. Als je die student meeneemt naar een nieuwe keuken met een ander type mes, een andere gaspit of een andere hoogte van het aanrecht, raakt hij in paniek. Hij weet niet meer wat hij moet doen, zelfs als het recept hetzelfde is. Om hem aan de nieuwe keuken aan te passen, moet je hem maandenlang opnieuw laten oefenen met duizenden voorbeelden. Dat is duur, tijdrovend en niet de bedoeling van een "algemeen" robotbrein.

De nieuwe oplossing: LAP (Language-Action Pre-training)
De onderzoekers van deze paper hebben een slimme truc bedacht die ze LAP noemen. In plaats van de robot te leren om directe, saaie technische commando's te geven (zoals "draai motor 34 graden naar links, beweeg arm 0,04 meter omhoog"), leren ze de robot om zijn bewegingen te beschrijven in gewoon menselijk taal.

Hier zijn de kernpunten, vertaald naar alledaagse analogieën:

1. Van "Morse-code" naar "Verhaal"

Hoe het vroeger werkte: Robots kregen commando's in een soort "Morse-code" of wiskundige getallen. Voor een robot was "beweeg 5 cm naar voren" een reeks getallen die niets te maken hadden met wat een mens ziet. Het was alsof je iemand leert te zwemmen door alleen de exacte spiercontracties in cijfers te geven. Als de spieren (de robotarm) anders zijn, werkt het niet meer.
Hoe LAP werkt: LAP leert de robot om te denken in zinnen als: "Beweeg de hand 5 centimeter naar voren" of "Draai de fles 45 graden".
- De Analogie: Stel je voor dat je een reisgids geeft. In plaats van de gids te vertellen "draai linksaf bij de 3e boom, loop 12 stappen", zeg je: "Loop naar de grote eik en ga dan rechtdoor". Een mens (of een robot die in taal denkt) begrijpt dit concept, ongeacht of de boom nu een eik of een berk is, of of de grond modderig of droog is. De betekenis van de beweging blijft hetzelfde, ook al is de robotarm anders.

2. De "Taal-Actie" Truc

De onderzoekers hebben ontdekt dat als je de robot leert om zijn acties te verwoorden in natuurlijke taal, hij de kennis uit zijn "algemene brein" (dat hij heeft opgedaan door het internet en duizenden video's te bekijken) beter kan gebruiken.

Het is alsof je de robot niet alleen leert hoe hij een kopje moet vastpakken, maar hem ook leert wat hij doet: "Ik pak het kopje vast".
Omdat het model al is getraind om menselijke taal te begrijpen, begrijpt het deze zinnen perfect. Het hoeft geen nieuwe, vreemde "robot-taal" te leren. Het gebruikt zijn bestaande taal-kennis om nieuwe robots te besturen.

3. Het Resultaat: De "Zero-Shot" Superkracht

Het meest indrukwekkende resultaat is dat deze robot (LAP-3B) direct kan werken op robots die hij nooit eerder heeft gezien.

De Analogie: Stel je voor dat je een pianist hebt die perfect kan spelen op een Yamaha. Dankzij LAP kan diezelfde pianist, zonder enige extra les, direct een concert geven op een ouderwetse piano, een digitale synthesizer of zelfs een piano die in een ander land is gebouwd. Hij past zich direct aan, omdat hij de muziek (de taak) begrijpt, niet alleen de specifieke toetsen van zijn oude piano.
In de test slaagde LAP-3B in meer dan 50% van de gevallen om nieuwe robots taken te laten uitvoeren zonder dat ze er ook maar één keer voor waren getraind. Andere robots faalden bijna volledig (0% succes).

4. Waarom werkt dit zo goed?

Semantische Bril: Door acties in taal te verpakken, blijft de robot gefocust op het doel (bijv. "de handdoek vouwen") in plaats van op de specifieke mechanica van de arm.
Efficiëntie: Als je de robot toch wilt aanpassen aan een heel nieuwe taak, heeft hij veel minder voorbeelden nodig dan andere systemen. Het is alsof je een polyglot (iemand die veel talen spreekt) een nieuwe taal leert; die gaat veel sneller dan iemand die maar één taal kent.

Samenvatting

Deze paper introduceert een manier om robots "menselijker" te laten denken over hun eigen bewegingen. Door acties te beschrijven in gewone taal in plaats van in technische code, maken ze robots die niet vastzitten aan één specifiek model. Ze kunnen als een echte "allround vakman" worden ingezet: of het nu een nieuwe robotarm is, een nieuwe gripper of een nieuwe camera, de robot begrijpt de opdracht en past zich direct aan.

Het is de eerste keer dat een robotmodel dit "zero-shot" (zonder extra training) zo goed doet. Het is alsof we eindelijk een robot hebben die niet alleen de instructies leest, maar ook begrijpt wat er echt moet gebeuren, ongeacht welk gereedschap hij in zijn handen heeft.

Probleemstelling

Het langetermijndoel in de robotica is het ontwikkelen van een "generalist"-beleid dat zonder aanpassing (zero-shot) kan worden ingezet op nieuwe robot-embodiments (lichamen/constructies). Hoewel Vision-Language-Action (VLA) modellen grote vooruitgang hebben geboekt door vooraf getrainde Vision-Language Modellen (VLM) te gebruiken, blijven ze sterk gekoppeld aan de specifieke robots waarop ze zijn getraind.

Bestaande VLA-modellen presteren slecht of falen volledig bij zero-shot overdracht naar robots met zelfs kleine verschillen (zoals een andere grijper of cameraplatatie). Dit komt doordat:

Distributiemismatch: Standaard VLA-training fine-tunt VLM's om ruwe, continue acties (bijv. joint-waarden of end-effector posities) te voorspellen, vaak vertaald naar willekeurige tokens. Dit staat haaks op de vooraf getrainde distributie van het VLM (natuurlijke taal), wat leidt tot degradatie van de semantische kennis.
Gebrek aan semantische structuur: Bestaande actie-representaties (zoals discrete tokens of learnable tokenizers) missen de semantische structuur die nodig is om gedrag over verschillende robotlichamen heen te generaliseren.
Kosten: Aanpassing aan nieuwe robots vereist doorgaans kostbare per-embodiment fine-tuning, wat het idee van één universeel basismodel ondermijnt.

Methodologie: Language-Action Pre-training (LAP)

De auteurs introduceren LAP, een eenvoudige maar krachtige "recept" voor het vooraf trainen van VLA-modellen. De kern van LAP is het vertegenwoordigen van lage-niveau robotacties direct in natuurlijke taal.

Kernprincipes:

Taal als Actie: In plaats van ruwe coördinaten of abstracte tokens, worden acties beschreven als gestructureerde zinnen in natuurlijke taal (bijv. "move forward 5 cm", "tilt right 30 degrees").
Deterministische Parsing: Deze "language-actions" worden automatisch gegenereerd uit bestaande robotdatasets door eind-effector trajecten te parsen volgens vaste coördinatenconventies en sjablonen. Er is geen handmatige annotatie of een extra geleerde tokenizer nodig.
Training: Het VLM-backbone wordt getraind om deze taal-acties autoregressief te voorspellen op basis van visuele observaties en taalinstructies, gebruikmakend van de standaard cross-entropy loss (zoals bij taalmodellen).
Architectuur (LAP-3B): Om real-time controle mogelijk te maken (aangezien autoregressieve taalgeneratie te traag is), combineert LAP-3B een LAP-getraind VLM-backbone met een lichtgewicht diffusion-based action expert (flow-matching).
- Het VLM leert de semantische intentie en genereert taal-acties.
- De action expert vertaalt deze informatie naar continue, hoge-frequentie controlecommando's.
- Er wordt gebruik gemaakt van "knowledge insulation" (stop-gradient), zodat de actie-expert de vooraf getrainde semantische representaties van het VLM niet verstoort.

Belangrijkste Bijdragen

LAP-3B: Het eerste VLA-systeem dat substantiële zero-shot overdracht bereikt naar volledig nieuwe robot-embodiments zonder enige aanpassingsspecifieke fine-tuning.
Nieuwe Actierepresentatie: Het bewijs dat het vertegenwoordigen van acties in natuurlijke taal de distributiemismatch oplost en semantisch onderbouwde, generaliseerbare representaties leert.
Efficiëntie: Het model vereist geen extra annotatiekosten en kan worden getraind op bestaande open-source datasets (zoals Open X-Embodiment en MolmoAct).
Co-training: Het bewijs dat LAP-3B effectief kan worden gecombineerd met Vision-Question-Answering (VQA) taken (zoals bewegingsvoorspelling), wat de prestaties verder verbetert.

Resultaten

De auteurs evalueren LAP-3B op vier verschillende robot-embodiments (waaronder drie onbekende: Custom Franka, YAM, Kinova) en tien real-world manipulatie-taken.

Zero-shot Generalisatie: LAP-3B bereikt een gemiddelde zero-shot succesratio van meer dan 50% op onbekende robots. Dit is ongeveer een 2x verbetering ten opzichte van de sterkste bestaande baselines (zoals $\pi0.5$ en OpenVLA), die vaak volledig falen (0% succes) op onbekende robots.
In-distribution Prestaties: Op de bekende DROID-dataset presteert LAP-3B even goed als $\pi0.5$ -DROID, maar dan zonder specifieke fine-tuning op die dataset.
Efficiënte Fine-tuning: Wanneer LAP-3B wel moet worden aangepast aan nieuwe taken, doet dit dit met 2,5x minder demonstraties en minder gradient-steps dan baselines, terwijl het dezelfde prestaties bereikt.
Schalingsgedrag: In tegenstelling tot bestaande methoden die verzadigen of verslechteren bij grotere modelgroottes, verbetert LAP-3B consistent naarmate het model groter wordt (van 4B tot 27B parameters).
Representatie-analyse: t-SNE visualisaties tonen aan dat LAP-3B meer overkoepelende, embodiment-agnostische controle-representaties leert, terwijl baselines specifiek overfitten op de trainingsrobot.

Betekenis en Impact

Dit paper markeert een belangrijke doorbraak in de ontwikkeling van robuuste robotica-basismodellen:

Unificatie: Het verenigt actievoorspelling en visuele taalbegrip in één gedeelde taalruimte, wat de brug slaat tussen semantisch begrip en fysieke uitvoering.
Toekomstperspectief: Het opent de deur voor het trainen van VLM's die expliciet zijn ontworpen voor robotica, waarbij robotdata en internetdata naadloos kunnen worden gemengd.
Praktische Toepasbaarheid: Door het elimineren van de noodzaak voor per-robot fine-tuning, wordt de implementatie van geavanceerde AI-robots in diverse, onvoorbereide omgevingen aanzienlijk goedkoper en sneller.

Kortom, LAP bewijst dat het gebruik van natuurlijke taal als brug tussen visuele waarneming en motorische controle de sleutel is tot echte, universele robotgeneralisatie.