🤖 machine learning

InSight: Self-Guided Skill Acquisition via Steerable VLAs

InSight is een framework dat Vision-Language-Action (VLA) modellen in staat stelt om autonoom nieuwe manipulatievaardigheden te verwerven door demonstraties te ontleden in stuurbare primitieve acties en een door een VLM gestuurde data-flywheel te benutten om ontbrekende primitieven voor nieuwe, langdurige taken te genereren, te labelen en te integreren zonder verdere menselijke tussenkomst.

Oorspronkelijke auteurs: Maggie Wang, Lars Osterberg, Stephen Tian, Ola Shorinwa, Jiajun Wu, Mac Schwager

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maggie Wang, Lars Osterberg, Stephen Tian, Ola Shorinwa, Jiajun Wu, Mac Schwager

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert koken. Traditioneel gezien, als je een robot een nieuw gerecht wilt leren, zoals "het maken van een sandwich", moet je erbij staan, zijn hand vasthouden en hem door elke stap leiden: het brood pakken, de boter smeren, de kaas toevoegen, enzovoort. Dit is traag, duur, en als je hem later "soep maken" wilt leren, moet je het hele proces opnieuw doorlopen.

Het papier INSIGHT stelt een slimmere manier voor om robots te onderwijzen, een manier die meer lijkt op hoe mensen nieuwe vaardigheden leren. In plaats van hele recepten uit het hoofd te leren, leert de robot individuele bewegingen (zoals "pakken", "liften", "draaien" of "gieten") en ontdekt hij vervolgens zelf hoe hij deze kan combineren.

Hier is hoe het systeem werkt, opgedeeld in eenvoudige stappen:

1. De "Lego-blokjes"-aanpak

Beschouw de vaardigheden van een robot niet als één groot, onbreekbaar blok, maar als een doos vol Lego-blokjes.

Het Probleem: De meeste robots van vandaag worden getraind op volledige taken. Als je ze laat zien hoe ze "een kopje oppakken", leren ze die specifieke sequentie. Als je hen vra's om "water te schenken", kunnen ze falen omdat ze het "schenken"-blokje nog nooit hebben gezien.
De INSIGHT-oplossing: Het systeem neemt menselijke demonstraties (zoals een video van iemand die een kopje oppakt) en hakt deze automatisch in kleine, gelabelde "blokjes" die primitives worden genoemd.
- Voorbeeld: In plaats van "pak kopje op" ziet de robot: "Beweeg hand naar kopje" + "Sluit vingers" + "Til op".
- De robot leert deze individuele bewegingen zo goed dat hij erop "gestuurd" kan worden om slechts één van hen uit te voeren op commando.

2. De "Slimme Assistent" (De VLM)

De robot heeft een ingebouwde "Slimme Assistent" (een Vision-Language Model, of VLM) die fungeert als een projectmanager.

Het Scenario: Stel je voor dat de robot weet hoe hij "een fles oppakt" en "neerzet", maar jij vraagt hem om "de fles in een kom te gieten."
De Kloof: De Slimme Assistent kijkt naar het plan en zegt: "Hé, we hebben het 'oppak'-blokje en het 'neerzet'-blokje, maar we missen het 'kantelen en gieten'-blokje!"
De Oplossing: In plaats van een mens te vragen om te laten zien hoe men giet, begrijpt de Slimme Assistent de fysica van de beweging (bijv. "Kantel de fles 45 graden naar voren") en vertelt de robot om dit te proberen.

3. De "Oefenlus"

Dit is waar de magie gebeurt. De robot probeert die ontbrekende beweging zelf uit te voeren.

Trial and Error: De robot probeert de "kantel"-beweging. Als hij overal bij morst, probeert hij het opnieuw met een iets andere hoek.
De "Oracle"-controle: Nadat de robot een poging heeft gedaan, kijkt de Slimme Assistent naar het resultaat (zoals een leraar die een toets nakijkt). "Is het water in de kom gegaan? Ja? Geweldig! Nee? Probeer het opnieuw."
Leren: Zod de robot het water succesvol heeft gegoten, slaat het systeem deze specifieke "kantel"-beweging op als een nieuw Lego-blokje in zijn bibliotheek. Vervolgens traint hij zichzelf opnieuw om dit nieuwe blokje voor altijd te onthouden.

4. Nieuwe Vaardigheden vanaf de Basis Opbouwen

Zod even de robot het "gieten"-blokje heeft geleerd, hoeft hij niet meer door een mens geleerd te worden.

Het Resultaat: Als je de robot later vra's om "een dopje eraf te draaien en dan te gieten", kan hij nu het "draai"-blokje (dat hij misschien eerder heeft geleerd) combineren met het nieuwe "gieten"-blokje.
De Analogie: Het is als een muzikant die een C-majeur akkoord en een F-majeur akkoord heeft geleerd. Als hij een nieuw liedje wil spelen, heeft hij geen leraar nodig om hem het hele liedje te laten spelen; hij combineert gewoon de akkoorden die hij al kent.

Wat Hebben Ze Eigenlijk Bewezen?

De onderzoekers testten dit zowel in computersimulaties als op echte robots (met een robotarm). Ze toonden aan dat:

Geen Nieuwe Menselijke Hulp Nodig Is: Ze leerden de robot complexe taken zoals het flippen van een blok, het sluiten van een lade, het draaien van een dop van een fles en het schenken van bonen, zonder hem ooit een video te tonen van iemand die deze specifieke dingen doet.
Het Werkt Snel: De robot leerde deze nieuwe vaardigheden veel sneller dan traditionele methoden (zoals Reinforcement Learning, wat lijkt op een robot die probeert te leren door duizenden keren blind te experimenteren).
Het Vergeet Niet: Wanneer de robot de nieuwe "gieten"-vaardigheid leerde, vergat hij niet hoe hij de fles moest "oppakken". Hij behield al zijn oude vaardigheden terwijl hij de nieuwe toevoegde.
Succes in de Praktijk: Op een echte robot behaalde hij hoge succespercentages (tot 96% voor schenken) en kon hij zelfs vaardigheden combineren om een lange, 14-staps taak te voltooien (dop draaien, en dan gieten) die hij nog nooit eerder had gezien.

De Kernboodschap

INSIGHT is een framework dat robots in staat stelt complexe taken af te breken in kleine, herbruikbare bewegingen. Wanneer ze een nieuwe opdracht tegenkomen, gebruiken ze een "Slimme Assistent" om te achterhalen welke bewegingen ze missen, oefenen die bewegingen zelfstandig en slaan ze op voor later gebruik. Dit stelt robots in staat om continu nieuwe vaardigheden te leren, zonder dat er telkens een mens aan hun hand hoeft te zitten.

Technische Samenvatting: INSIGHT – Zelfgestuurde Vaardigheidsverwerving via Stuurbare VLAs

Probleemstelling

Vision-Language-Action (VLA) modellen hebben de algemene robotmanipulatie geavanceerd, maar blijven fundamenteel beperkt door de vaardigheden die aanwezig zijn in hun trainingsdata. Het verwerven van nieuwe manipulatievaardigheden vereist doorgaans dure menselijke demonstraties en het finetunen voor elke nieuwe taak. Hoewel reinforcement learning (RL) een alternatief biedt, vereist dit vaak een verboden hoge steekproefcomplexiteit en veiligheidsbeperkingen in de echte wereld. Bovendien werken bestaande methoden die Vision-Language Models (VLM's) of Large Language Models (LLM's) gebruiken als planners of coderingsagenten over het algemeen tijdens de testtijd; ze componeren vooraf gedefinieerde vaardigheden of genereren trajecten zonder de onderliggende geleerde policy te updaten. Bijgevolg kunnen robots niet autonoom hun capaciteiten uitbreiden om nieuwe scenario's aan te pakken (bijv. een Marsrover die puin moet vegen terwijl hij alleen getraind is om rotsen te scheppen) zonder menselijke interventie.

Methodologie: INSIGHT Framework

INSIGHT pakt deze beperkingen aan door VLAs "stuurbaar" te maken op het niveau van primitieve acties, wat autonome vaardigheidsverwerving mogelijk maakt via een tweestaps-pipeline.

Fase 1: Automatische Primitieve Segmentatie en Stuurbare VLA Training

De eerste fase transformeert standaard teleoperatie-demonstraties naar een stuurbare VLA-policy zonder handmatige annotatie.

Definitie van Primitieven: Een primitief wordt gedefinieerd als een herbruikbaar actiessegment dat wordt gekenmerkt door een enkele dominante bewegingsmodus (bijv. translatie langs een as, rotatie, of een overgang in de status van de grijper) en een natuurlijke taallabel (bijv. "omhoog tillen", "grijper sluiten").
Automatische Segmentatie: Een VLM krijgt een taakbeschrijving en voorbeeldprimitieven voorgelegd om een geordende sequentie van verwachte primitieven te genereren. Deze door VLM gegenereerde plannen worden afgestemd op menselijke demonstratiedata met behulp van gripper-statusovergangen (open/dicht), end-effector bewegingsgrootheden en dominante-as-tags.
Fine-Tuning: De gesegmenteerde, gelabelde trajecten worden gebruikt om een vooraf getrainde VLA te finetunen (met behulp van LoRA). Elk primitief segment wordt een apart trainings-episode, geconditioneerd op zijn taallabel. Een geleerd progressiekanaal wordt toegevoegd aan de actieruimte om terminatiesignalen voor individuele primitieven te bieden.
Resultaat: Het resultaat is een VLA die gestuurd kan worden via taal om specifieke primitieven uit te voeren, in plaats van alleen volledige taakinstructies.

Fase 2: VLM-Gestuurde Vaardigheidsverwervingslus

Gegeven een stuurbare VLA met een bekende vocabulaire van primitieven ( $V$ ), verwwerft INSIGHT autonoom ontbrekende vaardigheden voor nieuwe taken.

Identificatie van Primitieve Gaten: Voor een nieuwe taak deelt een VLM-planner de taak op in een sequentie van primitieven. Elk primitief $p_i$ in het plan dat niet in de huidige vocabulaire $V$ zit, wordt gemarkeerd als een "primitief gat".
Parametrisering en Executie: Voor elk gat stelt de VLM laag-niveau controleparameters voor, specifటు een bewegingsas (translatie $\{dx, dy, dz\}$ of rotatie $\{dr_x, dr_y, dr_z\}$ ) en een gesigneerde grootte. De robot voert het plan uit: bekende primitieven worden afgehandeld door de stuurbare VLA, terwijl gaten worden uitgevoerd door een laag-niveau controller met de door de VLM voorgestelde parameters.
Evaluatie van Succes en Integratie: Een VLM-oracle analyseert de scène vóór en na de rollout om het succes van de taak te verifiëren. Succesvolle rollouts van het nieuwe primitief worden automatisch gelabeld, opgeslagen en toegevoegd aan de trainingsdataset.
Retraining: De VLA wordt opnieuw getraind op de gecombineerde dataset van de originele en nieuw verworven primitieven. Dit breidt de vocabulaire $V$ uit, waardoor de robot de volledige samengestelde taak in toekomstige iteraties autonoom kan uitvoeren.

Belangrijkste Bijdragen

Automatische Primitieve Segmentatie Pipeline: Een methode om teleoperatie-demonstraties te deconstrueren in gelabelde primitieven met behulp van VLM-plan-decompositie en kinematische cues, wat handmatige annotatie elimineert en primitief-niveau stuurbaarheid mogelijk maakt.
VLM-Gestuurde Data Flywheel: Een gesloten systeem waarbij de VLM ontbrekende primitieven voor nieuwe taken identificeert, autonoom succesvolle demonstraties genereert via laag-niveau controle, en de VLA hertraint om deze nieuwe capaciteiten te integreren zonder verdere menselijke demonstraties.
Compositionele Vaardigheidsverwerving: Een demonstratie dat verworven primitieven gecomponeerd kunnen worden om complexe, langdurige taken op te lossen, wat effectief continue, levenslange leerprocessen mogelijk maakt.

Experimentele Resultaten

Het framework werd geëvalueerd over vijf taken in simulatie (LIBERO-omgeving met een Franka Panda) en op echte hardware (UFactory xArm).

Simulatie (Blok Flippen): Startend vanaf enkel pick-and-place demonstraties, verwierf INSIGHT een "draai-blok" primitief. Het bereikte 75% succes op de blok-flip taak na 246 verworven primitief rollouts. In contrast behaalde een Soft Actor-Critic (SAC) RL baseline met hetzelfde rekenbudget 0% succes op de flip.
Simulatie (Lade Sluiten): Getraind op enkel lade-open demonstraties, verwierf INSIGHT een "duw lade dicht" primitief vanuit een Out-of-Distribution (OOD) initiële staat (lade al open). Het bereikte 100% succes bij het sluiten van de lade, terwijl het vermogen om de lade te openen behouden bleef.
Real-World (Draaien en Gieten):
- Draaien: INSIGHT bereikte 92% end-to-end succes bij het openen van een dop, vergeleken met 32% voor een Code-as-Policies (CaP-X) baseline en 0% voor een standaard gefinetunede VLA ( $\pi0.5$ ).
- Gieten: INSIGHT bereikte 96% succes bij het gieten van bonen, versus 16% voor CaP-X.
- Compositie: Voor een complexe 14-primitief "draai-dan-giet" taak, bereikte INSIGHT 80% end-to-end succes, wat de CaP-X (4%) aanzienlijk overtrof.
- Efficiëntie: INSIGHT had aanzienlijk minder wandkloktijd per poging nodig dan CaP-X (bijv. 13,6s vs 41,5s voor draaien) omdat het geleerde primitieven uitvoert in plaats van bij elke stap te redeneren tijdens de testtijd.
Real-World (Vegen): Vanuit enkel schep-demonstraties verwierf INSIGHT een laterale-duw primitief om puin te vegen, met 5/5 succesvolle evaluatiepogingen.
Vaardigheidbehoud: In alle experimenten behield de verenigde VLA 100% prestatie op zijn originele basisvaardigheden na het verwerven van nieuwe primitieven.

Betekenis en Claims

Het paper claimt dat primitieve stuurbaarheid een praktische basis biedt voor continue vaardigheidsverwerving in VLA-policies. Door vaardigheden te ontkoppelen in compoasbare, stuurbare primitieven, stelt INSIGHT robots in staat om:

Precies te identificeren welke capaciteiten ontbreken voor een nieuwe taak.
Autonoom de specifieke ontbrekende vaardigheden te oefenen en te verwerven.
Nieuwe vaardigheden te integreren in een verenigde policy zonder catastrofale vergetelheid van eerdere vaardigheden.

De auteurs positioneren dit als een verschuiving van het behandelen van VLM's louter als test-tijd planners naar het gebruik van VLM's als actieve agenten in een data-acquisitielus die het vaardigheidsset van de robot persistent uitbreidt. Deze aanpak biedt een pad naar robots die kunnen adapteren aan nieuwe omgevingen (zoals het Marsrover voorbeeld) zonder de verboden kosten van het verzamelen van nieuwe menselijke demonstraties voor elke nieuwe gedraging.

Door de auteurs opgemerkte beperkingen:

Primitieve verwerving is momenteel beperkt tot bewegingen op één as.
Het systeem filtert voor succesvolle rollouts; het integreren van foutanalyse zou de steekproefefficiëntie kunnen verbeteren.
Menselijke interventie is nog steeds vereist voor het resetten van de omgeving tussen rollouts.
De methode is nog niet getest op high-DOF embodiment zoals humanoids of mobiele manipulatoren.