🤖 machine learning

REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs

REFACTOR-VLA is een wake/sleep-framework dat herbruikbare, getypeerde motorische programma's leert door actiefragmenten te clusteren via een gedrags-equivalentiekernel en een latent wereldmodel, waarmee het de state-of-the-art prestaties bereikt op langdurige LIBERO-taken door middel van een bibliotheek-geconditioneerde decoder en een trainingsdoelstelling die de kwaliteit van het clusteren prioriteert boven modelcapaciteit.

Oorspronkelijke auteurs: Riyaaz Shaik, Chandru Venkataraman

Gepubliceerd 2026-09-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Riyaaz Shaik, Chandru Venkataraman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots worden steeds beter in het zien van de wereld en het bewegen erdoorheen, maar ze worstelen nog steeds met het soort complexe, meerstaps-taken die mensen met gemak afhandelen. Wanneer een persoon een sandwich maakt, denkt diegene niet na over elke individuele spiertrek die nodig is om het brood te pakken, de boter te smeren of de tomaat te snijden. In plaats daarvan vertrouwen ze op een mentale bibliotheek van vertrouwde handelingen—grijpen, smeren, snijden—die ze in verschillende volgordes kunnen achter elkaar plaatsen. Huidige kunstmatige intelligentiemodellen voor robots missen vaak dit vermogen om gedrag te organiseren. Ze hebben de neiging om rauwe, moment-tot-moment commando's te genereren zonder ze te groeperen in herbruikbare, goed gedefinieerde vaardigheden. Dit maakt het voor hen moeilijk om vooruit te plannen voor langdurige taken of om uit te leggen wat ze hebben geleerd. Onderzoekers proberen nu machines te leren hun eigen interne bibliotheken van vaardigheden op te bouwen, waardoor ze complexe taken kunnen opdelen in kleinere, beheersbare stukjes die kunnen worden hergebruikt en gecombineerd.

Een team van onderzoekers bij Apple heeft een nieuw systeem ontwikkeld genaamd REFACTOR-VLA dat probeert dit probleem op te lossen door een robot te leren zijn eigen vaardigheden te ontdekken zonder menselijke labels. Het systeem werkt in twee afwisselende fasen, vergelijkbaar met hoe een mens een nieuwe beweging kan oefenen en daarna rust om het brein de herinnering te laten organiseren. In de eerste fase leert de robot te voorspellen wat er vervolgens zal gebeuren als hij een bepaalde sequentie van bewegingen uitvoert. Hij bouwt een mentaal model van de wereld, waarbij hij begrijpt hoe zijn acties de omgeving veranderen. In de tweede fase bekijkt het systeem de enorme hoeveelheid bewegingsdata die het heeft verzameld en probeert patronen te vinden. Het stelt een eenvoudige maar moeilijke vraag: produceren twee verschillende sequenties van bewegingen hetzelfde resultaat? Als een robot zijn arm in een cirkel beweegt om een kopje op te pakken, of in een rechte lijn beweegt om hetzelfde te doen, moet het systeem herkennen dat beide paden hetzelfde doel bereiken.

Om dit te beantwoorden, hebben de onderzoekers een speciale tool ontwikkeld die de uitkomst van acties meet in plaats van alleen hun verschijning. In plaats van naar de ruwe video te kijken van de beweging van de robot, simuleert het systeem de actie in zijn geleerde mentale model om te zien waar de robot eindigt en welke beloning hij krijgt. Als twee verschillende bewegingspaden leiden tot dezelfde eindtoestand en dezelfde beloning, beschouwt het systeem deze als equivalent. Het groepeert vervolgens deze vergelijkbare paden tot een enkele, herbruikbare vaardigheid. Zodra een groep is gevormd, probeert het systeem een eenvoudig, gestructureerd programma te schrijven dat het gemeenschappelijke patroon van die vaardigheid beschrijft. Dit programma wordt vervolgens toegevoegd aan een bibliotheek. De robot kan deze bibliotheek later gebruiken om nieuwe taken te plannen, waarbij hij gebruikmaakt van deze vooraf verpakte vaardigheden in plaats van elke kleine beweging vanaf nul te berekenen.

De onderzoekers testten deze aanpak op een standaardset robottaken waarbij objecten in een gesimuleerde omgeving worden verplaatst. Ze ontdekten iets verrassends over hoe deze systemen leren. Een algemeen geloof in kunstmatige intelligentie is dat het groter en complexer maken van een model altijd leidt tot betere prestaties. Echter, toen de onderzoekers de omvang van hun wereldmodel vergrootten van ongeveer 188 miljoen parameters naar 430 miljoen, presteerde het systeem op elke testsuite slechter. Het grotere model slaagde er niet in de vaardigheden correct te organiseren, wat suggereert dat het simpelweg toevoegen van meer rekenkracht niet de oplossing is.

In plaats daarvan lag de sleutel tot succes in de manier waarop het model werd getraind. De onderzoekers ontdekten dat het toevoegen van een specifiek type leerdoel tijdens de initiële trainingsfase de resultaten drastisch verbeterde. Dit leerdoel hielp het systeem om verschillende taken duidelijker te onderscheiden, waardoor het vergelijkbare bewegingen veel effectiever bij elkaar kon groeperen. Met deze verandering presteerde het systeem beter dan de sterkste bestaande methoden op alle vier de belangrijke testsuites, waarbij het het gemiddelde score met een aanzienlijke marge verbeterde. Het systeem slaagde erin een bibliotheek van drie verschillende, herbruikbare vaardigheden op te bouwen voor een specifieke taak, en een robot die deze bibliotheek gebruikte, was in staat om elke demonstratie die het had gezien met deze nieuwe vaardigheden te herschrijven.

De studie onthulde ook dat het vermogen van het systeem om deze vaardigheden te vinden sterk afhangt van het type data dat het analyseert. Hoewel het systeem erin slaagde een bibliotheek van taalgebaseerde instructies te creëren, zoals "pak het object op en plaats het in de mand", slaagde het er niet in om herbruikbare patronen te vinden in de ruwe motorische commando's zelf. Dit suggereert dat het systeem beter is in het begrijpen van de hoge doelen van een taak dan in de lage fysieke details van hoe te bewegen. De onderzoekers maten de consistentie van hun resultaten over vele verschillende trainingsruns en vonden dat het systeem betrouwbaar vergelijkbare vaardigheidsgroeperingen ontdekte, met een hoge mate van overeenstemming tussen verschillende versies van het model.

Dit werk demonstreert dat de manier waarop een robot zijn ervaringen organiseert belangrijker is dan de loutere omvang van zijn brein. Door zich te richten op de uitkomsten van acties en een gestructureerde methode te gebruiken om deze te groeperen, kan het systeem een bibliotheek van vaardigheden opbouwen die het helpt complexe, langdurige taken aan te pakken. De bevindingen dagen het idee uit dat groter altijd beter is en wijzen naar een toekomst waarin robots kunnen leren denken in termen van herbruikbare acties, net zoals mensen dat doen. De onderzoekers hebben hun code en data beschikbaar gesteld, zodat anderen deze resultaten kunnen verifiëren en voort te bouwen op deze nieuwe benadering van robotisch leren.

Technische Samenvatting: REFACTOR-VLA

Probleemstelling

Huidige Vision-Language-Action (VLA) modellen (bijv. OpenVLA, $\pi_0$ , RT-2) zijn grotendeels "monolithisch"; ze genereren ruwe motorische commando's of korte actiesequenties zonder gedragingen te organiseren in herbruikbare, goed gedefinieerde abstracties. Deze beperking resulteert in matige prestaties bij taken met een lange horizon en een gebrek aan interpreteerbaarheid met betrekking tot geleerde gedragingen.

Bestaande methoden voor het ontdekken van vaardigheden (skill-discovery) worstelen met het kernproblek van het definiëren van gedragsmatige equivalentie in continue actieruimtes. Methoden zoals AtomicVLA en AtomSkill vertrouwen op het clusteren van contrastieve embeddings, terwijl BLADE en LRLL Large Language Models (LLMs) gebruiken om equivalentie te beoordelen. Deze benaderingen zijn echter vaak niet gekalibreerd op de specifieke dynamica van de robot: ze kunnen trajectfragmenten behandelen die identieke fysieke uitkomsten hebben maar verschillende actiepaden, als verschillend beschouwen, of fragmenten groeperen die vergelijkbare oppervlaktevormen hebben maar verschillende dynamische consequenties. Bovendien is niet bewezen dat het simpelweg schalen van de capaciteit van het wereldmodel consistent leidt tot verbeterde vaardigheidsrepresentaties.

Methodologie: REFACTOR-VLA

REFACTOR-VLA is een verenigd framework dat de systeemtechnische sterktes van VLA-modellen combineert met de formele garanties van wake/sleep library learning. Het werkt volgens een driefasig schema om herbruikbare, getypeerde motorische programma's te leren.

1. Kernarchitectuur

Het systeem bestaat uit vier modules:

Latent World Model ( $M_\phi$ ): Een DreamerV3-stijl hiërarchisch model met een bevroren DINOv2 visuele encoder. Het leert toekomstige toestanden en returns te voorspellen in een latente ruimte.
Behavioral-Equivalence Kernel (BEK): Een divergentiemetriek $D_\phi(\tau, \tau')$ $D_{ϕ} (τ, τ^{'})$ die het verschil tussen trajectfragmenten kwantificeert. Deze is gedefinieerd als een gewogen som van:
- Value Difference: Het absolute verschil in verwachte returns wanneer fragmenten worden uitgevoerd vanaf dezelfde begintoestand.
- Wasserstein Distance ( $W_2$ ): De afstand tussen $k$ -stap latente rollout-distributies.
- Deze kernel wordt geïmplementeerd via een Siamese amortizer ( $k_\chi$ ), een lichtgewicht transformer die gedestilleerd is uit $M_\phi$ om embeddings efficiënt te berekenen voor clustering.
Typed Program Emitter (TPE): Een causale-decoder Transformer die getypeerde $\lambda$ -termen (programma's) genereert over een Hindley–Milner vocabulaire (inclusief primitieven zoals Twist, Wrench, GripperPhase, Pose en Lang).
Library-Conditioned Action Decoder (LCAD): Een rectified-flow decoder die 16-staps actiechunks produceert, geconditioneerd op de actieve bibliotheek van abstracties.

2. De Wake/Sleep Loop

De training wisselt af tussen twee fasen:

Fase A (World-Model Warmup): $M_\phi$ wordt vooraf getraind op ruwe demonstraties. Cruciaal is dat de auteurs een extra gesuperviseerde contrastieve InfoNCE loss introduceren tijdens deze fase om taakonderscheidende richtingen in de latente ruimte te stimuleren.
Fase B (Wake Phase): Het beleid ( $\pi_\theta$ ) wordt geoptimaliseerd met behulp van de huidige bibliotheek van vaardigheden. De TPE genereert getypeerde programma's, en de LCAD produceert acties.
Fase C (Sleep Phase): Het systeem ontdekt nieuwe vaardigheden.
1. Clustering: Trajectfragmenten worden geclusterd met behulp van de BEK ( $D_\phi$ ) en KMeans.
2. Abstractie: Top-down syntactische anti-unificatie extraheert gemeenschappelijke grammaticale substructuren uit de geclusterde fragmenten en compileert deze tot getypeerde $\lambda$ -programma's.
3. Admission Gates: Een kandidaat-abstractie wordt pas toegelaten tot de bibliotheek als deze voldoet aan:
  - BEK Soundness: De abstractie moet gedragsmatig equivalent zijn aan de originele fragmenten binnen een drempelwaarde $\epsilon$ .
  - Return Preservation: De abstractie mag de verwachte return niet verslechteren (geverifieerd via rollouts).
  - Minimum Description Length (MDL): De abstractie moet een netto winst in datacompressie opleveren (> 4 nats).

Belangrijkste Bijdragen

BEK Formulering: Een fragmentniveau divergentiemetriek gebaseerd op waardeverschillen en Wasserstein-afstanden van latente rollouts, gebruikt als een clustering-kernel die de systeemdynamica respecteert.
Typed-Lambda Emitter & LCAD: Een systeem dat getypeerde lambda-programma's genereert over een gestructureerde vocabulaire en een rectified-flow actie-decoder conditioneert op deze programma's.
Wake/Sleep Loop met MDL-Gated Admission: Een rigoureus framework waarbij abstracties alleen worden toegelaten als ze voldoen aan criteria voor soundness, return-preservation en compressie.
Empirische Validatie: Uitgebreide evaluatie op de volledige LIBERO benchmark suite, inclusief ablatie-studies en cross-provider convergentieanalyse.

Resultaten

Het paper presenteert twee primaire bevindingen die conventionele scaling laws uitdagen:

Capaciteitsfalsificatie: Het vergroten van de omvang van het latente wereldmodel van 188M naar 430M parameters verslechterde de prestaties op alle 4 de LIBERO suites (een afname van de NMI met 0,018 tot 0,146). Dit weerlegt de hypothese dat grotere wereldmodellen inherent betere vaardigheidsrepresentaties opleveren.
Dominantie van de Objectieve Vorm: Het toevoegen van een extra gesuperviseerde InfoNCE loss tijdens de Fase A warmup verbeterde de ontdekking van vaardigheden aanzienlijk. Deze wijziging verhoogde de genormaliseerde wederzijdse informatie (NMI) van de BEK-clustering met een gemiddelde van +0,252 (relatieve verbetering van 50,7%) over alle suites.
- Head-to-Head Prestaties: Met de InfoNCE-objectieve presteerde REFACTOR-VLA beter dan de sterkste gepubliceerde baselines (AtomicVLA, AtomSkill, BLADE, LRLL) op alle 4 de LIBERO suites, met een gemiddelde verbetering van $\Delta = +0,184$ .
- Cross-Provider Convergentie: In een cross-provider analyse ( $n=12$ ) was de gemiddelde paargewijze NMI 0,705 met een 95% bootstrap betrouwbaarheidsinterval van [0,683, 0,729]. Hoewel het gemiddelde de 0,70 drempel overschrijdt, ligt de ondergrens er iets onder, wat aangeeft dat het resultaat "drempel-grensvlak" is maar robuust boven de 0,60 vloer van substantieel effect ligt.
- Library Learning: Het systeem slaagde erin de eerste gestructureerde taalkundige bibliotheek voor LIBERO te ontdekken (3 abstracties op de Lang slot) en herschreef 100% van de gesamplede demonstraties met behulp van deze vaardigheden.

Betekenis en Claims

Het paper claimt dat de vorm van de trainingsdoelstelling een belangrijkere hefboom is voor vaardigheidsontdekking dan de modelcapaciteit. Specifiek zorgt de introductie van een gesuperviseerde contrastieve doelstelling (InfoNCE) tijdens de wereldmodel-warmup ervoor dat de latente ruimte wordt uitgelijnd met taakonderscheidende bisimulatieklassen, wat effectieve clustering van gedragsmatige equivalentie mogelijk maakt.

De auteurs positioneren REFACTOR-VLA als een stap naar interpreteerbare, compositionele robotica. Door het ontdekken van vaardigheden te kaderen als een dichtheidsestimatieprobleem met formele garanties (MDL en return preservation), vermijdt het systeem de "black box"-aard van monolithische VLA's. De resultaten suggereren dat voor robotica-taken met een lange horizon, het optimaliseren van de structuur van het leersignaal effectiever is dan simpelweg het schalen van parameters.

Het paper blijft bescheiden over toepassingen in open corpora, waarbij wordt opgemerkt dat de huidige InfoNCE-aanpak afhankelijk is van taaklabels die beschikbaar zijn in de LIBERO-dataset, en dat toekomstig werk nodig is om deze mechanismen aan te passen aan open-vocabulary, label-vrije omgevingen (bijv. door gebruik van VLM-gegenereerde pseudo-labels of zelfgesuperviseerde contrastieve sampling).