💻 computer science

Robots Need More than VLA and World Models

Dit position paper betoogt dat het bereiken van algemene robotintelligentie vereist dat men verder gaat dan eenvoudige beleidsschaalbaarheid om de kritieke flessenhals aan te pakken van het omzetten van ongestructureerde gedragsdata naar gegronde robot-supervisie via vier sleutelinterfaces: autolabelling, bewegingsretargeting, natuurkundig gegronde redenering en beloningsinferentie.

Oorspronkelijke auteurs: Elis Karcini, Faisal Mehrban, Quang Nguyen, Mac Schwager, Arash Ajoudani, Cesar Cadena, Jan Peters, Marco Hutter, Haitham Bou-Ammar

Gepubliceerd 2026-06-08

📖 6 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Elis Karcini, Faisal Mehrban, Quang Nguyen, Mac Schwager, Arash Ajoudani, Cesar Cadena, Jan Peters, Marco Hutter, Haitham Bou-Ammar

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Robots Zitten Vast in een "Textbook" Wereld

Stel je voor dat je een kind probeert te leren hoe je moet koken. Momenteel is de beste manier om dit te doen door een meesterkok naast het kind te laten staan, die precies laat zien hoe je een ui snijdt, waarna het kind de handbewegingen kopieert. In de robotica wordt dit Robot-Native Supervision genoemd. We verzamelen data waarbij een robot de taak daadwerkelijk uitvoert, en we leren de AI om die specifieke bewegingen te kopiëren.

Het artikel betoogt dat hoewel deze methode robots slimmer heeft gemaakt, we tegen een muur zijn gelopen. We kunnen niet simpelweg blijven meer "chef-demonstraties" van robots verzamelen omdat:

Het ongelooflijk duur en traag is om robots alles te laten doen.
De echte wereld vol staat met andere manieren om te leren. Er zijn miljarden video's van mensen die koken, fabrieken die draaien en mensen die dingen repareren op het internet.

De Analogie: Stel je voor dat je een nieuwe taal probeert te leren.

Huidige Aanpak (Robot-Native): Je leert alleen van een leraar die alleen tot jou spreekt in een klaslokaal, met gebruik van een specifieke tekstbundel. Je hoort de taal nooit gesproken op straat, in films of door vrienden.
Het Argument van het Artikel: De wereld zit vol met mensen die die taal spreken (video's, menselijke bewegingen, simulaties). Maar op dit moment kunnen robots deze "straatgesprekken" niet begrijpen omdat ze de woordenlijst en de grammatica regels missen die ruis vertalen naar iets wat een robot kan gebruiken.

De auteurs zeggen: "We hebben niet alleen grotere hersenen nodig (grotere AI-modellen); we hebben betere vertalers nodig om de rommelige echte wereld om te zetten in een taal waar een robot van kan leren."

De Ontbrekende "Vertaalset"

Het artikel stelt voor dat om de volgende generatie robots te ontsluiten, we vier specifieke instrumenten (of "interfaces") nodig hebben om de echte wereld te vertalen naar robotinstructies. Beschouw dit als de ontbrekende onderdelen van een vertaalset.

1. De "Autolabelling Engine" (De Detective)

Het Problem: Als je een video bekijkt van een mens die een pot opent, laat de video pixels bewegen. De video vertelt de robot niet: "De hand raakte de deksel aan," "De kracht was 5 Newton," of "De taak is nu 'draaien/schroeven'."
De Oplossing: We hebben een systeem nodig dat werkt als een superdetective. Het bekijkt rommelige video's, menselijke bewegingssensoren of robotfouten en schrijft automatisch de belangrijke aantekeningen op.

Wat het doet: Het zet een wazige video van een persoon die een beker laat vallen om in een gestructureerd rapport: "Gebeurtenis: Contact verloren. Object: Beker. Status: Gebroken. Fase Taak: Mislukking."
Waarom het belangrijk is: Het verandert ruwe, ongeorganiseerde beelden in een "tekstboek" waar de robot daadwerkelijk van kan studeren.

2. De "Retargeting Interface" (De Vertaler)

Het Problem: Mensen hebben twee armen en vijf vingers. Een robot heeft misschien één klauw of een ander aantal gewrichten. Als je een robot simpelweg vertelt om "de hoek van de menselijke arm te kopiëren", kan hij zijn eigen arm breken of de opdracht niet uitvoend maken.
De Oplossing: We hebben een vertaler nodig die niet bewegingen kopieert, maar resultaten kopieert.

De Analogie: Stel je voor dat je een deur wilt openen. Je geeft niet om het feit of de mens de deur met de elleboog of met de hand opent; je wilt dat de deur opengaat.
Wat het doet: Het kijkt naar wat de mens heeft bereikt (de deur is open) en bedenkt hoe deze specifieke robot datzelfde resultaat kan bereiken met zijn eigen unieke lichaam. Het behoudt het "doel" maar verandert de "hoe".

3. De "Physics-Grounded World Model" (De Simulator)

Het Probleem: Sommige AI-modellen zijn goed in het maken van mooie video's van de toekomst (bijv. "De beker zal vallen"). Maar ze kunnen de natuurkunde negeren. Ze kunnen laten zien dat de beker door de tafel valt of in de lucht zweeft. Een robot moet weten of de beker echt kapot gaat of dat hij zal glijden.
De Oplossing: We hebben een "glazen bol" nodig die niet alleen raadt hoe het plaatje eruit zal zien, maar die de natuurkunde voorspelt.

Wat het doet: Het beantwoordt vragen als: "Als ik deze blok hier tegenaan duw, kantelt hij dan om? Raakt hij de muur? Is de wrijving genoeg om hem te stoppen?"
Waarom het belangrijk is: Het stelt de robot in staat om verschillende uitkomsten te "verbeelden" en te leren van fouten zonder daadwerkelijk iets in de echte wereld kapot te maken.

4. De "Reward Grounding Loop" (De Coach)

Het Problem: Wanneer een robot faalt, ziet hij alleen een video van een rommel. Hij weet niet waarom hij faalde. Was hij te traag? Duwde hij te hard? Begreep hij het doel niet?
De Oplossing: We hebben een systeem nodig dat werkt als een sportcoach. Het bekijkt de poging van de robot en geeft specifieke feedback op basis van het doel.

De Analogie: Als een basketballer een schot mist, zegt een algemene waarnemer alleen "Gemist". Een coach zegt: "Je liet de bal te vroeg los, en je elleboog zat te ver naar buiten."
Wat het doet: Het kijkt naar de uitkomst en zegt: "Je faalde omdat je niet genoeg kracht op de hendel uitoefende," of "Je slaagde omdat je de beker correct uitlijnde." Dit verandert een mislukking in een specifieke les voor de volgende poging.

De Belangrijkste Conclusie

Het artikel concludeert dat de toekomst van robotica niet alleen gaat over het bouwen van grotere, slimmere AI-modellen (VLAs) die kunnen praten en zien. Het gaat over het bouwen van de infrastructuur die die modellen verbindt met de rommelige, fysieke realiteit.

De Eindmetafoor:
Beschouw de huidige staat van robotica als een briljante student die in een bibliotheek zit met slechts één zeer specifieke, oude tekstbundel (robotdemonstraties). De student is slim, maar wordt beperkt door het boek.

Het artikel stelt dat de echte wereld een enorme, lawaaierige, chaotische bibliotheek is met miljarden boeken, video's en ervaringen. Om de student te laten leren van deze enorme bibliotheek, hebben we niet alleen een grotere student nodig. We hebben nodig:

Librari (Bibliothecarissen) om de rommelige boeken te ordenen (Autolabelling).
Vertalers om uit te leggen hoe je ze leest (Retargeting).
Mentale Kaarten om de verhalen erin te begrijpen (World Models).
Tutors (Bijlesdocenten) om het huiswerk van de student te nakijken en de fouten uit te leggen (Reward Grounding).

Zonder deze vier instrumenten zal de robot vast blijven zitten in zijn kleine, dure bibliotheek, onbekwaam om te leren van de enorme, wonderlijke en chaotische wereld om hem heen.

Technische Samenvatting: Robots hebben meer nodig dan VLA's & Wereldmodellen

Probleemstelling

Het artikel betoogt dat de huidige inkadering van algemene robotintelligentie als een "policy-scaling probleem"—het verzamelen van meer robotdemonstraties en het trainen van grotere Vision-Language-Action (VLA) modellen—onvolledig is. Hoewel grootschalige VLA-modellen en cross-embodiment datasets veelbelovend zijn gebleken, kampen ze met een fundamentele schaalbaarheidsbottleneck: de afwezigheid van mechanismen om de overvloedige ongestructureerde gedragsdata van de wereld om te zetten in gegronde robot-supervisie.

Fysieke interactiedata (menselijke beweging, internetvideo's, industriële workflows, simulatie-rollouts) bevatten rijke informatie over taken, doelen, contacten en fouten. Deze data missen echter de specifieke structuur die vereist is voor robotleren: embodiment-specifieke actielabels, krachtsignalen, taaksemantiek en beloningsstructuren. In tegenstelling tot tekst en afbeeldingen, die van nature gedigitaliseerd en dicht gesuperviseerd zijn, is fysieke ervaring "rommelig" en niet direct uitvoerbaar door robot-policies. De centrale uitdaging is niet louter hoe men policies kan schalen, maar hoe men brede, zwak gelabelde fysieke ervaring transformeert naar robot-bruikbare supervisie (acties, contacten, objecttoestanden, doelen en beloningen).

Methodologie en Voorgesteld Raamwerk

In plaats van een enkel nieuw algoritme of dataset voor te stellen, onderzoekt het artikel het huidige landschap van robotleren om hiaten te identificeren en stelt het een grounding-gecentreerde pipeline voor als de noodzakelijke volgende stap. De auteurs organiseren het veld niet op basis van modelarchitectuur, maar op basis van de supervisie-bottleneck die elk benadering blootlegt. Ze argumenteren dat de toekomstige robotica-stack vier ontbrekende componenten vereist om de kloof tussen ruwe fysieke ervaring en inzetbare intelligentie te overbruggen:

1. Fysieke Data-engines en Embodied Autolabelling

Huidig robotleren vertrouwt op "robot-native" supervisie waarbij observaties al gekoppeld zijn aan acties. Het artikel stelt een Physical Data Engine voor die heterogene, asynchrone stromen (video, draagbare sensoren, tactiele data, robotlogs, taal) kan opnemen en automatisch gestructureerde, robot-relevante labels kan afleiden.

Mechanisme: Deze engine voert embodied autolabelling uit, waarbij latente fysieke gebeurtenissen ( $\zeta$ ) worden afgeleid uit ruwe data ( $x$ ). Het brengt asynchrone modaliteiten samen op een gemeenschappelijke tijdlijn en herstelt variabelen zoals object-centrische toestanden ( $s$ ), contactgebeurtenissen ( $c$ ), taalfasen ( $\phi$ ), latente fysieke acties ( $u$ ) en belonings-/progressiesignalen ( $r$ ).
Doel: Om ruwe, ongestructureerde episodes (bijv. een mens met een sensorpak) om te zetten in een sequentie van fysieke gebeurtenissen die kunnen worden teruggetarget, gesimuleerd of gebruikt voor policy-training, waardoor "fouten" en "correcties" effectief worden omgezet in gestructureerde supervisie.

2. Taakbehoudende Retargeting (Task-Preserving Retargeting)

Zodra fysieke gebeurtenissen zijn afgeleid, moeten deze worden vertaald naar uitvoerbare acties voor een specifieke robot-embodiment. Het artikel bekritiseert eenvoudige pose-matching benaderingen, die geen rekening houden met de kinematische en dynamische verschillen tussen mensen en robots.

Mechanisme: De auteurs stellen task-preserving retargeting voor, wat latente fysieke acties of menselijke demonstraties in kaart brengt naar uitvoerbare robotacties ( $a^{(embodied)}$ ), terwijl het de taakrelevante fysieke impact ( $\Delta g$ ) behoudt.
Doel: In plaats van het kopiëren van menselijke gewrichtstrajecten, moet het systeem ervoor zorgen dat de robot hetzelfde fysieke resultaat bereikt (bijv. ladeverplaatsing, objectuitlijning, contact tot stand brengen), ongeacht de specifieke morfologie die wordt gebruikt.

3. Physics-Grounded Wereldmodellen

Huidige wereldmodellen richten zich vaak op visuele plausibiliteit (het genereren van realistische toekomstige frames). Het artikel betoogt dat robot-wereldmodellen physics-grounded moeten zijn om acteerbare consequenties te voorspellen.

Mechanisme: Deze modellen moeten gestructureerde fysieke variabelen voorspellen (geometrie, contact, krachten, beperkingen, materiaaleigenschappen) in plaats van alleen pixels. Ze moeten vragen beantwoorden als "wat zou er gebeuren als..." met betrekking tot objecttoestanden, stabiliteit en taakprogressie.
Doel: Om contrafactische ervaring te bieden. Een robot moet kunnen redeneren over de vraag of een actie zal leiden tot slippen, vastlopen of een succesvolle invoeging. Het model moet gekalibreerd zijn om onzekerheid in te schatten en de fysieke variabelen te behouden die succes of falen bepalen.

4. Zelfverbeterende Deployment Loops

De laatste component is een closed-loop systeem waarbij inzet in de echte wereld nieuwe data genereert voor continue verbetering.

Mechanisme: Dit omvat task-conditioned reward grounding. In plaats van inzetresultaten te behandelen als eenvoudige pass/fail records, moet het systeem de uitkomsten interpreteren relatief aan het specifieke doel (bijv. het onderscheid maken tussen een mislukte greep en een succesvolle greep op basis van contact en objecttoestand).
Doel: Om een cumulerend systeem te creëren waarbij fouten, menselijke correcties en succesvolle rollouts worden teruggevoerd naar de Physical Data Engine om de policy, het beloningsmodel, het wereldmodel en de retargeting-mechanismen bij te werken. Dit transformeert geïsoleerde engineering-inspanningen in een systeem dat leert van de fysieke wereld zelf.

Belangrijkste Bijdragen

Herformulering van de Bottleneck: Het artikel identificeert de centrale bottleneck in algemene robotica niet als een gebrek aan policy-capaciteit of datavolume, maar als het gebrek aan grounding-mechanismen om ongestructureerde fysieke ervaring om te zetten in robot-bruikbare supervisie.
Taxonomie van Supervisie: Het biedt een gestructureerde analyse van huidige benaderingen (robot-native datasets, zwak gegronde video-learning, simulatie en wereldmodellen), waarbij wordt benadrukt dat hoewel elk een gedeeltelijke oplossing biedt, geen van beide het grounding-probleem volledig oplost.
De Vier-Pijler Architectuur: Het artikel stelt een specifieke architecturale stack voor bestaande uit:
- Physical Data Engines (voor autolabelling).
- Task-Preserving Retargeting (voor embodiment transfer).
- Physics-Grounded World Models (voor consequentievoorspelling).
- Self-Improving Deployment Loops (voor reward grounding en continu leren).
Verschuiving van Feed-Forward naar Closed-Loop: Het betoogt dat de volgende generatie robotica moet bewegen van feed-forward pipelines (data verzamelen $\to$ policy trainen) naar closed-loop systemen waarbij deployment-traces de onderliggende modellen continu verfijnen.

Resultaten en Bewijs

Als position paper presenteert dit werk geen nieuwe experimentele resultaten of een enkel verenigd systeem. In plaats daarvan zijn de "resultaten" afgeleid van een omvattende survey van de recente literatuur:

Robot-Native Schaling: Het citeert vooruitgang in datasets zoals Open X-Embodiment, DROID en RH20T, en modellen zoals RT-2, Octo en $\pi^0$ , waarbij wordt opgemerkt dat hoewel deze schaalvoordelen laten zien, ze nog steeds afhankelijk zijn van vooraf gegronde, robot-native data.
Zwakke Supervisie: Het beoordeelt werken over leren van video (R3M, VIP, LAPA, UniVLA) en reward-inferentie (PROGRESSOR, ReWiND), en toont aan dat hoewel deze methoden representaties of latente acties extraheren, ze nog steeds worstelen met het correspondentieprobleem en een gebrek hebben aan directe robot-actielabels.
Simulatie en Wereldmodellen: Het onderzoekt simulatieomgevingen (RLBench, ManiSkill) en geleerde wereldmodellen (Dreamer, Genie, 3D-Gaussian Splatting benaderingen), en voert aan dat hoewel zij ervaring genereren, ze vaak de fysieke getrouwheid (contact, kracht, stabiliteit) missen die vereist is voor betrouwbare controle.
Synthese: Het artikel synthetiseert deze bevindingen om aan te tonen dat geen enkele bestaande benadering de volledige grounding-pipeline oplost, wat de noodzaak voor de voorgestelde vier-componenten architectuur rechtvaardigt.

Betekenis en Claims

Het artikel beweert dat het veld een "foundation-model moment" betreedt, maar het "internet"-equivalent voor robotica mist—het vermogen om de enorme, ongestructureerde fysieke data van de wereld te benutten.

Voorbij VLA's: De auteurs stellen dat VLA's noodzakelijk maar onvoldoende zijn. Ze moeten worden beschouwd als één laag in een grotere stack van fysieke intelligentie die afhankelijk is van upstream grounding (data, embodiment, dynamiek) en downstream feedback (beloningen, deployment).
De Grounding Agenda: De betekenis van het artikel ligt in de verschuiving van de onderzoeksagenda van "welke modelarchitectuur te trainen" naar "welke mechanismen nodig zijn om de fysieke ervaring van de wereld leerbaar te maken."
Toekomstige Richting: Het artikel stelt dat het volgende foundation model voor robotica niet een monolithische VLA zal zijn, maar een cumulerend systeem dat autolabelling, retargeting, physics-grounded voorspelling en deployment-feedback integreert. Deze aanpak beoogt de robotica te transformeren van een afhankelijkheid van gecureerde, robot-native datasets naar het direct leren van de bredere, rommelige fysieke wereld.