💻 computer science

EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data

EgoWAM으로 démontrer dat het trainen van robotbeleid met World Action Models met behulp van egocentrische menselijke data uit de vrije natuur aanzienlijk beter presteert dan traditionele behavior cloning door gebruik te maken van abstracte wereldrepresentaties zoals DINO-kenmerken en 3D-bewegingsstroom om overdraagbare fysieke effecten beter te scheiden van niet-overdraagbare mensspecifieke factoren.

Oorspronkelijke auteurs: Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een onhandige robot wilt leren hoe hij huishoudelijke taken moet uitvoeren, zoals het vouwen van een overhemd of het dragen van een kopje. Je hebt een berg videodata waarop mensen deze taken perfect uitvoeren. Het lijkt een gouden kans: gewoon de mens kopiëren, toch?

Niet zo snel. Het artikel EGOWAM betoogt dat als je een robot probeert te leren door simpelweg menselijke bewegingen te kopiëren (een methode genaamd "Behavior Cloning"), je het eigenlijk erger kunt maken.

Hier is het probleem: Mensen en robots zijn anders gebouwd. Een mens heeft een flexibele ruggengraat, twee armen die wild zwaaien, en een hoofd dat op en neer beweegt. Een robot is stijf, heeft een vaste camera op zijn hoofd en beweegt met mechanische precisie. Als je een robot dwingt om de exacte armzwaai van een mens na te bootsen, zal de robot proberen zijn lichaam te draaien op manieren die hij fysiek niet kan. Het is alsof je een pinguïn probeert te leren vliegen door video's van adelaars te laten zien; de pinguïn zal alleen maar met zijn vleugels klapperen en omvallen.

De auteurs ontdekten dat deze "bewegingskopieer"-aanpak vaak faalt omdat de robot in de war wordt door al het mensspecifieke gedoe (zoals het op en neer bewegen van het hoofd en de lichaamsstijl) dat er niet toe doet voor de taak zelf.

De Magische Schakelaar: De Toekomst Voorspellen, Niet Alleen de Beweging

In plaats van alleen tegen de robot te zeggen: "beweeg mijn arm hierheen," probeerden de onderzoekers een andere truc. Ze leerden de robot een World Action Model.

Denk hierover als volgt:

De Oude Manier (Behavior Cloning): Je zegt tegen de robot: "Kopieer mijn handbeweging exact." De robot raakt in de war omdat jouw hand anders beweegt dan zijn grijper.
De Nieuwe Manier (EGOWAM): Je zegt tegen de robot: "Kijk wat er met het kopje gebeurt als ik mijn hand beweeg."

De robot leert te voorspellen hoe de wereld verandert (het kopje beweegt, het overhemd wordt gevouwen) in plaats van alleen de lichaamstaal van de mens te kopiëren. Dit is alsof je een student leert om de natuurkunde van een bal die een heuvel afrolt te begrijpen, in plaats van alleen de exacte spierbewegingen te memoriseren van de persoon die de bal trapte. Omdat de natuurkunde van een rollend kopje hetzelfde is, of een mens het nu beweegt of een robot, kan de robot leren van menselijke video's zonder in de war te raken door de menselijke lichaamsvorm.

De "Wereld" Doet Er Toe: Wat Moet de Robot Voorspellen?

De onderzoekers testten drie verschillende manieren waarop de robot de toekomstige wereld kon "zien". Ze behandelden het brein van de robot als een student die een toets maakt, waarbij de "toetsvraag" is wat de robot vervolgens moet voorspellen.

De "Pixel" Test (Reconstructie): De robot probeert het exacte volgende plaatje te voorspellen, pixel voor pixel.
- Het resultaat: Dit was een mislukking. De robot bleef hangen in het proberen te onthouden van de exacte kleur van het overhemd of de verlichting in de kamer. Hij kon het verschil niet zien tussen "het kopje beweegt" en "de camera schudt." Het is alsof je probeert te leren autorijden door elk korreltje zand op de weg te memoriseren; je mist het grote plaatje.
De "DINO" Test (Semantiek): De robot voorspelt de betekenis van de scène. Hij leert te herkennen "dat is een kopje" of "dat is een tas" zonder zich zorgen te maken over de exacte tint blauw of de verlichting.
- Het resultaat: Dit was een enorme overwinning voor het zien van nieuwe dingen. Wanneer de robot geconfronteerd werd met een kopje dat hij nog nooit had gezien, of een kamer met een andere achtergrond, presteerde hij 4 keer beter dan de oude methode. Hij leerde het idee van het object, niet alleen de foto ervan.
De "3D Flow" Test (Beweging): De robot voorspelt exact hoe dingen in de 3D-ruimte bewegen, waarbij hij de camerabewegingen negeert. Hij filtert de bewegingen van het menselijk hoofd eruit en focust alleen op het bewegende object.
- Het resultaat: Dit was de kampioen voor precisie. Wanneer de robot een kopje op een specifieke plek moest plaatsen in een vertrouwde kamer, verbeterde de succesratio met 20–30%. Hij leerde de exacte geometrie van de beweging.

De Belangrijkste Conclusie

Het artikel laat zien dat je niet zomaar menselijke video's in een robot kunt dumpen en verwachten dat het werkt. Je moet slim zijn over wat de robot uit die video's leert.

Wat ze hebben uitgesloten: Simpelweg menselijke bewegingen kopiëren (Behavior Cloning) of proberen exacte pixelafbeeldingen te voorspellen (Pixel VAE) zijn zwakke methoden. Ze zorgen er vaak voor dat de robot slechter presteert dan wanneer hij alleen van robotdata zou hebben geleerd.
Wat ze hebben gevonden: Door een "World Action Model" te gebruiken dat zich richt op betekenis (DINO) of 3D-beweging (3D Flow), kan de robot succesvol leren van enorme hoeveelheden rommelige, echte menselijke data.

De auteurs zijn zeer zeker van deze cijfers op basis van echte tests met een tweearmige robot die taken uitvoerde zoals een kopje op een schotel zetten, kleding vouwen en een boodschappentas vullen. Ze vonden dat de "3D Flow"-methode het beste was in het voltooien van taken in vertrouwde omgevingen, terwijl de "DINO"-methode het beste was in het omgaan met totaal nieuwe objecten en kamers.

Kortom: Leer de robot niet om te dansen als een mens; leer hem te begrijmen hoe de wereld beweegt, en laat de robot zelf zijn danspasjes bedenken.

Technische Samenvatting: EGOWAM: Wereld-Actie Modellen voorbij Pixels met In-the-Wild Egocentrische Menselijke Data

Probleemstelling

Egocentrische menselijke data biedt een schaalbare bron van supervisie voor robotmanipulatie, met een diversiteit aan objecten, scènes en gedragingen die te kostbaar is om op robots te verzamelen. Echter, standaard Behavior Cloning (BC) co-training heeft moeite om deze data effectief te benutten. BC verstrengelt overdraagbare inhoud (objecten, scènes, taaksemantiek) met niet-overdraagbare factoren die specifiek zijn voor de menselijke belichaming (morfologie, hoofdbeweging, gedragsstijl). Wanneer menselijke actielabels worden geherinterpreteerd voor een robot, dwingt de gedeelde actie-decoder de policy vaak tot onuitvoerbare menselijke bewegingen, wat de downstream prestaties verslechtert. Deze "embodiment gap" blokkeert de overdracht van taakrelevante dynamiek wanneer actieniveau-supervisie de enige kanaal is.

Het artikel stelt dat World Action Models (WAMs) een oplossing bieden door een tweede supervisiekanaal te introduceren: het voorspellen hoe de scène evolueert. De centrale onderzoeksvraag is: Welke wereldrepresentatie maakt de beste mens-naar-robot transfer mogelijk onder WAM co-training? De auteurs hypothetiseren dat een effectieve wereldtarget de verschijning moet abstraheren, agent-invariante fysieke effecten moet vastleggen en camerabeweging van omgevingsverandering moet scheiden.

Methodologie: EGOWAM Framework

De auteurs introduceren EGOWAM, een gecontroleerd mens-robot co-training framework ontworpen om het effect van de wereldrepresentatie te isoleren terwijl de policy-backbone, de actie-head en de datamix constant blijven.

1. Architectuur

EGOWAM is gebouwd op een Heterogeneous Pretrained Transformer (HPT) backbone.

Gedeelde Trunk: Een enkele transformer trunk verwerkt tokens van zowel menselijke als robotdata.
Dual Heads:
- Action Head: Een flow-matching decoder die actie-chunks voorspelt. Dit is het enige kanaal dat tijdens inferentie wordt gebruikt.
- World-Model Head: Een vervangbare head die een toekomstige staat $s_{t+T}$ voorspelt gegeven de huidige latente $z_t$ . Deze head wordt gezamenlijk getraind met de actie-head maar wordt bij inferentie weggegooid.
Trainingsdoelstelling: Het model wordt end-to-end getraind met een gezamenlijke loss:
$L_{EGOWAM} = L_{action} + \lambda L_{world}$
waarbij $L_{action}$ de cross-embodiment behavior cloning loss is, en $L_{world}$ de wereldvoorspellingsloss is. Dit stelt de menselijke data in staat om de gedeelde trunk-representatie vorm te geven door middel van toekomstige scène-voorspelling, zelfs wanneer de actielabels niet getrouw overdragen.

2. Gecontroleerde Variabelen en Wereldrepresentaties

Om de optimale wereldrepresentatie te bepalen, vergelijkt EGOWAM drie specifieke targets tegen drie desiderata: (D1) Verschijningsabstractie, (D2) Cross-Embodiment Consistentie, en (D3) Ego-Motion Factoring.

Pixel VAE (Reconstructie Baseline): Voorspelt toekomstige ego-frames in de latente ruimte van een vooraf getrainde video VAE.
- Analyse: Schendt alle drie de desiderata. Het verstrengelt beweging met verschijning en faalt in het uitfilteren van ego-beweging, wat leidt tot zwakke transfer.
DINO Features (Semantische Abstractie): Voorspelt DINO patch-features van het toekomstige frame.
- Analyse: Voldoet aan D1 (abstractie) en deels aan D2 (consistentie) door een semantische prior te gebruiken. Het blijft echter ruimtelijk geïndexeerd op het beeldraster, waardoor ego-beweging factoring (D3) slechts gedeeltelijk is.
3D Flow (Ruimtelijke Abstractie): Voorspelt een dichte 3D-bewegingsveld in een camera-gestabiliseerd frame.
- Analyse: Voldoet aan alle drie de desiderata door constructie. Door VIO camera-poses te gebruiken om de flow te stabiliseren, filtert het hoofdbeweging uit (D3), abstraheert het verschijning (D1) en representeert het fysieke verplaatsing consistent over verschillende belichamingen (D2).

3. Data en Alignment

Robot Data: Bimanuele teleoperated data (ARX5 armen) met hoofd- en polscamera's.
Menselijke Data: In-the-wild egocentrische data verzameld via Project Aria brillen.
Actie Alignment: Acties worden verenigd in een 14-D end-effector ruimte. Om mismatches in snelheid en werkruimte te beperken, gebruiken de auteurs embodiment-specifieke tijdvensters en kwantielnormalisatie. Cruciaal is dat menselijke acties worden geheruitgedrukt in het instantane device-frame om hoofdego-beweging uit te filteren voordat ze worden getarget.

Belangrijkste Bijdragen

Een Gecontroleerd Framework voor WAM Studie: EGOWAM biedt een enkele backbone met een vervangbare world-model head, wat "apples-to-apples" vergelijkingen van wereldrepresentaties mogelijk maakt onder identieke actie-supervisie en datamixen.
Bewijs van Schaling via Dynamiek: De studie demonstreert dat WAM co-training schaalt en consistenter overdraagt van grootschalige natuurlijke egocentrische menselijke data dan BC co-training. Het bevestigt dat toekomstige dynamiek-supervisie de ontbrekende schakel is waar actie-alleen supervisie verzadigt.
Wereldrepresentatie als Kritieke As: Het artikel identificeert dat de keuze van de wereldrepresentatie van groot belang is. Terwijl pixel-gebaseerde voorspelling zwak overdraagt, leveren DINO features en 3D flow aanzienlijke winst op, met complementaire sterktes.

Experimentele Resultaten

Het framework werd geëvalueerd op drie real-world bimanuele taken: Cup on Saucer (rigide object), Fold Clothes (deformeerbaar object) en Bag Grocery (long-horizon sequencing).

WAM vs. BC: WAM co-training presteert consequent beter dan BC. In veel gevallen zorgt het toevoegen van menselijke data aan BC zelfs voor een verslechtering (negative transfer), terwijl WAM dezelfde data omzet in betrouwbare winst.
Representatie Prestaties:
- DINO Features: Bereikte de sterkste Out-of-Distribution (OOD) generalisatie, waarbij de prestaties op onbekende objecten en scènes met wel 4× verbeterde ten opzien van de baselines.
- 3D Flow: Bereikte de sterkste In-Domain (ID) ruimtelijke generalisatie, met een verbetering van de succesratio's met 20–30%. Het excelleerde in precisie-ruimtelijke taken (bijv. het plaatsen van een kopje) waar geometrische gronding cruciaal is.
- Pixel VAE: Presteerde slecht en faalde vaak door hallucinatie en geometrische verwarring (bijv. het niet kunnen grijpen van onbekende objecten of het voltooien van vouwbewegingen).
Robuustheid tegen Misalignment: Wanneer getest met bewust niet-uitgelijnde menselijke data (waar menselijke acties onuitvoerbaar zijn voor de robot), stortte BC in onder de robot-only baseline. In contrast hiermee bleef de 3D-flow WAM robuust, wat bewijst dat dynamiek-supervisie kan overdragen zelfs wanneer actielabels dat niet kunnen.
Simulatie Validatie: De resultaten werden gereproduceerd in de RoboTwin 2.0 simulatieomgeving over meerdere robotbelichamingen, wat bevestigt dat de world-model head de cross-embodiment transfer aanstuurt in plaats van enkel de actieruimte.

Betekenis en Claims

Het artikel positioneert EGOWAM niet als een definitieve eindoplossing, maar als een "vertrekpunt" voor het schalen van robotmanipulatie naar open-world generalisatie.

Het "Flywheel" Effect: De auteurs beweren dat door supervisie te ontkoppelen in "hoe de wereld evolueert" en "hoe elke belichaming handelt", WAMs een meer deelbare representatie induceren. Dit positioneert menselijke data als een "flywheel" voor schaalbare robotlering, waardoor robots taakrelevante dynamiek kunnen leren van enorme hoeveelheden in-the-wild data zonder dat perfecte actie-alignment nodig is.
Ontwerp-as: De studie stelt vast dat het abstraheren van verschijning, het waarborgen van cross-embodiment consistentie en het uitfilteren van ego-beweging de kritieke ontwerp-assen zijn voor toekomstige wereldmodellen.
Beperkingen: De auteurs merken bescheiden op dat hoewel EGOWAM de context-niveau transfer verbetert, het nog niet in staat is om nieuwe bewegingsprimitieven (skills) te leren van menselijke data. Bovendien blijft zeer fijnmazige manipulatie (sub-centimeter precisie) een bottleneck, zelfs voor de best presterende WAMs.

Samenvattend betogen de auteurs dat World Action Models de noodzakelijke interface zijn om het potentieel van in-the-wild menselijke data voor robotica te ontsluiten, mits de wereldrepresentatie zorgvuldig wordt gekozen om de belichaming-specifieke ruis te abstraheren.