🤖 AI

EWAM: An Enhanced World Action Model for Closed-Loop Online Adaptation in Embodied Intelligence

Dit artikel introduceert EWAM, een closed-loop online adaptatie-framework dat een bevroren Cosmos3-backbone verbetert voor zero-shot embodied intelligence door het integreren van vier differentiabele neurale lagen voor ervaringgeheugen, anomaliedetectie, beleidsrouting en actiecorrectie, waardoor robuuste adaptatie aan nieuwe taaklay-outs mogelijk wordt zonder aanvullende demonstraties of fijnafstemming.

Oorspronkelijke auteurs: Xin Zhou, Cong Miao

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xin Zhou, Cong Miao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotchef genaamd Cosmos hebt. Cosmos heeft miljoenen kookboeken gelezen en ontelbare kookvideo's bekeken. Het weet precies hoe je moet snijden, roeren en opmaken. Echter, wanneer je Cosmos in een echte keuken plaatst met een iets andere indeling of een gladde banaan, struikelt het soms over de eigen voeten, grijpt het naar de lucht terwijl het denkt een banaan vast te houden, of botst het tegen het aanrecht.

Het probleem is dat Cosmos als een student is die het tekstboek uit het hoofd heeft geleerd, maar nog nooit echt in een rommelige keuken heeft gekookt. Het weet niet hoe het moet reageren wanneer er in realtime dingen misgaan.

EWAM (Enhanced World Action Model) is als het geven van een slimme, ervaren sous-chef aan Cosmos, die direct naast het staat, elke beweging observeert en correcties fluistert.

Zo werkt dit "sous-chef"-systeem, onderverdeeld in eenvoudige onderdelen:

1. Het Bevroren Brein (De Backbone)

De paper houdt het oorspronkelijke brein van Cosmos bevroren. Ze proberen niet om Cosmos alles vanaf nul opnieuw te leren, omdat dat te lang duurt en ervoor kan zorgen dat het vergeet wat het al weet. In plaats daarvan laten ze het hoofdbrein ongemoeid en voegen ze vier nieuwe "gereedschappen" eromheen toe.

2. De Vier Nieuwe Gereedschappen (De Vier Lagen)

Beschouw deze vier gereedschappen als een team van specialisten die de robot helpen:

Het Geheugenboek (Neural Experience Memory Layer):
- Wat het doet: Wanneer de robot voor een nieuwe taak staat (zoals een banaan in een kom leggen), begint het niet vanaf nul. Het bladert snel door een "Geheugenboek" om vergelijkbare situaties te vinden die het eerder heeft gezien.
- Analogie: Het is als een chef die zegt: "Oh, ik heb deze gladde banaan eerder gezien! De vorige keer moest ik hem voorzichtig vasthouden." Het gebruikt eerdere ervaringen om de huidige beweging te sturen.
De Wachtpost (Neural Anomaly Detection Layer):
- Wat het doet: Deze laag controleert constant: "Komt wat ik zie overeen met wat ik voorspelde?" Als de robot denkt een banaan vast te houden, maar de sensoren zeggen dat er geen gewicht is, of als het bijna tegen een muur aan botst, schreeuwt de Wachtpost: "STOP!"
- Analogie: Het is als een veiligheidsinspecteur die een wankele ladder ziet voordat je erop klimt. Het vangt "hallucinaties" op (denken dat je iets vasthoudt terwijl dat niet zo is) en botsingen voordat ze gebeuren.
De Verkeersregelaar (Neural Policy Routing Layer):
- Wat het doet: Op basis van wat de Wachtpost ziet, beslist de Verkeersregelaar wat de volgende stap is.
  - Groen licht: Alles ziet er goed uit? Ga je gang!
  - Geel licht: Er klopt iets niet? Vertraag en bereken het pad zorgvuldig opnieuw.
  - Rood licht: Er gaat een ramp gebeuren? Druk op de "Ongedaan maken"-knop en ga terug naar de laatste veilige plek.
- Analogie: Het is de beslisser die kiest tussen rechtdoor rijden, een omweg nemen of achteruitrijden naar een veilige parkeerplaats.
De Reparatiekit (Neural Action Correction Layer):
- Wat het doet: Als de robot een fout dreigt te maken, past deze laag de bewegingen van de hand van de robot aan vlak voordat het gebeurt. Het maakt de beweging vloeiender zodat de robot niet zacht fruit fijnrukt of de kom mist.
- Analogie: Het is als een dansinstructeur die je arm voorzichtig begeleidt zodat je niet over je eigen voeten struikelt tijdens een draai.

3. De "Kwaliteitspoort" (Filtering)

Het systeem is erg kieskeurig. Als de robot iets probeert en faalt (zoals het laten vallen van de banaan), bewaart het systeem die fout niet in het Geheugenboek. Het slaat alleen de succesvolle en veilige pogingen op.

Waarom? Stel je voor dat je leerde autorijden door alleen video's te kijken van mensen die crashen. Je zou de verkeerde manier leren! EWAM leert alleen van de "goede" ritten, waardoor de robot slimmer wordt zonder in de war te raken door zijn eigen fouten.

4. De Resultaten: Sneller en Veiliger

De paper testte dit in een simulatie genaamd "RoboLab" met taken zoals het in een kom leggen van bananen of het stapelen van blokken.

Snelheid: De robot met EWAM voltooide de banaan-taak in 9 seconden, terwijl de robot zonder EWAM er 25 seconden over deed.
Fouten: De robot zonder EWAM botste 13,5 keer per poging tegen dingen aan of miste de banaan. De EWAM-robot maakte slechts 2,2 fouten.
Succespercentage: Beide robots slaagden uiteindelijk 100% van de tijd, maar EWAM deed dit sneller en met veel minder crashes.

De Kernboodschap

EWAM gaat niet over het leren van een nieuwe taal aan de robot; het gaat over het geven van een vangnet en een geheugen, zodat het direct kan aanpassen aan een rommelige, echte omgeving. Het neemt een krachtige, vooraf getrainde robot en voegt een laag "gezond verstand" toe die helpt om crashes te voorkomen, uitschuiven te herstellen en de taak efficiënt te voltooien.

Belangrijke opmerking: De paper vermeldt dat deze resultaten uit een computersimulatie (RoboLab) komen. Ze hebben dit nog niet getest op een echte fysieke robot in een echte keuken, dus we weten nog niet of het buiten de computer werkt.

Technisch overzicht: EWAM – Een verbeterd World Action Model voor Closed-Loop Online Adaptatie

1. Probleemstelling

De inzet van robots in open omgevingen wordt momenteel gehinderd door de hoge kosten van het verzamelen van demonstraties die diverse objectposities, scène-indelingen en executie-contingenties dekken. Hoewel World Action Models (WAMs) succesvol toekomstige staatvoorspelling koppelen aan actiegeneratie, blijven statische offline pipelines kwetsbaar voor mismatches op executieniveau. Deze mismatches omvatten fysieke botsingen, lege grijpbewegingen en perceptie-geïnduceerde hallucinaties waarbij visuele voorspellingen met een hoge mate van vertrouwen niet overeenkomen met de fysieke realiteit. Bovendien worstelen statische WAMs na implementatie met het efficiënt omzetten van succesvolle lokale ervaringen naar toekomstige voordelen zonder het risico op beleidsdegradatie door ongefilterd online leren.

De kernuitdaging die wordt aangepakt, is hoe de executiekwaliteit en adaptiviteit in contactrijke robotische taken kan worden verbeteren onder een zero-shot protocol (geen nieuwe demonstratiedata verzameld voor de doeltaak), terwijl de algemene capaciteiten van een vooraf getraind foundation model behouden blijven.

2. Methodologie: De EWAM-architectuur

De voorgestelde Enhanced World Action Model (EWAM) is een closed-loop online adaptatie-architectuur gebouwd op een bevroren Cosmos3-Nano-Policy-DROID backbone. In plaats van het volledige foundation model opnieuw te trainen, voegt EWAM vier trainbare neurale lagen toe aan het inferentiepad om geheugenextractie, anomaliedetectie, strategie-routing en actiecorrectie mogelijk te maken.

2.1 Kerncomponenten

De architectuur wijzigt de standaard forward pass van de Cosmos3-Nano-Policy-DROID backbone (bestaande uit een Vision-Language Encoder, Autoregressive Reasoner en Diffusion Transformer) met de volgende ingevoegde lagen:

Neural Experience Memory Layer: Ingevoegd op een intermediaire laag ( $l_{mem}=6$ ) van de Diffusion Transformer (DiT). Het haalt taakrelevante executiecontexten op uit een geheugendatabase ( $M$ ) en injecteert deze in de DiT hidden representaties. Dit conditioneert het diffusieproces op zowel de huidige context als historische ervaring zonder de gewichten van de backbone aan te passen.
Neural Anomaly Detection Layer: Geplaatst na de state prediction head, monitort deze laag de divergentie tussen de voorspelde en gerealiseerde staten. Het berekent een anomalievector ( $\iota_t$ $ι_{t}$ ) met scores voor:
- Mismatch tussen voorspelling en realisatie (residuen).
- Botsingsrisico.
- Kans op een lege grijpbeweging.
- Perceptie-hallucinatie.
- Krachtovertredingen.
Neural Policy Routing Layer: Op basis van de anomalievector en de geheugencontext selecteert deze laag een executiestrategie:
- Direct Execution: Doorgaan als de anomalieën onder een drempelwaarde liggen.
- Conservative Replanning: Actiecorrectie triggeren als milde anomalieën worden gedetecteerd.
- Rollback Recovery: Terugkeren naar een stabiele staat vanuit het geheugen als ernstige anomalieën optreden.
Neural Action Correction Layer: Verfijnt de ruwe actie-output ( $a^0_{t:t+H}$ ) op basis van de routingbeslissing en anomaliesignalen. Het voert denoising-time correctie uit om veilige en efficiënte executie te garanderen, of haalt een conservatieve actie uit het geheugen tijdens een rollback.

2.2 Closed-Loop Online Learning

EWAM werkt als een closed-loop cyclus waarbij de executie-uitkomsten worden geëvalueerd door een Quality Gate.

Experience Filtering: Alleen trajecten die voldoen aan strikte veiligheids- en efficiëntiecriteria (bijv. lage grijperkracht, korte padlengte, hoge taakscore) worden toegelaten tot de experience memory ( $M$ ). Kwalitatief minderwaardige samples worden gelogd voor diagnostiek maar uitgesloten van geheugenupdates om "catastrophic forgetting" of de accumulatie van foutieve gedragingen te voorkomen.
Adaptatie Strategie: Het systeem hanteert een "memory-first, adapter-second" benadering. Onmiddellijke adaptatie vertrouwt op geheugenextractie. Parameterupdates worden slechts incidenteel toegepast op de lichtgewicht ingevoegde lagen en adapters, waarbij de vooraf getrainde Cosmos3-Nano-Policy-DROID backbone bevroren blijft.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Architectuur: De formulering van EWAM als een Cosmos3-Nano-Policy-DROID-gebaseerde architectuur met vier ingevoegde neurale lagen (Memory, Anomaly, Routing, Correction) die een closed-loop inferentiepad vormen met trainbare differentiabele modules en gesuperviseerde discrete routing.
Veiligheidsmechanisme: De introductie van een branch-aware experience filtering en rollback-ontwerp dat onveilige of laagwaardige trajecten voorkomt om de geheugendatabase en online updates te contamineren.
Empirische Validatie: Simulatie-resultaten op RoboLab zero-shot manipulatietaken die een verbeterde executiekwaliteit (efficiëntie en foutreductie) aantonen terwijl de bevroren backbone behouden blijft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in de RoboLab simulatieomgeving op drie zero-shot manipulatietaken: BananaInBowlTask, BananasInBinOneMoreTask, en BlockStackingOrderAgnosticTask.

4.1 Prestaties op BananaInBowlTask

In de primaire lokale test bereikte EWAM een succespercentage van 100%, wat overeenkomt met de baseline Cosmos3-Nano-Policy-DROID. Het presteerde echter aanzienlijk beter dan de baseline op het gebied van efficiëntie en robuustheid:

Taakvoltooiingstijd: Verminderd van 25,60s naar 9,27s (63,8% reductie).
Padlengte: Verminderd van 1,81m naar 0,83m (54,1% reductie).
Executiefouten: Verminderd van 13,5 naar 2,2 per episode (83,7% reductie).
- Botsingen verminderd met 90,6%.
- Lege grijpbewegingen verminderd met 92,9%.

4.2 Multi-Task Generalisatie

Op de complexere BlockStackingOrderAgnosticTask verbeterde EWAM het succespercentage van 87,2% (baseline) naar 94,4%, terwijl het ook de taakduur met 32,4% verkortte en de padlengte aanzienlijk verminderde.

4.3 Ablatie-studies

Ablatie-studies bevestigden de noodzaak van elke component:

Self-Learning: Het verwijderen van online ervaring-accumulatie veroorzaakte de grootste prestatieverslechtering (taakduur steeg van 9,27s naar 46,53s).
Memory vs. Updates: Een "Memory-only" variant (extractie zonder parameterupdates) presteerde 13,6% beter dan een "Update-only" variant (parameterupdates zonder extractie), wat de "memory-first" strategie valideert.
Error Correction: Het verwijderen van deze laag verhoogde de taakduur met 96,1%, wat de rol ervan bij het afhandelen van botsingen en lege grijpbewegingen benadrukt.

4.4 Computationele Overhead

De vier neurale lagen introduceerden een extra latentie van 10,2ms (+15,4%) en 130MB GPU-geheugen (+7,7%). De totale inferentietijd was 76,4ms, wat volgens de auteurs boven een strikt 20Hz servo-budget ligt, wat suggereert dat de huidige implementatie het best geschikt is voor chunk-level replanning of asynchrone inferentie.

5. Betekenis en Beperkingen

Betekenis:
Het artikel stelt dat EWAM een praktische architectuur biedt voor het verbeteren van taakgeneralisatie en het verminderen van de druk om nieuwe deployment-data te verzamelen. Door ervaringgeheugen, real-time foutcorrectie en rollback-recovery te fuseren in een bevroren WAM-inferentiepad, verbetert de methode de executie-efficiëntie en veiligheid, zelfs wanneer de succespercentages al verzadigd zijn. Het demonstreert dat closed-loop fusie substantiële winst kan opleveren in executiekwaliteit zonder de algemene capaciteiten van het vooraf getrainde foundation model in gevaar te brengen.

Beperkingen (zoals vermeld door de auteurs):

Alleen Simulatie: Alle resultaten komen uit de RoboLab-simulatie; sim-to-real transfer is nog niet vastgesteld.
Taakomvang: De evaluatie is beperkt tot een kleine set container-manipulatie en stapel-taken. Complexe long-horizon taken, dynamische interferentie en onbeperkte open-world executie blijven ongetest.
Architectuur-specifiek: De modules zijn specifiek ontworpen voor de Cosmos3-Nano-Policy-DROID backbone.
Rollback Implementatie: Rollback-recovery is gevalideerd via simulator-checkpoints; real-robot impedantie-herstelprimitieven zijn nog niet gevalideerd.
Data-restricties: De experience filtering-drempels zijn scenario-specifiek voor de RoboLab-configuratie en zijn mogelijk niet universeel.

De auteurs concluderen dat hoewel EWAM verheldert hoe online ervaring moet worden toegelaten voor adaptatie, het nog steeds afhankelijk is van offline initiële training en nog niet de uitdagingen van onbeperkte open-world robotische executie heeft opgelost.