Technische Samenvatting: OA-WAM: Object-Addressable World Action Model voor Robuuste Robotmanipulatie

1. Probleemstelling

Bestaande Vision-Language-Action (VLA) en World Action Models (WAMs) hebben hoge succespercentages behaald op standaard manipulatie-benchmarks door backbones en data te schalen. Deze modellen falen echter vaak onder bescheiden scène-perturbaties (bijv. veranderingen in objectindeling, camerazichtpunt, belichting of de initiële staat van de robot). De auteurs diagnosticeren deze kwetsbaarheid als een gebrek aan objectaddressering.

In holistische WAMs wordt de voorspelde wereldstaat weergegeven als volledige frame-afbeeldingen, video-tokenstromen of globale latente variabelen. Hoewel deze representaties de evolutie van de scène vastleggen, verweven ze de identiteit van een doelobject met de omringende context binnen de tokenstroom. Wanneer de scènegeometrie verschuift, heeft de actie-decoder moeite om het specifieke object dat in de instructie wordt genoemd te isoleren, wat leidt tot "drift" waarbij het beleid op het verkeerde object reageert of niet generaliseert. Bestaande objectgerichte benaderingen vertrouwen vaak op dynamische slotontdekking (bijv. Slot Attention), wat gevoelig is voor occlusie en rommel, of ze coderen identiteit, uiterlijk en pose in één enkele vector, waardoor ze niet kunnen ontkoppelen "welk object er op moet worden ingewerkt" van "wat dat object op dat moment is".

2. Methodologie: OA-WAM

De auteurs stellen OA-WAM (Object-Addressable World Action Model) voor, dat wereldvoorspelling herformuleert als per-object slot-state voorspelling. De architectuur dwingt een strikte scheiding af tussen objectidentiteit en tijdvariërende inhoud op het tensor-niveau.

2.1 Object-Addressable Tokenisatie

Elk frame wordt ontleed in $N+1$ slots (1 robot-slot, $N$ object-slots). Elke slot-vector $s^t_k$ wordt samengesteld door concatenatie van:

• Identiteitsadres ($addr_k$): Een bevroren 32-dimensionale vector die één keer per episode wordt berekend uit de taallabel en de initiële DINOv3-kenmerk. Deze wordt tijdens de episode nooit bijgewerkt.
• Tijdvariërende Inhoud ($cnt^t_k$): Een 256-dimensionale vector die elke stap wordt ververst vanuit SAM 3-maskers en DINOv3-kenmerken, en de huidige staat van het object weergeeft (uiterlijk, pose).
• Auxiliaire Embeddings: Frame-index ($\pi^t$) en rollabels ($\rho_k$).

Deze slots worden geprojecteerd naar een 4096-dimensionale verborgen ruimte via een leerbare slot-adapter en gefuseerd met tekst, image-VQ, proprioceptie en eerdere actie-tokens tot een blokkauzale sequentie die wordt verwerkt door een 7B Chameleon-stijl transformer-stam.

2.2 Object-Addressable Attention (De OA-beperking)

De kernarchitecturale innovatie is een parameterloze beperking die op elke transformer-laag wordt toegepast om ervoor te zorgen dat de actie-decoder het juiste object aanneemt op basis van zijn identiteit, niet op basis van zijn huidige uiterlijk of context. Dit wordt bereikt via twee operaties:

1. Adres-Alleen Sleutelprojectie: Voor slot-geclassificeerde posities leest de sleutelprojectie ($K$) alleen de eerste 32 dimensies (het $addr$-subvector) van de residustroom. De query ($Q$) en waarde ($V$) projecties gebruiken de volledige verborgen staat. Dit forceert cross-slot attention om te worden gerouteerd op basis van identiteit alleen.
2. Per-Layer Adresreset: Een forward hook overschrijft de eerste 32 dimensies van de residustroom op slot-posities met de gecachte $addr_k$ na elke transformer-blok. Dit voorkomt dat het identiteitsadres drift of wordt aangetast door inhoudsupdates in de residustroom.

2.3 Voorspellingkoppen

Het model voert één forward-pass uit om te genereren:

• Wereldkop: Regresseert de state van het volgende frame voor elke slot, en voorspelt zowel de inhoud ($\hat{c}^{t+1}$) als de pose ($\hat{p}^{t+1}$). Dit biedt auxiliaire supervisie voor temporele consistentie.
• Actiekop: Een flow-matching MLP die een 16-staps continue actie-chunk decodeert vanuit een leerbare actie-query-token ($[ACT\_Q]$).
• Auxiliaire Image-VQ-kop: Hergebruikt de taal-kop van de stam om VQ-tokens van het volgende frame te voorspellen, wat helpt bij pretraining zonder nieuwe parameters.

2.4 Training

Het model wordt in drie fasen getraind:

1. Fase 0: Pretraining van de 7B-stam op een gemengd corpus (web afbeelding-tekst + robotdata) met de OA-beperking afgedwongen.
2. Fase I: Het afstemmen van de slot-adapter en wereldkop op bevroren stamgewichten.
3. Fase II: Volledige systeem-finetuning met LoRA op de stam en het trainen van de actiekop. De loss combineert actie flow-matching, wereldvoorspelling MSE, en auxiliaire regularizers voor distractor-permutatie-invariantie en rolafstemming.

3. Belangrijkste Bijdragen

1. Formulering van Objectaddressering: Het artikel identificeert het gebrek aan stabiele, querybare objectinterfaces als de oorzaak van robuustheidsfalen in bestaande WAMs onder geometrische perturbaties.
2. Architecturale Ontkoppeling: OA-WAM introduceert een mechanisme op tensor-niveau (bevroren adres + adres-alleen routing) dat structureel ontkoppelt "welk object er op moet worden ingewerkt" van "wat dat object is", zonder extra tokens in te voeren of te vertrouwen op dynamische slotontdekking.
3. State-of-the-Art Robuustheid: Het model bereikt nieuwe SOTA-resultaten op de geometrische assen van de LIBERO-Plus benchmark, die specifiek robuustheid test tegen veranderingen in indeling, camera en de initiële staat van de robot.

4. Experimentele Resultaten

De auteurs evalueren OA-WAM op drie benchmarks: LIBERO, SimplerEnv en LIBERO-Plus.

• Standaard Benchmarks: OA-WAM komt overeen met of overtreft SOTA VLA- en WAM-baselines op in-distribution taken.
  • LIBERO: 97,8% gemiddeld succes (vs. 97,2% voor VLA-JEPA).
  • SimplerEnv (WidowX): 79,3% gemiddeld succes (vs. 76,0% voor CoWVLA).
• Robuustheid (LIBERO-Plus): OA-WAM zet een nieuwe SOTA neer op de geometrische assen die het meest in lijn zijn met de hypothese (Camera, Robot Init, Indeling).
  • Geo-Avg (Camera/Robot/Indeling): 84,3%, een verbetering van +4,8% ten opzichte van $\pi0.5$.
  • Specifieke Assen: 80,5% op Camera (+4,7% ten opzichte van Cosmos-Policy) en 89,6% op Robot Init.
  • Sensornuis: Het model loopt achter op sensornuis (-17,1% ten opzichte van de vorige beste), wat de auteurs toeschrijven aan falen in de upstream perceptiestapel (slotextractie) in plaats van het beleid zelf.
• Mechanismevalidatie:
  • Ablatie: Het verwijderen van de OA-beperking (masker of reset-hook) veroorzaakt een drastische daling in geometrische robuustheid (bijv. -13,3% op Camera) terwijl de in-distribution prestaties grotendeels ongewijzigd blijven, wat bevestigt dat de bias OOD-specifiek is.
  • Causale Interventie: Wanneer het adres van het doel-slot tijdens inferentie wordt verwisseld met het adres van een distractor, verschuift de trajectorie van OA-WAM naar het nieuwe doel met een cosijn-afstemming van 0,87. In tegenstelling hiermee tonen alle holistische baselines een afstemming $\le 0,09$, wat bewijst dat de acties van OA-WAM zijn verankerd in de expliciete adres-subruimte.

5. Betekenis en Claims

Het artikel beweert dat het expliciet organiseren van een wereldmodel als addresserbare objectstaten een effectief pad is naar robuuste robotmanipulatie onder scène-perturbaties. Door doelselectie te verankeren aan een bevroren, taal-gegronde identiteitsvector, maakt OA-WAM robuustheid tot een structurele eigenschap van de architectuur in plaats van een resultaat van diversiteit in trainingsdata.

De auteurs benadrukken dat deze aanpak een "interveneerbaar objectniveau-interface" biedt waarbij het beleid betrouwbaar taakrelevante objecten kan bevragen, ongeacht hoe de scène wordt herschikt. Ze erkennen beperkingen, met name dat de aanpak momenteel alleen in een simulator werkt en dat de prestaties verslechteren wanneer de bevroren perceptiestapel faalt (bijv. onder zware sensornuis of voor transparante/geoccludeerde objecten), maar betogen dat de architecturale bijdrage het routingmechanisme succesvol isoleert van de perceptie- en beleidsfasen.