💻 computer science

OA-WAM: Object-Addressable World Action Model for Robust Robot Manipulation

Die Arbeit stellt OA-WAM vor, ein objektedressierbares Weltaktionsmodell, das Szenen in persistente Objektslots mit Adressvektoren zerlegt, um eine präzise instruktionsbasierte Manipulation zu ermöglichen, und erreicht im Vergleich zu holistischen Baselines einen State-of-the-Art-Performance sowie eine überlegene Robustheit gegenüber Szenenstörungen.

Ursprüngliche Autoren: Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „unscharfe" Gehirn des Roboters

Stellen Sie sich vor, Sie bringen einem Roboter bei, „den roten Becher auf das grüne Tablett zu legen".

Alte Roboter (Ganzheitliche Modelle): Diese Roboter betrachten die gesamte Szene wie ein unscharfes Foto. Sie sehen „einen Tisch mit Zeug darauf". Wenn sich die Kamera leicht bewegt oder ein neues Objekt im Hintergrund erscheint, gerät der Roboter in Verwirrung. Er kann nicht unterscheiden, ob der „rote Becher", den er während des Trainings gesehen hat, derselbe rote Becher ist, da sich das „unscharfe Foto" verändert hat. Er könnte das falsche Objekt greifen oder stecken bleiben, weil der Hintergrund anders aussieht.
Das Problem: Das Gehirn des Roboters vermischt was ein Objekt ist (seine Identität) mit wo es sich befindet und was sich darum herum befindet. Wenn sich die Szene verschiebt, verliert der Roboter den Halt auf das spezifische Ziel.

Die Lösung: OA-WAM (Das „Namensschild"-System)

Die Autoren schlagen OA-WAM (Object-Addressable World Action Model) vor. Stellen Sie sich dies vor wie jedem Objekt in der Welt des Roboters ein dauerhaftes, unveränderliches Namensschild zu verleihen.

Anstatt ein unscharfes Foto zu betrachten, zerlegt der Roboter die Szene in einzelne „Fächer" oder „Behälter", einen für den Roboterarm und einen für jedes Objekt, das er sieht.

1. Der zweiteilige Ausweis

Für jedes Objekt (wie den roten Becher) erstellt der Roboter eine spezielle ID-Karte mit zwei distincten Teilen:

Das Namensschild (Die „Adresse"): Dieser Teil ist eingefroren. Er sagt: „Ich bin der rote Becher." Er wird einmal zu Beginn berechnet, basierend auf der Sprachanweisung („roter Becher") und dem ersten Aussehen des Objekts. Er ändert sich nie, egal wie sich der Becher bewegt, dreht oder im Schatten liegt. Dies ist der Anker des Roboters.
Der Statusbericht (Der „Inhalt"): Dieser Teil aktualisiert sich jede Sekunde. Er sagt: „Ich befinde mich derzeit in der oberen linken Ecke, geneigt um 15 Grad und reflektiere Licht." Dieser Teil ändert sich ständig, während sich die Welt bewegt.

Die Analogie: Stellen Sie sich einen Sicherheitsbeamten auf einer Party vor.

Alter Weg: Der Beamte betrachtet ein Gruppenfoto. Wenn sich jemand bewegt, gerät der Beamte in Verwirrung darüber, wer wer ist.
OA-WAM-Weg: Der Beamte hat eine Liste von VIPs mit dauerhaften Ausweisabzeichen (Namensschildern). Selbst wenn sich der VIP in einen anderen Raum bewegt, einen Hut trägt oder im Dunkeln steht, weiß der Beamte genau, wer er ist, weil sich das Namensschild nie ändert. Der Beamte nutzt das Namensschild nur, um zu entscheiden, mit wem er sprechen soll, während der Statusbericht ihm sagt, wo sich diese Person gerade befindet.

2. Der „strengen Verkehrspolizist" (Die Architektur)

Das Papier führt eine clevere Regel im Gehirn des Roboters (den Transformer-Schichten) ein:

Wenn der Roboter entscheiden muss, welches Objekt er greifen soll, darf er nur auf das Namensschild schauen.
Es ist ihm strengstens untersagt, auf den Statusbericht (die sich ändernde Position oder Beleuchtung) zu schauen, um diese Entscheidung zu treffen.
Dies wird durch einen „Verkehrspolizisten" durchgesetzt, der jegliche Informationen über den aktuellen Zustand des Objekts daran hindert, die Entscheidung zu beeinflussen, welches Objekt zum Ziel ausgewählt wird.

Dies stellt sicher, dass der Roboter selbst dann weiß: „Ich brauche den roten Becher", wenn sich der Kamerawinkel ändert oder das Licht wechselt, da das Namensschild das Einzige ist, was für die Auswahl zählt.

Wie es in der Praxis funktioniert

Sehen: Der Roboter betrachtet die Szene und identifiziert Objekte (unter Verwendung fortschrittlicher Sehhilfen wie SAM 3 und DINOv3).
Markieren: Er weist dem roten Becher basierend auf der Anweisung ein dauerhaftes „Namensschild" zu.
Denken: Der Roboter führt eine Simulation in seinem Kopf durch. Er prognostiziert: „Wenn ich meinen Arm bewege, wird sich der Statusbericht des roten Bechers ändern, aber sein Namensschild bleibt gleich."
Handeln: Der Roboter erstellt einen glatten, 16-Schritt-Bewegungsplan, um den Becher zu greifen.

Die Ergebnisse: Warum es wichtig ist

Die Forscher testeten dies unter schwierigen Szenarien, bei denen die Szene manipuliert wurde (verschiedene Kameras, unterschiedliche Beleuchtung, Objekte wurden verschoben).

Der Test: Sie baten den Roboter, das Ziel zu tauschen. Wenn Sie dem Roboter sagten, er solle das „blaue Buch" greifen, aber heimlich die Adresse des „blauen Buches" mit der des „roten Bechers" tauschten, sollte der Roboter den roten Becher greifen.
Das Ergebnis:
- Alte Roboter: Gerieten in Verwirrung. Sie griffen das Falsche oder taten nichts. Ihre „Swap-Binding"-Bewertung lag nahe bei Null (etwa 0,05).
- OA-WAM: Greifte sofort das neue Ziel. Seine Bewertung war sehr hoch (0,87).
- Leistung: Es schlug alle anderen Top-Roboter bei Standardtests und war signifikant robuster, wenn sich die Umgebung änderte.

Das Fazit

Das Papier behauptet, dass durch die Trennung von Identität (Wer ist es?) und Zustand (Wo ist es?) Roboter viel zuverlässiger werden. Sie lassen sich nicht mehr durch visuelles Rauschen verwirren und können sich auf das spezifische Objekt konzentrieren, das der Mensch angefordert hat, selbst wenn die Welt darum herum völlig anders aussieht.

Erwähnte Einschränkungen:

Es funktioniert derzeit nur in der Simulation (Computerspiele), noch nicht an echten physischen Robotern.
Wenn die Kamera zu unscharf ist oder das Objekt transparent/reflektierend ist, könnte der Roboter versagen, das Objekt überhaupt zu „sehen", um ihm ein Namensschild zu geben. Dies ist ein Sehproblem, kein Entscheidungsproblem.

Technische Zusammenfassung: OA-WAM: Ein objektedressierbares Weltaktionsmodell für robuste Robotermanipulation

1. Problemstellung

Bestehende Vision-Language-Action (VLA)- und World Action Models (WAMs) haben durch Skalierung von Backbones und Daten hohe Erfolgsquoten bei Standard-Manipulations-Benchmarks erreicht. Diese Modelle versagen jedoch häufig bei moderaten Szenenstörungen (z. B. Änderungen im Objektlayout, Kameraperspektive, Beleuchtung oder dem initialen Roboterzustand). Die Autoren diagnostizieren diese Fragilität als mangelnde Objektadressierbarkeit.

In ganzheitlichen WAMs wird der vorhergesagte Weltzustand als Vollbild-Rahmen, Video-Token-Ströme oder globale Latente dargestellt. Obwohl diese Repräsentationen die Szenenentwicklung erfassen, verflechten sie die Identität eines Zielobjekts mit seinem umgebenden Kontext innerhalb des Token-Streams. Wenn sich die Szenengeometrie verschiebt, hat der Aktionsdecoder Schwierigkeiten, das in der Anweisung genannte spezifische Objekt zu isolieren, was zu einem „Drift" führt, bei dem die Policy auf das falsche Objekt wirkt oder keine Generalisierung erreicht. Aktuelle objektzentrierte Ansätze verlassen sich oft auf dynamische Slot-Entdeckung (z. B. Slot Attention), die anfällig für Okklusion und Unordnung ist, oder sie kodieren Identität, Erscheinungsbild und Pose in einen einzigen Vektor, wodurch sie nicht in der Lage sind, „welches Objekt zu manipulieren" von „was dieses Objekt aktuell ist" zu entkoppeln.

2. Methodik: OA-WAM

Die Autoren schlagen OA-WAM (Object-Addressable World Action Model) vor, das die Weltvorhersage als pro-Objekt-Slot-Zustandsvorhersage neu formuliert. Die Architektur erzwingt eine strikte Trennung zwischen Objektidentität und zeitlich variierendem Inhalt auf Tensor-Ebene.

2.1 Objektadressierbare Tokenisierung

Jeder Rahmen wird in $N+1$ Slots zerlegt (1 Roboter-Slot, $N$ Objekt-Slots). Jeder Slot-Vektor $s^t_k$ wird durch Konkatenation konstruiert:

Identitätsadresse ( $addr_k$ ): Ein eingefrorener 32-dimensionaler Vektor, der einmal pro Episode aus dem Sprachlabel und dem initialen DINOv3-Feature berechnet wird. Er wird während der Episode nie aktualisiert.
Zeitlich variierender Inhalt ( $cnt^t_k$ ): Ein 256-dimensionaler Vektor, der in jedem Schritt aus SAM-3-Masken und DINOv3-Features aktualisiert wird und den aktuellen Zustand des Objekts (Erscheinungsbild, Pose) darstellt.
Auxiliäre Embeddings: Rahmenindex ( $\pi^t$ ) und Rollenlabels ( $\rho_k$ ).

Diese Slots werden über einen lernbaren Slot-Adapter in einen 4096-dimensionalen versteckten Raum projiziert und mit Text-, Bild-VQ-, Propriozeptions- und vergangenen Aktions-Token zu einer block-kausalen Sequenz fusioniert, die von einem 7B Chameleon-artigen Transformer-Trunk verarbeitet wird.

2.2 Objektadressierbare Aufmerksamkeit (Die OA-Beschränkung)

Die zentrale architektonische Innovation ist eine parameterfreie Beschränkung, die in jeder Transformer-Schicht angewendet wird, um sicherzustellen, dass der Aktionsdecoder basierend ausschließlich auf der Identität und nicht auf dem aktuellen Erscheinungsbild oder Kontext das richtige Objekt beachtet. Dies wird durch zwei Operationen erreicht:

Nur-Adresse-Schlüsselprojektion: Für slot-typisierte Positionen liest die Schlüsselprojektion ( $K$ ) nur die ersten 32 Dimensionen (den $addr$-Teilvektor) des Residualstroms. Die Query- ( $Q$ ) und Value- ( $V$ ) Projektionen verwenden den gesamten versteckten Zustand. Dies zwingt die cross-slot-Aufmerksamkeit, ausschließlich basierend auf der Identität geroutet zu werden.
Schichtweise Adressen-Reset: Ein Forward-Hook überschreibt nach jedem Transformer-Block die ersten 32 Dimensionen des Residualstroms an Slot-Positionen mit dem zwischengespeicherten $addr_k$ . Dies verhindert, dass die Identitätsadresse driftet oder durch Inhaltsaktualisierungen im Residualstrom korrupt wird.

2.3 Vorhersageköpfe

Das Modell führt einen einzigen Forward-Pass aus, um zu generieren:

Welt-Kopf: Regressiert den Zustand des nächsten Rahmens für jeden Slot und sagt sowohl den Inhalt ( $\hat{c}^{t+1}$ ) als auch die Pose ( $\hat{p}^{t+1}$ ) voraus. Dies liefert auxiliäre Überwachung für zeitliche Konsistenz.
Aktions-Kopf: Ein Flow-Matching-MLP, der einen 16-Schritt kontinuierlichen Aktionsblock aus einem lernbaren Aktions-Query-Token ( $[ACT\_Q]$ ) decodiert.
Auxiliarer Bild-VQ-Kopf: Nutzt den Sprachkopf des Trunks erneut, um VQ-Token des nächsten Rahmens vorherzusagen, was das Pretraining ohne neue Parameter unterstützt.

2.4 Training

Das Modell wird in drei Stufen trainiert:

Stufe 0: Pretraining des 7B-Trunks auf einem gemischten Korpus (Web-Bild-Text + Roboterdaten) mit durchgesetzter OA-Beschränkung.
Stufe I: Ausrichtung des Slot-Adapters und des Welt-Kopfes auf eingefrorenen Trunk-Gewichten.
Stufe II: Vollständiges System-Finetuning unter Verwendung von LoRA am Trunk und Training des Aktions-Kopfes. Die Verlustfunktion kombiniert Aktions-Flow-Matching, Weltvorhersage-MSE und auxiliäre Regularisierer für Distraktor-Permutationsinvarianz und Rollenausrichtung.

3. Hauptbeiträge

Formulierung der Objektadressierbarkeit: Die Arbeit identifiziert das Fehlen stabiler, abfragbarer Objektschnittstellen als die Ursache für Robustheitsversagen bestehender WAMs unter geometrischen Störungen.
Architektonische Entkopplung: OA-WAM führt einen Mechanismus auf Tensor-Ebene ein (eingefrorene Adresse + nur-Adressen-Routing), der strukturell „welches Objekt zu manipulieren" von „was dieses Objekt ist" entkoppelt, ohne zusätzliche Token einzuführen oder auf dynamische Slot-Entdeckung zu setzen.
State-of-the-Art-Robustheit: Das Modell erzielt neue SOTA-Ergebnisse auf den geometrischen Achsen des LIBERO-Plus-Benchmarks, der speziell die Robustheit gegenüber Layout-, Kamera- und initialen Roboterzustandsänderungen testet.

4. Experimentelle Ergebnisse

Die Autoren evaluieren OA-WAM an drei Benchmarks: LIBERO, SimplerEnv und LIBERO-Plus.

Standard-Benchmarks: OA-WAM entspricht oder übertrifft SOTA-VLA- und WAM-Baselines bei In-Distribution-Aufgaben.
- LIBERO: 97,8 % durchschnittlicher Erfolg (vs. 97,2 % für VLA-JEPA).
- SimplerEnv (WidowX): 79,3 % durchschnittlicher Erfolg (vs. 76,0 % für CoWVLA).
Robustheit (LIBERO-Plus): OA-WAM setzt einen neuen SOTA auf den geometrischen Achsen, die am stärksten mit der Hypothese übereinstimmen (Kamera, Roboter-Init, Layout).
- Geo-Avg (Kamera/Roboter/Layout): 84,3 %, eine Verbesserung von +4,8 % gegenüber $\pi0.5$ .
- Spezifische Achsen: 80,5 % bei Kamera (+4,7 % gegenüber Cosmos-Policy) und 89,6 % bei Roboter-Init.
- Sensornoise: Das Modell liegt beim Sensornoise zurück (-17,1 % gegenüber dem vorherigen Bestwert), was die Autoren auf Versagen im upstream-Perzeptions-Stack (Slot-Extraktion) und nicht an der Policy selbst zurückführen.
Mechanismus-Validierung:
- Ablation: Das Entfernen der OA-Beschränkung (Mask oder Reset-Hook) führt zu einem drastischen Rückgang der geometrischen Robustheit (z. B. -13,3 % bei Kamera), während die In-Distribution-Leistung weitgehend unverändert bleibt, was bestätigt, dass die Verzerrung OOD-spezifisch ist.
- Kausale Intervention: Wenn die Adresse des Ziel-Slots während der Inferenz mit der Adresse eines Distraktors vertauscht wird, verschiebt sich die Trajektorie von OA-WAM zum neuen Ziel mit einer kosinussähnlichen Ausrichtung von 0,87. Im Gegensatz dazu zeigen alle ganzheitlichen Baselines eine Ausrichtung von $\le 0.09$ , was beweist, dass die Aktionen von OA-WAM im expliziten Adress-Unterraum verankert sind.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die explizite Organisation eines Weltmodells als adressierbare Objektzustände ein effektiver Weg zu robuster Robotermanipulation unter Szenenstörungen ist. Indem die Zielauswahl an einen eingefrorenen, sprachverankerten Identitätsvektor gebunden wird, macht OA-WAM Robustheit zu einer strukturellen Eigenschaft der Architektur und nicht zu einem Ergebnis der Vielfalt der Trainingsdaten.

Die Autoren betonen, dass dieser Ansatz eine „eingreifbare objektspezifische Schnittstelle" bietet, bei der die Policy zuverlässig auf aufgabenrelevante Objekte zugreifen kann, unabhängig davon, wie die Szene neu angeordnet ist. Sie räumen Einschränkungen ein und stellen fest, dass der Ansatz derzeit nur im Simulator funktioniert und die Leistung nachlässt, wenn der eingefrorene Perzeptions-Stack versagt (z. B. bei starkem Sensornoise oder für transparente/okkludierte Objekte), argumentieren jedoch, dass der architektonische Beitrag den Routing-Mechanismus erfolgreich von den Perzeptions- und Policy-Stufen isoliert.