💻 computer science

OA-WAM: Object-Addressable World Action Model for Robust Robot Manipulation

Le papier présente OA-WAM, un modèle d'action mondiale adressable par objet qui décompose les scènes en emplacements d'objets persistants dotés de vecteurs d'adresse pour permettre une manipulation précise basée sur des instructions, atteignant des performances de pointe et une robustesse supérieure aux perturbations de la scène par rapport aux modèles de référence holistiques.

Auteurs originaux : Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Cerveau Flou » du Robot

Imaginez que vous enseignez à un robot à « mettre la tasse rouge sur le plateau vert ».

Les Anciens Robots (Modèles Holistiques) : Ces robots observent l'ensemble de la scène comme une photographie floue. Ils voient « une table avec des trucs dessus ». Lorsque l'appareil photo bouge légèrement ou qu'un nouvel objet apparaît en arrière-plan, le robot se perd. Il ne peut pas dire si la « tasse rouge » qu'il a vue pendant l'entraînement est la même tasse rouge maintenant, car la « photo floue » a changé. Il risque de saisir le mauvais objet ou de rester bloqué parce que l'arrière-plan semble différent.
Le Problème : Le cerveau du robot mélange ce qu'est un objet (son identité) avec où il se trouve et ce qui l'entoure. Si la scène bouge, le robot perd sa prise sur la cible spécifique.

La Solution : OA-WAM (Le Système d'« Étiquette de Nom »)

Les auteurs proposent OA-WAM (Object-Addressable World Action Model). Imaginez cela comme donner à chaque objet du monde du robot une Étiquette de Nom permanente et immuable.

Au lieu de regarder une photo floue, le robot décompose la scène en « emplacements » ou « bacs » individuels, un pour le bras du robot et un pour chaque objet qu'il voit.

1. La Carte d'Identité en Deux Parties

Pour chaque objet (comme la tasse rouge), le robot crée une carte d'identité spéciale avec deux parties distinctes :

L'Étiquette de Nom (L'« Adresse ») : Cette partie est figée. Elle dit « Je suis la Tasse Rouge ». Elle est calculée une seule fois au départ, basée sur l'instruction linguistique (« tasse rouge ») et l'apparence initiale de l'objet. Elle ne change jamais, peu importe comment la tasse bouge, tourne ou se trouve couverte d'ombres. C'est l'ancre du robot.
Le Rapport de Statut (Le « Contenu ») : Cette partie se met à jour chaque seconde. Elle dit « Je suis actuellement dans le coin supérieur gauche, inclinée de 15 degrés et réfléchissant la lumière ». Cette partie change constamment à mesure que le monde bouge.

L'Analogie : Imaginez un agent de sécurité à une fête.

L'Ancienne Façon : L'agent regarde une photo de foule. Si quelqu'un bouge, l'agent se perd pour savoir qui est qui.
La Façon OA-WAM : L'agent a une liste de VIP avec des badges d'identité permanents (Étiquettes de Nom). Même si le VIP se déplace dans une autre pièce, porte un chapeau ou se tient dans l'obscurité, l'agent sait exactement qui il est car l'Étiquette de Nom ne change jamais. L'agent n'utilise l'Étiquette de Nom que pour décider qui parler, tandis que le Rapport de Statut lui indique où se trouve cette personne à cet instant.

2. Le « Policier de la Circulation Strict » (L'Architecture)

Le papier introduit une règle astucieuse à l'intérieur du cerveau du robot (les couches Transformer) :

Lorsque le robot doit décider quel objet saisir, il n'est autorisé à regarder que l'Étiquette de Nom.
Il lui est strictement interdit de regarder le Rapport de Statut (la position changeante ou l'éclairage) pour prendre cette décision.
Cela est imposé par un « policier de la circulation » qui bloque toute information sur l'état actuel de l'objet d'influencer la décision de quel objet cibler.

Cela garantit que même si l'angle de la caméra change ou que l'éclairage varie, le robot sait toujours : « J'ai besoin de la Tasse Rouge », car l'Étiquette de Nom est la seule chose qui compte pour la sélection.

Comment Cela Fonctionne en Pratique

Voir : Le robot observe la scène et identifie les objets (en utilisant des outils de vision avancés comme SAM 3 et DINOv3).
Étiqueter : Il attribue une « Étiquette de Nom » permanente à la Tasse Rouge basée sur l'instruction.
Penser : Le robot exécute une simulation dans sa tête. Il prédit : « Si je déplace mon bras, le Rapport de Statut de la Tasse Rouge changera, mais son Étiquette de Nom restera la même. »
Agir : Le robot génère un plan de mouvement fluide en 16 étapes pour saisir la tasse.

Les Résultats : Pourquoi Cela Compte

Les chercheurs ont testé cela sur des scénarios difficiles où la scène était perturbée (différentes caméras, différents éclairages, objets déplacés).

Le Test : Ils ont demandé au robot de changer la cible. Si vous disiez au robot de saisir le « Livre Bleu » mais que vous aviez secrètement échangé l'adresse du « Livre Bleu » avec celle de la « Tasse Rouge », le robot devrait saisir la Tasse Rouge.
Le Résultat :
- Les Anciens Robots : Se sont perdus. Ils ont saisi le mauvais objet ou n'ont rien fait. Leur score de « liaison d'échange » était proche de zéro (environ 0,05).
- OA-WAM : A immédiatement saisi la nouvelle cible. Son score était très élevé (0,87).
- Performance : Il a battu tous les autres robots de pointe lors des tests standards et s'est révélé nettement plus robuste lorsque l'environnement changeait.

L'Essentiel

Le papier affirme qu'en séparant l'Identité (Qui est-ce ?) de l'État (Où est-ce ?), les robots deviennent beaucoup plus fiables. Ils cessent de se perdre dans le bruit visuel et peuvent se concentrer sur l'objet spécifique demandé par l'humain, même si le monde autour de lui semble totalement différent.

Limitations mentionnées :

Cela ne fonctionne actuellement que dans des simulations (jeux informatiques), pas encore sur des robots physiques réels.
Si l'appareil photo est trop flou ou si l'objet est transparent/réfléchissant, le robot pourrait échouer à « voir » l'objet pour lui donner une Étiquette de Nom dès le départ. C'est un problème de vision, pas un problème de décision.

Résumé technique : OA-WAM : Modèle d'action mondiale adressable par objet pour la manipulation robotique robuste

1. Énoncé du problème

Les modèles existants Vision-Langage-Action (VLA) et les Modèles d'Action Mondiale (WAM) ont atteint des taux de réussite élevés sur les benchmarks standards de manipulation en augmentant l'échelle des modèles de base et des données. Cependant, ces modèles échouent souvent face à des perturbations modérées de la scène (par exemple, changements dans la disposition des objets, point de vue de la caméra, éclairage ou état initial du robot). Les auteurs diagnostiquent cette fragilité comme un manque d'adressabilité des objets.

Dans les WAM holistiques, l'état mondial prédit est représenté sous forme d'images plein cadre, de flux de tokens vidéo ou de latents globaux. Bien que ces représentations capturent l'évolution de la scène, elles entremêlent l'identité d'un objet cible avec son contexte environnant au sein du flux de tokens. Lorsque la géométrie de la scène change, le décodeur d'action peine à isoler l'objet spécifique nommé dans l'instruction, entraînant une « dérive » où la politique agit sur le mauvais objet ou échoue à généraliser. Les approches centrées sur l'objet actuelles reposent souvent sur une découverte dynamique de slots (par exemple, Slot Attention) qui est sensible aux occlusions et à l'encombrement, ou elles encodent l'identité, l'apparence et la pose dans un seul vecteur, échouant à découpler « quel objet agir » de « ce que cet objet est actuellement ».

2. Méthodologie : OA-WAM

Les auteurs proposent OA-WAM (Modèle d'Action Mondiale Adressable par Objet), qui reformule la prédiction mondiale comme une prédiction d'état de slot par objet. L'architecture impose une séparation stricte entre l'identité de l'objet et le contenu variant dans le temps au niveau du tenseur.

2.1 Tokenisation adressable par objet

Chaque image est décomposée en $N+1$ slots (1 slot robot, $N$ slots objets). Chaque vecteur de slot $s^t_k$ est construit par concaténation de :

Adresse d'identité ( $addr_k$ ) : Un vecteur figé de 32 dimensions calculé une fois par épisode à partir de l'étiquette linguistique et de la caractéristique initiale DINOv3. Il n'est jamais mis à jour pendant l'épisode.
Contenu variant dans le temps ( $cnt^t_k$ ) : Un vecteur de 256 dimensions actualisé à chaque étape à partir des masques SAM 3 et des caractéristiques DINOv3, représentant l'état actuel de l'objet (apparence, pose).
Embeddings auxiliaires : Index de l'image ( $\pi^t$ ) et étiquettes de rôle ( $\rho_k$ ).

Ces slots sont projetés dans un espace caché de 4096 dimensions via un adaptateur de slot apprenable et fusionnés avec des tokens de texte, d'image-VQ, de proprioception et d'actions passées dans une séquence causale par blocs traitée par un tronc transformateur de style Chameleon 7B.

2.2 Attention adressable par objet (La contrainte OA)

L'innovation architecturale centrale est une contrainte sans paramètres appliquée à chaque couche du transformateur pour garantir que le décodeur d'action s'attarde sur le bon objet uniquement sur la base de son identité, et non de son apparence ou de son contexte actuel. Cela est réalisé via deux opérations :

Projection de clé uniquement par adresse : Pour les positions de type slot, la projection de clé ( $K$ ) lit uniquement les 32 premières dimensions (le sous-vecteur $addr$) du flux résiduel. Les projections de requête ( $Q$ ) et de valeur ( $V$ ) utilisent l'état caché complet. Cela force l'attention inter-slot à être acheminée sur la base de l'identité seule.
Réinitialisation d'adresse par couche : Un crochet de passage en avant écrase les 32 premières dimensions du flux résiduel aux positions de slot avec l' $addr_k$ mise en cache après chaque bloc transformateur. Cela empêche l'adresse d'identité de dériver ou d'être corrompue par des mises à jour de contenu dans le flux résiduel.

2.3 Têtes de prédiction

Le modèle effectue un seul passage avant pour générer :

Tête mondiale : Régresse l'état de l'image suivante pour chaque slot, prédit à la fois le contenu ( $\hat{c}^{t+1}$ ) et la pose ( $\hat{p}^{t+1}$ ). Cela fournit une supervision auxiliaire pour la cohérence temporelle.
Tête d'action : Un MLP d'appariement de flux qui décode un bloc d'action continu de 16 étapes à partir d'un token de requête d'action apprenable ( $[ACT\_Q]$ ).
Tête auxiliaire Image-VQ : Réutilise la tête de langage du tronc pour prédire les tokens VQ de l'image suivante, aidant au pré-entraînement sans nouveaux paramètres.

2.4 Entraînement

Le modèle est entraîné en trois étapes :

Étape 0 : Pré-entraînement du tronc 7B sur un corpus mixte (images-texte web + données robotiques) avec la contrainte OA appliquée.
Étape I : Alignement de l'adaptateur de slot et de la tête mondiale sur les poids du tronc figés.
Étape II : Finetuning complet du système utilisant LoRA sur le tronc et entraînement de la tête d'action. La perte combine l'appariement de flux d'action, l'erreur quadratique moyenne (MSE) de prédiction mondiale et des régularisateurs auxiliaires pour l'invariance à la permutation des distracteurs et l'alignement des rôles.

3. Contributions clés

Formulation de l'adressabilité des objets : L'article identifie le manque d'interfaces d'objets stables et interrogables comme la cause racine des échecs de robustesse des WAM existants sous des perturbations géométriques.
Découplage architectural : OA-WAM introduit un mécanisme au niveau du tenseur (adresse figée + routage uniquement par adresse) qui découple structurellement « quel objet agir » de « ce que cet objet est », sans introduire de tokens supplémentaires ni dépendre d'une découverte dynamique de slots.
Robustesse de l'état de l'art : Le modèle atteint de nouveaux résultats SOTA sur les axes géométriques du benchmark LIBERO-Plus, qui teste spécifiquement la robustesse aux changements de disposition, de caméra et d'état initial du robot.

4. Résultats expérimentaux

Les auteurs évaluent OA-WAM sur trois benchmarks : LIBERO, SimplerEnv et LIBERO-Plus.

Benchmarks standards : OA-WAM égale ou dépasse les références VLA et WAM SOTA sur les tâches en distribution.
- LIBERO : 97,8 % de réussite moyenne (contre 97,2 % pour VLA-JEPA).
- SimplerEnv (WidowX) : 79,3 % de réussite moyenne (contre 76,0 % pour CoWVLA).
Robustesse (LIBERO-Plus) : OA-WAM établit un nouveau SOTA sur les axes géométriques les plus alignés avec l'hypothèse (Caméra, Initialisation Robot, Disposition).
- Moyenne Géométrique (Caméra/Robot/Disposition) : 84,3 %, soit une amélioration de +4,8 % par rapport à $\pi0.5$ .
- Axes spécifiques : 80,5 % sur Caméra (+4,7 % par rapport à Cosmos-Policy) et 89,6 % sur Initialisation Robot.
- Bruit des capteurs : Le modèle accuse un retard sur le bruit des capteurs (-17,1 % par rapport au meilleur précédent), ce que les auteurs attribuent à des échecs dans la pile de perception en amont (extraction de slots) plutôt qu'à la politique elle-même.
Validation du mécanisme :
- Ablation : Le retrait de la contrainte OA (masque ou crochet de réinitialisation) provoque une chute drastique de la robustesse géométrique (par exemple, -13,3 % sur Caméra) tout en laissant la performance en distribution largement inchangée, confirmant que le biais est spécifique aux données hors distribution (OOD).
- Intervention causale : Lorsque l'adresse du slot cible est échangée avec l'adresse d'un distracteur lors de l'inférence, la trajectoire d'OA-WAM se déplace vers la nouvelle cible avec un alignement cosinus de 0,87. À l'inverse, toutes les références holistiques montrent un alignement $\le 0,09$ , prouvant que les actions d'OA-WAM sont ancrées dans le sous-espace d'adresse explicite.

5. Importance et affirmations

L'article affirme que l'organisation explicite d'un modèle mondial comme états d'objets adressables est une voie efficace vers une manipulation robotique robuste sous des perturbations de scène. En ancrant la sélection de la cible à un vecteur d'identité figé et ancré dans le langage, OA-WAM fait de la robustesse une propriété structurelle de l'architecture plutôt qu'un résultat de la diversité des données d'entraînement.

Les auteurs soulignent que cette approche fournit une « interface au niveau de l'objet intervenable » où la politique peut interroger de manière fiable les objets pertinents pour la tâche, indépendamment de la manière dont la scène est réarrangée. Ils reconnaissent les limites, notant que l'approche est actuellement limitée au simulateur et que les performances se dégradent lorsque la pile de perception figée échoue (par exemple, sous un bruit de capteur important ou pour des objets transparents/occlus), mais soutiennent que la contribution architecturale isole avec succès le mécanisme de routage des étapes de perception et de politique.