🤖 machine learning

BadWAM: When World-Action Models Dream Right but Act Wrong

Cet article introduit BadWAM, un cadre unifié démontrant que les modèles Monde-Action (WAMs) sont vulnérables aux attaques adverses où de petites perturbations visuelles peuvent découpler le futur imaginé d'un modèle de ses actions exécutées, provoquant ainsi des échecs de tâche significatifs même lorsque les prédictions internes du modèle restent plausibles.

Auteurs originaux : Qi Li, Xingyi Yang, Xinchao Wang

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Li, Xingyi Yang, Xinchao Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Robot Rêveur et le Glitch Sournois

Imaginez un robot qui ne se contente pas de réagir à ce qu'il voit sur l'instant, mais qui « rêve » aussi de ce qui va se passer ensuite. C'est la pointe de l'IA incarnée (embodied AI), un domaine où les ordinateurs apprennent à contrôler des corps physiques comme des bras robotiques ou des bases mobiles. Traditionnellement, les robots étaient comme des boxeurs réflexes : ils voyaient un coup de poing et l'enchaînaient immédiatement par un contre. Mais les modèles modernes « Monde-Action » (World-Action Models ou WAMs) sont plus semblables à des grands maîtres d'échecs. Avant de faire un mouvement, ils simulent le futur dans leur esprit. Ils se demandent : « Si je saisis cette tasse, va-t-elle se renverser ? Si je fais un pas ici, vais-je trébucher ? » Cette capacité à imaginer les conséquences est censée rendre les robots plus sûrs et plus intelligents, agissant comme un contrôle de sécurité intégré. Si le rêve du futur du robot semble dangereux, il est censé s'arrêter et réfléchir.

La grande question que les chercheurs se posent est la suivante : ce robot rêveur est-il réellement sûr ? Si un robot peut vérifier son propre futur, un pirate peut-il le tromper ? La réponse, selon une nouvelle étude, est un inquiétant « oui ». L'article explore un scénario où un changement minuscule, presque invisible, dans le flux de la caméra du robot — comme une poussière ou un motif subtil sur un mur — peut confondre le cerveau du robot. La partie effrayante n'est pas que le robot cesse de rêver ; c'est que le robot continue de rêver d'un futur parfait et sûr alors que son corps fait quelque chose de complètement désastreux. C'est comme si le robot rêvait de marcher sur une corde raide en toute sécurité, mais que ses jambes étaient en train de s'écarter d'une falaise.

La Découverte de l'Article : BadWAM

Les chercheurs derrière cet article, dirigés par Qi Li et Xinchao Wang, introduisent une nouvelle façon de tester ces robots appelée BadWAM. Considérez BadWAM comme un « test de résistance » pour les rêves des robots. Ils voulaient voir s'ils pouvaient tromper un robot pour le faire échouer à une tâche sans que le robot ne réalise que quelque chose ne va pas. Ils ont découvert une vulnérabilité spécifique qu'ils appellent Dérive Monde-Action (World-Action Drift).

Habituellement, quand nous pensons à pirater un robot, nous imaginons lui faire voir des choses qui n'existent pas, le poussant à paniquer ou à se figer. Mais BadWAM a trouvé quelque chose de plus sournois. Les chercheurs ont montré qu'ils pouvaient utiliser de petits artifics visuels pour que le « rêve » du robot (sa prédiction du futur) paraisse parfaitement normal, tout en détournant simultanément ses « actions » (ce qu'il fait réellement).

L'article démontre deux principales façons dont cette attaque fonctionne, comme deux saveurs différentes de problèmes :

Le « Détournement Overt » (Attaque sur l'Action uniquement) : C'est la version bruyante et désordonnée. L'attaquant perturbe la vue du robot juste assez pour le faire faire la mauvaise chose immédiatement. Dans leurs tests sur un ensemble de données appelé LIBERO, cette attaque a été brutale. Elle a fait chuter le taux de réussite du robot d'un niveau extrêmement fiable de 96,5 % à un taux chancelant de 43,1 %. Le robot essayait de ramasser des objets mais finissait par les renverser ou passait complètement à côté.
Le « Fantôme furtif » (Attaque préservant l'imagination) : C'est la partie vraiment effrayante. Ici, l'attaquant est un maître du déguisement. Il modifie la vue du robot de sorte que le rêve du futur du robot semble toujours parfait et sûr. Si vous demandiez au robot : « Que penses-tu qu'il va se passer ensuite ? », il répondrait : « Je pense que je vais ramasser le bloc et le poser délicatement. » Et dans son esprit, c'est exactement ce qui se passe. Mais en réalité, le robot tend la main vers le mauvais endroit ou lâche le bloc. Le « rêve » et l'« action » se sont décalés. Le robot exécute un désastre tout en étant convaincu qu'il exécute un succès.

Les chercheurs ont découvert que cette « dérive » est une faille de sécurité majeure. Ils ont testé cela sur différents types de cerveaux de robots (appelés Joint WAM et IDM WAM) et ont constaté que même lorsque les prédictions futures du robot restaient très proches de la vérité (gardant le « rêve » intact), le robot échouait quand même à la tâche. En fait, ils ont découvert qu'on pouvait faire échouer le robot tout en gardant la « distance future » (à quel point le rêve a changé) très faible. Cela suggère que le simple fait de vérifier le « rêve » d'un robot ne suffit pas à garantir sa sécurité.

Comment l'Attaque Fonctionne

L'article explique que BadWAM n'a pas besoin de connaître le code secret ou les poids internes du robot. Il fonctionne comme un testeur de type « boîte noire ». L'attaquant envoie une entrée visuelle au robot, voit quelle action en résulte, puis ajuste légèrement l'entrée pour voir s'il peut rendre l'action pire. Il répète cela encore et encore, comme un sculpteur taillant un bloc de pierre, jusqu'à trouver un motif minuscule et invisible qui force le robot à échouer.

L'une des découvertes les plus intéressantes est comment le robot échoue. Il ne devient pas fou immédiatement. L'article montre que le robot commence souvent par se comporter normalement. Il peut réussir à saisir le premier objet, mais ensuite, au fur et à mesure que la tâche progresse, ses mouvements dérivent lentement de sa trajectoire. C'est un scénario de « mort par mille coupures ». Le robot renverse un deuxième objet, rate un troisième, et finit par échouer toute la mission, tout en affirmant par sa simulation interne que tout se passe comme prévu.

L'étude a également examiné si ce tour fonctionne sur différents robots. Ils ont trouvé que si l'attaque était entraînée sur un type de modèle de robot, elle fonctionnait souvent sur d'autres modèles légèrement différents. Cela suggère que le problème n'est pas seulement un bug dans un logiciel spécifique, mais une faille fondamentale dans la manière dont ces robots « rêveurs » connectent leurs pensées à leurs actions.

Les Limites des Contrôles de Sécurité

L'article a également testé des défenses simples, comme le floutage de l'image ou l'ajout de bruit au flux de la caméra, espérant ainsi effacer le tour de l'attaquant. Bien que certains de ces tours aient aidé un peu, ils n'étaient pas une solution miracle. Soit ils n'arrêtaient pas l'attaque, soit ils rendaient le robot moins performant dans son travail même lorsqu'il n'était pas attaqué. Les chercheurs ont également essayé de construire un « détecteur » qui signalerait quand le rêve et l'action du robot ne correspondent pas, mais ce détecteur a manqué la plupart des attaques lorsqu'il était réglé pour être très prudent (afin d'éviter les fausses alertes).

La conclusion de cette recherche est un signal d'alarme pour le domaine de la robotique. L'idée selon laquelle « si un robot peut imaginer le futur, il sera sûr » est fragile. L'article suggère que le vrai danger n'est pas seulement que le robot voie la mauvaise chose, mais que son imagination et ses actions puissent se désynchroniser. Un robot peut être totalement convaincu qu'il fait la bonne chose, alors que son corps fait la mauvaise chose.

Dans leurs expériences, les chercheurs ont montré qu'avec un tout petit peu de bruit visuel (une taille de perturbation de 0,06), ils pouvaient transformer un robot hautement performant en un robot sujet aux échecs. Ils n'ont pas seulement cassé le robot ; ils ont brisé la connexion entre ce que le robot pense faire et ce qu'il fait réellement. Cela signifie que pour la prochaine génération de robots sûrs, les ingénieurs ne peuvent pas se contenter de compter sur la capacité du robot à prédire le futur. Ils doivent construire des systèmes qui vérifient constamment si le rêve du robot correspond à sa réalité, garantissant que le rêveur et l'exécutant sont toujours sur la même longueur d'onde.

Résumé Technique : BadWAM – Quand les modèles Monde-Action rêvent juste mais agissent mal

1. Énoncé du problème

Les modèles Monde-Action (WAM - World-Action Models) représentent un changement de paradigme dans l'IA incarnée, passant de politiques purement réactives à des systèmes qui couplent la génération d'actions avec la prédiction future du monde. L'hypothèse prédominante est que ce couplage offre une robustesse et une sécurité intrinsèques : si un robot peut « imaginer » les conséquences de ses actions, des comportements dangereux ou incohérents peuvent être détectés avant l'exécution.

Cet article remet en question cette hypothèse, en identifiant une vulnérabilité spécifique nommée Dérive Monde-Action (World-Action Drift). Le problème central est que l'alignement entre le futur imaginé par un WAM et son action exécutée est fragile. Un adversaire peut introduire de petites perturbations visuelles bornées pour désynchroniser ces deux capacités couplées. Le résultat est un mode de défaillance où le modèle continue de générer des prédictions de futur plausibles (maintenant l'apparence de sécurité) tout en exécutant des actions qui mènent à l'échec de la tâche. Ce fossé rend les moniteurs de sécurité basés sur la prédiction du futur inefficaces, car ils peuvent valider un futur « plausible » qui ne correspond plus à la trajectoire réellement exécutée.

2. Méthodologie : Le cadre BadWAM

Les auteurs introduisent BadWAM, un cadre unifié de boîte noire pour modéliser et évaluer les attaques par Dérive Monde-Action. Le cadre opère sous un modèle de menace où un adversaire peut perturber l'observation visuelle ( $\tilde{o}_t = \text{clip}(o_t + \delta_t)$ ) avant qu'elle ne soit traitée par le WAM, sans avoir accès aux gradients ou aux poids du modèle.

BadWAM caractérise la surface d'attaque selon deux axes : l'intensité de l'attaque et la furtivité. Il instancie deux objectifs d'attaque spécifiques :

A. Attaque adverse uniquement sur l'action (Action-Only Adversarial Attack)

Cette attaque privilégie la disruption. Elle traite le WAM comme un contrôleur interrogeable et cherche une perturbation visuelle bornée ( $\|\delta\|_\infty \le \epsilon$ ) qui maximise l'écart entre le bloc d'actions propre ( $a$ ) et le bloc d'actions attaqué ( $a^\delta$ ) :
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} D_{\text{act}}(a^\delta_{t:t+H-1}, a_{t:t+H-1})$
Cette attaque ignore l'état du futur imaginé, se concentrant uniquement sur la conduite du robot vers des actions menant à l'échec de la tâche.

B. Attaque adverse préservant l'imagination (Imagination-Preserving Adversarial Attack)

Cette attaque privilégie la furtivité. Elle cible les systèmes où les prédictions futures sont exposées à des moniteurs de sécurité ou des planificateurs. L'objectif est d'induire des changements d'action nuisibles tout en maintenant le futur prédit ( $z^\delta$ ou $v^\delta$ ) proche de l'imagination propre ( $z$ ou $v$ ). Ceci est formulé comme une relaxation lagrangienne :
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} \left( D_{\text{act}}(a^\delta, a) - \lambda D_{\text{img}}(z^\delta, z) \right)$
Ici, $\lambda$ contrôle le compromis entre l'intensité de l'attaque et la furtivité. Une attaque réussie dans ce régime se traduit par un robot qui « rêve » un futur sûr mais « agit » de manière destructrice.

Stratégie d'optimisation

BadWAM emploie une optimisation en ligne d'ordre zéro. À chaque étape de replanification, l'attaquant traite le WAM figé comme une boîte noire. En utilisant des requêtes de différences finies, il estime le gradient de la fonction objectif par rapport à la perturbation $\delta$ et met à jour la perturbation via une descente de gradient projetée. Cette approche ne nécessite aucun accès aux paramètres ou aux données d'entraînement du modèle.

3. Contributions clés

Identification de la Dérive Monde-Action : L'article définit une nouvelle surface d'attaque spécifique aux WAM, où les sorties d'action peuvent être détournées de manière adverse tandis que les futurs prédits par le modèle restent visuellement plausibles.
Cadre BadWAM : La conception d'un cadre unifié avec deux instanciations :
- Attaques sur l'action uniquement : Pour maximiser la disruption de l'exécution.
- Attaques préservant l'imagination : Pour causer des échecs tout en préservant des futurs prédits plausibles, exposant les limites des vérifications de sécurité basées sur le futur.
Évaluation exhaustive : Évaluation approfondie sur des tâches de manipulation robotique en boucle fermée (LIBERO et RoboTwin), démontrant une dégradation substantielle des tâches sous des perturbations visuelles bornées.
Analyse diagnostique : Insights détaillés sur la dynamique des attaques, incluant les décalages au niveau des canaux (affectant les canaux d'action continus et les horizons ultérieurs), le compromis entre la préservation du futur et l'intensité de l'attaque, ainsi que la transférabilité des attaques à travers différentes variantes de WAM.

4. Résultats expérimentaux

Les auteurs ont évalué BadWAM sur trois variantes de WAM (Action-only, Joint, et IDM WAM) à travers les benchmarks LIBERO et RoboTwin.

Réduction du succès de la tâche : Les attaques dégradent significativement les performances. Pour le WAM Action-only sur LIBERO, l'attaque action-only a réduit le succès de la tâche de 96,5 % à 43,1 % (une chute de 53,4 %). Les WAM Joint et IDM ont également subi des baisses de 30 à 36 % sous les attaques action-only.
Furtivité : L'attaque préservant l'imagination a réussi à maintenir une forte performance d'attaque (par exemple, réduisant le succès à environ 63 % pour le WAM Joint) tout en maintenant la distance du futur prédit proche de la simulation propre. Cela confirme que les moniteurs de sécurité s'appuyant uniquement sur la plausibilité du futur échoueraient à détecter ces attaques.
Échec systématique : Les échecs n'étaient pas aléatoires mais systématiques, affectant particulièrement les tâches spatiales et à long horizon où de petites erreurs d'action se cumulent au fil du temps. L'attaque a induit une dérive progressive plutôt qu'un échec catastrophique immédiat.
Transférabilité : Les perturbations optimisées sur une variante de WAM ont été transférées efficacement vers d'autres (ex: Joint $\to$ IDM), suggérant des directions de sensibilité partagées dans l'espace d'observation plutôt qu'un surapprentissage spécifique au modèle.
Limites de la défense : Les défenses non adaptatives simples (flou gaussien, bruit JPEG) ont partiellement atténué les attaques mais au prix de la performance initiale ou d'une protection incomplète. Les détecteurs de cohérence d'augmentation ont montré un faible rappel à des taux de faux positifs pratiques, indiquant que les méthodes de détection actuelles sont insuffisantes.

5. Signification et affirmations

L'article affirme que le couplage de l'action et de la prédiction du monde dans les WAM, souvent présenté comme une caractéristique de sécurité, introduit une vulnérabilité unique. La principale signification réside dans la démonstration que la prédiction du futur seule n'est pas un signal de sécurité fiable.

Les auteurs soutiennent que l'objet critique pour la sécurité n'est pas l'action ou l'imagination isolément, mais leur alignement. Un WAM peut être manipulé pour exécuter des actions désynchronisées qui causent l'échec de la tâche tout en maintenant un futur imaginé « plausible ». Cette conclusion implique que les mécanismes de sécurité pour l'IA incarnée doivent évoluer au-delà de la simple vérification de la plausibilité des futurs imaginés ; ils doivent explicitement vérifier la synchronisation entre la trajectoire imaginée et l'action exécutée sous des conditions adverses. L'article conclut que BadWAM fournit un protocole de diagnostic nécessaire pour évaluer la véritable robustesse des modèles monde-action.