Résumé Technique : Cibler les Modèles de Monde pour Compromettre les Pipelines d'Apprentissage Robotique

Énoncé du Problème

L'intégration des Modèles de Monde (World Models) dans les pipelines d'apprentissage robotique est devenue une stratégie critique pour générer des données synthétiques de haute qualité, évaluer la sécurité des politiques et permettre une planification efficace. Ces modèles, particulièrement les systèmes de Vision-Langage-Action (VLA) et d'Apprentissage par Renforcement Profond (DRL), dépendent fortement des modèles de monde pour combler l'écart entre les démonstrations limitées du monde réel et les vastes besoins en données pour la généralisation.

Cependant, cette intégration introduit une vulnérabilité nouvelle et furtive dans la chaîne d'approvisionnement de l'apprentissage robotique. Les attaques traditionnelles par empoisonnement de données nécessitent l'injection directe de trajectoires dangereuses dans les jeux de données ou un accès profond aux fonctions de récompense, ce qui les rend relativement détectables. En revanche, cet article pose que les Modèles de Monde créent un point d'entrée unique où des attaquants peuvent manipuler des données téléopérées apparemment sûres pour générer des trajectoires d'entraînement synthétiques dangereuses. En altérant subtilement les images d'entrée, un fournisseur de données malveillant peut détourner le processus de génération du modèle de monde, provoquant la production de démonstrations ou de dynamiques de transition dangereuses qui compromettent ensuite la politique robotique en aval. Ce vecteur d'attaque contourne les contrôles de sécurité standards au niveau du jeu de données car les données d'entrée paraissent bénignes pour les inspecteurs humains.

Méthodologie

Les auteurs proposent un modèle de menace où un fournisseur de données de téléopération malveillant possède un accès en boîte blanche au modèle de monde de la victime (permettant l'interrogation et le calcul de gradient), mais est contraint de fournir des trajectoires vidéo de haute qualité et visiblement sûres. L'attaquant ne peut pas injecter de séquences dangereuses disjointes ou contrôler les prompts en aval ; il doit intégrer le comportement malveillant directement dans les images vidéo elles-mêmes.

L'article introduit deux méthodologies d'attaque distinctes ciblant les deux paradigmes principaux des modèles de monde :

1. Détournement de Prompt Visuel (Visual Prompt Hijacking - VPH)

• Cible : Modèles de monde conditionnés par le texte (ex: Cosmos-Predict).
• Mécanisme : Ces modèles utilisent généralement des mécanismes d'attention croisée ou des champs de vecteurs de diffusion pour conditionner la génération sur des prompts textuels et des entrées visuelles. L'attaque manipule l'entrée visuelle ($\vec{x}$) de telle sorte que l'encodage sémantique de l'image s'aligne avec un prompt dangereux ($t_\delta$) plutôt qu'avec le prompt bénin de l'utilisateur ($t$).
• Objectif : L'attaquant optimise les images vidéo pour minimiser la distance entre l'encodage sémantique de l'image altérée avec un prompt sûr et l'encodage de l'image originale avec un prompt dangereux :
  $$\min_{\vec{x}_\delta} \mathbb{E}_{t \in T_{safe}, t_\delta \in T_\delta} [D(S_\theta(\vec{x}_\delta, t) || S_\theta(\vec{x}, t_\delta))]$$
  Sous une contrainte de norme $L_p$ dans l'espace colorimétrique LAB pour garantir que les perturbations soient visuellement imperceptibles.
• But : Forcer le modèle de monde à générer des démonstrations robotiques dangereuses (ex: ramasser une bombe) même lorsque l'utilisateur émet une commande sûre (ex: "ramasser le jouet").

2. Détournement de Transition Visuelle (Visual Transition Hijacking - VTH)

• Cible : Modèles de monde conditionnés par l'action (ex: Dino-WM, Cosmos-Predict AC).
• Mécanisme : Cette attaque cible l'encodeur latent ($E_\theta$) du modèle. L'attaquant manipule l'image de l'état initial de telle sorte que les prédictions d'états futurs du modèle de monde s'effondrent (divergent significativement de la vérité terrain) à moins que l'agent ne choisisse une action cible spécifique ($a^*$).
• Objectif : L'attaque est formulée pour récompenser l'action cible tout en punissant les autres. Si l'agent choisit une action éloignée de $a^*$, la prédiction s'effondre ; si l'agent choisit $a^*$, le modèle revient à la prédiction de l'état bénin.
  $$\min_{\vec{x}_\delta} \mathbb{E}_{a', \epsilon} [\cos(E_\theta(\vec{x}), E_\theta(\vec{x}_\delta)) + (1 - \cos(E_\theta(\delta(\vec{x}_\delta), a^* + \epsilon), E_\theta(\vec{x})))]$$
• But : Implanter une porte dérobée (backdoor) dans une politique de DRL. La politique apprend à toujours sélectionner l'action cible $a^*$ lorsque le déclencheur (l'image perturbée) est présent pour éviter l'effondrement de la prédiction (qui agit comme un signal de récompense négative), tout en se comportant normalement par ailleurs.

Contributions Clés

1. Identification d'une nouvelle vulnérabilité : L'article démontre que les modèles de monde introduisent un point d'entrée de détournement de données furtif et critique dans la chaîne d'approvisionnement de l'apprentissage robotique, permettant d'altérer les politiques en aval sans accès invasif à l'environnement d'entraînement.
2. Nouveaux vecteurs d'attaque : Les auteurs proposent les premières attaques ciblant spécifiquement le pipeline d'apprentissage robotique via les modèles de monde :
   • Détournement de Prompt Visuel (VPH) pour les modèles conditionnés par le texte.
   • Détournement de Transition Visuelle (VTH) pour les modèles conditionnés par l'action.
3. Implantation de Backdoor dans le DRL : Ce travail fournit la première preuve de concept de l'implantation d'une porte dérobée adversaire dans une politique d'apprentissage par renforcement profond uniquement par la manipulation des entrées d'un modèle de monde.
4. Analyse de vulnérabilité : L'étude révèle que les modèles de monde conditionnés par le texte sont nettement plus susceptibles de manipulation lorsqu'ils opèrent dans des contextes hors distribution (OOD) ou lorsqu'ils sont fournis avec des prompts sous-spécifiés (vagues).

Résultats Expérimentaux

Détournement de Prompt Visuel (VPH)

• Configuration : Les auteurs ont affiné Cosmos-Predict 2.5 sur la suite de tâches Libero et l'ont évalué sur trois tâches de type "pick-and-place" critiques pour la sécurité (Plaque de cuisson, Micro-ondes, Boîte cadeau).
• Constatations :
  • Sensibilité OOD : Le taux de réussite de l'attaque a augmenté de manière significative lorsque la position de la caméra était hors distribution par rapport aux réglages en distribution. Par exemple, dans la tâche "Boîte cadeau" avec un prompt vague, le taux de réussite de l'attaque est passé de 5 % (en distribution) à 20 % (hors distribution).
  • Spécificité du Prompt : Les prompts vagues (ex: "ramasser le jouet") étaient plus vulnérables que les prompts spécifiques (ex: "ramasser le jouet bleu et rouge").
  • Dépendance à l'objet : Le succès variait selon l'objet ; certains objets (comme la dynamite) avaient un succès de 0 %, probablement parce qu'ils n'étaient pas suffisamment présents dans la distribution pour être reconnus par le modèle, tandis que d'autres (comme les fourchettes) étaient trop petits pour être manipulés efficacement.
  • Limitation : Les auteurs notent que les modèles de monde actuels de pointe conditionnés par le texte et les modèles de dynamique inverse sont trop fragiles et imprécis pour produire des données de haute qualité pour l'entraînement VLA sans un effort d'ingénierie important. Ainsi, ces résultats servent principalement de preuve de concept pour de futures attaques de type backdoor.

Détournement de Transition Visuelle (VTH)

• Configuration : Les auteurs ont évalué Dino-WM (entraîné sur des environnements Gymnasium) et Cosos-Predict 2.5 AC (entraîné sur des données réelles de Droid).
• Constatations :
  • Backdoor DRL : Dans la tâche "Single Wall" utilisant PPO, les politiques entraînées avec 5 % d'états corrompus par VTH ont réussi à apprendre la porte dérobée. Lorsque le déclencheur est présent, l'agent choisit l'action cible avec une fréquence élevée, tout en maintenant des performances normales lorsque le déclencheur est absent.
  • Effondrement de la prédiction : Dans Cosmos-Predict 2.5 AC, l'attaque a réussi à induire un effondrement de la prédiction pour les actions non cibles. La distance $L_2$ entre les générations propres et adverses diminuait à mesure que l'action choisie se rapprochait de l'action cible, confirmant que le comportement du modèle était conditionné par l'action spécifique.
  • Scalabilité : L'attaque s'est avérée efficace même contre de grands modèles de monde entraînés sur des données du monde réel.

Signification et Revendications

L'article affirme que ces conclusions nécessitent une réévaluation de la place des modèles de monde dans la chaîne d'approvisionnement de l'apprentissage robotique. Les auteurs soutiennent que :

• Furtivité : Ces attaques sont particulièrement difficiles à détecter car les données d'entrée (vidéos de téléopération) paraissent sûres pour les inspecteurs humains, et le comportement malveillant n'est activé qu'après le passage par le modèle de monde.
• Risque Systémique : L'intégration des modèles de monde crée un "point de défaillance unique" où un fournisseur de données compromis peut empoisonner l'ensemble du processus d'apprentissage en aval.
• Impératif de Recherche : Les résultats soulignent un besoin urgent de recherche sur les modèles de monde robustes et les défenses contre les attaquants externes. L'article stipule explicitement que les défenses actuelles sont insuffisantes et que le domaine doit traiter la vulnérabilité des modèles de monde tant dans des contextes adverses que bénins.

Les auteurs restent modestes quant au déploiement immédiat de ces attaques dans des pipelines entièrement réalistes et complexes, reconnaissant que leurs résultats VPH ne sont actuellement qu'une preuve de concept en raison des limites des modèles génératifs actuels. Cependant, la démonstration réussie d'une porte dérobée dans une politique de DRL via VTH établit une menace concrète et sérieuse pour la sécurité des systèmes robotiques autonomes.