CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

Dans le monde de l'intelligence artificielle en évolution rapide, une nouvelle génération de systèmes de prise de décision est apparue, qui apprend à agir en imaginant l'avenir. Contrairement aux anciens programmes qui se contentent de réagir à l'image qu'ils voient à cet instant précis, ces agents avancés construisent un modèle mental interne de leur environnement. Ils prennent une séquence d'entrées visuelles, telles qu'un flux vidéo provenant d'une caméra, et les compressent en un état abstrait et caché qui se souvient de ce qui s'est passé et prédit ce qui viendra ensuite. Cet état interne leur permet de planifier plusieurs étapes à l'avance, tout comme un conducteur humain anticipant un virage sur la route avant même de l'atteindre. À mesure que ces systèmes passent des jeux vidéo à la robotique du monde réel et aux tâches critiques pour la sécurité, comprendre comment les perturber est devenu une question vitale. Si un agent repose sur un flux continu de prédictions internes, un petit bug momentané dans le flux de la caméra importe-t-il, ou sa mémoire l'atténue-t-elle ? C'est le puzzle central que les chercheurs tentent désormais de résoudre.

Une équipe de scientifiques a découvert que la manière de briser ces agents dotés de « modèles de monde » n'est pas d'attaquer chaque image de la vidéo avec du bruit aléatoire, mais de trouver une direction spécifique et cachée dans les données visuelles à laquelle le propre cerveau de l'agent est le plus sensible. Dans une étude portant sur des agents entraînés à marcher, à jouer au ping-pong et à survivre dans des environnements ouverts, les chercheurs ont constaté que ces systèmes sont étonnamment fragiles lorsqu'ils sont attaqués d'une manière très spécifique. Ils ont développé une méthode appelée CIVA, qui signifie Critic-Induced Value-Subspace Attacks (Attaques par sous-espace de valeur induites par le critique). L'idée centrale est que ces agents possèdent un « arbitre » intégré qui estime constamment à quel point leur futur sera bon. En étudiant la façon dont cet arbitre réagit à de petits changements, les chercheurs ont découvert que la manière la plus efficace de faire baisser le score de l'agent est de pousser les données visuelles le long d'un chemin très étroit et de faible dimension. Ce chemin n'est pas aléatoire ; il s'agit d'un ensemble spécifique de directions dans l'espace de l'image que la propre logique interne de l'agent a révélé comme étant critique pour sa prise de décision.

Les chercheurs ont testé cette approche contre un agent sophistiqué connu sous le nom de DreamerV3, qui a été entraîné pour accomplir des tâches complexes comme marcher sur deux jambes ou jouer à un jeu de Pong. Ils ont mis en place un scénario où un attaquant ne pouvait que modifier l'image actuelle que l'agent voit, avec une limite stricte sur la quantité de pixels pouvant être modifiés pour garantir que la perturbation reste invisible à l'œil humain. Les tentatives précédentes pour pirater de tels systèmes traitaient souvent chaque image de la vidéo comme une cible indépendante, ajoutant du bruit à chaque image de la séquence. Cependant, les chercheurs ont constaté que cette approche échoue face aux agents dotés de modèles de monde. Parce que l'agent se souvient des images précédentes et les mélange dans son état interne, les éclats isolés de bruit sont noyés et oubliés. La mémoire de l'agent agit comme un filtre, diluant l'impact des attaques aléatoires image par image.

Pour surmonter cela, les chercheurs ont d'abord mené une série d'expériences hors ligne où ils ont sondé l'« arbitre » interne de l'agent pour voir quels minuscules changements dans l'image provoquaient la plus grande chute du score futur prédit. Ils ont collecté des milliers de ces changements efficaces et ont utilisé une technique mathématique pour trouver le fil conducteur parmi eux. Ils ont découvert que tous les changements les plus dommageables étaient concentrés dans un sous-espace minuscule et de faible dimension. Imaginez une vaste pièce multidimensionnelle où chaque façon de modifier une image est une direction différente ; les chercheurs ont découvert que la faiblesse de l'agent n'était pas répartie dans toute la pièce, mais était en fait confinée à un couloir unique et étroit à l'intérieur de celle-ci. Une fois qu'ils ont identifié ce couloir, ils ont cessé d'essayer de chercher dans toute la pièce. Au lieu de cela, ils ont restreint leurs attaques pour ne se déplacer que dans ce chemin étroit.

Dans la phase finale de leur méthode, les chercheurs ont appliqué cette découverte en temps réel. Pendant que l'agent jouait, l'attaquant calculait le meilleur mouvement à l'intérieur de ce couloir étroit, puis lissait les changements au fil du temps. Ce lissage était crucial. Il garantissait que la perturbation ne sautillait pas ou ne scintillait pas d'une image à l'autre, ce qui serait facilement perceptible et coûteux en termes de calcul. En maintenant l'attaque stable et alignée avec la propre logique interne de l'agent, les chercheurs ont pu tromper l'agent de manière constante pour le pousser à prendre de mauvaises décisions. Les résultats étaient frappants. Sur la tâche de marche, la performance de l'agent a chuté de plus de 26 pour cent, un taux d'échec nettement plus élevé que toutes les autres méthodes testées. Sur le jeu de Pong, la chute fut encore plus spectaculaire, le score de l'agent tombant de près de 86 pour cent.

Peut-être plus important encore, les chercheurs ont montré que leur méthode était non seulement efficace, mais aussi efficiente et subtile. Parce que l'attaque était confinée à un petit nombre de directions, elle nécessitait beaucoup moins de puissance de calcul que les méthodes précédentes qui tentaient de calculer les changements pour chaque pixel de chaque image. Les changements visuels restaient si subtils qu'ils étaient presque indiscernables de la vidéo originale pour un observateur humain, pourtant ils ont complètement déraillé la capacité de l'agent à fonctionner. L'étude a également écarté l'idée que le simple fait de rendre l'attaque fluide ou d'utiliser des motifs aléatoires soit suffisant. Lorsqu'ils ont essayé d'utiliser un ensemble de directions aléatoires au lieu de celle trouvée par le propre scorekeeper de l'agent, l'attaque a presque totalement échoué. Cela a confirmé que la clé du succès n'était pas seulement la mathématique de l'attaque, mais le fait qu'elle était adaptée à la structure interne spécifique de l'agent victime.

Les conclusions suggèrent que la façon dont nous pensons attaquer les systèmes intelligents doit changer. Pour les agents qui reposent sur la mémoire et des modèles internes, les vulnérabilités les plus dangereuses ne se trouvent pas dans les images individuelles qu'ils voient, mais dans les manières spécifiques dont ces images sont traitées au fil du temps. Les chercheurs ont démontré qu'en écoutant les propres signaux internes de l'agent, on peut trouver un raccourci vers son échec. Cela ne signifie pas que ces systèmes sont brisés, mais plutôt que leur force — utiliser un état interne continu pour prendre des décisions — crée aussi un point de faiblesse unique et étroit. À mesure que ces technologies se rapprochent d'un déploiement dans le monde réel, comprendre cette géométrie de l'échec sera essentiel pour construire des défenses capables de les protéger contre de telles perturbations ciblées et intelligentes. Ce travail sert de rappel clair que, dans le monde de l'intelligence artificielle, les attaques les plus efficaces sont souvent celles qui comprennent l'esprit de la machine mieux que la machine ne se comprend elle-même.