Imaginez un robot qui ne se contente pas de suivre une liste rigide de commandes, mais qui comprend le monde à travers le langage, la vision et l'expérience. Ces machines, souvent appelées agents incarnés, changent notre façon de concevoir l'automatisation. Au lieu d'être programmées avec des étapes spécifiques pour chaque situation possible, elles utilisent de puissants modèles de fond — des systèmes entraînés sur de vastes quantités de connaissances humaines et de données visuelles — pour percevoir leur environnement, raisonner sur ce qu'elles doivent faire et décider comment bouger leur propre corps. Un robot pourrait regarder une table encombrée, comprendre qu'une tasse est sur le point de tomber, puis planifier une séquence de mouvements pour la sauver, le tout sans qu'un humain n'ait à taper la moindre instruction. Ce passage d'une programmation fixe à une prise de décision intelligente et flexible promet d'amener les robots dans nos maisons, nos hôpitaux et nos usines. Cependant, cette nouvelle liberté apporte un nouveau type de risque. Lorsqu'une machine prend des décisions dictées par des informations qu'elle lit, voit ou mémorise, cette information devient un point de défaillance potentiel. Si un attaquant peut tromper la compréhension du robot sur le monde, il peut amener la machine à agir de manière dangereuse, même si les moteurs et les engrenages physiques du robot sont parfaitement sécurisés.

Une équipe de chercheurs de l'Université de Wuhan a cartographié précisément où se situent ces dangers. Ils ont étudié 58 façons différentes d'attaquer ces robots intelligents et 61 façons différentes de les défendre, créant ainsi un guide complet de la sécurité de cette technologie émergente. Leurs travaux révèlent que les anciennes façons de penser la sécurité des robots ne sont plus suffisantes. Par le passé, sécuriser un robot signifiait protéger ses câbles et son code logiciel contre les pirates. Aujourd'hui, les parties les plus vulnérables sont les sens et l'esprit du robot. Les chercheurs ont découvert que les attaquants n'ont pas besoin de s'introduire dans le système d'exploitation d'un robot pour causer des dommages ; ils peuvent simplement modifier ce que le robot voit ou ce qu'on lui dit de faire. En organisant ces menaces dans une structure claire, l'équipe a montré que les attaques les plus courantes ciblent les yeux et les mains du robot, tandis que les défenses les plus courantes sont placées juste avant que le robot ne bouge. Ce déséquilibre laisse de nombreuses autres zones critiques, telles que la mémoire à long terme du robot et sa communication avec d'autres machines, largement sans protection.

Les chercheurs ont commencé par définir les différentes couches de la vie d'un robot, du moment où son logiciel est créé au moment où il interagit physiquement avec le monde. Ils ont identifié douze points d'entrée spécifiques où un attaquant pourrait introduire un mensonge ou une ruse. Ceux-ci vont du tout début, où les données d'apprentissage du robot pourraient être empoisonnées avant même son déploiement, jusqu'à la toute fin, où les mouvements physiques du robot pourraient être directement détournés. Une idée clé de leurs travaux est que la méthode d'attaque n'est pas la même que le lieu où elle pénètre. Par exemple, une « porte dérobée » (backdoor) est un type de piège caché qui peut être planté dans les données d'entraînement du robot, mais qui pourrait ne se déclencher plus tard par une phrase spécifique prononcée par un utilisateur ou une image spécifique montrée au robot. Les chercheurs soutiennent que les experts en sécurité doivent se concentrer sur l'endroit où l'attaque franchit la première fois la ligne vers le monde de confiance du robot, plutôt que sur la technique utilisée pour la franchir. Cette distinction aide à comprendre comment un petit mensonge dans la mémoire d'un robot peut finalement conduire à une erreur physique majeure.

Lorsque l'équipe a analysé le paysage de la recherche actuelle, un schéma clair est apparu. La majorité des études d'attaque se sont concentrées sur deux domaines spécifiques : la perception multimodale du robot et ses interfaces d'action. En termes simples, cela signifie que la plupart des chercheurs essaient de tromper les yeux du robot ou de le forcer à saisir le mauvais objet. Ils ont constaté que la moitié des attaques enregistrées ciblaient les capteurs du robot, tels que les caméras ou les microphones, ou les signaux qui disent au robot comment bouger. Cela est logique, car ce sont les liens directs entre l'esprit numérique et le corps physique. Si un attaquant peut tromper la caméra pour qu'elle voie un panneau "stop" comme un panneau "voie libre", ou tromper le robot pour qu'il pense qu'un mur est un espace ouvert, les conséquences peuvent être immédiz et physiques. De même, de nombreuses attaques ciblent l'étape finale où le robot décide d'un mouvement spécifique, comme une commande pour faire tourner un moteur ou soulever un poids.

Cependant, les défenses racontent une histoire différente. Les chercheurs ont découvert que la plupart des mesures de sécurité sont concentrées à la toute fin du processus, juste avant qu'un robot n'exécute une action. C'est comme avoir un garde qui ne vérifie que le produit fini avant qu'il ne quitte l'usine, plutôt que de vérifier les matières premières ou les plans de conception. Bien que cette protection au moment de l'exécution (runtime) soit importante, elle laisse exposées les étapes antérieures du processus de pensée du robot. L'étude a montré que les défenses pour la mémoire à long terme du robot, sa communication avec d'autres robots et l'intégrité de sa carte interne du monde sont étonnamment rares. Par exemple, il existe très peu d'études sur la manière de protéger la mémoire d'un robot contre l'empoisonnement. Si un robot apprend un fait faux provenant d'une source malveillante et le stocke, ce mensonge peut influencer ses décisions pendant longtemps, provoquant des erreurs répétées qu'un simple vérificateur d'actions pourrait manquer.

L'équipe a également souligné les défis uniques liés au test de ces systèmes. Contrairement à un chatbot textuel qui doit seulement être jugé sur ses mots, un robot incarné doit être testé sur ses actions physiques. Un robot peut suivre avec succès une instruction malveillante consistant à « déplacer la tasse », mais s'il fait tomber la tasse ou renverse un vase en le faisant, l'attaque a réussi d'une manière qu'un test uniquement textuel ne détecterait jamais. Les chercheurs ont noté que de nombreuses études actuelles reposent sur des simulations informatiques, qui sont utiles mais échouent souvent à capturer la réalité désordonnée du monde physique, comme les changements de luminosité, les angles de caméra ou la nature imprévisible des objets réels. Ils ont soutenu qu'une véritable sécurité nécessite de tester les robots dans des environnements réels, où les conséquences d'une erreur sont tangibles. Ils ont également souligné qu'à mesure que les robots commencent à travailler ensemble en groupes, le risque augmente. Si un robot d'une équipe est compromis, il peut propager de mauvaises informations aux autres, provoquant l'échec de l'ensemble du groupe.

En regardant vers l'avenir, les chercheurs suggèrent que le domaine doit aller au-delà des correctifs simples. Ils proposent que les futurs robots soient conçus avec une compréhension plus profonde de la confiance. Cela signifie que chaque information qu'un robot reçoit — qu'il s'agisse d'une voix humaine, d'une image de caméra ou d'un message d'un autre robot — devrait porter une étiquette indiquant sa source et son autorité. Un robot devrait savoir qu'un panneau sur un mur est juste une description du monde et non une commande pour changer son comportement, tandis qu'un ordre direct d'un opérateur humain doit être traité avec une priorité plus élevée. Ils soulignent également la nécessité de meilleures façons de vérifier l'état interne du robot. Si un robot croit qu'une porte est ouverte, il doit y avoir un moyen de vérifier si cette croyance est basée sur des preuves solides ou sur une ruse. L'objectif est de construire des systèmes où la sécurité est tissée dans chaque couche, depuis les données utilisées pour entraîner le robot jusqu'au mouvement final de son bras.

Le travail de Liu et de ses collègues sert de feuille de route cruciale pour un domaine en évolution rapide. En séparant le point d'entrée d'une attaque de la méthode utilisée, ils ont fourni un moyen plus clair de comprendre les vulnérabilités des machines intelligentes. Leurs conclusions suggèrent que, bien que nous devenions meilleurs pour empêcher les robots de faire la mauvaise chose à la toute dernière seconde, nous ne sommes pas encore bons pour les empêcher d'être trompés pour qu'ils pensent la mauvaise chose en premier lieu. À mesure que ces machines s'intègrent dans notre vie quotidienne, le défi sera de garantir que leur capacité à apprendre et à s'adapter ne se fasse pas au détriment de leur sécurité. La voie à suivre exige de passer de la correction de failles individuelles à la construction d'un système où la confiance est vérifiée à chaque étape, garantissant que les actions du robot restent alignées sur l'intention humaine, même face à une tromperie sophistiquée.