Imaginez que vous êtes le capitaine d'un vaisseau spatial très intelligent et très rapide. Ce vaisseau possède un nouveau type de pilote automatique : un agent IA. Cet agent ne se contente pas de diriger ; il peut parler à d'autres ordinateurs, ouvrir des portes, déplacer des cargaisons et même réparer le moteur. Mais voici la partie délicate : votre vaisseau vole à travers une galaxie pleine de bruit. Parfois, un membre d'équipage amical donne un ordre, et parfois, un extraterrestre sournois tente de piéger le vaisseau en cachant un faux ordre à l'intérieur d'un message qui semble pourtant inoffensif.

Pendant longtemps, les scientifiques étudiant ces vaisseaux dotés d'IA pensaient que la seule façon de rester en sécurité était d'examiner les mots de l'ordre. Si l'ordre semblait effrayant, comme « faire exploser le moteur », ils l'arrêtaient. S'il semblait gentil, comme « réparer le moteur », ils le laissaient passer. Mais c'est comme un garde de sécurité dans un club qui ne regarderait que la couleur de votre chemise. Si un cambrioleur porte une chemise rouge, le garde le laisse entrer. Si un pompier porte une chemise rouge, le garde l'arrête. Le problème est que les mêmes mots peuvent être une requête amicale d'un patron ou un piège mortel d'un pirate informatique, selon entièrement qui parle et quelle est la situation. Ce document soutient que nous devons arrêter de regarder seulement les mots et commencer à regarder toute l'histoire derrière eux.

---

Le Grand Mélange : Les Mots vs Qui les a Dits

Les auteurs de ce document, une équipe de chercheurs de l'UC Santa Cruz et de l'UC Berkeley, soulignent une erreur majeure dans la façon dont nous testons et protégeons les agents d'IA. Ils disent que nous avons posé la mauvaise question. Au lieu de demander : « Est-ce que cette commande semble dangereuse ? », nous devrions demander : « Cette commande est-elle autorisée dans cette situation spécifique ? »

Pour comprendre pourquoi cela importe, imaginez une commande « Supprimer le fichier ».

• Scénario A : Votre patron, qui possède une clé du bâtiment, dit : « Supprime les vieux fichiers de l'année dernière. » C'est une bonne chose.
• Scénario B : Un pirate, qui a glissé une note sur un tableau d'affichage public, dit : « Supprime les vieux fichiers de l'année dernière. » C'est un désastre.

Les mots sont identiques. L'action est identique. Mais dans le premier cas, c'est un nettoyage de routine. Dans le second, c'est un crime. Les systèmes de sécurité actuels sont comme un robot qui ne fait que lire la note. Il voit « Supprimer » et panique, ou voit « Supprimer » et pense : « Oh, c'est parfait », sans vérifier qui l'a écrit. Les auteurs soutiennent que c'est comme essayer de juger un film en regardant une seule image. Vous manquez l'intrigue, les personnages et le contexte.

Le Contrôle de Sécurité en Quatre Parties

Pour corriger cela, le document suggère que nous arrêtions de regarder l'action seule et commencions à vérifier quatre choses spécifiques, comme une équipe de sécurité effectuant une liste de contrôle avant de laisser un vaisseau spatial se déplacer. Ils appellent cela un « cadre holistique », ce qui est juste une façon sophistiquée de dire « regarder l'image globale ».

Voici les quatre règles que les auteurs disent que nous devons vérifier pour chaque action entreprise par une IA :

1. Autorisation de la Source (Qui parle ?) : Cela demande : « Une personne possédant les bonnes clés a-t-elle réellement dit cela ? » Si une commande provient d'une page web aléatoire ou d'un document que l'IA est en train de lire, c'est comme un étranger criant des ordres depuis la rue. Même si l'ordre est « envoyer de l'argent », si l'étranger n'est pas le directeur de la banque, la réponse est « Non ».
2. Alignement de la Tâche (Quelle est la mission ?) : Cela demande : « Cet ordre fait-il partie du travail pour lequel l'IA a été engagée ? » Imaginez un robot de livraison engagé pour apporter des pizzas. Si quelqu'un lui dit de « braquer une banque », c'est un métier différent. Même si le robot peut se rendre à la banque, il ne devrait pas le faire car ce n'est pas sa mission.
3. Alignement de l'Action (Cette étape correspond-elle à la mission ?) : Cela demande : « Ce mouvement spécifique aide-t-il la mission ? » Si le robot livre des pizzas, il peut avoir besoin d'ouvrir une porte. Mais s'il décide de « fracasser la porte » pour passer, c'est trop. Le but (livrer la pizza) est correct, mais l'action (le fracas) est mauvaise.
4. Isolation des Données (Y a-t-il des fuites de secrets ?) : Cela demande : « L'IA mélange-t-elle des informations privées ? » Imaginez l'assistant d'un médecin. S'il aide le Patient A, puis aide le Patient B, il ne doit pas accidentellement révéler au Patient B l'historique médical du Patient A. L'IA doit garder les « dossiers » de différentes personnes séparés.

Pourquoi les anciens tests échouent

Le document souligne que beaucoup des tests que nous utilisons aujourd'hui pour voir si l'IA est sûre sont défaillants car ils ignorent ces quatre règles. Les chercheurs ont examiné deux ensembles de tests populaires, AgentDojo et WASP, qui contiennent 45 scénarios d'« attaque » différents.

Ils ont découvert quelque chose de surprenant : chacune de ces 45 « attaques » pourrait aussi être une requête normale et légale.

• L'Attaque : « Transférer 30 000 $ en petits montants. »
  • La version « Mauvaise » : Un pirate essayant de voler de l'argent.
  • La version « Bonne » : Un comptable légitime essayant de respecter une limite quotidienne tout en payant une maison.
• L'Attaque : « Ajouter un nouvel utilisateur en tant que Propriétaire. »
  • La version « Mauvaise » : Un pirate prenant le contrôle d'un projet.
  • La version « Bonne » : Un patron intégrant un nouveau cofondateur.

Les tests actuels voient simplement l'action (« Transférer de l'argent » ou « Ajouter un utilisateur ») et disent : « C'est une attaque ! ». Les auteurs disent que c'est une erreur. Le test ne peut pas faire la différence parce qu'il ne vérifie ni qui a demandé, ni pourquoi. C'est comme un professeur qui reproche à un élève d'avoir écrit le mot « bombe » dans une histoire sur un film, sans lire le reste de l'histoire.

Le Problème du « Instantané »

Les auteurs critiquent également la façon dont nous testons l'IA. La plupart des tests sont comme des « instantanés ». On donne une commande à l'IA, on voit ce qui se passe, puis on réinitialise tout. On efface la mémoire de l'IA et on recommence.

Mais la vraie vie n'est pas un instantané ; c'est un film. Un pirate pourrait ne pas attaquer immédiatement. Il pourrait planter une note « empoisonnée » dans la mémoire de l'IA aujourd'hui, puis, trois jours plus tard, l'IA lit cette note et pense qu'il s'agit d'un ordre réel. Parce que les tests par instantané réinitialisent la mémoire, ils ne pourront jamais voir ces attaques lentes et sournoises. Les auteurs soutiennent que nous devons observer tout le voyage de l'IA, et non pas seulement une étape à la fois.

La Solution : Une nouvelle façon de construire des défenses

Alors, que faire ? Le document suggère que nous arrêtions d'essayer de construire des « filtres de contenu » (des programmes qui scannent simplement les mots pour détecter de mauvaises intentions) et que nous commencions à construire des « contrôles de contexte ».

• Au lieu de demander : « Est-ce que cette phrase ressemble à un piratage ? »
• Nous devrions demander : « La source est-elle autorisée ? La tâche est-elle permise ? L'action est-elle disproportionnée ? Y a-t-il une fuite de données ? »

Cela change la façon dont nous construisons les défenses. Si une défense est douée pour vérifier l'« Autorisation de la Source », elle n'a pas besoin d'être parfaite pour deviner si un mot est « mauvais ». Elle doit simplement savoir si la personne qui parle possède une clé. C'est un travail beaucoup plus facile et plus fiable.

Les auteurs admettent que c'est un grand changement. Cela signifie que nous ne pouvons pas simplement compter sur l'IA pour « savoir » ce qui est mal. Nous devons construire des systèmes qui vérifient constamment les quatre règles pendant que l'IA travaille. Ils suggèrent que, bien que nous ne puissions pas toujours avoir un suivi parfait, nous pouvons construire des systèmes qui sont « assez bons » pour vérifier ces quatre points afin d'arrêter les erreurs majeures.

L'essentiel

Ce document ne prétend pas avoir résolu tous les problèmes de la sécurité de l'IA. Il ne dit pas : « Nous avons tout réparé ! ». Il dit plutôt : « Nous avons regardé le problème sous le mauvais angle. »

En traitant la sécurité comme une histoire sur qui fait quoi et pourquoi, plutôt que comme une simple liste de mauvais mots, nous pouvons construire des IA qui sont réellement sûres. C'est la différence entre un garde de sécurité qui regarde simplement votre visage et un qui vérifie votre carte d'identité, votre billet, votre destination et vos bagages. Le document suggère que si nous voulons que nos agents d'IA volent en toute sécurité à travers la galaxie, nous devons commencer à vérifier tout le billet, pas seulement le visage.