Imaginez que vous avez un assistant robotique super intelligent qui ne se contente pas de répondre aux questions, mais qui fait réellement des choses pour vous. Il peut écrire du code, réserver des vols ou organiser vos fichiers numériques. Pour ce faire, le robot a besoin d'un « cerveau » (le modèle d'IA) et d'un « sac à dos » (le système logiciel qui contient ses souvenirs, ses outils et ses compétences). Ce sac à dos est crucial car il permet au robot de se souvenir de ce qu'il a fait hier afin de pouvoir terminer un grand projet aujourd'hui. Mais voici la partie délicate : et si quelqu'un glissait un minuscule virus invisible dans ce sac à dos ? Il pourrait ne rien faire immédiatement. Au lieu de cela, il attend, caché dans une note ou un paramètre d'outil, jusqu'à ce que le robot accomplisse une tâche parfaitement innocente des semaines plus tard. Soudain, cette tâche innocente déclenche le virus, et le robot supprime accidentellement vos fichiers ou envoie un message secret. C'est le monde du « risque persistant » dans les agents d'IA : des dangers qui survivent à travers le temps et les différentes tâches, attendant le moment opportun pour frapper.

Ce document, intitulé HarnessSafe, est comme un test de résistance massif et de haute technologie pour ces sacs à dos de robots. Les chercheurs ont voulu voir si les systèmes d'IA actuels pouvaient détecter ces attaques « dormantes » avant qu'elles ne se réveillent et ne causent des problèmes. Ils ont construit un terrain de jeu avec 328 scénarios différents où ils ont tenté de planter ces virus cachés dans sept types différents de « sacs à dos » (comme la mémoire, les compétences et les outils partagés) à travers sept systèmes de robots populaires. Au lieu de simplement demander : « Le robot a-t-il été piraté ? Oui ou non ? », ils ont suivi l'attaque étape par étape. Ils ont surveillé si le virus était détecté au moment même où il était planté, s'il survivait à un franchissement de limite (comme un nouveau jour ou un nouvel utilisateur), ou s'il finissait par réussir à causer un désastre.

Les résultats ont été un véritable signal d'alarme. Les chercheurs ont découvert que la sécurité ne dépend pas seulement du cerveau du robot ou du sac à dos seul ; elle dépend de la combinaison spécifique des deux. Certains systèmes de robots étaient excellents pour détecter les virus dans leur mémoire mais médiocres pour repérer ceux de leurs outils. D'autres étaient l'inverse. En fait, deux systèmes peuvent avoir le même « taux d'échec » (la fréquence à laquelle ils sont piratés), mais l'un d'eux peut avoir stoppé l'attaque tôt, tandis que l'autre l'a laissé errer pendant des jours avant de finalement échouer. Cela signifie que le simple fait de compter combien de fois un système est piraté ne suffit pas ; nous devons savoir où et quand la défense a échoué. L'étude prouve que ces attaques cachées et différées sont réelles et dangereuses, et que les corriger nécessite d'examiner tout le parcours du risque, et non seulement l'explosion finale.

L'histoire de l'« espion dormant »

Pour comprendre ce que les chercheurs ont fait, imaginons que l'agent d'IA soit un stagiaire super organisé travaillant dans un grand bureau. Ce stagiaire possède un sac à dos (le « harnais ») où il garde ses listes de tâches, ses outils (comme une calculatrice ou un dossier de fichiers) et ses notes sur ce qu'il a fait.

D'habitude, ce stagiaire est serviable. Mais imaginez qu'un espion (l'attaquant) veuille saboter le bureau. L'espion ne se contente pas de crier « Fais quelque chose de mal ! » car le stagiaire dirait non. Au lieu de cela, l'espion glisse une instruction dormante dans le sac à dos du stagiaire. Peut-être écrit-il une note bizarre dans la section « Mémoire », ou modifie-t-il un fichier de « Compétence » pour qu'il paraisse normal mais contienne un piège caché.

L'espion part. Le stagiaire poursuit sa journée, effectuant des tâches normales et ennuyeuses. Rien ne se passe. C'est la partie « persistance » — la chose mauvaise est juste là, assise, à attendre.

Puis, des jours plus tard, le patron (un utilisateur) demande au stagiaire de faire quelque chose de complètement innocent, comme « Résumer ce rapport ». C'est le « déclencheur bénin ». Mais parce que le sac à dos du stagiaire contient toujours l'instruction dormante de l'espion, au moment où le stagiaire ouvre le rapport, le piège se referme. Le stagiaire pourrait accidentellement supprimer les fichiers du patron ou envoyer un e-mail secret, tout en pensant qu'il accomplit simplement un travail normal.

Le grand test de résistance du sac à dos

Les auteurs de ce document ont décidé de jouer le rôle de l'espion pour voir quels systèmes de bureau étaient sûrs. Ils ont créé HarnessSafe, un kit de test géant avec 328 façons différentes de planter ces espions dormants. Ils ont testé ces espions dans sept types différents de sacs à dos :

1. Mémoire : Caché dans les notes du stagiaire.
2. Compétences : Caché dans les instructions sur la façon de réaliser une tâche.
3. Outils/MCP : Caché dans les paramètres des outils que le stagiaire utilise.
4. Mémoire-vers-Compétence : Transformer une note en une nouvelle compétence.
5. Délégation de sous-agent : Transmettre l'espion à un robot assistant.
6. Résumé de session : Caché dans le résumé d'une conversation passée.
7. Artefacts partagés : Caché dans un fichier partagé entre différents travailleurs.

Ils ont testé ces espions sur sept systèmes de robots différents du monde réel (comme Claude Code, Codex CLI, et d'autres) pour voir comment ils géraient les attaques.

Le score de « l'étape » : Pas seulement Oui ou Non

C'est ici que le papier est vraiment ingénieux. La plupart des tests de sécurité disent simplement : « Le robot a-t-il été piraté ? Oui/Non ». Mais les chercheurs ont réalisé que c'est comme dire qu'un accident de voiture est le même, que les freins aient lâché à 10 km/h ou à 100 km/h.

Au lieu de cela, ils ont créé un tableau de score à 7 étapes (appelé N0 à N5b) pour suivre exactement jusqu'où l'espion est allé :

• N0 : L'espion n'a même pas été vu. Le sac à dos était verrouillé hermétiquement.
• N1 : L'espion a été repéré dès qu'il a essayé d'entrer.
• N2 : L'espion est entré et a modifié quelque chose, mais a été capturé avant de pouvoir causer de réels dommages.
• N3 : L'espion a survécu à la « nuit » (une nouvelle session) et a été relu par le stagiaire.
• N4 : L'espion a tenté de faire quelque chose de mal, mais le système a arrêté l'action.
• N5a/N5b : L'espion a réussi ! Les dommages sont faits.

En utilisant ce tableau de score, ils ont pu voir que certains systèmes étaient bons pour arrêter les espions à la porte (N1) mais mauvais pour les arrêter une fois qu'ils étaient à l'intérieur (N3). D'autres étaient l'inverse.

Ce qu'ils ont trouvé : Tout est question d'association

La grande découverte est que la sécurité dépend de l'association spécifique entre le cerveau du robot (le modèle d'IA) et son sac à dos (l'harnais).

• Personne n'est parfait : Il n'y avait aucun système unique qui soit le meilleur en tout. Par exemple, un système (Codex CLI) était incroyable pour attraper les espions dans ses outils et sa mémoire, mais il était en fait le pire pour les attraper dans ses « Compétences ». Un autre système (Claude Code) était excellent pour les compétences mais plus faible ailleurs.
• Le cerveau compte aussi : Si vous prenez le même sac à dos et que vous y mettez un cerveau d'IA différent, le score de sécurité change radicalement. Un cerveau peut être très prudent et attraper l'espion, tandis qu'un autre peut être trop confiant et le laisser passer.
• Le piège du « même score » : Deux systèmes peuvent avoir le même « Taux de succès de l'attaque » (ce qui signifie qu'ils ont tous deux échoué le même nombre de fois). Mais quand on regarde les étapes, l'un peut avoir échoué tôt (N1), tandis que l'autre a laissé l'espion errer pendant des jours (N3) avant de faillir. Cela signifie qu'un simple score « réussite/échec » cache beaucoup de détails dangereux.

La conclusion

Le document conclut que nous ne pouvons pas simplement regarder un robot et dire « Il est sûr » ou « Il est dangereux ». La sécurité est une danse complexe entre le logiciel qui détient la mémoire et l'IA qui réfléchit. Si nous voulons arrêter ces attaques d'« espion dormant », nous devons construire des systèmes qui surveillent tout le parcours du risque, et pas seulement le résultat final. Nous devons savoir exactement où la défense a cassé pour pouvoir réparer cette partie spécifique du sac à dos.

En bref, les chercheurs ont montré que dans le monde des agents d'IA, un danger caché peut dormir pendant longtemps, et l'attraper nécessite un regard bien plus détaillé que de simplement vérifier si le robot fonctionne encore. Ils ont fourni la carte et le tableau de score pour aider à trouver exactement où se trouvent les fissures.