Résumé technique : Planter, Persister, Déclencher : Attaque Sleeper sur les Agents de Modèles de Langage

1. Définition du problème

Les agents de modèles de langage (LLM) sont vulnérables aux menaces de sécurité provenant d'environnements externes, où des attaquants injectent du contenu adversarial dans des observations telles que des données renvoyées par des outils, des pages web ou des contextes MCP. Alors que les recherches existantes se concentrent principalement sur les attaques à interaction unique—où du contenu adversarial est injecté et déclenche immédiatement un comportement nuisible au sein de la même requête utilisateur—ce papier identifie une limitation critique : le contenu adversarial peut persister à travers les interactions.

Les auteurs formalisent une nouvelle menace appelée Attaque Sleeper. Dans ce scénario, du contenu adversarial est planté dans l'état de l'agent (contexte de session, mémoire ou compétences réutilisables) lors d'une interaction initiale. Ce contenu reste dormant au cours des interactions subséquentes et n'est activé que plus tard par une requête utilisateur bénigne. Ce mécanisme rend la menace plus difficile à détecter et à atténuer que l'injection directe, car l'action nuisible est découplée de l'événement d'injection initial.

2. Méthodologie

2.1 Formalisation de la menace et taxonomie

Les auteurs définissent le système d'agent LLM comme un processus d'interaction impliquant un utilisateur, une politique LLM ($\pi_\theta$), un environnement externe ($E$) et des états d'agent ($s_t$). Une Attaque Sleeper se produit lorsqu'une observation adversarial $o^{adv}_{t,i}$ injectée à l'interaction $t$ ne provoque pas immédiatement un comportement non sécurisé ($U(h^{adv}_t) = 0$) mais est stockée dans la mise à jour de l'état ($s^{adv}_{t+1} = f(s_t, h^{adv}_t)$). À une interaction future $t+k$, une requête bénigne $x_{t+k}$ déclenche l'état stocké pour produire un comportement non sécurisé ($U(h^{adv}_{t+k}) = 1$).

L'étude catégorise les attaques selon deux axes :

1. Stratégies d'attaque (Modes de déclenchement) :
   • Plantage d'instructions latentes (LIP) : Des instructions malveillantes sont plantées pour induire des actions non sécurisées ultérieurement.
   • Élicitation proactive d'informations (PIE) : Une variante améliorée du LIP où l'instruction plantée amène l'agent à solliciter des informations sensibles auprès de l'utilisateur avant d'exécuter l'action malveillante.
   • Corruption persistante d'informations (PIC) : Des informations persistantes dans l'état de l'agent sont corrompues, amenant l'agent à se fier à des données incorrectes pour ses futures sorties.
2. Cibles d'état d'agent (Lieux de persistance) :
   • Contexte de session : Contenu adversarial conservé dans l'historique de conversation.
   • Mémoire : Contenu écrit dans des modules de mémoire et récupéré ultérieurement.
   • Compétences réutilisables : Contenu injecté dans des définitions de compétences hiérarchiques (compétences de haut niveau et de niveau outil) qui guident la sélection future des outils.

2.2 Construction du benchmark

Pour évaluer cette menace, les auteurs ont construit un benchmark complet comportant 1 896 instances d'évaluation.

• Domaines de préjudice : Six catégories : préjudice économique, compromission de compte/système, préjudice dans le monde physique, fuite de données personnelles, fuite de données financières et fuite d'autres informations sensibles.
• Environnement de simulation : Construit à l'aide du SDK OpenAI Agents et de ToolEmu, simulant 330 outils et états d'agent (mémoire et compétences).
• Protocole d'évaluation : Un système d'évaluation basé sur des règles a été conçu pour vérifier la sécurité au niveau de la trajectoire. Le succès est déterminé par la correspondance de traces ordonnées (séquence correcte d'actions) et la correspondance argument-valeur (par exemple, vérifier si des données ont été envoyées à une adresse contrôlée par l'attaquant). Cela évite le manque de fiabilité des juges LLM pour l'évaluation de la sécurité.

2.3 Configuration expérimentale

Le benchmark a été évalué sur sept LLM puissants (à la fois open-source et closed-source), notamment Gemini-3-Flash, Gemini-3.1-Pro, DeepSeek-R1, Qwen3.5-Plus/Flash, GPT-5.4 et Llama-3.3-70B. Les expériences ont comparé le taux de réussite de l'attaque (ASR) de l'Attaque Sleeper par rapport à une Baseline d'interaction unique directe.

3. Résultats clés

3.1 Écarts de sécurité significatifs

Les expériences ont révélé un écart de sécurité substantiel « direct-vers-sleeper ». Les modèles qui ont démontré une faible vulnérabilité aux attaques directes ont souvent échoué de manière significative sous les attaques sleeper.

• LIP : L'ASR moyenne pour la baseline directe était de 11,1 %, mais est passée à 39,9 % sur l'état d'agent le plus fort. Par exemple, Gemini-3.1-Pro est passé de 6,2 % (direct) à 92,6 % (état de compétence).
• PIE : La baseline directe a moyenné 0,6 %, alors que l'état d'agent le plus fort a atteint 41,6 %. Des modèles comme Qwen3.5-Plus sont passés d'un ASR direct proche de zéro à 51,2 % sur l'état de compétence.
• PIC : Cette stratégie a montré la vulnérabilité globale la plus élevée, avec un ASR moyen de 47,8 % contre 29,1 % (LIP) et 26,8 % (PIE). Gemini-3.1-Pro a atteint un ASR de 100 % sur l'état de compétence.

3.2 Vulnérabilités spécifiques aux états

• États de compétence et de session : Ceux-ci ont été identifiés comme les cibles les plus dangereuses, avec des ASR moyens de 45,6 % et 40,5 % respectivement, contre 34,8 % pour la mémoire.
• Incohérence : La performance de sécurité d'un modèle n'est pas uniforme à travers les stratégies ou les états. Un modèle sûr dans un contexte (par exemple, injection directe) peut être hautement vulnérable dans un autre (par exemple, attaque sleeper basée sur des compétences).

3.3 Persistance et effets à long horizon

• Rejeu en session fraîche : Même lorsqu'une attaque échoue au sein de la même session, l'état planté peut persister dans une session fraîche. Pour Qwen3.5-Plus, l'ASR cumulatif sur la mémoire a atteint 94,3 % pour les cas PIC après un rejeu en session fraîche.
• Horizons plus longs : Alors que les attaques basées sur la session se dégradent à mesure que le contexte s'allonge (chutant de 62,7 % à 40,7 % d'ASR sur 20 interactions), les états de mémoire et de compétence restent stables, maintenant une haute vulnérabilité sur des horizons plus longs.

3.4 Évaluation des défenses

Les auteurs ont testé des défenses légères, sans entraînement (instructions basées sur des règles et filtres basés sur des gardes) sur Qwen3.5-Plus.

• Efficacité limitée : Les défenses ont réduit l'ASR dans certains paramètres (par exemple, les filtres basés sur des gardes ont réduit l'ASR de compétence PIE de 51,2 % à 30,9 %) mais n'ont pas réussi à éliminer la menace entièrement.
• Instabilité : Dans certains cas, les instructions basées sur des règles ont en fait augmenté l'ASR, suggérant que l'ingénierie de prompt simple est insuffisante face aux menaces externes inter-interaction.

3.5 Mise à l'échelle des modèles

La vulnérabilité n'est pas strictement corrélée à la taille du modèle. Les grands modèles open-source (par exemple, Qwen3-32B) ont présenté des ASR moyens plus élevés que les variantes plus petites (par exemple, Qwen3-4B), en particulier pour la stratégie PIC, indiquant que la mise à l'échelle ne résout pas intrinsèquement les vulnérabilités aux attaques sleeper.

4. Contributions et importance

Le papier apporte trois contributions principales :

1. Formalisation de l'Attaque Sleeper : Il introduit le premier modèle de menace unifié de source externe pour les attaques d'agents LLM inter-interaction, mettant en évidence comment du contenu adversarial peut être planté, stocké et déclenché par des requêtes bénignes.
2. Benchmark à grande échelle : Il fournit un benchmark de 1 896 instances couvrant trois stratégies d'attaque, trois cibles d'état d'agent et six domaines de préjudice réels, permettant des comparaisons contrôlées entre les attaques directes et sleeper.
3. Preuve empirique de vulnérabilité : Il démontre que les agents LLM de l'état de l'art restent hautement vulnérables aux attaques sleeper, même lorsqu'ils semblent robustes face aux attaques à interaction unique.

Importance :
Les auteurs soutiennent que les évaluations de sécurité actuelles sont insuffisantes car elles se concentrent principalement sur l'utilisation immédiate des outils. Les résultats indiquent que l'évaluation de la sécurité des agents doit suivre comment le contenu non fiable est écrit, stocké et réutilisé à travers les interactions. L'existence d'un grand écart de sécurité entre les attaques directes et sleeper suggère que les défenses actuelles sont mal équipées pour gérer les menaces persistantes basées sur l'état, nécessitant de nouvelles recherches sur la surveillance et la désinfection des états d'agent (mémoire, compétences et contexte) plutôt que le simple filtrage des entrées immédiates.

Limites :
L'étude repose sur un environnement d'outils simulé (ToolEmu), qui peut différer des écosystèmes déployés avec des authentifications ou des journaux d'audit supplémentaires. De plus, le benchmark abstrait des couches de contrôle de déploiement spécifiques (par exemple, les flux de travail de révision humaine), ce qui signifie que les résultats mesurent la vulnérabilité sous des interfaces contrôlées plutôt que les taux d'incidents directs dans des systèmes réels spécifiques.