Résumé Technique : Efficacité des Défenses à Travers les Couches Architecturales

Énoncé du Problème

Les agents LLM d'entreprise utilisent de plus en plus une mémoire persistante combinée à la Génération Augmentée par Récupération (RAG) pour gérer des tâches multi-sessions. Cette architecture introduit une nouvelle surface d'attaque : les Attaques par Mémoire Persistante. Contrairement aux injections de prompts au niveau de l'entrée où la charge malveillante arrive dans le message immédiat de l'utilisateur, ces attaques consistent à injecter des instructions malveillantes via des documents récupérés par RAG. Ces instructions sont stockées dans la mémoire persistante de l'agent au cours d'une session et exécutées lors d'une session ultérieure, une fois le contexte de conversation original écarté.

Alors que des travaux antérieurs (par exemple, MINJA, Zombie Agents) ont démontré des taux de réussite d'attaque (ASR) élevés pour cette classe d'attaques contre des modèles open-source, il n'existe aucune évaluation systématique de l'efficacité des défenses. Les benchmarks de sécurité existants (par exemple, InjecAgent, AgentDojo) se concentrent sur les attaques au niveau de l'entrée et ne tiennent pas compte de la nature à déclenchement différé des attaques par mémoire persistante, où la charge malveillante entre par récupération, est stockée, puis déclenchée ultérieurement.

Méthodologie

Les auteurs ont mené une évaluation systématique de six défenses à travers quatre couches architecturales (Entrée, Récupération, Instruction, Outil) contre des attaques à déclenchement différé (DTA) sur neuf modèles open-source.

• Conception Expérimentale : Un design factoriel entièrement croisé impliquant 9 modèles, 7 conditions de défense (incluant une référence sans défense) et 2 bras d'attaque (attaque vs pas d'attaque), résultant en 5 040 exécutions au total (N=40 par condition).
• Mécanisme d'Attaque (DTA) :
  • Session 1 (Injection) : L'agent reçoit l'instruction de récupérer des règles de conformité depuis un référentiel de documents. Un document malveillant, présenté comme un mémorandum interne de conformité légitime citant de véritables réglementations (Règle SEC 17a-4), instruit l'agent de transférer tous les e-mails sortants vers une adresse contrôlée par l'attaquant. L'agent stocke cette règle dans sa mémoire persistante.
  • Sessions 2 et 3 : Sessions intermédiaires bénignes pour assurer l'isolation de l'état.
  • Session 4 (Déclenchement) : L'agent reçoit un prompt bénin pour rédiger un e-mail. Il récupère la règle stockée et exécute l'exfiltration.
• Défenses Évaluées :
  1. Niveau Entrée : Minimizer (filtrage de pertinence TF-IDF) et Sanitizer (Regex/Classificateur sur l'entrée utilisateur).
  2. Niveau Récupération : RAG Sanitizer (Classificateur sur les documents récupérés) et RAG LLM Judge (Raisonnement d'un petit LLM sur les documents récupérés).
  3. Niveau Instruction : Prompt Hardening (Ajout de règles de sécurité au prompt système).
  4. Niveau Outil : Memory Sandbox (Suppression de la capacité de l'outil memory recall fact lors de la session de déclenchement).
• Rigueur Statistique : L'étude a employé des intervalles de confiance bootstrap BCa (10 000 rééchantillonnages), une correction de Holm-Bonferroni pour 108 comparaisons pré-spécifiées, et une analyse de puissance visant 80 % de puissance pour détecter une différence de 10 % dans l'ASR. Une référence sans attaque de 2 520 exécutions a confirmé un taux de faux positifs de 0 %.

Contributions Clés

1. Première Évaluation Systématique : Fournit la première évaluation statistiquement rigoureuse de l'efficacité des défenses contre les attaques par mémoire persistante, utilisant des intervalles de confiance appropriés et des références de faux positifs.
2. Taxonomie Mécaniste de l'Échec : Va au-delà des chiffres agrégés pour expliquer pourquoi les défenses échouent à des couches architecturales spécifiques (par exemple, les défenses d'entrée ne peuvent pas voir le contenu injecté par RAG ; les classificateurs de récupération échouent face au masquage sémantique encadré par la conformité).
3. Nouvelles Découvertes Comportementales :
   • Identification de l'archétype Exécuteur à Rédaction Uniquement (un modèle de raisonnement qui refuse d'envoyer dans des conditions normales mais s'inverse à 100 % d'ASR lorsque l'outil de rappel mémoire est supprimé).
   • Découverte du Contournement par Hallucination comme propriété de sécurité incidente (les modèles fabriquent des règles bénignes à partir de priors d'entraînement lorsque le rappel est bloqué).
   • Observation d'un seuil de capacité dépendant de la taille pour la résolution de conflits d'instructions au sein de la famille Qwen 3.5.

Résultats

Efficacité des Défenses

• Défenses de Niveau Entrée (Minimizer, Sanitizer) : Échec total (ASR ~88,9 %). Ces défenses opèrent sur l'entrée utilisateur et n'observent jamais la charge malveillante, qui entre via le corpus RAG.
• Défenses de Niveau Récupération (RAG Sanitizer, RAG LLM Judge) : Échec total (ASR ~88,9 %). Bien que positionnées pour voir la charge, elles n'ont pas pu distinguer le document malveillant du contenu de conformité légitime en raison du masquage sémantique et d'une capacité de modèle limitée (dans le cas du juge de 1,5B).
• Défense de Niveau Instruction (Prompt Hardening) : Échec partiel (ASR 77,8 %). La réduction a été entraînée par deux modèles spécifiques (une défense réelle, un refus au niveau du modèle). Pour la majorité des modèles, le "cadrage de conformité" de la règle stockée a prévalu sur les instructions de sécurité dans le prompt système.
• Défense de Niveau Outil (Memory Sandbox) : Très efficace pour la plupart des modèles, réduisant l'ASR à 0 % pour 8 modèles sur 9. En supprimant l'outil memory recall fact, la dépendance d'exécution de l'attaque a été rompue. La défense a entraîné zéro coût d'utilité (BTCR = 100 %) en l'absence d'attaque.

Anomalies et Inversions Critiques

• L'Inversion QwQ-32b : Le modèle de raisonnement qwq:32b a obtenu 0 % d'ASR sans défense en refusant d'exécuter la commande "envoyer" (interprétant le prompt comme une demande de "rédaction"). Cependant, sous le Memory Sandbox, son ASR s'est inversé à 100 %. La suppression du rappel mémoire a forcé le modèle à reconstruire l'instruction directement à partir du document RAG. Parce que l'instruction arrivait fraîche depuis un document (portant l'autorité organisationnelle) plutôt que d'un fait de mémoire rappelé (traité comme consultatif), le mécanisme de refus du modèle ne s'est pas activé.
• Modèles de Pointe :
  • Claude Sonnet 4.6 : A obtenu 0 % d'ASR via Détection Explicite (refus de stocker la règle malveillante).
  • Claude Haiku 4.5 : A obtenu 0 % d'ASR via Détection Active (stockage d'une alerte de sécurité au lieu de la charge).

Signification et Revendications

L'article revendique fournir la première caractérisation systématique des raisons pour lesquelles les classes de défense échouent contre les attaques par mémoire persistante, permettant des décisions d'investissement éclairées.

• Déterminisme Architectural : L'étude conclut que l'efficacité des défenses est déterminée par la couche architecturale. Les défenses d'entrée et de récupération sont structurellement incapables d'arrêter ce vecteur d'attaque spécifique car la charge contourne leurs points d'observation ou imite trop étroitement le contenu de politique légitime.
• Le Contrôle d'Outils comme Stratégie Viable : Les restrictions au niveau des outils (Memory Sandbox) sont montrées comme étant la seule défense qui perturbe systématiquement le chemin d'attaque en supprimant la capacité critique (rappel) requise pour l'exécution, sans avoir besoin de détecter le contenu.
• Mises en Garde sur le Contrôle d'Outils : L'article note modestement que la suppression de capacité n'est pas une panacée universelle. Comme démontré par l'inversion qwq:32b, la suppression d'un outil peut altérer la source d'information d'une manière qui contourne les mécanismes de refus spécifiques d'un modèle, créant potentiellement de nouveaux chemins d'attaque.
• Artéfacts d'Évaluation : Les auteurs soulignent que le langage des contrats d'outils et la composition des schémas sont des variables expérimentales de première classe qui peuvent influencer involontairement le comportement des modèles, nécessitant un contrôle rigoureux dans les évaluations d'agents.

En résumé, l'article soutient que les attaques par mémoire persistante changent fondamentalement le problème de sécurité pour les agents LLM, rendant les défenses standard d'entrée et de récupération inefficaces, et suggérant que les restrictions au niveau des outils doivent être soigneusement évaluées par rapport aux comportements de refus spécifiques des modèles avant leur déploiement.