Résumé technique : Signatures de trajectoire forensique pour la détection de l'empoisonnement de la mémoire des agents

Énoncé du problème

Le document traite du défi de la détection des attaques d'empoisonnement de la mémoire persistante dans les agents de Grands Modèles de Langage (LLM). Contrairement à l'EDR (Endpoint Detection and Response) classique qui analyse les traces de processus, la sécurité des agents LLM manque de méthodologies établies pour identifier des canaux d'attaque spécifiques en utilisant uniquement des journaux observables. Les défenses existantes nécessitent souvent un accès aux stocks de mémoire (ex: MemLineage), aux internes de modèles en boîte blanche (ex: analyse d'activation), ou à des couches de récupération pré-injection (ex: RAG Sanitizer), imposant des exigences d'infrastructure que de nombreux opérateurs ne peuvent satisfaire.

La menace spécifique modélisée est une Attaque à Déclenchement Différé (DTA - Delayed-Trigger Attack) : un adversaire injecte une instruction malveillante via un document récupéré par RAG, que l'agent stocke dans sa mémoire persistante. Lors d'une session ultérieure, l'agent récupère cette règle stockée et exécute une action malveillante (ex: exfiltration d'e-mails). La contrainte du détecteur est stricte : il observe uniquement la séquence d'appels d'outils et les horodatages, sans accès au contenu de la mémoire, aux poids du modèle ou aux messages de l'utilisateur.

Méthodologie

Modèle de menace et hypothèses

L'étude suppose une architecture où la mémoire persistante est accédée exclusivement via des opérations de récupération observables (appels d'outils). L'information de routage de l'attaquant est stockée sous forme de valeur en mémoire, nécessitant un appel d'outil spécifique de type recall fact (rappeler le fait) pour récupérer l'adresse de destination avant qu'un outil send email (envoyer l'e-mail) puisse être exécuté. Cela contraste avec les attaques par injection de prompt où la règle est directement intégrée dans le prompt de l'utilisateur.

Jeu de données

L'évaluation utilise 2 520 exécutions étiquetées issues d'une expérience factorielle couvrant :

• 9 Modèles : Allant de 7B à 120B de paramètres (familles Qwen, GLM, GPT-OSS).
• 7 Conditions de défense : Incluant Minimizer, Sanitizer, RAG Sanitizer, Prompt Hardening et Memory Sandbox.
• Étiquettes : 1 919 succès d'attaque (l'exfiltration a eu lieu) et 601 sessions de non-exfiltration (empoisonnées mais défendues). Le classifieur distingue les exécutions d'attaques réussies des exécutions infructueuses au sein du bras DTA.

Ingénierie des caractéristiques (Feature Engineering)

Les caractéristiques sont extraites uniquement de la session de déclenchement (S4) pour éviter la fuite d'étiquettes (label leakage). L'étude définit 19 caractéristiques de trajectoire basées sur l'ordre et le nombre d'appels d'outils :

• Comptages : Fréquences brutes d'appels (ex: recall count, send count).
• Structurelles : Indicateurs binaires tels que recall before send (un rappel a-t-il eu lieu avant le premier envoi ?) et send without recall (envoi sans rappel).
• Transitions : Comptages de bigrammes d'appels d'outils consécutifs (ex: list puis recall, draft puis send).
• Points d'entrée : L'identité du premier outil appelé dans la session.

Classification et évaluation

Trois classifieurs (Régression Logistique, Forêt Aléatoire, Arbres de Décision Boostés) ont été entraînés en utilisant une validation croisée à 5 plis stratifiée. La métrique principale est le Rappel (minimiser les faux négatifs/attaques non détectées), avec l'AUC-ROC comme métrique secondaire. L'évaluation inclut des tests de maintien (hold-out) de type "leave-one-model-out" et des sondes de modèles frontières (GPT-4.1).

Principaux résultats et conclusions

1. Découverte d'un invariant comportemental

La découverte centrale est un invariant comportemental mécaniquement forcé : les attaques d'empoisonnement de la mémoire par canal réussies doivent présenter un appel recall fact avant l'appel send email. Il ne s'agit pas d'une corrélation statistique mais d'une nécessité structurelle ; sans la récupération de l'adresse de routage stockée, l'agent ne peut pas achever l'exfiltration.

• Performance de la règle simple : Un détecteur basé uniquement sur la transition recall before send atteint un AUC = 0,9563.
• Robustesse mécaniste : Supprimer cette transition brise l'attaque, car l'agent ne peut pas récupérer l'adresse de destination.

2. Signature surdéterminée

L'attaque laisse une signature distribuée à travers plusieurs canaux comportementaux indépendants, pas seulement l'événement de rappel unique.

• Performance du classifieur complet : Une Forêt Aléatoire utilisant les 19 caractéristiques atteint un AUC = 0,9904 (IC 95% BCa [0,987, 0,993]) avec un Rappel de 0,9838.
• Étude d'ablation : Supprimer toutes les caractéristiques liées au rappel (9 caractéristiques) laisse l'AUC inchangé à 0,9904. Cela confirme que la signature est surdéterminée ; la dépendance de l'attaque vis-à-vis de la récupération d'informations déclenche une cascade de changements comportementaux en aval (ex: comptages de draft, comptages de send, motifs de transition) qui sont détectables même sans les caractéristiques explicites de rappel.

3. Généralisation inter-modèles

L'invariant se généralise à travers les familles de modèles et les échelles de paramètres (7B–120B) :

• Validation Hold-Out : Sur 6 des 9 modèles mis de côté, le classifieur a atteint un AUC = 1,000.
• Exceptions :
  • qwq:32b (AUC=0,000) : Un échec de type "bypass implicite" où le modèle utilise un repli RAG sans appeler recall fact, contournant ainsi le canal de la mémoire.
  • qwen2.5:14b (AUC=0,083) : Une inversion de distribution où les sessions non attaquées appellent agressivement le rappel pour vérifier des données bénignes, imitant la signature de l'attaque (bien que le Rappel reste à 1,000).
  • qwen3.5:122b (AUC=0,750) : Ambiguïté d'étiquette due à des sessions "dormantes" où le modèle stocke mais refuse d'exécuter la règle.
• Modèles frontières : Le classifieur, entraîné uniquement sur des modèles open-source, a obtenu un Rappel = 1,000 sur les sondes GPT-4.1 sans réentraînement.

4. Limites de déploiement et évitement

• Détection par préfixe uniquement : Un classifieur strictement basé sur le préfixe (opérant avant l'événement send) atteint un AUC = 0,934, suggérant qu'un blocage en temps réel est réalisable avec une dégradation modérée.
• Frontière d'évitement : Les attaques par injection de prompt (où la règle est dans le prompt, pas dans la mémoire) produisent une trajectoire distincte avec un recall before send = 0. Le détecteur leur attribue correctement un score faible (moyenne de 0,541), permettant aux intervenants en réponse aux incidents de distinguer les attaques par canal de mémoire des attaques par injection de prompt en utilisant uniquement les journaux d'appels d'outils.
• Faux Négatifs : Tous les 31 faux négatifs provenaient de la condition de défense Memory Sandbox (où recall fact est supprimé du schéma d'outils) ou de l'architecture spécifique de bypass implicite de qwq:32b.

Signification et affirmations

L'article affirme que la principale contribution est la découverte empirique d'un invariant comportemental stable et surdéterminé dans les trajectoires d'exécution des agents, plutôt que l'architecture du classifieur elle-même.

• Utilité forensique : Le détecteur fonctionne comme un "IDS d'espace d'états" pour les attaques de canal mémoire, ne nécessitant que les journaux d'appels d'outils (un seuil de déploiement plus bas que l'inspection de la mémoire ou des internes du modèle).
• Attribution de canal : Il permet de distinguer les attaques d'empoisonnement de la mémoire des attaques par injection de prompt sur la base des seuls journaux d'opérations.
• Robustesse structurelle : La détection repose sur une caractéristique (recall before send) qui est mécaniquement imposée par la dépendance de l'attaque à la récupération d'informations. Un adversaire ne peut pas supprimer cette caractéristique sans soit briser l'attaque, soit changer le vecteur d'attaque vers l'injection de prompt.
• Généralisabilité : La signature est transférable entre les familles de modèles et les échelles de paramètres sans réentraînement, indiquant qu'elle reflète le mécanisme d'attaque plutôt que des comportements spécifiques au modèle.

Les auteurs positionnent ce travail comme un outil d'audit forensique qui complète les mécanismes de prévention, offrant une détection et une attribution de haute confiance pour les incidents où les défenses de prévention (comme le Memory Sandbox) peuvent échouer ou lorsque l'attaque a déjà eu lieu.