💬 NLP

Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms

Ce papier présente le CSTM-Bench, un benchmark et une nouvelle métrique (CSTM) intégrant la stabilité des préfixes, qui démontrent que les agents IA actuels échouent à détecter les menaces réparties sur plusieurs sessions et proposent une architecture de mémoire à noyau borné pour y remédier.

Auteurs originaux : Ari Azarafrooz

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ari Azarafrooz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : L'Amnésie des Gardes du Corps

Imaginez que vous avez un garde du corps très intelligent (l'IA) qui protège une entreprise. Ce garde a une règle stricte : il ne se souvient de rien. À chaque fois qu'un visiteur lui parle, le garde regarde la phrase, la juge, et oublie tout aussitôt.

Scénario classique : Un voleur arrive et dit : "Donne-moi le code secret !" Le garde dit : "Non, c'est interdit." ✅
Le nouveau danger (CSTM) : Un voleur malin arrive et dit : "Bonjour, je suis un nouveau stagiaire." Le garde dit : "Ok." Le lendemain, il dit : "Je veux juste voir un fichier." Le garde dit : "Ok." Le troisième jour, il dit : "Peux-tu m'envoyer ce fichier par email ?" Le garde dit : "Ok."

Le problème ? Chaque phrase prise isolément est inoffensive. Mais si on les met bout à bout sur plusieurs jours, c'est un vol parfait. Comme le garde oublie tout entre chaque visite, il ne voit jamais le tableau d'ensemble. C'est ce que les auteurs appellent une menace "trans-sessions" (à travers plusieurs sessions de conversation).

🧩 L'Analogie du Puzzle et du Miroir

Pour comprendre comment les chercheurs ont résolu ce problème, utilisons deux analogies :

1. Le Puzzle dans un Océan (Le Benchmark CSTM-Bench)

Les chercheurs ont créé un jeu appelé CSTM-Bench. Imaginez qu'ils ont créé 26 types de puzzles différents (des attaques).

Ils ont pris ces puzzles et les ont cachés au milieu de millions de pièces de puzzle inoffensives (des conversations banales sur la météo, le café, etc.).
Ils ont aussi créé des "fausses pistes" : des conversations qui ressemblent à des attaques mais qui sont en fait innocentes (comme quelqu'un qui parle de sécurité par curiosité, pas pour voler).
Le but : Voir si un système de sécurité peut trouver le puzzle caché dans l'océan, même si les pièces sont dispersées sur plusieurs jours.

2. Le Miroir qui se brise (L'Attaque par "Lavage")

Les chercheurs ont aussi programmé un "méchant" (un autre IA) capable de réécrire les phrases du voleur.

Si le voleur dit "Vole le code", le méchant le transforme en "Je veux juste vérifier la configuration pour le rapport hebdomadaire".
Le voleur garde les mêmes indices techniques (les mêmes liens, les mêmes fichiers), mais il change le "costume" de la phrase pour qu'elle paraisse normale à un garde qui ne se souvient que de la phrase actuelle.
C'est comme si un espion portait un déguisement à chaque visite. Un garde qui ne regarde que le visage actuel ne le reconnaît pas.

🛠️ La Solution : Le "Filtre Intelligents" (Coreset Memory)

Les chercheurs ont testé trois stratégies pour protéger l'entreprise :

Le Garde Amnésique (Juge par session) : Il regarde chaque phrase seule.
- Résultat : Il se fait avoir. Il laisse passer les voleurs déguisés.
Le Garde avec une Mémoire Infinie (Correlateur "Full-Log") : Il note tout ce qui a été dit depuis le début de l'année dans un énorme cahier et le relit à chaque fois.
- Résultat : Il commence à bien voir les choses, mais le cahier devient si gros qu'il s'y perd. Il oublie les détails importants au milieu de la montagne de papier (c'est le problème de la "dilution"). De plus, relire tout le cahier prend trop de temps et coûte cher.
Le Garde avec un Filtre Intelligent (Coreset Memory Reader) : C'est la solution gagnante.
- Imaginez un garde qui a un petit carnet de 50 pages. Il ne note que les phrases qui semblent étranges ou importantes.
- Si une phrase est banale ("Il fait beau"), il ne l'écrit pas.
- Si une phrase est suspecte ("Je veux voir les fichiers"), il l'écrit.
- Si le carnet est plein, il efface la phrase la moins importante pour écrire la nouvelle.
- Le résultat : Le garde ne se souvient que de l'essentiel. Quand il regarde son petit carnet, il voit clairement le schéma du vol, même si le voleur a changé de costume.

📊 Les Résultats Clés

Le problème est réel : Les gardes actuels (qui ne se souviennent que de la phrase actuelle) échouent lamentablement contre ces attaques complexes.
La mémoire infinie ne suffit pas : Relire tout l'historique ne fonctionne pas bien non plus, car l'information importante se perd dans le bruit.
Le filtre intelligent gagne : En ne gardant que les "morceaux" les plus suspects, le système réussit à voir le vol en cours, même quand le voleur essaie de se cacher.

💡 En Résumé

Ce papier nous dit : "Arrêtez de regarder chaque phrase isolément !"

Pour protéger les intelligences artificielles, il ne faut pas seulement vérifier ce qui est dit maintenant, mais il faut avoir un système qui retient intelligemment les indices suspects dispersés dans le temps, tout en ignorant le bruit de fond. C'est comme passer d'un garde qui regarde une seule photo à un détective qui assemble les pièces d'un puzzle pour voir l'image complète, même si le voleur essaie de cacher les pièces sous un tapis.

L'outil créé par les chercheurs (CSTM-Bench) est maintenant disponible pour que tout le monde puisse tester ses propres systèmes de sécurité contre ces nouvelles astuces de voleurs.

1. Le Problème : Gardes-fous sans état vs Menaces étatiques

L'article identifie une faille critique dans la sécurité actuelle des agents IA : les mécanismes de protection (guardrails) sont sans état (stateless). Chaque message est jugé de manière isolée, sans mémoire des sessions précédentes ou des interactions passées.

Cependant, les attaques modernes sont inter-sessions et multi-agents. Un adversaire peut répartir une attaque malveillante sur des dizaines ou des centaines de sessions. Aucune session individuelle ne contient la charge utile (payload) ; c'est uniquement l'agrégat qui révèle l'intention malveillante.

Exemples d'attaques : injections de prompts "goutte-à-goutte" (slow-drip), exfiltration compositionnelle (où chaque session semble bénigne mais l'ensemble vole des données), et blanchiment sémantique (transformer une donnée sensible en texte neutre sur plusieurs sessions).
Échec des solutions existantes : Les systèmes SIEM traditionnels corrèlent les logs après coup, ce qui est trop lent. Les corrélateurs basés sur des LLM à contexte long (Full-Log Correlator) échouent souvent en raison de la "dilution du signal" (le bruit bénin noie l'attaque) et de la perte d'information due à la troncature des anciens messages.

2. Méthodologie et Benchmark : CSTM-Bench

Pour évaluer la détection de ces menaces, les auteurs ont créé CSTM-Bench (Cross-Session Threat Memory Benchmark), disponible sur Hugging Face.

A. Structure du Dataset

Le benchmark contient 26 taxonomies d'attaques exécutables, classées selon deux axes orthogonaux :

Stades de la chaîne de destruction (Kill-chain) : Basé sur le modèle "Promptware Kill Chain" (reconnaissance, accès initial, élévation de privilèges, etc.).
Ontologie des opérations inter-sessions :
- Accumuler : Escalade progressive.
- Composer : Fragments disjoints qui ne forment une attaque qu'en agrégat.
- Blanchir (Launder) : Transformation via un intermédiaire bénin.
- Injecter sur le lecteur (Inject-on-Reader) : Attaque visant le moteur de corrélation lui-même.

Chaque scénario est ancré à l'un de 7 "ancres d'identité" (ex: support client, analyste financier, DevOps) qui définissent une politique stricte pour déterminer ce qui constitue une violation.

B. Les deux partitions (Splits)

Le dataset est divisé en deux parties pour tester des hypothèses différentes :

Dilution : Les attaques sont visibles en théorie par un juge par session, mais noyées dans un flot de trafic bénin. Cela teste la capacité du corrélateur à ignorer le bruit.
Cross-Session (Adversarial) : Un réécriteur (rewriter) basé sur un LLM a modifié les sessions pour qu'elles passent inaperçues par un juge par session, tout en préservant les artefacts inter-sessions. C'est le régime "ground-truth" où seule la corrélation inter-sessions peut détecter l'attaque.

C. Classes de Scénarios

Attaque : Scénarios malveillants.
Bénin-pristine : Travail légitime pur.
Bénin-dur (Hard) : Trafic bénin mais structuré de manière à ressembler à une attaque (confondants réalistes), testant les faux positifs.

3. Contributions Clés

Formalisation du problème et Dataset : Introduction de CSTM-Bench avec des attaques exécutables et des ancrages de politique précis, permettant de distinguer les hallucinations des faux positifs réalistes.
Évaluation de la faisabilité des corrélateurs LLM : Démonstration empirique que les corrélateurs "Full-Log" (qui concatènent tout l'historique) perdent environ 50% de leur rappel (recall) face aux attaques inter-sessions, même avec des fenêtres de contexte de 1 million de tokens. La dégradation est due à la dilution du signal, pas à la limite de tokens.
Direction algorithmique et métrie de coût : Proposition d'une architecture à mémoire bornée (Coreset Memory Reader). Au lieu de tout stocker, un lecteur trie et ne retient que les fragments à haut signal.
- Nouvelle métrie (CSR_prefix) : Pour mesurer le coût de service en temps réel, les auteurs introduisent la Coreset Stability Rate. Elle mesure la stabilité de l'ordre des entrées dans le tampon. Une stabilité élevée permet de réutiliser le cache KV (Key-Value) du LLM, réduisant drastiquement les coûts de calcul.
- Score Composite CSTM : Une formule non compensatoire combinant la qualité de détection (F1) et la stabilité du serveur (CSR) :
  $CSTM = 0.7 \cdot F1 + 0.3 \cdot CSR_{prefix}$

4. Résultats Expérimentaux

Les auteurs ont comparé trois lecteurs sur les deux partitions du benchmark :

Juge par session (Per-session Judge) : Analyse chaque message isolément.
Corrélateur Full-Log : Analyse l'historique complet de la session.
Lecteur Mémoire Coreset (Coreset Memory Reader) : Utilise un tampon borné (K=50) trié par un classifieur de surprise.

Résultats majeurs :

Échec des approches LLM pures : Sur la partition "Cross-Session", le juge par session et le corrélateur Full-Log voient leur rappel chuter de ~50% (passant de ~26/26 à ~13-14/26 attaques détectées). Le Full-Log Correlator échoue car il est submergé par le contexte bénin et ne parvient pas à isoler le signal.
Succès de l'approche à mémoire bornée : Le Coreset Memory Reader est le seul à maintenir un rappel élevé (19/26 sur la partition adversarial) tout en réduisant les faux positifs. En éliminant le bruit bénin avant l'analyse par le LLM, il préserve les fragments critiques.
Coût et Stabilité : Le lecteur Coreset introduit une métrique de coût (CSR_prefix). Bien que son score CSTM global soit parfois inférieur à celui du Full-Log sur la partition "Dilution" (à cause de la métrie de coût), son efficacité pure (F1) est supérieure. Sur la partition "Cross-Session", il surpasse clairement toutes les autres architectures.

5. Signification et Implications

Changement de paradigme : La sécurité des agents IA ne peut plus reposer uniquement sur l'analyse de messages individuels ni sur l'accumulation infinie de logs. Elle nécessite une architecture de goulot d'étranglement (bottleneck) intelligente qui filtre le flux de données en temps réel.
Efficacité économique : L'introduction de la métrie CSR_prefix montre qu'il est possible de détecter des menaces complexes sans exploser les coûts de calcul, en optimisant la réutilisation du cache KV des LLM.
Appel à la communauté : Le benchmark est conçu comme une première étape pour encourager la création de datasets plus vastes, multi-fournisseurs et avec des optimisations de prompts plus poussées. Il met en lumière que les attaques inter-sessions sont une menace systémique que les défenses actuelles ne peuvent pas voir.

En conclusion, l'article démontre que la détection des menaces inter-sessions est un problème de filtrage d'information et non seulement de puissance de calcul. Une mémoire bornée et triée (Coreset) est l'architecture nécessaire pour survivre aux attaques adaptatives tout en restant économiquement viable.