🤖 AI

SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems

Cet article présente SMSR, le premier mécanisme de défense offrant une robustesse certifiée contre l'empoisonnement de la mémoire multi-session (MSMP) dans les systèmes d'agents LLM persistants en combinant la vérification de provenance basée sur HMAC avec l'ablation de mémoire randomisée et le vote majoritaire basé sur un verdict pour neutraliser efficacement les attaques par injection de mémoire, qu'elles soient non signées ou authentifiées.

Auteurs originaux : Tarun Sharma

Publié 2026-06-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tarun Sharma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le « Journal Intime Empoisonné »

Imaginez un assistant de bureau intelligent (un agent IA) qui aide les employés en se souvenant des conversations passées, des politiques de l'entreprise et des faits. Il tient un journal intime numérique (mémoire) qu'il met à jour chaque fois que quelqu'un lui parle. Ce journal aide l'IA à répondre plus précisément aux questions futures.

L'Attaque :
Un acteur malveillant (hacker) n'a pas besoin de forcer le cerveau de l'IA ou de réécrire son code. Au lieu de cela, il discute normalement avec l'IA, mais il glisse des mensonges soigneusement formulés dans la conversation. L'IA, pensant qu'il s'agit d'une mise à jour normale, écrit ces mensonges dans son journal.

Plus tard, lorsqu'un autre employé pose une question, l'IA lit son journal, trouve le faux mensonge et le croit vrai. Elle donne alors une mauvaise réponse au nouvel employé. C'est ce qu'on appelle l'« empoisonnement de la mémoire » (Memory Poisoning).

Les défenses existantes sont comme un garde de sécurité qui ne vérifie que le contenu de ce que vous dites. Mais un menteur habile peut formuler ses fausses informations de manière à ce qu'elles semblent parfaitement normales, trompant ainsi le garde. Le papier soutient que sans un moyen de vérifier qui a écrit l'entrée, on ne peut jamais être sûr à 100 % que le journal est sûr.

La Solution : SMSR (Mémoire Signée avec Récupération Lissée)

Les auteurs proposent un système de défense en deux parties appelé SMSR. Voyez cela comme une combinaison d'un Tampon de Sécurité et d'un Jury Aléatoire.

Partie 1 : Le Tampon de Sécurité (Provenance par HMAC)

L'Analogie : Imaginez que chaque page que l'IA écrit dans son journal doit être tamponnée avec un sceau de cire spécial et infalsifiable (une signature cryptographique) par un gestionnaire de confiance avant d'être sauvegardée.
Comment ça marche :
- Si un hacker tente d'injecter un faux souvenir en piratant directement la base de données (sans passer par la discussion normale), il ne peut pas forger le sceau. Le système détecte l'absence de sceau et rejette immédiatement cette mémoire.
- Résultat : Cela arrête 100 % des attaques « non signées » (les hackers qui tentent d'introduire des données sans autorisation).

Partie 2 : Le Jury Aléatoire (Récupération Lissée / Smoothed Retrieval)

Le Problème : Et si le hacker est un employé légitime ? Il possède un sceau valide, donc la Partie 1 laisse entrer son faux souvenir.
L'Analogie : Imaginez que l'IA doive répondre à une question. Au lieu de lire l'intégralité du journal (qui pourrait être rempli de mensonges), elle joue à un jeu de hasard :
1. Elle extrait une énorme pile de pages pertinentes (disons 20 pages).
2. Elle en choisit aléatoirement une petite poignée (disons 5 pages).
3. Elle répète ce processus 5 fois, créant ainsi 5 « mini-histoires » différentes.
4. Elle demande à un « Juge » (une autre IA) de vérifier chaque histoire : « Cette histoire dit-elle la vérité ou est-ce un mensonge ? »
5. Elle prend un vote à la majorité. Si 3 histoires sur 5 disent « C'est un mensonge », le système ignore le mensonge.
Pourquoi ça marche : Même si le hacker a planté un mensonge, il ne peut pas garantir que ce mensonge sera présent dans chaque poignée de pages sélectionnée aléatoirement. Si le mensonge n'apparaît que dans 1 ou 2 des 5 échantillons, la majorité honnête l'emporte.
La partie « Certifiée » : Les auteurs ont fait les calculs pour prouver exactement la probabilité que le système échoue. Ils peuvent dire : « Nous garantissons mathématiquement que la probabilité que l'IA donne une mauvaise réponse est inférieure à 10,4 %. » C'est un « certificat de sécurité ».

Concepts Clés Simplifiés

1. Le Piège de la « Minorité Cohérente »

Le Piège : Si vous posez une question à un groupe de personnes, et que 3 personnes donnent des réponses légèrement variées du type « Je ne sais pas », mais que 2 personnes donnent exactement la même fausse réponse, un vote simple pourrait choisir la fausse réponse simplement parce qu'elle est la plus courante en termes de chaîne de caractères.
La Solution : SMSR ne vote pas sur les mots ; il vote sur le verdict. L'IA Juge regarde le sens. Même si les fausses réponses sont formulées différemment, le Juge voit qu'elles sont toutes « Malveillantes ». Les réponses honnêtes « Je ne sais pas » sont toutes « Sûres ». Le vote compte le verdict de sécurité, pas les mots spécifiques, de sorte que la fausse réponse perd.

2. Le Coût

Pour obtenir ce niveau élevé de sécurité, le système doit travailler plus dur. Au lieu de poser une seule question à l'IA et d'obtenir une réponse, il pose la question 5 fois (avec des mémoires aléatoires différentes) et demande 5 fois à un Juge de vérifier les réponses.
Le Compromis : Cela demande environ 10 fois plus de puissance de calcul (et un tout petit peu plus d'argent), mais cela empêche l'IA d'être trompée par des mensonges. Le papier affirme que cela en vaut la peine pour des décisions commerciales importantes.

Ce que le Papier a Réellement Découvert (Les Résultats)

Les auteurs ont testé cela sur 15 scénarios commerciaux différents (comme la vérification des politiques de dépenses ou des règles de sécurité).

Arrêter les Hackers : Lorsque des hackers ont tenté d'injecter de fausses données sans un sceau valide, le système les a arrêtés 100 % du temps.
Arrêter les Employés Sournois : Lorsqu'un utilisateur légitime (possédant un sceau valide) a tenté d'injecter un mensonge, le système a réduit le taux de réussite de l'attaque de près de 100 % à environ 8 % lors d'un test large et réaliste.
Les Mathématiques tiennent la Route : Le taux d'échec réel (8 %) était inférieur à la prédiction mathématique du « pire cas » (10,4 %), prouvant que le certificat de sécurité fonctionne.
Test en Conditions Réelles : Même lorsque le hacker a réussi à inciter l'IA à écrire le poison elle-même (en posant une question piégeuse qui l'a poussée à écrire le mensonge dans son propre journal), la défense a fonctionné, faisant tomber le taux de réussite de 65 % à 5 %.

Résumé

Le papier présente un système qui agit comme un journal notarié combiné à un jury aléatoire. Il prouve mathématiquement que l'on ne peut pas se contenter de filtrer les mauvais mots ; il faut vérifier qui a écrit la mémoire et utiliser le hasard pour diluer les mauvaises mémoires. Cela garantit que même si un hacker intelligent parvient à s'infiltrer, il ne peut pas facilement tromper l'IA pour qu'elle donne des conseils dangereux.

Résumé Technique : SMSR – Défense Certifiée contre l'Empoisonnement de la Mémoire au Moment de l'Exécution dans les Systèmes d'Agents LLM Persistants

1. Énoncé du Problème : Empoisonnement de la Mémoire Multi-Session (MSMP)

Les agents de génération augmentée par récupération (RAG) dans les environnements d'entreprise s'appuient de plus en plus sur des magasins de mémoire persistante qui accumulent les interactions à travers les sessions utilisateur. Cette persistance crée une surface d'attaque inédite : un adversaire (agissant en tant qu'employé, client ou outil compromis) peut injecter des mémoires soigneusement élaborées qui persistent indéfiniment. Une fois récupérées, ces entrées empoisonnées redirigent le comportement de l'agent lors de futures requêtes sans modifier les poids du modèle ni le code de l'application.

Le document identifie la menace de l'Empoisonnement de la Mémoire Multi-Session (MSMP), où un adversaire injecte des mémoires qui correspondent sémantiquement à de futures requêtes utilisateur, provoquant l'émission par l'agent de réponses malveillantes ou incorrectes. Les défenses existantes sont insuffisantes :

Les défenses de corpus statiques (ex: RobustRAG, ReliabilityRAG) supposent une base de connaissances fixe indexée hors ligne et échouent lorsque l'adversaire injecte des données au moment de l'exécution via le chemin d'écriture normal de l'agent.
Les filtres heuristiques (ex: listes noires de mots-clés, vérifications d'entropie, détection d'anomalies sémantiques) peuvent être contournés par un texte fluide de style entreprise imitant des mises à jour de politiques légitimes.
Les heuristiques basées sur le consensus (ex: A-MemGuard) manquent de garanties de sécurité formelles et peuvent être vaincues par des adversaires persistants qui adaptent leurs stratégies d'injection.

Crucialement, aucune défense existante ne fournit un certificat de sécurité formel (une borne mathématique sur le succès de l'attaque) contre l'empoisonnement de mémoire adaptatif au moment de l'exécution.

2. Méthodologie : Mémoire Signée avec Récupération Lissée (SMSR)

Les auteurs proposent SMSR, un mécanisme de défense à deux composants conçu pour fournir une borne de robustesse certifiée contre le MSMP.

Composant 1 : Marquage de Provenance par HMAC (Limite de Temps d'Écriture)

Pour traiter les adversaires non signés (ceux ayant un accès direct à la base de données mais sans identifiants d'authentification), SMSR implémente une limite cryptographique au moment de l'écriture.

Mécanisme : Chaque entrée de mémoire légitime est marquée d'une signature HMAC-SHA256 utilisant une clé secrète côté serveur ( $K$ ).
Récupération : Au moment de la requête, le système vérifie la signature HMAC des entrées récupérées. Seules les entrées possédant des signatures valides sont admises dans le pool de candidats.
Sécurité : Sous les hypothèses standards de l'HMAC, un adversaire non signé ne peut pas forger une signature valide, réduisant ainsi le taux de réussite de l'attaque (ASR) pour les injections non signées à 0 %.

Composant 2 : Ablation de Mémoire Randomisée avec Agrégation Basée sur le Verdict (Adversaires Authentifiés)

Pour traiter les adversaires authentifiés (utilisateurs légitimes pouvant écrire des mémoires signées), SMSR emploie une défense randomisée similaire au lissage de classification.

Sur-récupération (Over-fetching) : Pour une requête, le système récupère un large pool de $m$ candidats vérifiés ( $m > k$ , où $k$ est la taille standard du contexte).
Ablation Randomisée : Le système effectue $n_{runs}$ essais indépendants. Dans chaque essai, il échantillonne $k$ entrées de manière uniforme et aléatoire (sans remise) parmi les $m$ candidats.
Agrégation Basée sur le Verdict : Un juge LLM évalue la réponse générée dans chaque essai, retournant un verdict (ex: correct, malveillant, ni l'un ni l'autre). La sortie finale est déterminée par un vote majoritaire des verdicts, et non par les chaînes de caractères elles-mêmes.
Base Théorique : Cette approche repose sur une distribution hypergéométrique pour borner la probabilité qu'une majorité de contextes échantillonnés contienne des entrées adverses.

Contributions Théoriques

Résultat d'Impossibilité (Théorème 1) : Les auteurs prouvent qu'aucun filtre déterministe sans provenance opérant uniquement au moment de la récupération ne peut atteindre un certificat de sécurité non trivial contre un adversaire adaptatif. Cela nécessite le mécanisme de provenance au moment de l'écriture du Composant 1.
Borne de Robustesse Certifiée (Théorème 2) : Un certificat hypergéométrique formel est dérivé pour le Composant 2, définissant la probabilité maximale ( $\delta$ ) d'une sortie malveillante étant donné $t$ entrées adverses dans un pool de taille $m$ .
Effet de Minorité Cohérente (CME) : Le papier formalise un piège où le vote majoritaire basé sur les chaînes de caractères échoue car les réponses adverses sont textuellement cohérentes tandis que les réponses bénignes varient (variation de paraphrase). SMSR atténue cela en utilisant une agrégation basée sur le verdict, qui compte la correction sémantique plutôt que l'égalité des chaînes.

3. Contributions Clés

Définitions Formelles : Introduction du modèle de menace MSMP et de la première définition de sécurité $(t, \delta)$ pour les systèmes de mémoire d'agents en temps réel.
Preuve d'Impossibilité : Démonstration que les défenses sans provenance ne peuvent être certifiées contre l'injection adaptative.
Construction de SMSR : Une défense pratique combinant la provenance HMAC et l'ablation randomisée avec un certificat formel.
Caractérisation du CME : Formalisation et quantification de l'Effet de Minorité Cohérente, montrant que l'agrégation basée sur le verdict est nécessaire pour le neutraliser.
Validation Empirique : Évaluation étendue à travers 15 scénarios d'entreprise et 3 150 essais répétés.

4. Résultats Expérimentaux

L'évaluation a été menée sur 15 scénarios de bases de connaissances d'entreprise (finance, conformité, informatique, RH) en utilisant un magasin de mémoire à 20 graines pour des tests à l'échelle de la production et un magasin à 10+ graines pour une évaluation à petite échelle.

Attaques Non Signées (Composant 1) : SMSR a réduit le Taux de Réussite d'Attaque (ASR) de 93–100 % (dans les modèles de base non défendus) à 0 % pour toutes les variantes d'injection non signées, y compris les attaques de type "bypass" conçues pour échapper aux filtres heuristiques.
Attaques Authentifiées (Composant 2) :
- Échelle de Production ( $m=20, t=1$ ) : SMSR a réduit l'ASR de 93–100 % à 8,0 % (IC 95 % [5,8 %, 10,9 %]). Ce résultat est bien en dessous de la borne théorique du pire cas de $\delta = 10,4 \%$ (pour $n_{runs}=5$ ).
- Petite Échelle ( $m'=11, t=1$ ) : L'ASR était de 37,8 % (IC 95 % [33,4 %, 42,3 %]), ce qui est inférieur à la borne du certificat de $\delta = 41,5 \%$ .
- Variantes de Flooding (Inondation) : Dans les scénarios d'inondation (plusieurs injections paraphrasées), l'ASR s'est approché de la borne théorique, confirmant la précision du certificat.
Comparaison avec les Heuristiques : Bien qu'une base de consensus de type A-MemGuard ait atteint un ASR empirique comparable (3,8 % contre 8,0 % dans un test spécifique de 20 graines), elle n'offrait aucun certificat formel. La distinction de SMSR réside dans la fourniture d'une garantie mathématique.
Validation de Bout en Bout : Dans une attaque de type "requête seule" où l'agent lui-même a écrit le poison (imitant le vecteur d'attaque MINJA), SMSR a réduit l'ASR de 65,3 % à 5,3 %.
Utilité : Le Composant 1 a préservé 90 % de l'utilité sur les requêtes propres. La défense combinée (Composants 1 & 2) a maintenu 85 % d'utilité, représentant un coût de 5 % pour la garantie de sécurité.
Fiabilité du Juge : L'accord inter-juges entre les modèles Haiku et Sonnet était élevé ( $\kappa = 0,955$ ), confirmant la fiabilité de l'agrégation des verdicts.

5. Signification et Revendications

Le papier affirme présenter la première défense formellement certifiée contre l'empoisonnement de la mémoire au moment de l'exécution dans les systèmes d'agents LLM persistants. Sa signification réside dans :

Le passage au-delà des heuristiques : Contrairement aux travaux antérieurs qui reposent sur des observations empiriques ou des hypothèses statiques, SMSR fournit une garantie mathématique ( $\delta$ ) sur la probabilité d'une attaque réussie.
L'adressage de la nature dynamique de la mémoire : Il cible spécifiquement la nature "ajout uniquement en temps réel" de la mémoire des agents, un cadre où les défenses de corpus statiques échouent.
La preuve de la nécessité de la provenance : Le résultat d'impossibilité établit que sans attestation cryptographique au moment de l'écriture, aucun filtre au moment de la récupération ne peut être certifié.
Déployabilité Pratique : Le système est conçu comme un wrapper "drop-in" pour les architectures RAG existantes, ne nécessitant aucun changement dans le LLM sous-jacent ou les modèles d'embedding, avec un surcoût computationnel gérable (environ 10 appels API par requête pour $n_{runs}=5$ ).

Les auteurs concluent que SMSR atténue efficacement la menace MSMP pour les adversaires bornés, constituant une étape fondamentale vers une pile de sécurité complète pour les applications LLM (traitant spécifiquement les sous-problèmes de l'empoisonnement OWASP LLM08).