MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

Résumé Technique : MEMSAD – Détection d'Anomalies par Couplage de Gradient pour l'Empoisonnement de Mémoire dans les Agents Augmentés par Récupération

1. Énoncé du Problème

Les systèmes de mémoire externe persistante (par exemple, Mem0, MemGPT) permettent aux agents de Modèles de Langage (LLM) de maintenir un contexte à travers les sessions en stockant les préférences des utilisateurs et les connaissances factuelles sous forme d'embeddings vectoriels denses. Cependant, les propriétés de sécurité de ces systèmes restent formellement non caractérisées. Contrairement à l'injection de prompt, qui nécessite un accès par interaction, l'empoisonnement de mémoire permet à un adversaire d'injecter une seule entrée malveillante qui persiste indéfiniment, se déclenchant à chaque requête sémantiquement liée lors des sessions futures.

L'article formalise trois modèles de menace distincts avec des hypothèses d'accès croissantes :

• AGENTPOISON : Nécessite un accès en écriture au stockage de mémoire ; optimise les déclencheurs sur les embeddings DPR.
• MINJA : Nécessite un accès en lecture seule ; exploite le stockage automatique via des indications de raccourcissement progressif.
• INJECMEM : Nécessite un accès à une seule interaction ; réalise l'injection via des ancêtres agnostiques du récupérateur.

Les défenses existantes pour la Génération Augmentée par Récupération (RAG) supposent généralement un accès au niveau du corpus et un nettoyage hors ligne, ce qui ne s'applique pas au modèle d'ingestion en flux continu de la mémoire des agents. De plus, les évaluations antérieures ont souvent souffert d'incohérences de protocole (par exemple, évaluer des requêtes déclenchées avec des requêtes simples), conduisant à une sous-estimation des taux de réussite des attaques.

2. Méthodologie : MEMSAD

Les auteurs proposent MEMSAD (Détection d'Anomalies Sémantiques), une défense basée sur l'étalonnage fondée sur un théorème de couplage de gradient.

Insight Central : L'empoisonnement de mémoire réussit parce que les entrées adverses sont sémantiquement proches des requêtes des victimes. MEMSAD postule que cette proximité est un signal détectable. Le système opère au moment de l'écriture, filtrant les entrées candidates avant qu'elles ne soient validées dans le stockage de mémoire.

Le Théorème de Couplage de Gradient :
La contribution théorique centrale établit que, sous la régularité de l'encodeur (Hypothèse 4), le gradient du score d'anomalie et le gradient de l'objectif de récupération sont prouvés identiques pour les détecteurs monotones.

• Suffisance : Toute fonction monotone du score de récupération hérite de la direction du gradient. Ainsi, toute perturbation continue qui réduit le risque de détection dégrade nécessairement le rang de récupération.
• Nécessité : Les détecteurs non monotones admettent des chemins d'évasion continus où un adversaire peut augmenter le rang de récupération tout en évitant la détection.
• Canicité : Le score de cosinus maximal est la statistique suffisante minimale unique pour le test d'hypothèse adversaire-vs-bénin.

Algorithme :
MEMSAD calcule un score d'anomalie $s(c; H)$ pour une entrée candidate $c$ par rapport à un historique glissant de requêtes victimes $H$. Le score est une combinaison de la similarité cosinus maximale et de la similarité cosinus moyenne entre la candidate et l'historique.
$$s_{comb}(c; H) := \frac{1}{2} \max_{q \in H} \cos(E(c), E(q)) + \frac{1}{2|H|} \sum_{q \in H} \cos(E(c), E(q))$$
Ce score est comparé à un seuil $\hat{\mu} + \kappa\hat{\sigma}$, dérivé d'un corpus de référence bénin. Si le score dépasse le seuil, l'entrée est rejetée.

Garanties Théoriques :

• Rayon de Détection Certifié : Si l'écart entre la similarité adverse et bénigne dépasse l'incertitude d'étalonnage, MEMSAD garantit la détection.
• Optimalité Minimax : En utilisant la méthode de Le Cam, les auteurs prouvent que tout détecteur à seuil nécessite $\Omega(1/\rho^2)$ échantillons d'étalonnage, et que MEMSAD atteint cette borne jusqu'à des facteurs logarithmiques.
• Bornes de Regret en Ligne : Pour l'étalonnage glissant avec dérive de distribution, la taille de fenêtre optimale produit un taux de regret de $O(\sigma^{2/3}\Delta^{1/3})$.

Limites et Extensions :
L'article identifie une faille d'invariance discrète par synonymes. Bien que le couplage de gradient tienne pour les perturbations continues dans l'espace d'embedding, les substitutions discrètes de tokens (synonymes) peuvent contourner ce couplage si l'encodeur mappe les synonymes vers des embeddings presque identiques ($\epsilon_{syn} \approx 0$). Pour remédier à cela, les auteurs proposent MEMSAD+, qui enrichit le score sémantique avec des caractéristiques de divergence de Jensen-Shannon (JSD) sur les $n$-grammes de caractères, qui ne sont pas invariantes par synonymes.

3. Résultats Clés

Les auteurs évaluent leur approche sur une matrice attaque-défense $3 \times 5$ en utilisant des intervalles de confiance par bootstrap, des tests d'hypothèse corrigés par Bonferroni et une validation de Clopper-Pearson (20 essais, $n=1,000$).

• Correction de l'Évaluation : La correction du protocole d'évaluation pour utiliser des requêtes déclenchées (comme spécifié dans le travail original AGENTPOISON) augmente le Taux de Succès de l'Attaque mesuré (ASR-R) pour AGENTPOISON de 0,25 à 1,00.
• Performance de la Défense :
  • Défenses Composées : Un ensemble pondéré de MEMSAD, de filigranes numériques, de validation et de détection proactive atteint TPR = 1,00 et FPR = 0,00 pour les trois classes d'attaques.
  • MEMSAD Seul : Atteint un TPR de 1,00 pour AGENTPOISON (avec étalonnage déclenché), un TPR de 0,40 pour MINJA, et un TPR de 0,20 pour INJECMEM.
  • MEMSAD+ : Améliore la détection pour les attaques par substitution de synonymes, portant le TPR de INJECMEM de 0,00 à 0,40.
• Adversaire Adaptatif : Même avec un adversaire en boîte blanche effectuant une substitution de synonyme gloutonne, l'article démontre que si l'évasion est possible (taux d'évasion de 80 à 100 %), elle s'accompagne d'une dégradation de la récupération dans l'espace continu, bien que des sauts discrets puissent contourner cela.
• Validation en Production : Dans une validation réelle utilisant Mem0, la reformulation interne par LLM a éliminé les structures optimisées pour les déclencheurs, réduisant l'ASR-R de AGENTPOISON à 0,00, tandis que les stockages vectoriels bruts restaient entièrement exposés.

4. Signification et Revendications

L'article revendique fournir la première défense formellement garantie contre l'empoisonnement de mémoire en RAG. Sa signification réside dans :

1. Caractérisation Formelle : Établir une formulation de jeu de Stackelberg pour l'empoisonnement de mémoire et prouver que les détecteurs de score de récupération monotones sont nécessaires et suffisants pour résister à l'évasion continue.
2. Garanties Certifiées : Fournir des rayons de détection spécifiques à l'instance et des preuves d'optimalité minimax, dépassant les défenses heuristiques.
3. Cadre Unifié : Couvrant trois classes d'attaques distinctes avec des hypothèses d'accès croissantes, révélant qu'aucune défense unique ne domine tous les modèles d'accès, motivant ainsi des portefeuilles composites.
4. Identification de la Frontière : Caractériser explicitement la « faille d'invariance par synonymes » comme la limite où les défenses de l'espace continu échouent, soulignant le besoin d'approches hybrides sémantico-lexicales (MEMSAD+).

Les auteurs concluent que si MEMSAD comble l'écart pour les perturbations continues, la nature discrète de l'espace des tokens reste un défi, et les travaux futurs doivent viser à combler cet écart et à passer à l'échelle de la mémoire de production avec des voisins les plus proches approximatifs.