💻 computer science

MemLineage: Lineage-Guided Enforcement for LLM Agent Memory

MemLineage est un système de défense cryptographique pour les agents LLM qui prévient les attaques par empoisonnement de la mémoire en traçant la provenance et la lignée de dérivation des entrées mémorielles, garantissant ainsi que les actions sensibles ne sont autorisées que lorsque leur justification ne descend pas de sources non fiables.

Auteurs originaux : Ciyan Ouyang, Rui Hou

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ciyan Ouyang, Rui Hou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un agent IA comme un assistant personnel très serviable, mais légèrement crédule, qui tient un carnet (mémoire) pour se souvenir de vos préférences, de vos conversations passées et de vos tâches. Ce carnet est puissant car il permet à l'assistant de faire le lien entre les événements sur plusieurs jours ou semaines. Cependant, ce carnet est aussi la plus grande faiblesse de l'assistant.

MemLineage est un nouveau système de sécurité conçu pour protéger ce carnet contre les manipulations d'un hacker astucieux.

Voici comment l'article explique le problème et la solution, en utilisant des analogies simples :

Le Problème : L'Arnaque du « Reçu Faux »

Actuellement, si un hacker parvient à glisser une instruction malveillante dans le carnet de l'assistant, ce dernier pourrait l'exécuter plus tard, même si l'instruction est dangereuse (comme « transférer de l'argent à un inconnu »).

L'article met en lumière une ruse spécifique et sournoise appelée « Sleeper via Derivation ».

L'Ancienne Méthode : Un hacker écrit un mot disant « Voler de l'argent » et le cache dans le carnet. Un simple gardien de sécurité (une défense « signature uniquement ») vérifie le mot, constate qu'il n'a pas été écrit par l'utilisateur et le bloque. Facile.
La Nouvelle Ruse : Le hacker n'écrit pas le mot directement. À la place, il plante un indice vague et inoffensif en apparence sur un site web que l'assistant visite (par exemple, une histoire parlant d'un « compte bancaire secret »).
L'assistant lit l'histoire, la résume et écrit une nouvelle note, d'apparence propre, de sa propre écriture : « J'ai trouvé une référence à un compte bancaire secret. »
Parce que la note est maintenant écrite de la propre main de l'assistant, un simple gardien de sécurité pense : « Oh, c'est sûr ! Cela vient de nous ! » et la laisse dans le carnet.
Plus tard, le hacker pose une question qui déclenche cette note, et l'assistant, pensant qu'il s'agit d'une mémoire valide, exécute la commande dangereuse.

L'article appelle cela « Blanchiment de Mémoire » : laver des informations sales et non fiables jusqu'à ce qu'elles paraissent propres et dignes de confiance.

La Solution : MemLineage (Le Suiveur de « Chaîne de Custodie »)

MemLineage traite la mémoire de l'assistant comme un coffre-fort de preuves haute sécurité plutôt que comme un simple carnet. Il ajoute deux couches principales de protection :

1. L'Empreinte Numérique (Provenance Cryptographique)

Chaque note du carnet reçoit une empreinte numérique unique et inforgeable (une signature cryptographique). Cela prouve exactement qui l'a écrite. Si une note a été écrite par une source non fiable (comme un site web aléatoire), elle reçoit immédiatement une étiquette « Drapeau Rouge ».

2. L'Arbre Généalogique (Lignée)

C'est la grande innovation de l'article. MemLineage ne regarde pas seulement qui a écrit la note ; il examine d'où vient l'information.

Imaginez que chaque note a un « Arbre Généalogique » qui lui est attaché.
Si une note est un résumé d'une note précédente, le système trace une ligne les reliant.
Le système demande : « Cette note d'apparence propre descend-elle d'une source « Drapeau Rouge » ? »
La Règle : Si une note est un « enfant » d'une source « Drapeau Rouge », et que le lien est suffisamment fort, la note enfant hérite du Drapeau Rouge, même si elle a été écrite par l'assistant.

Comment Cela Arrête l'Attaque

Lorsque l'assistant souhaite effectuer une action sensible (comme envoyer de l'argent), un Gardien vérifie la mémoire :

Vérifier la Signature : Est-ce que l'utilisateur ou un outil de confiance a écrit cela ?
Vérifier l'Arbre Généalogique : Cette note a-t-elle des ancêtres qui étaient non fiables ?
Le Verdict : Si l'arbre généalogique de la note remonte jusqu'au site web d'un hacker, le Gardien dit : « Non. » Il bloque l'action, même si la note semble parfaitement normale en surface.

Les Fonctionnalités « Magiques »

L'article affirme que MemLineage est spécial car :

C'est Invisible : Il ajoute presque aucun délai (moins d'une milliseconde) au processus de réflexion de l'assistant. C'est comme ajouter un contrôle de sécurité qui se déroule si vite que vous ne le remarquez même pas.
C'est Intelligent : Il ne bloque pas tout ce qui provient de sources non fiables. Il permet à l'assistant d'utiliser ces informations pour des choses inoffensives (comme répondre à une question de culture générale) mais l'empêche de déclencher des actions dangereuses (comme transférer des fonds).
Il Survit au Temps : Même si la note originale du hacker est supprimée ou enfouie profondément dans l'historique, le « Drapeau Rouge » reste attaché aux notes dérivées pour toujours, empêchant l'attaque « Sleeper » de se réveiller plus tard.

Les Résultats

Les auteurs ont testé ce système contre trois types d'attaques de hackers dans un environnement contrôlé et simulé par ordinateur.

Sans MemLineage : Les hackers ont réussi 100 % du temps.
Avec un Gardien de Sécurité Basique (Signatures uniquement) : Les hackers ont réussi 100 % du temps sur l'attaque « Sleeper » car les notes semblaient propres.
Avec MemLineage : Les hackers ont réussi 0 % du temps. Le système a détecté chaque tentative, y compris les « blanchies » sournoises, sans ralentir l'assistant ni bloquer les tâches inoffensives.

En bref, MemLineage garantit qu'un assistant IA peut se souvenir des choses en toute sécurité, sachant que même si une information semble propre, il ne permettra pas à cette information de causer du tort si elle a une histoire « sale ».

Résumé technique : MemLineage

Énoncé du problème

Les agents LLM modernes s'appuient sur des mémoires persistantes pour accumuler les journaux de chat, les retours d'outils et les observations dérivées au fil des sessions utilisateur. Bien que cette mémoire permette des workflows multi-étapes, elle est devenue une surface d'attaque critique. Des recherches récentes (par exemple, AgentPoison, MINJA, MemoryGraft, Zombie Agents) démontrent que des adversaires peuvent injecter du contenu malveillant dans la mémoire d'un agent, lequel peut rester dormant entre les sessions et réapparaître ultérieurement sous forme d'instruction pour déclencher des actions sensibles.

Le vide de contrôle central identifié est que les défenses existantes échouent à gérer le blanchiment de mémoire. Un adversaire sophistiqué peut planter des « ingrédients » dans des sources non fiables, permettant à la boucle normale de récupération et de résumé de l'agent de générer une nouvelle entrée dérivée. Parce que cette entrée dérivée est rédigée par l'agent lui-même, elle porte une signature cryptographique valide, ce qui la rend indistinguable d'un contenu bénin pour les défenses basées uniquement sur la signature. Par conséquent, l'agent peut ultérieurement récupérer cette entrée « blanchie » et exécuter des actions sensibles (par exemple, des transferts financiers) sur la base d'une ascendance non fiable, brisant ainsi la chaîne de garde.

Les solutions actuelles souffrent de limitations spécifiques :

Les couches uniquement basées sur la signature vérifient l'auteur mais ne peuvent pas tracer l'historique de dérivation.
Les planificateurs basés sur IFC (par exemple, Fides) appliquent des étiquettes lors de la planification mais les perdent à travers les étapes de dérivation LLM.
Les filtres de récupération (par exemple, RAGPart) ne peuvent pas distinguer un résumé bénin d'une charge utile blanchie si les deux arrivent via un principal authentifié.
Les défenses grossières (par exemple, Memory Sandbox) bloquent souvent toute récupération après une exposition, sacrifiant ainsi l'utilité.

Méthodologie : Conception de MemLineage

MemLineage répond à ce problème en traitant la sécurité de la mémoire comme un problème de chaîne de garde plutôt que comme un problème de filtrage. Il attache une provenance cryptographique et une lignée de dérivation pondérée à chaque entrée de mémoire. Le système est construit autour de six modules :

Métadonnées de provenance (M1) : Chaque entrée est un enregistrement ProvEntry contenant le principal rédacteur, le hachage de la source, le hachage du contexte et une liste d'entrées parentes avec des poids d'attribution.
Liaison cryptographique (M2) : Les entrées sont signées à l'aide de clés Ed25519 par principal. La signature couvre un encodage CBOR canonique de tous les champs sauf la signature elle-même.
Journal en append-only (M3) : Un journal Merkle de style RFC 6962 enregistre les hachages des entrées. La suppression est gérée via des marqueurs « tombstone » signés pour empêcher la réécriture de l'historique.
DAG de lignée (M4) : Un graphe orienté acyclique où les arêtes représentent la dérivation médiée par LLM. Chaque arête $(p, c)$ $(p, c)$ possède un poids $w(p, c) \in [0, 1]$ $w (p, c) \in [0, 1]$ déterminé par un algorithme d'attribution.
- Règle de propagation : La confiance est propagée via une règle de max-des-arêtes-fortes. Une entrée $c$ hérite du niveau de confiance de son parent $p$ si $w(p, c) > \tau$ (un seuil de déclassification).
- Persistance du chemin non fiable (Théorème 1) : Si un chemin existe depuis un ancêtre « Externe » jusqu'à une entrée actuelle où chaque poids d'arête dépasse $\tau$ , l'entrée actuelle est étiquetée « Dérivée-Non-Fiable ».
Récupération consciente du vérificateur (M5) : Avant qu'une entrée ne soit insérée dans l'invite LLM, M5 vérifie les signatures, les preuves d'inclusion et rend l'entrée avec une étiquette de confiance structurelle (par exemple, [trust=DERIVED_UNTRUSTED]).
Porte d'action sensible (M6) : Avant de dispatcher un appel d'outil (en particulier vers des puits sensibles comme les écritures de fichiers ou les paiements), M6 inspecte l'invite active. Si la justification d'un paramètre descend d'un ancêtre « Dérivé-Non-Fiable » ou « Externe », l'appel est refusé. M6 prend également en charge la Réparation d'autorité, où il peut remplacer chirurgicalement les paramètres provenant de l'attaquant par des valeurs issues d'une provenance fiable.

Le système prend en charge trois algorithmes d'attribution :

Grossier : Poids binaire (1,0) si un parent était dans le contexte de récupération.
LmSelfEval : Un juge LLM secondaire évalue l'influence sémantique (durci contre l'injection d'invite via des enveloppes JSON).
AttnAttr : Analyse d'attention en boîte blanche (nécessite des modèles à poids ouverts).

Contributions clés

Charge de travail de stress de lignée : L'article introduit un modèle d'attaque « dormeur via dérivation ». Contrairement à l'injection directe, cette charge de travail plante des ingrédients dans des sources non fiables, forçant le LLM à dériver une charge utile malveillante sous forme d'une nouvelle entrée signée. Cela sépare les défenses uniquement basées sur la signature des défenses conscientes de la lignée.
Règle de propagation formelle : La conception formalise le théorème de Persistance du chemin non fiable, prouvant que si chaque arête dans une chaîne de dérivation est « forte » (au-dessus du seuil $\tau$ ), l'étiquette non fiable se propage jusqu'à l'extrémité de la chaîne.
Algorithmes d'attribution et compromis : L'article évalue trois stratégies d'attribution et quantifie l'interaction entre le seuil de lignée ( $\tau$ ) et la longueur de la chaîne ( $K$ ). Il démontre qu'une mesure $\tau$ en un seul tir est insuffisante ; des chaînes plus profondes nécessitent des seuils plus bas pour maintenir la sécurité sous une confiance d'attribution décroissante.
Environnement d'évaluation de bout en bout : Un environnement déterministe et reproductible est fourni qui fige le comportement de l'attaquant et évite les appels réels à l'API LLM pour les métriques de base. Il produit des artefacts vérifiés par CI égaux au byte pour le taux de réussite de l'attaque (ASR), les références d'utilité et les ablations de lignée.

Résultats

L'évaluation compare trois configurations : no_defense, sig_only_baseline (signatures + journal Merkle, sans lignée) et MemLineage (pile complète).

Taux de réussite de l'attaque (ASR) :
- AgentPoison (lié au déclencheur) : sig_only_baseline et MemLineage atteignent tous deux un ASR de 0,00 (les signatures bloquent les rédacteurs non fiables).
- MemoryGraft (empoisonnement de récupération) : sig_only_baseline échoue (ASR de 1,00) car les entrées sont signées par l'agent. MemLineage atteint un ASR de 0,00 en traçant la lignée jusqu'à un ancêtre externe.
- Dormeur via dérivation : sig_only_baseline échoue (ASR de 1,00) car l'entrée dérivée est valablement signée. MemLineage atteint un ASR de 0,00 en propageant l'étiquette non fiable à travers la chaîne de dérivation.
- Conclusion : MemLineage est la seule configuration à réduire l'ASR à zéro pour les trois familles d'attaques.
Performance :
- La surcharge par opération est inférieure à la milliseconde. Le chemin chaud d'écriture (incluant la signature et l'enregistrement Merkle) moyenne environ 214 µs, et la vérification est d'environ 82 µs. Cela est bien en dessous du niveau de bruit des appels d'API LLM typiques.
Utilité (Faux positifs) :
- Sur les workflows bénins, MemLineage atteint un taux de dispatch légitime de 1,00 (zéro faux positif). Il permet avec succès les chaînes dérivées-fiables et la récupération non sensible de contenu externe.
- Réparation d'autorité : Dans les scénarios bancaires AgentDojo, MemLineage avec réparation d'autorité bloque 100 % des attaques tout en récupérant l'utilité sur 5 paires sur 6, surpassant les stratégies simples de refus ou de nouvelle tentative.
Sensibilité du seuil :
- L'ablation $\tau \times K$ montre que pour des poids d'attribution décroissants (par exemple, $w_0=0,9, d=0,7$ ), un déploiement autorisant $K=5$ sauts nécessite $\tau \le 0,10$ , tandis qu'une mesure $K=1$ pourrait suggérer $\tau \le 0,30$ .

Importance et revendications

L'article revendique que MemLineage fournit un primitif d'application granulaire qui préserve la mémoire à long terme utile tout en empêchant une ascendance non fiable d'autoriser des actions sensibles.

Différenciation : Contrairement aux défenses grossières qui suppriment entièrement la récupération, MemLineage maintient l'utilité des mémoires dérivées tout en contrôlant strictement les actions sensibles basées sur la provenance.
Exhaustivité : C'est le seul système évalué qui couvre conjointement quatre dimensions : l'intégrité cryptographique de l'étiquette de confiance, l'attribution de lignée à travers la dérivation LLM, la persistance inter-sessions de l'étiquette et la couverture des entrées dérivées par l'agent.
Modestie : Les auteurs reconnaissent que le système repose sur la fiabilité des poids d'inférence LLM (il ne peut pas détecter les portes dérobées dans le modèle lui-même) et que l'algorithme d'attribution le plus fort (AttnAttr) nécessite des modèles à poids ouverts. Le fallback « sans-parent-fort » par défaut à « Fiable », ce qui pourrait être exploité si un adversaire supprime toutes les arêtes d'attribution en dessous de $\tau$ , bien que le durcissement par enveloppe JSON atténue les risques d'injection d'invite.

L'article conclut que MemLineage déplace le paradigme de défense du « filtrage de contenu » vers « l'application de la chaîne de garde », offrant une voie viable pour des agents LLM persistants et sécurisés.