💻 computer science

MutMem: Cryptographically Authorized Mutation in Persistent Agent Memory

MutMem est un protocole de mutation à autorisation cryptographique pour la mémoire persistante d'agents qui assure l'intégrité et la traçabilité en signant les transitions de poids et les preuves, atteignant une grande précision de récupération et une résistance robuste aux attaques par empoisonnement sans compromettre la continuité historique.

Auteurs originaux : Walid Saidi

Publié 2026-08-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Walid Saidi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot ami qui n'oublie jamais. Il se souvient de votre garniture de pizza préférée, du nom de votre professeur de troisième année et du moment où vous avez promis de promener le chien. Mais voici la partie délicate : les gens changent. Peut-être décidez-vous que vous détestez l'ananas sur la pizza maintenant, ou vous réalisez que votre professeur de troisième année s'appelait en fait « Mme Smith », et non « Mme Jones ». Si votre robot ami se contente d'écraser ses anciens souvenirs par les nouveaux, comment saurez-vous qu'il n'a pas été piraté ? Comment prouver qu'il s'agit d'une mise à jour authentique de votre part, et non d'un virus sournois se faisant passer pour vous ? C'est le problème de la « mémoire persistante » dans l'intelligence artificielle. Les scientifiques essaient de construire une IA capable d'apprendre et de s'adapter sur des années, mais ils ont besoin d'un moyen de s'assurer que ces changements sont autorisés et traçables, comme un journal intime numérique qui ne peut être secrètement édité sans laisser une empreinte.

Ce document présente un système ingénieux appelé MutMem (abréviation de « Mutable Memory » ou Mémoire Mutable) conçu pour un moteur de cerveau robotique nommé HOM-AIMOS. Considérez MutMem comme un registre magique et super sécurisé pour le cerveau d'une IA. Au lieu d'effacer les anciens faits lorsque de nouvelles informations arrivent, MutMem garde l'ancien souvenir en sécurité mais y ajoute une « note signée ». Cette note dit : « Hé, nous avons mis à jour l'importance de ce souvenir à cause de cet événement, et voici la preuve cryptographique que la mise à jour a été autorisée. » C'est comme si vous écriviez une correction dans la marge d'un livre de bibliothèque, mais que la correction était signée avec un sceau de cire unique et incassable qui prouve que c'est vous qui l'avez fait, et non un voleur. Le système possède également une méthode spéciale pour gérer les informations « empoisonnées » — des faits faux plantés par des pirates. Au lieu de supprimer les faux faits (ce qui masquerait les preuves de l'attaque), MutMem les conserve mais les tamponne d'une étiquette géante et signée « SUSPICIOUS » (SUSPECT). De cette façon, l'IA sait qu'elle doit ignorer l'information fausse, mais les chercheurs peuvent toujours étudier l'attaque plus tard.

Les chercheurs ont testé ce système de trois manières différentes. Premièrement, ils ont vérifié si le robot pouvait réellement répondre correctement aux questions en utilisant sa mémoire. Sur un test difficile appelé LongMemEval, le robot a répondu correctement à 91,8 % des questions. Sur un autre test de mémoire à long terme appelé LoCoMo, il a réussi 74,12 % des réponses. Ces chiffres montrent que le système de mémoire fonctionne bien pour les tâches normales.

Deuxièmement, ils ont testé la sécurité. Ils ont lancé une suite de tests spécialisés où ils ont tenté de tromper le système pour effectuer des changements non autorisés ou supprimer des souvenirs. Le système a détecté avec succès chaque tentative de falsification dans ces scénarios spécifiques, comme tenter de réutiliser des signatures sur différents souvenirs ou d'altérer les sceaux numériques. Chaque fois qu'un changement était effectué, il était verrouillé par une signature numérique. Si quelqu'un tentait de falsifier la mémoire lors de ces tests, le système repérait immédiatement le sceau brisé. Le processus de mise à jour sécurisée était également très rapide, prenant en moyenne environ 4,865 millisecondes — plus vite qu'un clin d'œil humain.

Troisièmement, ils ont testé la capacité du système à gérer les données « empoisonnées ». Ils ont simulé une attaque où des pirates ont injecté 500 passages faux et trompeurs dans la mémoire du robot. Le système n'a pas supprimé ces passages faux ; au lieu de cela, il les a conservés mais les a marqués comme « poison_likely » (probablement un poison) avec une étiquette signée. Lorsque le robot était interrogé sur des sujets que les pirates tentaient d'utiliser pour le piéger, le système a réussi à ignorer l'information fausse 97 % du temps (seulement 3 % du temps le robot a accidentellement utilisé l'information empoisonnée). Crucialement, le système ne s'est pas confondu et n'a pas perdu sa capacité à répondre correctement aux questions normales ; sa précision est restée élevée même sous l'attaque.

Le papier a également mené une expérience spéciale pour voir pourquoi le système fonctionnait si bien contre le poison. Ils ont découvert que les « étiquettes signées » étaient les héroïnes de l'histoire. Lorsque le robot utilisait ces étiquettes pour ignorer l'information fausse, sa précision sur les questions pièges passait de 40 % à 65 %. Sans les étiquettes, le robot était facilement trompé.

Cependant, l'auteur est très prudent en précisant ce que ce système ne fait pas. Il ne prouve pas que la mémoire est réellement « vraie » dans le monde réel. Un robot peut avoir une mémoire parfaitement signée et autorisée qui est pourtant factuellement erronée (comme se souvenir que vous détestez l'ananas alors que vous l'adorez). Le système prouve seulement que la mémoire a été mise à jour par la bonne personne et que l'historique des changements est honnête. C'est un système pour la confiance et la traçabilité, pas pour trouver la vérité absolue.

En fin de compte, MutMem montre que nous pouvons construire des mémoires d'IA assez flexibles pour apprendre et changer, mais assez sécurisées pour prouver qui a effectué les changements et ce qui a été changé. Il conserve l'historique de chaque mise à jour, de chaque suspicion et de chaque correction, le tout verrouillé par des sceaux numériques incassables, garantissant que même si le cerveau d'une IA est immense et complexe, nous pouvons toujours tracer le chemin de ses pensées.

Résumé Technique : MutMem – Mutation Cryptographiquement Autorisée dans la Mémoire Persistante d'un Agent

Énoncé du Problème

Les systèmes de mémoire persistante pour agents nécessitent une adaptation : des souvenirs qui étaient utiles par le passé peuvent devenir trompeurs après des corrections, tandis que des observations de faible valeur peuvent gagner en utilité avec de nouvelles preuves. Cependant, traiter l'adaptation comme une mise à jour standard en place crée une ambiguïté forensique. Une fois que le poids ou le contenu d'un souvenir change, un réviseur externe ne peut plus distinguer une adaptation cognitive autorisée d'une édition non autorisée de la base de données. De plus, les approches standards qui suppriment ou neutralisent le contenu « empoisonné » ou suspectif détruisent la piste d'audit nécessaire pour étudier les schémas d'attaque ou corriger les faux positifs.

Le défi central est de permettre une mutation cognitive bidirectionnelle (repondération des souvenirs vers le haut ou vers le bas) tout en maintenant :

La Rétention : Le souvenir et ses preuves historiques doivent rester présents.
L'Autorisation : Seul le « concierge » (housekeeper) désigné du système peut appliquer les repondérations cognitives.
L'Intégrité : Les hachages et les signatures doivent rendre toute divergence non autorisée détectable.
La Traçabilité : Le contenu empoisonné doit être conservé mais marqué comme non fiable, préservant ainsi l'historique de la classification sans effacer la preuve originale.

Crucialement, le système distingue l'autorisation (prouver qu'un changement a été effectué par la bonne entité) de la vérité (prouver que le contenu est factuellement correct). La cryptographie soutient la première, mais pas la seconde.

Méthodologie : Le Protocole MutMem

MutMem est implémenté au sein de HOM-AIMOS, un moteur de mémoire persistante. Le protocole sépare la rétention de l'évolution de l'état en utilisant un cadre de mutation cryptographique.

1. Mutation Préservant la Rétention

Le système interdit la déchéance, la suppression ou la neutralisation ordinaire. Au lieu de cela :

Limites de Poids : Les poids cognitifs ( $w$ ) sont bornés dans l'intervalle $[0.1, 3.0]$ . Un poids de 0,1 représente une « faible pertinence », mais pas une suppression.
Règle de Mise à Jour : Les poids sont mis à jour sur la base de preuves de valence signées (résultats) en utilisant une règle indépendante de l'âge : $w' = \text{clip}(w \cdot \exp(\eta \cdot j))$ , où $j$ est un score de valence dérivé d'une somme de récompenses conservées.
Trajectoire Bidirectionnelle : Un souvenir peut être repondéré à la hausse ou à la baisse. Un résultat positif ultérieur peut inverser une transition négative préalable, mais l'inversion est une transition par ajout successif (append-only), et non une écrasure. Cela préserve l'historique complet des jugements.

2. Protocole de Mutation Cryptographique

Chaque changement de poids non trivial est lié à un nœud de provenance signé et à un engagement de transition :

Nœud de Provenance : Un corps JSON signé ( $B_i$ ) contenant l'ID du souvenir, l'entreprise, l'ancien poids, le nouveau poids et un hachage du nœud de provenance précédent. Cela crée une chaîne de hachage de l'historique du souvenir.
Engagement de Transition : Un engagement distinct ( $t_i$ ) lie l'entreprise spécifique, le souvenir, les poids quantifiés et le hachage de provenance. Il est signé par le Concierge (le propriétaire natif de la mutation cognitive du système) via Ed25519.
Vérification : Un rédacteur de base de données restreint et un vérificateur portable indépendant vérifient ces signatures. Ils vérifient la continuité, la validité de l'époque du signataire et que la transition correspond à l'état actuel.
Reçus Merkle : Lors du rappel d'un souvenir, le système génère un reçu Merkle de type RFC 6962 liant l'ordre des preuves, l'ID du souvenir et l'état de calibration.

3. Empoisonnement Épistémique et Traçabilité

Au lieu de supprimer le contenu suspecté d'être empoisonné, MutMem le conserve comme « preuve de référence non fiable ».

Chaîne Épistémique : Une chaîne distincte, par ajout successif, enregistre les étiquettes signées (ex: poison_suspect, poison_likely, poison_refuted).
Logique de Classification : Un classificateur déterministe ajoute des étiquettes basées sur des signaux de détection. Si un groupe de passages partage des schémas de requête suspects, le système ajoute une transition poison_likely.
Isolation du Rappel : Lors du rappel, le système consulte la projection épistémique actuelle. Si un souvenir est étiqueté comme empoisonné, il est exclu des résultats top- $k$ ou traité comme non fiable, bien que la ligne brute du souvenir demeure dans la base de données.
Réversibilité : Si une preuve ultérieure réfute une étiquette de poison, une nouvelle transition signée (poison_refuted) est ajoutée, restaurant le statut de confiance du souvenir sans effacer l'historique de la suspicion.

Contributions Clés

Protocole de Mutation Préservant la Rétention : Un système où les preuves de résultats signées déplacent la fréquence de récupération sans supprimer ou écraser les souvenirs, maintenant une trajectoire historique complète.
Trajectoire Cognitive à Deux Engagements : Un mécanisme où chaque repondération est autorisée par un nœud de provenance signé et est indépendamment signée sur les détails exacts de la transition, créant un historique sans bifurcation (fork-free) et vérifiable.
Preuve au Niveau du Résultat lors du Rappel : Les candidats ne sont admis qu'après vérification de la provenance, et les réponses incluent un reçu Merkle signé liant l'ordre divulgué et l'état.
Conception d'Évaluation Auditable : Un cadre séparant l'utilité, l'intégrité de la mutation et la robustesse face à l'empoisonnement, avec des unités statistiques fixes et des artefacts vérifiés par hachage.
Traçabilité de l'Empoisonnement Préservant la Rétention : Une méthode pour conserver les passages potentiellement empoisonnés tout en ajoutant une chaîne épistémique signée et vérifiable qui les marque comme non fiables, permettant la traçabilité et une éventuelle réfutation future.

Résultats

L'article évalue MutMem selon trois axes en utilisant des tests et protocoles spécifiques :

1. Utilité (LongMemEval & LoCoMo)

LongMemEval : A atteint 91,8 % de précision (459/500 questions) sous jugement de LLM.
LoCoMo : A atteint 74,12 % de précision (1472/1986 questions) sous jugement de LLM et un score F1 de 58,20 sous un protocole token-F1.
Note : Ces métriques démontrent la capacité du système à fonctionner efficacement avec une mémoire persistante, indépendamment des revendications d'intégrité cryptographique.

2. Intégrité de la Mutation

Une suite de mutation native a vérifié 20 transitions signées.
Latence : Latence médiane de 4,865 ms par transition ; latence p95 de 5,674 ms.
Stockage : Stockage moyen de ligne logique de 966,35 octets par transition.
Intégrité : Le système a rejeté avec succès les mises à jour non autorisées, la réutilisation de preuves entre locataires (cross-tenant) et les signatures falsifiées. Les vérificateurs SQL et portables ont confirmé une parité exacte.

3. Adaptation au PoisonedRAG (N=100)

Configuration de l'Attaque : 100 cibles avec 5 passages empoisonnés injectés chacune (500 au total).
Défense de Récupération : Dans l'exécution défendue post-calibration finale (bras A1), 0/100 cibles avaient des passages empoisonnés dans les 5 premiers résultats récupérés. (En comparaison, le bras de contournement non atténué A0 a sélectionné du poison dans 94/100 des ensembles top-5).
Précision : Précision des réponses propres : 72 % ; précision des réponses attaquées : 71 %. La différence n'était pas statistiquement significative.
Traçabilité : Les 500 passages empoisonnés ont été conservés et assignés à une étiquette poison_likely. Les 19 308 chaînes de mémoire de référence vérifiées ont toutes réussi la vérification.
Faux Positifs : Seuls 4 des 18 808 mémoires propres ont reçu une étiquette adverse (0,0213 %).

4. Ablation Épistémique

Une étude d'ablation causale a comparé quatre bras de politique :

A0 (Contournement/Bypass) : 94/100 passages empoisonnés sélectionnés dans le top-5 ; la précision attaquée est tombée à 40 %.
A1 (Étiquettes Signées) : La récupération de poison est tombée à 0/100 ; la précision attaquée s'est rétablie à 65 %.
A2/A3 : L'ajout de détection locale à la requête ou de la rétention active du contexte n'a apporté aucun bénéfice mesurable supplémentaire sur ce corpus fixe, car les étiquettes signées (A1) avaient déjà éliminé le poison.
Conclusion : Les étiquettes stockées signées ont été le principal facteur causal de la défense, récupérant 25 points de pourcentage de précision sans nuire à la performance des données propres.

Signification et Revendications

L'article limite explicitement ses revendications à l'autorisation, l'intégrité, la traçabilité et la continuité historique. Il ne prétend pas prouver la vérité sémantique.

Distinction Forensique : MutMem démontre avec succès que les mutations cognitives légitimes peuvent être distinguées cryptographiquement des éditions non autorisées. Une signature prouve qui a autorisé un changement et quel était l'état précédent, mais pas si le contenu est factuellement vrai.
La Rétention comme Sécurité : En conservant le contenu empoisonné plutôt qu'en le supprimant, le système préserve la preuve nécessaire pour auditer les attaques, étudier le comportement des détecteurs et corriger les faux positifs. Le « poison » devient une forme de preuve négative qui est traçable et réversible.
Défense en Profondeur : L'ablation montre que les étiquettes épistémiques signées agissent comme une première couche de défense suffisante, empêchant le contenu empoisonné d'atteindre le prompt de génération, tandis que les couches suivantes (comme la rétention de contexte) restent inexercées car la première couche a réussi.
Modestie : L'auteur reconnaît que la compromission de clés, l'accès superutilisateur au runtime et le remplacement de l'ancre externe restent en dehors du modèle de menace. Les résultats sont liés à des commits sources et des manifestes de preuves spécifiques, et la revue humaine était aveugle mais non indépendante (menée par l'auteur du système).

En résumé, MutMem fournit un cadre cryptographique pour la mémoire persistante d'un agent où l'adaptation est un processus vérifiable, auditable et réversible, garantissant que l'historique des « pensées » d'un agent reste intact et distinguable de toute manipulation, même lorsque le contenu lui-même est faux ou malveillant.