When to Forget: A Memory Governance Primitive

Ce papier propose « Memory Worth », un primitif de gouvernance de la mémoire pour les agents qui utilise deux compteurs par souvenir pour estimer de manière dynamique la probabilité de réussite associée à chaque mémoire, permettant ainsi de filtrer, supprimer ou déprécier les souvenirs obsolètes ou peu utiles.

L'essentiel

Imaginez que vous avez un carnet de notes magique où votre agent intelligent (un robot, un logiciel) écrit tout ce qu'il apprend. Ce carnet est rempli de souvenirs : des faits, des conseils, des erreurs passées.

Le problème, c'est que ce carnet ne s'auto-nettoie pas. Il continue d'accumuler des informations, même si certaines deviennent fausses, inutiles ou dangereuses avec le temps. Par exemple, si votre agent a appris que "la Tchécoslovaquie existe toujours" (ce qui était vrai avant 1993), il risque de continuer à utiliser cette information aujourd'hui, ce qui le rendra stupide.

Actuellement, les systèmes d'IA décident souvent de quoi garder ou jeter en se basant sur l'importance supposée au moment où l'information est écrite, ou sur l'avis d'un autre IA. Mais ils ne regardent jamais si cette information a réellement aidé à réussir ou à échouer plus tard.

C'est là qu'intervient l'idée de ce papier : la "Valeur Mémoire" (Memory Worth).

Voici une explication simple, avec des analogies, de comment cela fonctionne :

1. Le Concept : Le "Compteur de Succès"

Imaginez que chaque souvenir dans le carnet a deux petits compteurs invisibles à côté de lui :

• Un compteur VERT (🟢) : Il s'incrémente chaque fois que ce souvenir est utilisé et que l'agent réussit sa tâche.
• Un compteur ROUGE (🔴) : Il s'incrémente chaque fois que ce souvenir est utilisé et que l'agent échoue.

La "Valeur Mémoire" est simplement le pourcentage de succès :

Combien de fois j'ai eu le vert / (Vert + Rouge)

• Si un souvenir a 90 verts et 10 rouges, sa valeur est élevée (0,9). C'est un bon souvenir, on le garde précieusement.
• Si un souvenir a 10 verts et 90 rouges, sa valeur est basse (0,1). C'est un mauvais souvenir, il faut le jeter ou le cacher.
• Si un souvenir n'a jamais été utilisé, on ne sait pas. On le laisse tranquille pour le moment.

2. Pourquoi c'est génial ? (L'Analogie du Restaurant)

Pensez à un chef cuisinier (l'agent) qui utilise des recettes (les mémoires).

• L'ancienne méthode : Le chef regarde la recette et dit : "Ça a l'air important, je vais la garder !" même si ça a raté 10 fois de suite.
• La nouvelle méthode (Valeur Mémoire) : Le chef regarde l'assiette finale.
  • "Ah, cette recette de salade a été utilisée 50 fois, et 45 fois le client était ravi." -> Gardez-la !
  • "Cette recette de poisson a été utilisée 20 fois, et 18 fois le client a rendu son assiette." -> Jetez-la !

C'est simple, automatique, et cela ne demande pas de savoir pourquoi ça a raté, juste que ça a raté.

3. Les Pièges à éviter (Les "Fantômes" du système)

Les auteurs du papier sont très honnêtes : ce système n'est pas magique, il a des limites qu'il faut comprendre.

• Le problème du "Voyageur de l'ombre" (Hitchhiker) :
  Imaginez que vous utilisez toujours deux ingrédients ensemble : un excellent (l'ail) et un inutile (du sel de mer). Si vous gagnez souvent, l'IA va penser que le sel est génial parce qu'il est toujours là quand on gagne. En réalité, c'est l'ail qui fait le travail.

  • Solution : Il faut parfois tester les ingrédients séparément pour voir qui est vraiment responsable du succès.

• Le problème du "Contexte" :
  Un souvenir peut être génial dans une situation et terrible dans une autre.

  • Exemple : "Il faut rouler vite" est une bonne règle pour un pilote de Formule 1, mais une très mauvaise règle pour un conducteur en ville.
  • Si l'IA mélange tout, elle va confondre les deux. Il faut apprendre à dire : "Ce souvenir est bon uniquement pour les courses de vitesse".

• Le problème de la "Corrélation n'est pas Causalité" :
  La "Valeur Mémoire" ne dit pas pourquoi ça a marché. Elle dit juste : "Ça marche souvent ensemble". C'est comme dire "Les gens qui portent des parapluies ont souvent des chaussures mouillées". Ce n'est pas le parapluie qui mouille les chaussures, c'est la pluie ! Mais pour l'agent, le résultat est le même : il sait quand utiliser le parapluie pour rester au sec.

4. Les Résultats Concrets

Les chercheurs ont testé cela dans des simulations :

• Ils ont créé un agent avec 100 souvenirs.
• Au début, l'agent ne savait pas lesquels étaient bons.
• Après 10 000 essais, l'agent avait appris à classer ses souvenirs avec une précision de 89%.
• Ils ont même testé avec de vrais textes et des recherches modernes : les souvenirs "périmés" (comme la Tchécoslovaquie) ont vu leur score chuter drastiquement, tandis que les souvenirs utiles sont restés en haut de la liste.

En Résumé

Ce papier propose une règle simple pour que les intelligences artificielles apprennent à oublier.

Au lieu de garder tout ce qui semble "important" au moment de l'écriture, l'agent doit surveiller ses souvenirs comme un jardinier surveille ses plantes :

• Si la plante (le souvenir) donne de beaux fruits (succès), on l'arrose (on la priorise).
• Si elle ne donne que des fruits pourris (échecs), on la coupe (on la supprime).

C'est une petite brique fondamentale (un "primitif") qui permet de construire des agents plus intelligents, plus adaptatifs et moins obnubilés par des informations obsolètes. C'est la différence entre un cerveau qui accumule tout et un cerveau qui apprend à trier.

Résumé technique

Titre : Quand Oublier : Un Primitif de Gouvernance de Mémoire

1. Problématique

Les systèmes d'agents autonomes accumulent des expériences sous forme de mémoires, mais ils manquent actuellement d'une métrique opérationnelle rigoureuse pour gérer la qualité de ces mémoires au fil du temps.

• Limites actuelles : La plupart des systèmes utilisent des scores d'importance statiques attribués au moment de l'écriture (write-time) ou des heuristiques basées sur des LLM. Ces approches ne tiennent pas compte des retours d'expérience (feedback) post-récupération.
• Conséquence : Une mémoire qui a été associée à de nombreux échecs continue d'être traitée comme fiable, tandis qu'une mémoire utile n'obtient pas de crédit supplémentaire. Les agents ne "oublient" pas les informations obsolètes (staleness) ni ne déprécient les mémoires nocives de manière systématique.
• Objectif : Définir un primitif opérationnel léger permettant de décider quelles mémoires garder, supprimer ou prioriser en fonction de leur performance réelle observée.

2. Méthodologie : La "Valeur de Mémoire" (Memory Worth - MW)

L'auteur propose Memory Worth (MW), un estimateur en ligne par mémoire qui suit la corrélation entre la récupération d'une mémoire et le succès de la tâche.

Définition Formelle :
Pour une mémoire $m$, après $T$ épisodes, la MW est définie comme le taux de succès empirique pondéré :
$$MW_T(m) = \frac{hits^+_T(m)}{hits^+_T(m) + hits^-_T(m)}$$
Où :

• $hits^+_T(m)$ et $hits^-_T(m)$ sont des compteurs pondérés qui s'accumulent à chaque fois que la mémoire est récupérée lors d'un épisode réussi (+1) ou échoué (-1).
• Le poids $w_t(m)$ reflète l'influence de la mémoire sur l'action (peut être uniforme, proportionnel au score de récupération, ou basé sur la vérité terrain dans les expériences).
• Si aucun compteur n'est actif, $MW = 0.5$ (prior non informatif).

Théorie de Convergence :
Le papier prouve (Théorème 4.1) que sous certaines hypothèses (stationnarité, exploration minimale, indépendance conditionnelle entre la décision de récupération et le résultat), la $MW_T(m)$ converge presque sûrement vers la probabilité conditionnelle de succès :
$$p^+(m) = Pr[y_t = +1 \mid m \in M_t]$$

• Point clé : Il s'agit d'une mesure associative, non causale. La MW mesure la co-occurrence avec le succès, pas la contribution causale directe.
• Avantage : Cela permet de calculer la valeur sans avoir besoin d'attribuer la causalité (credit assignment) complexe, ce qui est souvent impossible pour les agents.

Taxonomie de Valeur (à deux compteurs) :
Contrairement à un simple ratio, le système utilise deux compteurs ($hits^+$ et $hits^-$) pour distinguer :

1. Haute valeur : Ratio élevé + nombre d'événements suffisant.
2. Faible valeur : Ratio faible + nombre d'événements suffisant (candidat à la suppression).
3. Incertitude : Nombre d'événements insuffisant (ne pas supprimer, mais attendre plus de données).
4. Résultats mixtes : Ratio intermédiaire + nombre d'événements suffisant (nécessite une analyse contextuelle).

3. Contributions Clés

1. Primitif de Gouvernance : Définition de MW comme un signal en ligne léger (seulement deux compteurs scalaires par mémoire) permettant la détection d'obsolescence, la suppression de récupération et la dépréciation sans changer l'architecture de l'agent.
2. Fondement Théorique : Preuve de convergence presque sûre vers la probabilité de succès conditionnelle via un argument de martingale, sous des hypothèses explicites.
3. Science des Modes de Défaillance : Analyse quantitative de trois scénarios réalistes où les hypothèses de convergence sont violées :
   • Confusion par la difficulté de la tâche : Les mémoires spécialisées sur des tâches difficiles sont pénalisées injustement.
   • Boucle de rétroaction de la politique de récupération : Risque de concentration excessive sur les mémoires "riches".
   • Confusion par co-récupération (Hitchhiker effect) : Des mémoires inutiles récupérées systématiquement avec des mémoires utiles accumulent un faux succès.
4. Validation Empirique : Tests dans un environnement synthétique et un micro-expérience réaliste avec récupération par embeddings neuronaux.

4. Résultats Expérimentaux

Expérience 1 : Environnement Synthétique Contrôlé

• Configuration : 100 mémoires, utilité terrain connue, récupération aléatoire uniforme (respectant les hypothèses théoriques).
• Résultat : Après 10 000 épisodes, la corrélation de rang de Spearman ($\rho$) entre la MW calculée et l'utilité réelle atteint 0.89 ± 0.02.
• Comparaison : Les systèmes qui ne mettent pas à jour leurs scores restent à $\rho = 0.00$.
• Convergence : Les stratégies de pondération (uniforme, proportionnelle au score, oracle) convergent vers la même valeur finale.

Expériences 2-4 : Violations des Hypothèses (A3)

• Difficulté de tâche (Exp 2) : Sans conditionnement, les mémoires spécialisées (utilisées uniquement sur des tâches difficiles) ont une MW faussement négative ($\rho \approx -0.33$). Le conditionnement par type de tâche améliore le signal ($\rho \approx +0.14$), mais ne résout pas tout.
• Boucle de rétroaction (Exp 3) : Même avec une politique de récupération biaisée par la MW (softmax), le système ne s'effondre pas et converge vers $\rho \approx 0.89$, montrant une capacité d'auto-correction.
• Co-récupération (Exp 4) : Une mémoire "passager clandestin" (hitchhiker) récupérée avec une mémoire utile ne peut pas être distinguée de cette dernière tant que la diversité de récupération est faible. Une séparation significative n'apparaît qu'avec environ 30 % d'épisodes de récupération indépendante.

Expérience 5 : Agent de Récupération Textuelle Réaliste

• Configuration : Utilisation de mémoires textuelles réelles et du modèle d'embedding all-MiniLM-L6-v2.
• Scénario : Une mémoire "obsolète" (faits sur la Tchécoslovaquie avant 1993) est correcte au début, puis devient fausse après un changement de phase.
• Résultat :
  • La mémoire obsolète voit sa MW chuter de ~0.97 à 0.17 (seuil de faible valeur) après 3000 épisodes, validant la détection d'obsolescence.
  • Le phénomène de "passager clandestin" est reproduit : une mémoire générique (hitchhiker) et une mémoire spécialisée (spécialiste) obtiennent des scores MW similaires (~0.77) en raison de leur similarité sémantique, confirmant la limite associative du modèle.

5. Signification et Limites

Signification :

• MW fournit le primitif minimal nécessaire pour construire des systèmes de gouvernance de mémoire avancés.
• Il transforme les logs d'interactions (récupération + résultat) en un signal de qualité exploitable sans nécessiter de compréhension causale complexe.
• Il met en lumière la nécessité de diversité de récupération et de conditionnement contextuel pour éviter les biais de corrélation.

Limites et Contraintes de Conception :

• Association vs Causalité : MW ne distingue pas si une mémoire cause le succès ou est simplement associée à un contexte de succès. Cela peut mener à des faux positifs (mémoires inutiles récupérées avec des utiles) ou des faux négatifs (mémoires utiles sur des tâches difficiles).
• Stationnarité : La convergence théorique suppose une distribution de tâches stationnaire. En cas de changement de distribution (non-stationnarité), des mécanismes comme les moyennes mobiles exponentielles sont nécessaires, au détriment de la garantie de convergence absolue.
• Seuil de Preuve : La fiabilité dépend du volume de données ($V_m$). Les mémoires rarement récupérées restent incertaines.

Conclusion :
Le papier établit que la gestion de la mémoire ne doit pas être statique. En utilisant un estimateur simple de co-occurrence succès/échec (MW), les agents peuvent dynamiquement adapter leur base de connaissances. Cependant, pour un déploiement robuste, les futurs systèmes doivent intégrer des mécanismes de conditionnement contextuel (pour gérer la difficulté des tâches) et de diversité de récupération (pour briser les corrélations artificielles).