MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

Résumé technique de MEMAUDIT

Énoncé du problème
Les agents LLM à long terme sont confrontés au défi de compresser des flux d'interactions passées en une mémoire persistante avant que les futures requêtes ne soient connues. Les protocoles d'évaluation existants mesurent généralement la précision finale de la réponse aux questions (QA). Les auteurs soutiennent que cette approche est flawed car elle entremêle trois modes d'échec distincts : l'écriture de la mémoire (sélection et représentation), la récupération et le raisonnement du lecteur. Un système peut échouer parce qu'il a stocké la mauvaise mémoire, parce que le récupérateur a manqué une bonne mémoire, ou parce que le lecteur a ignoré les preuves ; la précision finale de la QA seule ne peut pas isoler quelle couche a échoué. De plus, les systèmes déployés stockent souvent des éléments sous des formes trop coûteuses pour le budget cible ou échouent à sélectionner la représentation optimale (par exemple, segment brut vs fait extrait vs tombe) parmi un ensemble de candidats.

Méthodologie : Le protocole MEMAUDIT
L'article présente MEMAUDIT, un protocole d'évaluation exact de type oracle conçu pour évaluer la couche d'écriture de la mémoire de manière isolée. L'unité fondamentale d'évaluation est le package MEMAUDIT, qui transforme le problème de sélection de mémoire en un problème d'optimisation fini et auditable avec un dénominateur certifié.

• Définition du package : Un package $P$ est défini par un flux d'expérience fixe, un ensemble de représentations de mémoire candidates (par exemple, texte brut, faits, résumés, tombes), des coûts de stockage, des unités de preuve sémantique, des exigences de requêtes futures et un budget de stockage $B$.
• Contraintes de faisabilité : Le stockage de mémoire faisable $X$ doit satisfaire deux contraintes :
  1. Contrainte du sac à dos : Le coût total $\sum c_u \le B$.
  2. Contrainte de matroïde de partition : Au plus une représentation est choisie par expérience ($|X \cap G_i| \le 1$), forçant un choix de représentation plutôt que le maintien de toutes les variantes.
• Fonction objectif : L'utilité d'un stockage est définie par un objectif de couverture sémantique concave-sur-modulaire :
  $$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$$
  Où $R$ sont les unités de preuve, $w_r$ sont les poids d'importance, $a_{ur}$ est la couverture de l'unité $r$ par la mémoire $u$, et $h_r$ est une fonction concave et non décroissante (par défaut $\min(1, z)$). Cette structure assure des rendements décroissants pour une couverture dupliquée de la même unité de preuve.
• Optimisation exacte : Le protocole calcule l'optimum exact du package ($OPT_P(B)$) en utilisant des solveurs par branch-and-bound et certifie les résultats avec la Programmation Linéaire en Nombres Entiers Mixtes (MILP). Cela fournit un dénominateur de vérité terrain contre lequel tout écriture peut être noté.
• Dénominateur d'union pour les systèmes externes : Pour évaluer les systèmes réels (comme Mem0, Letta, A-Mem) qui peuvent générer des mémoires en dehors de l'ensemble de candidats prédéfini, le protocole utilise un package d'union. Les mémoires exportées sont ajoutées en tant que candidats de premier ordre avec des lignes de couverture arbitrées. Le score est le rapport de l'utilité atteinte par le système à l'utilité optimale réalisable par n'importe quel sous-ensemble de l'union (candidats originaux + exports du système). Cela distingue la qualité d'extraction (quelle quantité de contenu utile a été trouvée) de la qualité de sélection (à quel point elle a été bien choisie sous contrainte de budget).

Contributions clés

1. Définition d'un oracle de package fini : L'article définit un cadre rigoureux pour l'écriture de mémoire budgétisée avec un dénominateur reproductible et certifié, séparant la qualité au moment de l'écriture de la récupération et du raisonnement en aval.
2. Structure de couverture sémantique : Il instancie une structure de couverture sous-modulaire concave-sur-modulaire connue pour modéliser la préservation de la mémoire sémantique, gérant explicitement les états de validité (par exemple, les tombes pour invalider d'anciens faits) comme des unités de preuve positives plutôt que comme des pénalités négatives.
3. Solveurs exacts et lignes de base : Les auteurs fournissent des optima exacts de package via branch-and-bound et une certification MILP. Ils introduisent une ligne de base de référence Group Value-Threshold (GVT) qui utilise des marginales exactes pour calibrer le système, et démontrent que les heuristiques basées uniquement sur la densité peuvent être arbitrairement mauvaises.
4. La suite MEMAUDIT : Une publication de jeux de données et d'outils comprenant :
   • Packages exacts contrôlés : Environnements synthétiques (MEMAUDIT-Small) avec des graphes d'événements cachés pour tester les choix de représentation.
   • Tests de stress axés sur la validité : Scénarios spécifiquement conçus pour tester la préservation de la vérité actuelle par rapport aux faits obsolètes (par exemple, chaînes de mise à jour, intervalles temporels).
   • Packages naturels et exportés : Un sous-ensemble "Natural-87" audité par des humains, dérivé de tranches de conversation réalistes, et des stockages de mémoire exportés de Mem0, A-Mem et Letta évalués selon le même protocole.

Résultats

• Séparation des couches : Dans des expériences contrôlées, MEMAUDIT isole avec succès la qualité de la représentation. Par exemple, une heuristique "densité-seulement" (choisir l'élément avec la plus haute valeur par coût) échoue systématiquement à préserver les unités d'état de validité (tombes), n'atteignant que 26–36 % de l'OPT exact sur des budgets serrés, tandis que la ligne de base GVT reste proche de l'optimum.
• Importance des candidats de validité : La suppression des candidats de type tombe/mise à jour composée de l'ensemble de candidats réduit l'utilité maximale réalisable (OPT) de marges significatives (par exemple, chutant à ~52–81 % de l'OPT complet selon le budget), prouvant que les goulots d'étranglement de génération de candidats sont distincts des goulots d'étranglement de sélection.
• Diagnostics des systèmes externes : Lorsqu'appliqué aux stockages exportés :
  • Mem0 : Montre une borne supérieure "élaguée" élevée (indiquant une bonne extraction de preuves utiles) mais un ratio de stockage sélectionné plus faible, identifiant la sélection consciente du budget comme le goulot d'étranglement principal.
  • Letta : Atteint de forts ratios d'union élagués par saillance, indiquant une sélection efficace du contenu pertinent.
  • A-Mem : Préserve les preuves dans des notes riches, mais la taille sérialisée dépasse souvent les budgets stricts, résultant en un score nul pour les vues de stockage complet sauf si compacté.
• Stabilité : Le protocole est robuste aux variations du modèle de coût (par exemple, nombre de mots vs surcharge en octets) et au bruit d'annotation, les labels validés par des humains préservant les classements par rapport aux labels arbitrés par modèle.

Signification et affirmations
L'article affirme que MEMAUDIT fournit un outil de diagnostic nécessaire pour la couche d'écriture de la mémoire que la QA de bout en bout ne peut offrir. En figeant l'ensemble de candidats, les coûts et les unités de preuve, il répond à la question spécifique : "Étant donné ce package, quelle partie de la valeur sémantique faisable par le package l'écriture a-t-elle préservée ?"

Les auteurs soulignent qu'il s'agit d'un diagnostic au moment de l'écriture, et non d'un remplacement pour l'évaluation de l'assistant de bout en bout. Sa signification réside dans :

1. Localisation : Il identifie si les échecs proviennent de la génération de candidats, du choix de la représentation ou de la sélection consciente du budget, plutôt que de les confondre avec des erreurs de récupération ou de lecteur.
2. Reproductibilité : Il offre un dénominateur déterministe et auditable (l'OPT exact) plutôt que de dépendre d'une QA stochastique en aval.
3. Comparabilité : Il permet à des systèmes hétérogènes (avec différentes représentations internes) d'être notés sur une vérité terrain sémantique partagée via le dénominateur d'union.

L'article reste modeste, notant que Natural-87 est un "premier package naturel audité" et découpé par support, destiné au diagnostic plutôt qu'en tant que benchmark final de type "full-haystack". Il ne prétend pas résoudre l'ensemble du problème de la mémoire à long terme mais fournit l'"oracle de package exact" nécessaire pour évaluer rigoureusement les composants de compression et de sélection.