When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

Résumé Technique : Quand ne pas écrire de mémoire : Gouverner la promotion fallacieuse des traces d'agents corrélées

Énoncé du problème
Alors que les agents de langage à longue durée de vie génèrent de plus en plus de mémoires réutilisables à partir de leurs propres traces d'exécution, un mode de défaillance critique en matière de sécurité est apparu : la promotion fallacieuse. Le problème central est que des observations répétées à travers plusieurs agents ne constituent pas nécessairement des preuves indépendantes. Une affirmation répétée par cinq agents peut représenter cinq découvertes indépendantes, ou bien une seule note obsolète, un artefact de prompt partagé, une source copiée ou un écho induit par un outil. Promouvoir naïvement ces répétitions corrélées dans la mémoire à long terme crée une couche de persistance pour les erreurs corrélées. L'article cadre le défi non pas sur ce qu'il faut se souvenir, mais sur quand refuser l'écriture de la mémoire, en traitant spécifiquement de la gouvernance des chemins d'écriture pour les traces d'agents multiples et corrélées.

Méthodologie : GovMem
Les auteurs introduisent GovMem, une politique de référence diagnostique conservatrice et un agent auditeur latéral conçu pour gouverner les chemins d'écriture de la mémoire. Plutôt que de traiter l'écriture de la mémoire comme un problème de résumé, GovMem la cadre comme une décision de gouvernance de la preuve. Le système fonctionne comme un auditeur indépendant des tâches qui intercepte les mémoires candidates avant qu'elles n'atteignent le stockage à long terme.

Le pipeline GovMem exécute quatre étapes :

1. Agrégation des candidats : Il agrège les observations ayant un texte de revendication similaire tout en conservant les métadonnées de provenance (source, famille de prompts, événement parent, environnement, confiance).
2. Estimation du support sensible aux dépendances : Au lieu de compter les fréquences brutes ou les sources uniques, il groupe les observations par structure de dépendance. Les observations partageant des prompts, des outils, un contexte intermédiaire ou des événements parents sont traitées comme non indépendantes et ne comptent pas comme des votes distincts.
3. Récupération de contre-exemples et assignation de portée : Il récupère les contre-preuves potentielles et vérifie la compatibilité de la portée cible, reconnaissant que l'accord textuel seul est un signal de confiance non calibré.
4. Routage de décision : Basé sur la vérification sensible aux dépendances, il produit l'une des trois décisions : PROMOTE (Promouvoir), REJECT (Rejeter) ou NEEDS-REVIEW (Nécessite une révision).

Contributions clés

1. Identification du mode de défaillance : L'article identifie la « promotion fallacieuse » issue d'observations copiées, corrélées aux prompts, obsolètes, adverses ou hors de portée comme un mode de défaillance de la mémoire distinct et critique.
2. Formulation de la gouvernance : Il recadre l'écriture de la mémoire comme un problème de gouvernance de la preuve, orientant les candidats vers la promotion, le rejet ou la révision en fonction de la provenance et de la dépendance plutôt que de la qualité du résumé.
3. Implémentation de GovMem : Il l'instancie sous la forme d'une politique d'agent latéral conservatrice qui audite les propositions d'écriture en utilisant le support sensible aux dépendances, les contre-preuves et les vérifications de portée.
4. Évaluation complète : Les auteurs fournissent des expériences de mécanisme contrôlées (GovMem-Bench), une évaluation par des humains sur des traces réelles internes et des tests de stress externes, incluant un paquet à haut impact final adjugé par des humains.

Résultats expérimentaux
L'évaluation s'étend des benchmarks synthétiques aux traces réelles internes et aux tests de stress d'agents de codage externes.

• Tests synthétiques contrôlés (GovMem-Bench) : Dans les paramètres par défaut, GovMem-Verified a réduit le taux de promotion fallacieuse de 0,597 (baseline de fréquence brute) à 0,040, tout en maintenant un rappel de 0,960. Cela s'est fait au prix d'une charge de révision explicite de 0,151.
• Évaluation sur traces réelles internes : Sur un sous-ensemble étiqueté par des humains de 120 candidats issus de 79 traces, la promotion sensible aux dépendances a réduit la promotion fallacieuse de 0,371 (baseline source+portée) à 0,032. Cependant, ce gain de sécurité a nécessité une augmentation significative de la charge de révision (passant de 0,042 à 0,692) et une baisse du rappel direct (de 0,985 à 0,448).
• Tests de stress externes (V2 High-Impact Packet) : Une adjudication humaine finale de 133 candidats de haut impact provenant d'agents de codage a donné un résultat sévère : zéro candidat n'a été jugé sûr pour une promotion automatique. Notamment, les 11 candidats qui avaient passé une porte de vérification locale ont été rejetés par les adjudicateurs humains comme étant du code de routine (boilerplate), des artefacts d'outils partagés, des dumps de fichiers ou des traces de débogage non réutilisables.
• Comparaisons avec les baselines : Une baseline de type « réviser-tout-ce-qui-est-corrélé » (orientant toutes les preuves non indépendantes vers les humains) a performé de manière surprenante, égalant presque la sécurité de GovMem avec un meilleur rappel et une charge moindre dans le contexte interne, suggérant que GovMem est un point de conception spécifique dans un espace de contrôle des risques plutôt qu'une solution universellement dominante.

Signification et affirmations
L'article se positionne explicitement comme un article de diagnostic et de méthode plutôt que comme une validation d'un écrivain de mémoire automatique généralement efficace.

• Affirmation de sécurité diagnostique : La contribution principale est de démontrer que les chemins d'écriture gouvernés, qui traitent la répétition comme une preuve corrélée nécessitant des vérifications de provenance et de portée, peuvent réduire considérablement la promotion fallacieuse.
• Limites de l'automatisation : Les auteurs avertissent que la promotion automatique reste fragile lorsque les preuves de vérification sont extraites de traces d'agents bruitées. Les résultats externes montrent que les indices de vérification de surface (ex: sortie pytest, listes de fichiers) sont souvent insuffisants pour des écritures de mémoire sûres.
• Espace de conception : GovMem est présenté comme un point dans un espace de conception de contrôle des risques, mettant l'accent sur la provenance explicite et les décisions conservatrices. L'article soutient que les chemins d'écriture de la mémoire des agents doivent être évalués comme des systèmes de gouvernance de la preuve contrôlés par les risques.
• Exigences futures : Les auteurs affirment que des affirmations plus fortes concernant l'écriture automatique de la mémoire nécessitent une couverture externe étiquetée indépendamment plus large, des preuves de dommages en aval exécutés et une vérification plus forte au niveau de l'événement, ce qui n'est pas encore pleinement établi dans ce travail.

En résumé, l'article soutient que « la répétition n'est pas une preuve » pour la mémoire à long terme et propose un cadre de gouvernance pour filtrer les erreurs corrélées, tout en reconnaissant que les mécanismes actuels de promotion automatique ne sont pas encore assez robustes pour un déploiement sans une révision humaine significative ou une validation supplémentaire.