Résumé Technique : Contagion de la Mémoire

1. Définition du Problème

L'article traite d'une vulnérabilité critique dans les systèmes de mémoire des agents de Grands Modèles de Langage (LLM) : la Contagion de la Mémoire. Bien que des travaux récents (par exemple, Zhang et al. [2026]) aient établi que les mécanismes de consolidation de la mémoire peuvent dégrader les informations utiles, ces études supposent que les expériences d'entrée sont impartiales.

En réalité, les agents sont souvent guidés ou entraînés par des évaluateurs biaisés (par exemple, des modèles de récompense, des retours humains ou d'autres agents dotés de préférences systématiques). Lorsqu'un agent interagit avec un évaluateur biaisé, ses trajectoires résultantes deviennent biaisées. Si ces trajectures biaisées sont stockées dans un système de mémoire et récupérées par de futurs agents, le biais se propage à travers le temps et les épisodes. Les auteurs définissent la Contagion de la Mémoire comme cette propagation trans-temporelle du biais de l'évaluateur via les systèmes de mémoire des agents, la distinguant des travaux antérieurs sur le biais de l'apprentissage par renforcement à agent unique ou le biais de récupération au sein d'un même épisode.

2. Méthodologie

2.1 Configuration Expérimentale

L'étude utilise un cadre à deux agents :

• Agent Source ($A_s$) : Interagit avec des tâches et est évalué par un évaluateur biaisé ($E_b$). Ses trajectoires sont stockées dans un magasin de mémoire ($M_b$).
• Agent Cible ($A_t$) : Récupère des informations du magasin de mémoire pour résoudre de nouvelles tâches. L'étude mesure si $A_t$ présente le biais de $E_b$ même si son propre évaluateur est impartial.

Types de Biais Étudiés :

1. Biais de Longueur : Une préférence pour les réponses plus longues ($b(\tau) = \text{len}(a)$).
2. Biais d'Autorité : Une préférence pour les réponses contenant des marqueurs d'autorité (ex: « les études montrent », des citations), détectée via un classificateur basé sur un LLM.

Stratégies de Consolidation :

• Consolidation Oracle : Fusion parfaite sans perte d'information (servant de borne supérieure pour tester si la propagation du biais est inhérente à l'entrée).
• Consolidation par LLM : Fusion réaliste via la summarisation par LLM.

2.2 Métriques et Décomposition

Les auteurs introduisent $\Gamma_{\text{temporal}}$, une métrique mesurant la distance comportementale (utilisant la distance de Wasserstein $W_1$) entre un agent cible récupérant depuis une mémoire biaisée versus une mémoire propre.

Pour comprendre le mécanisme, la contagion totale ($\Gamma_{\text{total}}$) est décomposée en :

• $\Gamma_{\text{contenu}}$ (E1) : Propagation du biais due au contenu des mémoires stockées.
• $\Gamma_{\text{récupération}}$ (E2) : Propagation du biais due au mécanisme de récupération (ex: similitude d'embedding avec des requêtes biaisées).
• $\Gamma_{\text{interaction}}$ (E3) : Effets synergiques entre le contenu et la récupération.
• Efficacité du Débiaisage ($E_4$) : La réduction de la contagion lorsque les mémoires sont réécrites pour supprimer les marqueurs de biais.

2.3 Phases Expérimentales

1. Injection de Biais : Génération de trajectoires biaisées via l'échantillonnage par rejet.
2. Construction de la Mémoire : Stockage et consolidation des trajectoires.
3. Ablation (Oracle) : Test de la contagion avec une consolidation parfaite.
4. Décomposition des Mécanismes : Isolation des effets de contenu versus récupération.
5. Analyse Dose-Réponse : Variation du taux de contamination ($p$) de 0,2 à 1,0.

3. Résultats Clés

3.1 La Contagion se Produit avec une Consolidation Parfaite

Même sous consolidation Oracle (où aucune information n'est perdue lors de la fusion), une Contagion de la Mémoire est observée.

• Biais de Longueur : $\Gamma_A = 13,18$ (IC 95 % [9,05, 21,10]), significativement supérieur à 0 ($p < 0,01$).
• Biais d'Autorité : $\Gamma_A = 11,45$ (estimation exploratoire sur un seul passage).
• Implication : L'entrée biaisée est une cause suffisante pour la contagion ; la consolidation parfaite ne l'empêche pas.

3.2 Effets de la Consolidation selon le Type de Biais

L'impact de la consolidation basée sur un LLM varie selon le type de biais :

• Biais de Longueur : La consolidation atténue la contagion. $\Gamma$ chute de 13,18 (Oracle) à 2,03 (LLM), soit une réduction de 84 %. Les auteurs supposent que cela est dû au fait que la summarisation compresse les caractéristiques globales comme le nombre total de mots.
• Biais d'Autorité : Des preuves préliminaires suggèrent que la consolidation amplifie la contagion. $\Gamma$ passe de 11,45 (Oracle) à 16,80 (LLM) lors d'un passage unique. Les auteurs supposent que la summarisation préserve les affirmations centrales et leurs marqueurs d'autorité associés tout en supprimant le contenu périphérique, concentrant ainsi les signaux de biais par jeton (token).

3.3 Décomposition des Mécanismes

• Dominance du Contenu : La contagion basée sur le contenu ($E_1$) et celle basée sur la récupération ($E_2$) sont toutes deux présentes, mais la contamination par le contenu est légèrement plus importante.
• Interaction : Le terme d'interaction ($E_3$) est faible et n'est pas statistiquement distinguable de zéro, ce qui suggère que les mécanismes de contenu et de récupération opèrent largement de manière indépendante.
• Défis du Débiaisage : La réécriture des mémoires pour supprimer les marqueurs de biais est difficile. Pour le biais d'autorité, l'efficacité du débiaisage ($E_4$) n'était que de 0,51, indiquant qu'un biais résiduel substantiel subsiste, probablement dû à l'enchevêtrement sémantique entre les marqueurs d'autorité et le contenu factuel.

3.4 Analyse Dose-Réponse

• Aucun Seuil de Sécurité : La contagion est détectable même à de faibles taux de contamination ($p = 0,2$, soit 20 % de mémoires biaisées).
• Non-linéarité :
  • Le biais de longueur montre une augmentation monotone avec le taux de contamination.
  • Le biais d'autorité montre un profil de type « pic et déclin », culminant à $p=0,8$ ($\Gamma = 23,03$) et diminuant à $p=1,0$. Les auteurs spéculent que cela est dû à une interférence de récupération lorsque la majorité des mémoires contiennent des marqueurs similaires.

4. Signification et Revendications

L'article affirme avoir identifié une vulnérabilité jusqu'alors inconnue dans la conception de la mémoire des agents : l'entrée biaisée est une cause suffisante pour la propagation trans-temporelle du biais, quelle que soit la qualité de la consolidation.

• Réfutation de l'idée que « la Consolidation est le Problème » : Les auteurs soutiennent que les affirmations suggérant que corriger la consolidation corrige les problèmes de mémoire sont incomplètes. Même avec une consolidation parfaite, les entrées biaisées mènent à des agents biaisés.
• Asymétrie Directionnelle : La découverte selon laquelle la consolidation peut atténuer un type de biais (longueur) tout en amplifiant potentiellement un autre (autorité) remet en question l'hypothèse selon laquelle la consolidation est uniformément neutre ou néfaste.
• Outil de Mesure : L'article fournit des outils formels ($\Gamma_{\text{temporal}}$) pour mesurer la propagation du biais trans-temporel, permettant aux recherches futures de quantifier et d'atténuer ces effets.

Les auteurs concluent que les concepteurs de systèmes de mémoire doivent traiter le biais d'entrée en plus de la qualité de la consolidation. Ils notent que leurs conclusions concernant le biais d'autorité sont préliminaires (basées sur des estimations de passage unique pour certaines métriques) et que le phénomène dépend fortement du type de biais et du contexte de la tâche (par exemple, le biais d'autorité ne s'est pas propagé dans les tâches de QA synthétiques, mais l'a fait dans des contextes centrés sur les faits).