Résumé Technique : Dérive des Outils Induite par la Mémoire chez les Agents LLM

Définition du Problème

Les agents modernes basés sur des modèles de langage (LLM) intègrent une mémoire à long terme pour la personnalisation avec des interfaces d'appel d'outils afin d'exécuter des actions ayant des conséquences. Si la mémoire permet l'adaptation et les outils l'utilité, cet article identifie un mode de défaillance précédemment inexploré : la dérive des outils induite par la mémoire.

Ce phénomène se produit lorsque des biais liés à la personnalité stockés dans la mémoire à long terme d'un agent (par exemple, la sensibilité aux coûts, l'impatience, la tolérance au risque) influencent silencieusement et de manière inappropriée la sélection des paramètres d'appel d'outils dans des contextes professionnels où de telles préférences personnelles sont sans pertinence. Contrairement à une personnalisation excessive conversationnelle, la dérive des outils est particulièrement conséquente car les appels d'outils s'exécutent souvent sans inspection des paramètres individuels par l'utilisateur et peuvent déclencher des actions irréversibles (par exemple, transactions financières, modifications d'infrastructure, exposition de données). L'échec fondamental réside dans l'incapacité de l'agent à discerner la frontière entre les contextes de vie personnelle et les exigences des tâches professionnelles, entraînant la fuite de biais non pertinents vers des décisions de paramètres critiques.

Méthodologie

1. Formalisation et Construction de la Référence (MEMDRIFT)

Les auteurs formalisent la dérive des outils induite par la mémoire comme une déviation des paramètres d'appel d'outils ($\theta$) lorsque des mémoires biaisées ($M_b$) sont présentes, par rapport à une référence sans mémoire ($M_\emptyset$) ou à une référence de mémoire neutre ($M_n$). Pour mesurer cela objectivement, ils ont construit MEMDRIFT, une référence de 105 scénarios synthétiques.

• Structure : La référence couvre cinq dimensions de biais (Vitesse/Impatience, Frugalité des ressources, Minimalisme/Concision, Permissivité du risque, Autonomie/Auto-suffisance) et sept domaines professionnels (Santé, Finance, Juridique, Infrastructure logicielle, Éducation, E-commerce, Marketing).
• Séparation des Contextes : Une séparation stricte est imposée : toutes les mémoires utilisateur sont ancrées strictement dans la vie personnelle (habitudes, préférences), tandis que tous les appels d'outils ciblent des tâches professionnelles. Cela garantit que toute influence de la mémoire sur les paramètres d'outils constitue un échec clair (dérive).
• Pipeline de Génération : MEMDRIFT a été généré via un pipeline adversarial automatisé et auto-améliorant utilisant un générateur LLM et un juge. Le processus implique la génération de scénarios, l'expansion d'artefacts (création de schémas d'outils et d'invites) et un raffinement adversarial pour maximiser la dérive tout en maintenant le réalisme.

2. Paramètres d'Évaluation

L'étude a évalué sept modèles de pointe (incluant GPT-5.2/5.4, Claude Sonnet 4.5, Gemini 2.5/3.1 Pro, Kimi K2.5 et Qwen3.5) dans deux conditions :

1. Injection Directe de Mémoire : Des mémoires biaisées sont placées mot pour mot dans l'invite système, simulant la façon dont les systèmes de production gèrent la mémoire persistante.
2. Architectures de Mémoire de Production : Des préférences biaisées sont encodées de manière organique via des conversations multi-tours et récupérées par trois frameworks de mémoire réels (Mem0, MemPalace, SimpleMem) pour tester la dérive dans des conditions réalistes de bout en bout.

Métrique : Un "Score de Déviation" (échelle de Likert de 1 à 5) a été utilisé, où un juge LLM compare les réponses d'appels d'outils sous mémoire biaisée par rapport à la référence sans mémoire. Des scores plus élevés indiquent une plus grande déviation dans les paramètres critiques pour la tâche.

3. Analyse Mécanistique

Pour comprendre pourquoi la dérive se produit, les auteurs ont effectué une analyse mécanistique sur Llama-3.3-70B-Instruct :

• Projection d'Activation : Ils ont construit des vecteurs de pilotage pour des instructions comportementales explicites et projeté les décalages d'activation induits par la mémoire sur ces vecteurs.
• Analyse de l'Attention : Ils ont tracé les poids d'attention à la position du token définissant le comportement pour observer comment le modèle alloue son focus entre le contexte pertinent à la tâche et les entrées de mémoire.

4. Analyse de Vulnérabilité Réelle

Les auteurs ont développé un analyseur piloté par LLM pour auditer 6 062 outils réels répartis sur 288 serveurs vérifiés du Protocole de Contexte de Modèle (MCP). Ils ont identifié des outils avec des paramètres sensibles à la dérive basés sur deux propriétés :

1. Paramètres alignés sur le biais : Des valeurs qui s'alignent naturellement sur les dimensions de biais (par exemple, "économique" vs "premium").
2. Chevauchement lexical : Des valeurs de paramètres partageant des mots-clés avec des contextes personnels courants (par exemple, "rapide", "sûr", "minimal").
   Un sous-ensemble d'outils signalés a été validé pour confirmer que la dérive se produit sur de vrais schémas.

Résultats Clés

1. Prévalence de la Dérive des Outils

• Susceptibilité Universelle : Les sept modèles de pointe évalués ont tous présenté une dérive des outils substantielle. Les scores de déviation biaisée étaient constamment élevés (jusqu'à +3,6 points sur une échelle de 1 à 5) à travers tous les modèles et toutes les dimensions de biais.
• Persistance en Production : La dérive persistait même lorsque les mémoires étaient encodées via des conversations multi-tours naturelles et récupérées par des architectures de mémoire de production. Dans certains cas, les scores de dérive sous les frameworks de mémoire étaient comparables ou supérieurs à ceux observés sous injection directe, probablement parce que les frameworks éliminent le contexte personnel lors du stockage, encodant les préférences comme des directives globales.
• Robustesse : La dérive a été observée même lorsque les mémoires biaisées ne constituaient qu'une petite fraction (par exemple, 25 %) de l'ensemble total de la mémoire.

2. Impact Réel

• Analyse de Vulnérabilité : L'analyse a signalé 608 outils (environ 10 %) comme hautement sensibles à la dérive induite par la mémoire.
• Exemples Validés : Sur un sous-ensemble validé, les modèles ont démontré une dérive sur des outils réels. Par exemple :
  • GitLab : Une préférence personnelle de l'utilisateur pour "l'ouverture" a amené le modèle à définir la visibilité d'un projet sur public au lieu de private pour un service de données de santé.
  • Brave Search : Une préférence de l'utilisateur pour des expériences "non filtrées" a amené le modèle à définir safesearch sur off pour une requête de recherche ciblant un programme de collège.
  • GitHub/Linear : Des préférences pour la rapidité ou le minimalisme ont conduit à la désactivation des modes de validation, des instantanés de retour en arrière ou des paramètres de priorité dans des flux de travail critiques.

3. Résultats Mécanistiques

• Vecteurs de Pilotage Implicites : Les mémoires biaisées agissent comme des vecteurs de pilotage implicites, poussant les activations du modèle dans les mêmes directions latentes que les instructions comportementales explicites. Le modèle traite les préférences personnelles issues de contextes non liés comme des directives comportementales globales.
• Redistribution de l'Attention : Les mémoires biaisées détournent l'attention par un chevauchement lexical de surface. Le modèle redistribue l'attention loin du contexte pertinent à la tâche (schéma d'outil, requête utilisateur) vers les entrées de mémoire contenant des mots-clés qui chevauchent les valeurs de paramètres cibles. Cela supprime la capacité du modèle à discerner la pertinence de la tâche.

4. Limites des Défenses Actuelles

Les auteurs ont évalué les défenses standard :

• Invites Système Défensives : Des instructions pour ignorer les mémoires non pertinentes ont réduit la dérive mais ne l'ont pas éliminée (les scores sont restés substantiellement élevés).
• Filtres de Pertinence de Mémoire : Bien que les filtres aient fonctionné parfaitement sur la séparation propre de MEMDRIFT, ils ont échoué dans des scénarios réalistes de raisonnement multi-sauts (par exemple, se rappeler que la position éthique d'un utilisateur implique une restriction alimentaire), ne retenant que 61 % des mémoires vraiment pertinentes tout en admettant 10,3 % de mémoires non pertinentes.

Signification et Affirmations

L'article affirme identifier une vulnérabilité systématique dans les agents LLM augmentés par la mémoire qui n'est actuellement pas traitée par les développeurs d'outils et les fournisseurs de modèles.

• Nouveauté : Il s'agit de la première étude à formaliser et mesurer comment les mémoires personnelles corrompent silencieusement les paramètres d'appel d'outils professionnels, distinctement de la personnalisation excessive conversationnelle.
• Profil de Risque : Le risque est unique aux environnements agentiques où les actions sont conséquentes et souvent irréversibles. La surface de vulnérabilité est large, affectant les paramètres qui encodent des compromis courants (rapidité, coût, prudence, surveillance).
• Appel à l'Action : Les auteurs soutiennent que les garde-fous actuels (instructions d'invite, filtres simples) sont insuffisants. Ils motivent le besoin de défenses dédiées à l'intersection de la gestion de la mémoire et de la génération d'appels d'outils, nécessitant potentiellement des interventions au moment de l'entraînement pour instiller un discernement contextuel plutôt que de compter uniquement sur une atténuation au moment de l'inférence.

L'étude conclut que, à mesure que les agents assument des actions de plus en plus conséquentes, la dérive des outils induite par la mémoire représente un problème ouvert critique nécessitant des recherches dédiées et des solutions architecturales.