Résumé Technique : Rosetta Memory (RoMem)

1. Définition du Problème : Incompatibilité de Mémoire entre LLM (Cross-LLM Memory Mismatch)

L'article traite d'une lacune critique dans le déploiement des agents basés sur les Grands Modèles de Langage (LLM) : l'hypothèse selon laquelle les systèmes de mémoire sont conçus pour un modèle de base unique et statique. En pratique, les agents passent fréquemment d'un LLM à un autre (par exemple, utiliser Claude pour le codage et GPT pour l'écriture, ou router des étapes vers différents modèles pour optimiser les coûts). Les auteurs identifient que la mémoire écrite par un modèle échoue souvent à être consommée efficacement par un autre en raison de deux sources principales de décalage :

1. Divergence du côté de l'écriture (Write-Side Divergence) : Différents LLM sources, face au même état, produisent des actions différentes et stockent donc un contenu différent en mémoire.
2. Sensibilité du côté de la lecture (Read-Side Sensitivity) : Même des entrées de mémoire sémantiquement équivalentes peuvent conduire à des résultats d'agents différents lorsqu'elles sont lues par différents LLM cibles, en raison des variations de sensibilité aux prompts et d'interprétation du contexte.

Les auteurs formalisent le Problème d'Adaptation de Mémoire Cross-LLM : Comment le système de mémoire d'un agent peut-il s'adapter pour qu'une mémoire écrite par un LLM en amont active efficacement un LLM en aval, quel que soit les modèles impliqués dans la trajectoire ? L'objectif est de maximiser le rendement attendu à travers toutes les assignations de modèles possibles dans un pool hétérogène, plutôt que d'optimiser pour un seul modèle de base fixe.

2. Méthodologie : Rosetta Memory (RoMem)

RoMem déplace la perspective de une « conception de mémoire centrée sur le LLM » vers une « adaptation de LLM centrée sur la mémoire ». Il traite la mémoire comme une interface transférable entre les rédacteurs en amont et les lecteurs en aval.

Architecture Centrale

Le système introduit deux opérateurs apprenables et conscients du LLM :

• Opérateur d'Écriture ($f_{write}$) : Prend l'identifiant (profil) du LLM source, l'observation et l'action, et produit une entrée de mémoire distillée et normalisée.
• Opérateur de Lecture ($f_{read}$) : Prend l'identifiant (profil) du LLM cible, l'observation actuelle et la banque de mémoire, et produit un contexte prêt pour le prompt, adapté au lecteur spécifique.

Conditionnement par Profil (Profile Conditioning)

Pour gérer divers modèles sans ajuster les opérateurs pour chaque modèle spécifique, RoMem utilise des embeddings de profil. Chaque LLM est associé à un enregistrement de profil léger (ID du modèle, description textuelle, métadonnées comme le backend, la famille, l'échelle). Une fonction de mappage apprenable $g$ convertit ces profils en vecteurs continus (tokens de préfixe souples) qui conditionnent à la fois $f_{write}$ et $f_{read}$. Cela permet aux opérateurs de se généraliser à des LLM non vus en comprenant leur « style » et leurs capacités.

Stratégie d'Entraînement

Les opérateurs sont entraînés via une boucle d'Itération d'Expert avec deux innovations spécifiques pour garantir la robustesse à travers le pool de modèles hétérogènes :

1. Récompense de Gain Contrefactuel (Counterfactual Gain Reward) : Pour isoler la contribution des opérateurs appris de la capacité intrinsèque des LLM, le système calcule un écart de performance ($\Delta R$). Il s'agit de la différence entre la récompense obtenue avec les opérateurs appris et une ligne de base naïve (concaténation brute de la mémoire). Cela garantit que le modèle apprend à améliorer la performance spécifiquement par l'adaptation, et non simplement en exploitant un modèle de base puissant.
2. Curriculum d'Échantillonnage de Gain Minimum (Minimum-Gain Sampling Curriculum) : Pendant l'entraînement, le système donne la priorité aux LLM « mal desservis » — ceux ayant le gain contrefactuel le plus faible. La probabilité d'échantillonnage pour un modèle à l'étape $t$ est biaisée vers les modèles ayant un $\Delta R$ faible et est également diversifiée par la distance d'embedding afin d'assurer une diversité comportementale au sein d'une seule trajectoire. Cela empêche le modèle de sur-apprendre (overfitting) les paires performantes et assure une couverture pour les combinaisons de modèles difficiles.

3. Contributions Clés

1. Formalisation du Problème : L'article démontre empiriquement (via des études pilotes sur HotpotQA, 2WikiMultihopQA et MuSiQue) que le décalage de mémoire est un problème significatif dans les contextes cross-LLM et définit formellement le problème d'adaptation de mémoire cross-LLM.
2. Rosetta Memory (RoMem) : Un nouveau cadre qui apprend conjointement des opérateurs de lecture et d'écriture conditionnés par le profil pour adapter la mémoire pour des agents hétérogènes.
3. Innovations d'Entraînement : L'introduction d'un curriculum d'échantillonnage de gain minimum pour améliorer la couverture des paires de modèles sous-performantes et d'une récompense de l'écart de performance pour distinguer l'utilité de l'opérateur de la force du modèle de base.
4. Validation Empirique : Des expériences étendues montrant que RoMem surpasse les bases sans mémoire (CoT, Self-Ask), les bases de buffer brut (Step-Accumulate) et les bases de mémoire structurée (Mem0, Memento) à travers plusieurs jeux de données.

4. Résultats Expérimentaux

Les auteurs ont évalué RoMem sur trois jeux de données de questions multi-étapes (multi-hop QA) : HotpotQA, 2WikiMultihopQA et MuSiQue.

• Performance Globale : RoMem a systématiquement obtenu les scores les plus élevés en Exact Match (EM), F1 et précision sémantique (AccLLM) sur tous les jeux de données. Notamment, sur le jeu de données difficile MuSiQue, il a montré des marges claires en F1 et AccLLM, suggérant une préservation efficace des preuves partielles à travers des chaînes complexes.
• Études d'Ablation : Le retrait du conditionnement par profil ou de l'opérateur d'écriture a considérablement dégradé les performances, confirmant que l'adaptation du contenu de la mémoire et l'adaptation de la présentation au modèle cible sont tous deux nécessaires.
• Généralisation aux Modèles Inconnus : Testé sur six LLM non vus (ex: gpt-5-mini, deepseek-reasoner) lors de l'entraînement, RoMem a maintenu des performances robustes, surpassant souvent les bases même lorsque le nombre de modèles inconnus dans la trajectoire augmentait.
• Échantillonnage de Gain Minimum : L'analyse de sensibilité a montré qu'un repondérage modéré (ex: $\eta \approx 1.2$ à $1.6$) améliore les performances, tandis qu'un repondérage trop fort peut être préjudiciable.
• Analyse Qualitative : Les inspections ont révélé que l'opérateur d'écriture parvient à supprimer l'incertitude du modèle source et les instructions de recherche, tandis que l'opérateur de lecture adapte l'ordre et l'explicité des faits pour correspondre aux préférences du modèle cible (ex: format tableau pour Gemini vs chaîne de pensée pour Claude).

5. Signification et Revendications

L'article affirme que stocker des preuves est insuffisant ; la mémoire doit être écrite et lue sous une forme adaptée au LLM qui la consomme. En traitant la mémoire comme une interface transférable, RoMem permet aux agents LLM hétérogènes de partager efficacement la mémoire d'un épisode, réduisant ainsi le besoin de calcul redondant et améliorant la robustesse lors du remplacement de modèles pour des raisons de coût, de latence ou de disponibilité.

Les auteurs positionnent ce travail comme une « première étape » vers l'adaptation centrée sur la mémoire. Ils reconnaissent des limites, notant que leur évaluation est restreinte à des épisodes contrôlés de questions multi-étapes avec des chaînes de preuves fixes et ne couvre pas encore la navigation web ouverte ou la planification à très long horizon. Ils avertissent également que les interfaces de mémoire apprises pourraient potentiellement propager des biais ou des erreurs si elles ne sont pas soigneusement auditées, suggérant la nécessité de minimisation des données et d'inspection humaine dans les déploiements à enjeux élevés.