Memex(RL): Scaling Long-Horizon LLM Agents via Indexed Experience Memory

Ce papier présente Memex, un mécanisme de mémoire indexée optimisé par apprentissage par renforcement (MemexRL) qui permet aux agents LLM d'exécuter des tâches à long horizon en conservant des preuves complètes dans une base externe tout en maintenant un contexte de travail compact, surmontant ainsi les limites des fenêtres de contexte traditionnelles sans perte d'information.

L'essentiel

🧠 Le Problème : Le cerveau qui débordé

Imaginez un agent intelligent (un robot logiciel) qui doit résoudre un problème très complexe, comme réparer une machine à partir de zéro ou organiser un voyage de 100 étapes. Pour y arriver, il doit réfléchir, utiliser des outils, lire des documents et prendre des décisions.

Le problème, c'est que la "mémoire à court terme" de ces intelligences artificielles (ce qu'on appelle la fenêtre de contexte) est limitée. C'est comme si vous deviez résoudre une énigme géante, mais que vous ne pouviez garder dans votre tête que les 5 dernières phrases que vous avez lues.

• L'approche actuelle (la mauvaise) : Pour faire de la place, on force l'IA à résumer ce qu'elle a fait. Mais c'est comme résumer un livre de 1000 pages en une phrase : on perd les détails importants (les numéros de page, les noms exacts, les erreurs précises). Si l'IA a besoin de ce détail plus tard, elle ne le retrouve pas.
• Le résultat : L'IA oublie ses propres erreurs, répète les mêmes fautes, et finit par se perdre dans le labyrinthe de sa propre conversation.

💡 La Solution : Memex (La Mémoire Indexée)

Les auteurs proposent une idée géniale appelée Memex. Imaginez que votre agent n'a pas besoin de tout garder dans sa tête, mais qu'il a un système de bureau ultra-organisé.

Voici comment cela fonctionne avec une analogie simple :

1. Le Post-it vs. Le Classeur

• Le Post-it (Le contexte actuel) : L'agent garde sur son bureau (dans sa mémoire immédiate) un petit Post-it très court. Ce Post-it ne contient pas tout le dossier, juste un résumé de ce qu'il est en train de faire et, surtout, une liste de références (des numéros de classeurs).
• Le Classeur (La base de données externe) : Pendant ce temps, tous les détails bruts (les longs rapports, les codes, les erreurs exactes) sont rangés dans un immense classeur externe. Chaque document a un numéro d'étiquette unique (un index).

2. Le Super-Pouvoir : "Dé-référencer"

C'est là que la magie opère.

• Si l'agent a besoin d'un détail précis (par exemple : "Quel était le code d'erreur exact à l'étape 42 ?"), il ne cherche pas dans sa tête.
• Il regarde son Post-it, voit le numéro de référence (ex: "Index A"), et va chercher exactement ce document dans le classeur externe pour le remettre sur son bureau.
• Avantage : Il ne perd jamais le détail, mais il ne sature jamais sa tête avec des informations inutiles.

🎓 Le Coach : MemexRL (L'Entraînement par Renforcement)

Avoir un classeur, c'est bien. Mais savoir quand ranger un document, comment l'étiqueter et quand le ressortir, c'est une autre histoire. Si l'agent fait de mauvais choix, il perd du temps.

C'est là qu'intervient MemexRL. C'est un système d'entraînement (comme un coach sportif) qui apprend à l'agent à gérer ce système :

• La récompense : L'agent reçoit des points s'il réussit sa mission et s'il garde son "Post-it" court.
• La punition : Il perd des points s'il remplit son Post-it de trop (ce qui le rend lent) ou s'il oublie de ranger un document important.
• L'apprentissage : Au fil des milliers d'essais, l'agent apprend :
  • Quand résumer une longue discussion en un index.
  • Quel document est si important qu'il faut le garder en entier dans le classeur.
  • Quand aller chercher un document précis pour éviter de refaire le même travail deux fois.

🏆 Les Résultats : Un agent plus fort et plus léger

Grâce à cette méthode, les tests montrent que :

1. Succès accru : L'agent réussit beaucoup mieux ses missions complexes (passant de 24% à plus de 85% de réussite dans les tests).
2. Mémoire plus légère : Il utilise beaucoup moins de place dans sa "tête" (le contexte) tout en ayant accès à plus d'informations.
3. Moins de gaspillage : Il arrête de répéter les mêmes erreurs car il sait exactement où regarder pour retrouver la solution.

🌟 En résumé

Imaginez un détective privé :

• Avant : Il tenait tout dans sa tête. Plus l'enquête avançait, plus il oubliait les détails, et il finissait par tourner en rond.
• Avec Memex : Il tient un petit carnet de notes avec des références précises. Il a un immense bureau d'archives derrière lui. S'il a besoin d'un détail, il va le chercher instantanément dans les archives grâce à son index.

Memex apprend aux intelligences artificielles à ne pas tout garder dans leur tête, mais à devenir de véritables experts de l'organisation, capables de gérer des projets de très longue durée sans jamais se perdre.

Résumé technique

1. Le Problème : La Limitation des Fenêtres de Contexte

Les agents basés sur les grands modèles de langage (LLM) sont fondamentalement limités par la taille finie de leurs fenêtres de contexte, ce qui pose un défi majeur pour les tâches à long horizon (comportant des dizaines ou des centaines d'étapes).

• Le goulot d'étranglement : À mesure que la trajectoire de l'agent s'allonge (observations, appels d'outils, traces de raisonnement), le contexte de travail devient prohibitif. Il finit par dépasser le budget de tokens disponible, rendant l'utilisation de preuves distantes difficile, même si elles sont techniquement encore présentes.
• Les limites des solutions existantes : Les approches actuelles reposent souvent sur la troncation ou la création de résumés. Ces méthodes sont irréversibles (lossy) : elles compressent ou suppriment définitivement les preuves brutes (logs, sorties d'outils, code), ce qui empêche une récupération fidèle ultérieure.
• L'insuffisance de la recherche sémantique : L'utilisation de bases de données externes avec recherche par similarité sémantique est souvent fragile dans les contextes d'outils complexes, car elle ne permet pas une référence précise et déterministe à des artefacts spécifiques (ex: un ID d'objet exact, un extrait de code précis).

2. Méthodologie : Memex et MemexRL

L'article propose une nouvelle architecture et un cadre d'apprentissage pour résoudre ce problème.

A. Memex : Mémoire d'Expérience Indexée

Memex introduit un mécanisme qui sépare le contexte de travail compact de l'archive d'expérience complète.

• Structure de la mémoire :
  • Contexte de travail ($M_{work}$) : Contient un résumé structuré et concis (l'Indexed Summary) et des indices stables. Il ne contient pas les données brutes.
  • Stockage externe ($D$) : Une base de données clé-valeur qui stocke les artefacts complets (sorties d'outils, logs, extraits de code) sous des indices stables.
• Opérations clés :
  • CompressExperience : L'agent remplace une longue séquence d'interactions dans le contexte par un résumé indexé. Les détails sont archivés dans $D$ avec des identifiants (indices). Le modèle peut choisir d'écrire un résumé ou d'extraire des ancres textuelles pour copier-coller le contenu exact.
  • ReadExperience : Lorsque l'agent a besoin d'une preuve spécifique, il utilise un index pour "déréférencer" et récupérer le contenu exact depuis $D$, l'injectant à nouveau dans le contexte de travail.
• Avantage : Cela permet de maintenir un état de raisonnement actif petit et gérable, tout en conservant la fidélité totale des preuves passées pour une récupération précise.

B. MemexRL : Apprentissage par Renforcement pour la Gestion de Mémoire

Pour apprendre à l'agent quand compresser, quoi indexer et quand récupérer, les auteurs introduisent MemexRL.

• Approche : Utilisation d'un cadre d'apprentissage par renforcement (inspiré de GRPO - Group Relative Policy Optimization) où les opérations de mémoire (compression, lecture) sont traitées comme des outils à part entière dans l'espace d'action.
• Fonction de Récompense ($R$) : Elle combine le succès de la tâche avec des pénalités pour :
  1. Dépassement de contexte : Pénalise les tokens excédant le seuil.
  2. Appels d'outils redondants : Pénalise la répétition d'actions identiques (encourageant l'utilisation de la mémoire plutôt que de ré-exécuter des outils).
  3. Erreurs de format : Pénalise les appels d'outils mal formés.
• Traitement des trajectoires segmentées : Lorsqu'une compression se produit, la trajectoire est découpée en segments. Chaque segment est entraîné indépendamment mais partage la même récompense finale, permettant un assignement de crédit correct sur les décisions de compression prises plus tôt.
• Déclenchement souple : Au lieu d'une compression automatique basée sur un seuil fixe, l'agent reçoit un indicateur d'état du contexte et apprend à déclencher la compression au moment optimal (sémantiquement pertinent).

3. Contributions Clés

1. Interface de Mémoire Indexée : Proposition d'une mémoire qui couple un résumé in-context compact avec une archive externe complète, permettant un accès explicite et précis aux preuves passées via des indices, évitant ainsi la perte d'information inhérente aux résumés classiques.
2. MemexRL : Un cadre d'entraînement RL qui optimise conjointement les politiques d'écriture (résumé, archivage, indexation) et de lecture (récupération), apprenant à gérer le budget de contexte de manière dynamique.
3. Analyse Théorique : Démonstration que le boucle Memex peut, en principe, préserver la qualité de décision optimale (en conditionnant sur un sous-ensemble borné de preuves déréférencées) tout en maintenant le contexte de travail borné, indépendamment de la croissance de l'historique complet.
4. Validation Empirique : Preuve expérimentale que l'apprentissage de cette mémoire indexée améliore significativement le taux de réussite sur des tâches complexes tout en réduisant l'utilisation du contexte.

4. Résultats Expérimentaux

Les expériences ont été menées sur une version modifiée et plus difficile du benchmark ALFWorld, où les informations de localisation et les IDs d'objets sont cachés, forçant l'agent à explorer et à se souvenir.

• Amélioration de la réussite : Le taux de réussite des tâches passe de 24,2 % (sans RL) à 85,6 % avec MemexRL.
• Réduction du contexte : La longueur maximale du contexte de travail (peak working context) est réduite de 16 934 à 9 634 tokens (une réduction d'environ 43 %), se rapprochant du seuil de pénalité de 8 000 tokens.
• Comportement appris :
  • Le nombre d'appels à CompressExperience diminue (de 6,5 à 3 par épisode), indiquant une compression plus sélective et stratégique.
  • Le nombre d'appels à ReadExperience augmente (de 1 à 6-7), montrant que l'agent apprend à récupérer activement les preuves nécessaires plutôt que de les réinventer.
• Dynamique d'entraînement : La courbe de réussite montre une progression rapide (de 20 % à >90 %), prouvant que le modèle apprend efficacement à utiliser le mécanisme de mémoire.

5. Signification et Impact

Ce travail représente une avancée significative pour le déploiement d'agents LLM sur des tâches complexes et longues.

• Changement de paradigme : Il déplace la gestion de la mémoire d'une approche de "résumé lossy" vers une approche de "gestion d'index et d'artefacts", plus proche de la façon dont les humains gèrent le travail complexe (notes, signets, fichiers externes).
• Évolutivité (Scaling) : Memex offre une nouvelle voie d'évolutivité pour les agents : au lieu d'attendre des fenêtres de contexte infinies, on peut apprendre aux agents à gérer efficacement des contextes limités en externalisant intelligemment les données.
• Fiabilité : En garantissant que les preuves brutes ne sont jamais perdues mais simplement déplacées, le système améliore la fiabilité et l'auditabilité des décisions de l'agent sur le long terme.

En résumé, Memex(RL) démontre que l'apprentissage de stratégies de résumé, d'indexation et de récupération précises est une dimension complémentaire essentielle pour construire des agents LLM persistants et fiables.