Résumé Technique : MemSearcher

Énoncé du Problème

Les agents de recherche basés sur les grands modèles de langage (LLM), en particulier ceux suivant le paradigme ReAct, concatènent généralement l'intégralité de l'historique des interactions (pensées, actions et observations) dans la fenêtre de contexte du modèle à chaque tour. Cette conception crée un goulot d'étranglement fondamental : à mesure que le nombre de tours d'interaction augmente, la longueur du contexte croît linéairement. Dans les scénarios de recherche, cela se traduit par des entrées longues et bruyantes, dominées par des passages récupérés, dont beaucoup sont sans rapport avec la requête de l'utilisateur. Cette prolifération de tokens sollicite non seulement la capacité du LLM à exploiter les informations saillantes, mais engendre également des coûts de calcul et une surcharge mémoire GPU substantiels, limitant ainsi l'évolutivité et le déploiement des agents de recherche dans des environnements aux ressources contraintes.

Méthodologie

Les auteurs proposent MemSearcher, un cadre d'agent conçu pour maintenir une mémoire compacte et mise à jour itérativement tout au long des interactions multi-tours, plutôt que d'ajouter l'historique complet.

1. Le Cadre MemSearcher

Contrairement à ReAct, où l'entrée au tour $i$ est l'historique cumulatif $(q, t_1, a_1, o_1, \dots, t_{i-1}, a_{i-1}, o_{i-1})$, MemSearcher fournit au LLM de base uniquement deux entrées succinctes :

1. La question de l'utilisateur $q$.
2. Une mémoire compacte $m_{i-1}$ contenant les informations essentielles des tours précédents.

À chaque tour, le LLM génère une trace de raisonnement (pensée) et une action sur la base de ce contexte compact. Après avoir reçu une observation (par exemple, des résultats de recherche) de l'environnement, le LLM agit en tant que gestionnaire de mémoire. Il intègre les nouvelles informations pertinentes de l'observation courante dans la mémoire existante tout en préservant les détails nécessaires de la mémoire précédente, générant ainsi une mémoire mise à jour $m_i$. Ce processus garantit que la longueur du contexte reste stable et bornée par une limite maximale de tokens prédéfinie (par exemple, 1 024 tokens), indépendamment du nombre de tours.

2. GRPO Multi-Contexte

L'entraînement de MemSearcher est difficile car une seule trajectoire s'étend sur plusieurs tours, chacun se déroulant dans un contexte différent (en raison de l'état changeant de la mémoire). L'optimisation de la politique relative par groupe (GRPO) standard traite une trajectoire comme une unité unique, ce qui est insuffisant lorsque chaque tour représente un objectif d'optimisation indépendant.

Pour y remédier, les auteurs introduisent le GRPO Multi-Contexte :

• Échantillonnage de trajectoires : Pour une requête donnée, un groupe de trajectoires est échantillonné. Chaque trajectoire se compose de plusieurs tours dans des contextes variables.
• Propagation de l'avantage : Les récompenses sont calculées au niveau de la trajectoire. L'avantage résultant est propagé uniformément à chaque tour au sein de cette trajectoire.
• Optimisation indépendante : Chaque tour est traité comme un objectif d'optimisation indépendant. La politique est mise à jour en maximisant l'objectif sur tous les tours de toutes les trajectoires échantillonnées, permettant un apprentissage par renforcement (RL) de bout en bout.

3. Modélisation de la Récompense

L'entraînement utilise une fonction de récompense composée de deux éléments :

• Récompense de format : Garantit que le modèle respecte le format de sortie prédéfini (utilisation correcte des balises et présence de \boxed{}).
• Récompense de réponse : Une métrique basée sur des règles calculant le score F1 entre la réponse finale contenue dans \boxed{} et la vérité terrain.

Contributions Clés

1. Cadre MemSearcher : Une architecture d'agent qui exploite le LLM de base en tant que gestionnaire de mémoire intrinsèque pour retenir itérativement une mémoire compacte, éliminant ainsi le besoin d'ajouter l'historique complet des interactions au contexte.
2. GRPO Multi-Contexte : Un algorithme d'entraînement RL novateur qui permet l'optimisation de bout en bout des trajectoires MemSearcher en propageant les avantages au niveau de la trajectoire vers les tours individuels, s'adaptant aux contextes variables des interactions multi-tours.
3. Efficacité et Performance : Des expériences complètes démontrant que MemSearcher atteint des performances supérieures par rapport aux bases de référence basées sur ReAct, tout en maintenant une longueur de contexte presque constante (inférieure à 4K tokens) au cours des interactions multi-tours.

Résultats Expérimentaux

Les auteurs ont évalué MemSearcher sur sept jeux de données publics d'acquisition de connaissances (Natural Questions, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Musique et Bamboogle) en utilisant des modèles Qwen2.5 de tailles variées (3B, 7B, 14B).

• Performance : MemSearcher a constamment surpassé les bases de référence solides, notamment Search-R1, ReSearch et AutoRefine. Notamment, MemSearcher 3B a obtenu un score moyen de 43,8, dépassant plusieurs bases de référence de 7B paramètres. MemSearcher 7B (48,9 en moyenne) a surpassé ReSearch 32B.
• Efficacité : Alors que les agents basés sur ReAct ont montré une augmentation linéaire de la consommation de tokens avec les tours d'interaction, MemSearcher a maintenu des comptes de tokens nettement plus faibles et stables. Cela permet des interactions multi-tours dans une fenêtre de contexte inférieure à 4K tokens.
• Nécessité de l'entraînement : Des études d'ablation ont confirmé que l'entraînement par RL est critique. Les modèles utilisant le cadre MemSearcher sans entraînement RL ont montré une dégradation significative des performances par rapport à ceux entraînés avec le GRPO Multi-Contexte. De plus, l'entraînement par RL a surpassé le fine-tuning supervisé (SFT) par distillation, probablement parce que le SFT repose sur des annotations intermédiaires coûteuses et des modèles enseignants sous-optimaux pour ce cadre spécifique.

Importance et Revendications

L'article revendique que MemSearcher résout le goulot d'étranglement de l'évolutivité des agents de recherche actuels en découplant la longueur du contexte du nombre de tours d'interaction. En maintenant une mémoire compacte et en utilisant le GRPO Multi-Contexte pour l'entraînement, le cadre permet le déploiement d'agents de recherche efficaces dans des environnements aux ressources contraintes. Les auteurs soulignent que leur approche permet à des modèles plus petits (par exemple, 3B ou 7B) de surpasser des modèles plus grands reposant sur des paradigmes ReAct traditionnels, suggérant qu'une gestion efficace du contexte est aussi cruciale que l'échelle du modèle pour les tâches de raisonnement complexe.

Les auteurs reconnaissent des limites, notant que bien que leur conception de mémoire soit efficace, des mécanismes plus sophistiqués (tels que la mémoire de style RAG ou structurée) méritent une investigation plus poussée pour les agents basés sur le RL. Ils suggèrent également que, bien que le GRPO Multi-Contexte soit une extension efficace, d'autres techniques sont nécessaires pour atténuer les biais potentiels liés à la longueur et exploiter pleinement le potentiel de l'entraînement par RL.