💬 NLP

ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization

Le papier présente ReSum, une approche légère et sans entraînement qui permet aux agents web LLM de surmonter les limites de la fenêtre de contexte grâce à la synthèse de l'historique, et introduit ReSum-GRPO pour optimiser l'apprentissage par renforcement sur des trajectoires longues, améliorant ainsi significativement les performances des agents dans des tâches complexes.

Auteurs originaux : Xixi Wu, Kuan Li, Yida Zhao, Liwen Zhang, Litu Ou, Huifeng Yin, Zhongwang Zhang, Xinmiao Yu, Dingchu Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Minhao Cheng, Shuai Wang, Hong Cheng, Jingren Zhou

Publié 2026-03-27

📖 4 min de lecture☕ Lecture pause café

CC0 1.0

Auteurs originaux : Xixi Wu, Kuan Li, Yida Zhao, Liwen Zhang, Litu Ou, Huifeng Yin, Zhongwang Zhang, Xinmiao Yu, Dingchu Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Minhao Cheng, Shuai Wang, Hong Cheng, Jingren Zhou

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imagine que vous êtes un détective privé très intelligent, capable de résoudre n'importe quel mystère en fouillant sur Internet. C'est ce que font les "agents" basés sur les grands modèles de langage (LLM).

Mais il y a un gros problème : ce détective a une mémoire à court terme très limitée. C'est comme s'il avait un carnet de notes d'une seule page. S'il doit résoudre un cas complexe qui demande 50 heures de recherche, il remplit son carnet, oublie tout ce qu'il a écrit au début, et finit par se perdre. C'est le dilemme des "fenêtres de contexte" limitées.

Voici comment l'article ReSum résout ce problème, expliqué simplement :

1. Le Problème : Le Carnet de Notes Trop Plein

Dans les méthodes actuelles (appelées ReAct), le détective note chaque pensée, chaque action et chaque résultat trouvé sur Internet, ligne par ligne, dans son carnet.

Le résultat ? Pour les enquêtes simples, ça marche. Mais pour les enquêtes complexes (comme trouver le nom d'un livre basé sur une histoire de famille compliquée), le carnet se remplit trop vite. Le détective est obligé de jeter les premières pages pour écrire la suite, perdant ainsi les indices cruciaux. Il s'arrête en cours de route.

2. La Solution Magique : Le "Résumé Intelligent" (ReSum)

Au lieu de laisser le carnet se remplir jusqu'à l'explosion, ReSum propose une astuce géniale : le résumé périodique.

Imaginez que tous les 10 pages, vous appelez un assistant de bureau ultra-intelligent (un outil externe).

Cet assistant lit vos 10 pages de notes.
Il ne garde que l'essentiel : "On a trouvé que le père est mort d'une crise cardiaque, la sœur s'appelle Marie, et il y a un lien avec un livre."
Il efface les 10 pages originales et remplace tout par une seule page de résumé.
Votre détective reprend son enquête avec ce nouveau résumé, son carnet est vide (ou presque), et il peut continuer à chercher sans jamais oublier le début de l'histoire.

C'est comme si vous faisiez une pause pour résumer votre voyage en quelques phrases clés, puis vous repartez avec un sac à dos léger au lieu de traîner tout votre équipement.

3. L'Outil Spécial : Le "Résumeur" (ReSumTool-30B)

Pour que ce système fonctionne, l'assistant de résumé ne doit pas être n'importe qui. Il ne doit pas juste résumer une conversation banale ; il doit comprendre la logique de la chasse au trésor.
Les auteurs ont créé un outil spécial (ReSumTool-30B) qui est un expert pour :

Trouver les indices cachés dans le bruit.
Dire ce qui manque encore.
Donner la direction suivante.
C'est comme avoir un chef d'orchestre qui écoute tout le chaos de la recherche et en tire la mélodie parfaite pour la suite.

4. L'Entraînement : Apprendre à faire confiance au Résumé (ReSum-GRPO)

Même avec un bon résumé, le détective (l'agent) peut être confiant au début. Il est habitué à lire tout le carnet. Soudain, on lui donne un résumé, il peut paniquer ou mal interpréter les choses.

Pour régler ça, les auteurs utilisent une technique d'apprentissage par renforcement (comme un jeu vidéo où l'on gagne des points).

Ils entraînent le détective à raisonner à partir de ces résumés.
Ils lui disent : "Si tu résous l'énigme en utilisant le résumé, tu gagnes des points, même si tu n'as pas lu les 100 pages originales."
Cela apprend au détective à faire confiance à la page de résumé et à continuer l'enquête avec confiance.

Le Résultat ?

Grâce à cette méthode :

Sans entraînement : L'agent résout déjà mieux les cas complexes que les méthodes actuelles (comme ReAct) simplement parce qu'il ne s'essouffle plus.
Avec un peu d'entraînement : Avec seulement 1 000 exemples (ce qui est très peu en intelligence artificielle), l'agent devient un expert. Il arrive à rivaliser avec des modèles géants et coûteux, tout en restant léger et efficace.

En résumé : ReSum, c'est comme donner à un détective un carnet de notes infini, non pas en l'agrandissant, mais en lui apprenant à faire des résumés intelligents pour ne jamais oublier le début de l'histoire, même après des heures de recherche. C'est une solution simple, légère et très puissante pour explorer le monde sans limites.

1. Problématique : Le conflit entre exploration et contraintes de contexte

Les agents web basés sur les grands modèles de langage (LLM) excellent dans les tâches intensives en connaissances, mais ils se heurtent à une limitation fondamentale : la fenêtre de contexte limitée des LLMs.

Le défi : Les tâches de recherche complexes (ex: « Trouver le nom de l'œuvre littéraire basée sur la vie d'un peintre dont le père est mort d'une crise cardiaque... ») nécessitent une exploration à long horizon, impliquant de multiples cycles de recherche, de navigation et de vérification croisée.
La limite actuelle : Le paradigme dominant, ReAct (Reasoning + Acting), ajoute chaque pensée, action et observation à l'historique. Pour les tâches complexes, cela épuise rapidement la fenêtre de contexte (ex: 32k tokens), forçant l'agent à être interrompu avant de trouver la solution.
Les solutions existantes : Les approches actuelles (comme MEM1 ou MemAgent) reposent souvent sur des modifications architecturales profondes (tokens de mémoire internes) qui nécessitent un réentraînement complet (end-to-end) et brisent la compatibilité avec les agents préexistants.

2. Méthodologie : Le Paradigme ReSum

Les auteurs proposent ReSum, une approche légère et « plug-and-play » (prête à l'emploi) qui permet une exploration illimitée sans modifier l'architecture du modèle agent.

A. Le Paradigme ReSum

Au lieu de conserver l'historique linéaire complet, ReSum invoque périodiquement un outil externe pour condenser l'historique d'interaction en un résumé compact.

Initialisation : L'agent commence avec la requête utilisateur.
Boucle d'interaction : L'agent effectue des cycles de pensée et d'actions (ReAct).
Déclenchement de la synthèse : Lorsque la limite de contexte est atteinte (ou selon un déclencheur systématique), un outil de synthèse ( $\pi_{sum}$ ) est appelé.
Compression : L'historique est remplacé par un état compressé $q' = (q, s)$ , où $s$ est le résumé orienté vers l'objectif. L'agent reprend la recherche à partir de cet état, libérant de l'espace tout en conservant les preuves essentielles.

B. ReSumTool-30B : L'outil de synthèse spécialisé

Un LLM générique ne suffit pas pour résumer efficacement des historiques de recherche bruyants. Les auteurs ont développé ReSumTool-30B :

Base : Fine-tuning du modèle Qwen3-30B-A3B-Thinking.
Entraînement : Distillation des capacités d'un modèle enseignant puissant (GPT-OSS-120B) sur des paires ⟨Conversation, Résumé⟩ générées à partir de trajectoires de recherche complexes.
Capacités : Ce modèle excelle à extraire les preuves clés, identifier les lacunes d'information et proposer les prochaines étapes, surpassant des modèles beaucoup plus grands (comme DeepSeek-R1-671B) dans cette tâche spécifique.

C. ReSum-GRPO : Adaptation par Apprentissage par Renforcement

Bien que ReSum fonctionne sans entraînement, les agents standards ne sont pas naturellement alignés pour raisonner sur des contextes compressés. Pour optimiser cela, les auteurs proposent ReSum-GRPO :

Segmentation : Les longues trajectoires sont découpées en segments aux points de synthèse.
Broadcasting d'avantage (Advantage Broadcasting) : Adaptation de l'algorithme GRPO (Group Relative Policy Optimization). Au lieu de récompenser uniquement la fin, l'avantage global (basé sur la justesse de la réponse finale) est propagé à tous les segments de la trajectoire.
Objectif : Cela permet d'attribuer le crédit aux étapes initiales d'exploration et d'encourager l'agent à raisonner efficacement à partir des états compressés.

3. Contributions Clés

ReSum (Paradigme) : Une solution plug-and-play qui résout le problème de la fenêtre de contexte par la synthèse périodique, évitant les modifications architecturales coûteuses.
ReSumTool-30B (Modèle) : Un modèle de synthèse spécialisé, entraîné pour extraire des preuves vérifiables et guider la recherche, offrant un rapport performance/coût supérieur aux modèles géants.
ReSum-GRPO (Algorithme) : Une méthode d'optimisation par RL qui permet aux agents de maîtriser le raisonnement basé sur les résumés via le broadcast d'avantage sur des trajectoires segmentées.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks exigeants : GAIA, BrowseComp et BrowseComp-zh.

Performance sans entraînement (Training-free) :
- ReSum améliore les performances de 4,5 % par rapport au ReAct standard sur des agents hors boîte.
- L'utilisation de ReSumTool-30B comme outil de synthèse surpasse systématiquement les autres modèles (y compris des modèles de 235B et 671B paramètres) en termes d'efficacité et de qualité de résumé.
- Un agent de 30B paramètres (WebSailor-30B) équipé de ReSum atteint des performances compétitives (16,0% sur BrowseComp) dépassant des modèles propriétaires comme Claude-4 (12,2%) et Kimi-K2 (14,1%).
Performance avec entraînement (ReSum-GRPO) :
- Avec seulement 1 000 échantillons d'entraînement, ReSum-GRPO apporte un gain supplémentaire de 8,2 % par rapport à ReSum seul.
- Les agents entraînés surpassent des modèles open-source puissants entraînés sur 10 000+ échantillons (ex: WebSailor-30B atteint 33,3% sur BrowseComp-zh contre 15,6% pour ASearcher-32B).
- Efficacité : Contrairement à MEM1-GRPO qui consomme 3x plus de tokens pour un gain marginal, ReSum offre un meilleur équilibre coût/performance.

5. Signification et Impact

Accessibilité : ReSum démontre qu'il n'est pas nécessaire de réentraîner massivement ou de modifier l'architecture des LLMs pour gérer des tâches complexes à long horizon. Une approche de synthèse externe suffit.
Efficacité des données : La méthode RL (ReSum-GRPO) est extrêmement économe en données, nécessitant seulement 1k d'échantillons pour des gains significatifs.
Scalabilité : La méthode fonctionne aussi bien sur des modèles de 3B que sur des modèles de 30B, et reste efficace même pour des agents disposant de fenêtres de contexte très larges (jusqu'à 128k), prouvant que la synthèse intelligente est supérieure à la simple augmentation de la fenêtre de contexte.

En conclusion, ReSum représente un changement de paradigme pour les agents web, passant d'une gestion de mémoire interne complexe à une gestion de contexte externe et dynamique, permettant une exploration illimitée et une résolution de problèmes complexes à un coût computationnel maîtrisé.