💬 NLP

IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling

IterResearch introduit un paradigme de recherche approfondie itérative basé sur la mise à l'échelle de l'interaction (Interaction Scaling) et une reconstruction de l'espace de travail inspirée des processus de décision de Markov (MDP), qui surmonte les limitations de contexte des agents existants pour obtenir des gains de performance significatifs sur des tâches à long horizon, tant en tant que modèle entraîné qu'en tant que stratégie de prompting pour les systèmes de pointe.

Auteurs originaux : Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Z

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Piège du « Défilement Infini »

Imaginez que vous essayez de résoudre un mystère très difficile, comme trouver un fait spécifique caché au fond d'Internet.

La plupart des agents IA actuels travaillent comme une personne qui essaie de lire un livre en ne tournant jamais la page. Ils commencent à lire la page 1, puis la page 2, puis la page 3. Mais au lieu de fermer les anciennes pages et de repartir de zéro, ils continuent d'ajouter de nouvelles pages au bas de la même pile géante.

Le Résultat : Après 50 pages, la pile est si haute que la personne ne voit plus le haut. Elle est « étouffée » par tout le texte ancien.
Le Bruit : S'ils lisent accidentellement une mauvaise information à la page 5, ce faux fait reste coincé dans la pile pour toujours, les confondant à la page 50.

L'article appelle cela le « Paradigme Mono-contextuel ». C'est comme essayer de courir un marathon en traînant un sac à dos lourd qui devient de plus en plus pesant à chaque pas. Finalement, on s'effondre.

La Solution : Le « Carnet Intelligent » (IterResearch)

Les auteurs introduisent IterResearch, une nouvelle façon pour l'IA de réfléchir. Au lieu de traîner une pile de papiers géante, l'IA utilise un Carnet Intelligent qui est réécrit chaque fois qu'elle apprend quelque chose de nouveau.

Voici comment cela fonctionne, étape par étape :

Le Bouton « Reset » :
Imaginez que vous êtes un détective. Vous rassemblez des indices pendant un certain temps. Au lieu de garder chaque petit morceau de papier que vous avez touché, vous vous asseyez, vous écrivez un résumé de ce que vous savez jusqu'à présent dans un carnet propre, puis vous jetez les débris désordonnés.

Le terme de l'article : Reconstruction Itérative de l'Espace de Travail (Iterative Workspace Reconstruction).
L'analogie : L'IA nettoie son bureau, ne garde que l'essentiel du « Dossier de l'Affaire » (le rapport) et commence la prochaine phase d'enquête avec une page blanche et propre. Cela évite l'« étouffement » causé par trop de texte ancien.

Le Rapport « Évolutif » :
L'IA ne se contente pas de mémoriser des faits ; elle écrit un rapport vivant. Chaque fois qu'elle trouve une nouvelle information, elle met à jour ce rapport, filtrant les déchets pour ne garder que l'or.

Le terme de l'article : Mémoire de Rapport Évolutive (Evolving Report Memory).
L'analogie : C'est comme une page Wikipédia que l'IA édite en temps réel. Les informations anciennes, fausses ou non pertinentes sont supprimées ; les nouvelles informations correctes sont ajoutées. La « mémoire » reste petite et propre, peu importe la durée de l'enquête.

Le Coach d'Efficacité :
L'IA doit apprendre à chercher de manière efficace. L'article introduit une méthode d'entraînement appelée EAPO (Optimisation de Politique Sensible à l'Efficacité).

L'analogie : Imaginez un coach qui vous donne une étoile dorée pour avoir résolu un puzzle en 5 coups, mais seulement une petite étoile terne pour l'avoir résolu en 50 coups. Même si vous trouvez la bonne réponse, le coach vous apprend à être plus rapide et plus intelligent, plutôt que de simplement continuer à creuser jusqu'à ce que vous ayez de la chance.

Les Résultats Incroyables

L'article a testé cette nouvelle méthode de « Carnet Intelligent » contre les anciennes méthodes de « Défilement Infini ». Voici ce qui s'est passé :

Battre la Concurrence : La nouvelle IA (IterResearch) a obtenu des scores nettement plus élevés sur six tests difficiles différents que n'importe quel autre agent IA open-source. Elle a réduit l'écart avec les systèmes propriétaires les plus coûteux (comme ceux de Google ou OpenAI).
Le Marathon « Super-Long » : Le résultat le plus frappant était le Scaling d'Interaction (Interaction Scaling).
- L'analogie : Les anciens agents abandonnent généralement ou se confonde après environ 20 ou 30 étapes parce que leur « sac à dos » est trop lourd. IterResearch a été capable de courir pendant 2 048 étapes sans sourciller.
- Le Résultat : Lorsqu'on lui permet de faire plus d'étapes (jusqu'à 2 048), ses performances sont passées d'un médiocre 3,5 % à un incroyable 42,5 %. Cela a prouvé que le problème n'était pas que l'IA était « trop stupide » pour résoudre la tâche, mais que les anciennes méthodes ne lui permettaient pas de regarder assez longtemps.
Un Truc Universel : Les auteurs ont découvert qu'il n'est même pas nécessaire de réentraîner l'IA pour utiliser cette méthode. Si vous donnez simplement les instructions du « Carnet Intelligent » (un prompt) à une autre IA puissante, celle-ci devient instantanément bien meilleure pour les tâches longues. C'est comme donner à une lampe torche standard un nouvel objectif qui lui permet de voir beaucoup plus loin.

Résumé

IterResearch est une nouvelle façon pour l'IA de mener des recherches approfondies. Au lieu d'accumuler chaque morceau d'information trouvé (ce qui finit par étouffer l'IA), elle résume périodiquement ce qu'elle sait, jette le bruit et repart sur de nouvelles bases.

Cela permet à l'IA de :

Penser clairement pendant des périodes beaucoup plus longues (jusqu'à 2 048 étapes).
Trouver des réponses plus efficacement.
Mieux travailler que presque tous les agents open-source actuellement disponibles.

Cela transforme l'IA d'une personne se noyant sous une pile de papiers en un détective possédant un dossier d'affaire parfaitement organisé et mis à jour en permanence.

Résumé Technique : IterResearch

Problématique

Les avancées récentes des agents de recherche profonde (deep-research agents) ont démontré le potentiel d'une construction de connaissances autonome via un raisonnement dynamique sur des sources externes. Cependant, les approches existantes reposent principalement sur un paradigme mono-contextuel, où toutes les informations récupérées et les étapes de raisonnement intermédiaires sont ajoutées à une fenêtre de contexte unique en expansion continue. Les auteurs identifient deux modes de défaillance critiques dans ce paradigme pour les tâches à long horizon :

Suffocation du Contexte (Context Suffocation) : À mesure que la fenêtre de contexte se remplit d'interactions antérieures, l'espace disponible pour le raisonnement actif se réduit, forçant des réponses contraintes qui dégénèrent en conclusions prématurées ou superficielles.
Contamination par le Bruit (Noise Contamination) : Les informations non pertinentes issues des recherches web et des erreurs d'exploration précoces deviennent durablement ancrées dans le contexte, créant une interférence en cascade qui dilue la qualité du signal tout au long du processus de raisonnement.

Ces limitations empêchent les agents actuels de maintenir une capacité de raisonnement soutenue à mesure que la profondeur d'exploration augmente.

Méthodologie

Le document présente IterResearch, un nouveau paradigme de recherche profonde itérative qui réimagine la recherche à long horizon sous l'angle de la Mise à l'échelle de l'Interaction (Interaction Scaling). La méthodologie repose sur deux composantes fondamentales :

1. Paradigme de Recherche Profonde Itérative (Architecture inspirée par les MDP)

Au lieu d'une accumulation linéaire de contexte, IterResearch adopte une formulation de Processus de Décision Markovien (MDP) définie par le tuple $\langle S, D, E, T, R \rangle$ .

Espace d'États ( $S$ ) : Chaque état $s_t$ est un espace de travail stratégiquement reconstruit contenant uniquement les éléments essentiels : la question constante $q$ , un rapport évolutif $M_t$ (servant de mémoire compressée des découvertes validées), et le contexte immédiat de l'étape précédente.
Espace de Décision ( $D$ ) : La politique $\pi$ génère une décision composite $d_t$ comprenant une pensée interne ( $Think_t$ ), un rapport mis à jour ( $M_{t+1}$ ) et une action externe ( $a_t$ ).
Fonction de Transition ( $T$ ) : Crucialement, la fonction de transition reconstruit l'espace de travail plutôt que d'ajouter à l'historique. La trajectoire historique est délibérément écartée, seul le savoir synthétisé étant préservé dans le rapport mis à jour. Cela garantit que la taille de l'espace de travail reste constante ( $O(1)$ ) quel que soit le nombre de cycles d'interaction, permettant théoriquement une exploration illimitée.

2. Optimisation de Politique Sensible à l'Efficacité (EAPO)

Pour entraîner efficacement ce paradigme itératif, les auteurs proposent l'EAPO, une stratégie d'entraînement traitant deux défis :

Remise en compte Géométrique des Récompenses (Geometric Reward Discounting) : Reconnaissant que toutes les trajectoires réussies ne sont pas également précieuses, les auteurs adaptent l'escompte géométrique standard ( $r_t = \gamma^{T-t} \cdot R_T$ ). Cela crée une pression implicite sur l'efficacité, incitant les agents à atteindre des conclusions correctes par une exploration concise et ciblée plutôt que par une recherche exhaustive.
Sous-échantillonnage Adaptatif (Adaptive Downsampling) : Puisque le paradigme itératif décompose les trajectoires en multiples échantillons d'entraînement indépendants (un par cycle), le nombre d'échantillons varie selon les questions. Les auteurs utilisent un sous-échantillonnage adaptatif pour aligner les lots d'entraînement sur la taille du parallélisme de données, assurant un entraînement distribué stable tout en préservant plus de 99 % des données.

Contributions Clés

Nouveau Paradigme : La proposition d'IterResearch, qui élimine la suffocation du contexte et la contamination par le bruit en maintenant une mémoire de rapport évolutive et en effectuant une reconstruction stratégique de l'espace de travail.
Stratégie d'Entraînement : Le développement de l'EAPO, qui combine l'escompte géométrique des récompenses pour l'efficacité et le sous-échantillonnage adaptatif pour un entraînement stable sur des trajectoires de longueurs variables.
Validation Empirique : Des expériences approfondies démontrant qu'IterResearch atteint des améliorations substantielles par rapport aux agents open-source existants et réduit l'écart avec les systèmes propriétaires de pointe.

Résultats Expérimentaux

Les auteurs ont évalué IterResearch (basé sur Qwen3-30B-A3B) sur six benchmarks exigeants : Humanity's Last Exam (HLE), BrowseComp, BrowseComp-zh, GAIA, Xbench-DeepSearch et SEAL-0.

Gains de Performance : IterResearch a obtenu une amélioration moyenne de 14,5 points de pourcentage (pp) par rapport aux agents open-source existants sur les six benchmarks. Il a surpassé tous les baselines open-source et a démontré des performances compétitives ou supérieures aux systèmes propriétaires (par exemple, surpassant le DeepResearch d'OpenAI sur HLE et BrowseComp-zh).
Mise à l'échelle de l'Interaction (Interaction Scaling) : Le paradigme a montré des capacités de mise à l'échelle sans précédent, s'étendant jusqu'à 2048 interactions avec seulement 40K de longueur de contexte. Les performances ont progressé de manière spectaculaire de 3,5 % à 42,5 % lorsque la limite maximale d'interactions passait de 2 à 2048, un exploit structurellement impossible pour les approches mono-contextuelles en raison du débordement de contexte.
Transfert Inter-Paradigme : Il a été constaté que les trajectoires générées par IterResearch améliorent significativement les agents mono-contextuels lorsqu'elles sont utilisées comme données d'entraînement, suggérant que le paradigme induit des comportements d'exploration supérieurs transférables à différentes architectures.
Stratégie de Prompting : Sans aucun entraînement, l'application de la structure de prompting d'IterResearch aux modèles de pointe (ex: o3, DeepSeek-V3.1) a produit des améliorations substantielles par rapport au prompting ReAct standard, particulièrement sur les tâches à long horizon (jusqu'à +19,2 pp sur BrowseComp).

Signification et Revendications

Le papier positionne IterResearch comme une solution polyvalente pour le raisonnement à long horizon, efficace tant en tant qu'agent entraîné que en tant que paradigme de prompting agnostique au modèle. Les auteurs revendiquent trois idées fondamentales :

Mise à l'échelle de l'Interaction : Le paradigme itératif débloque une mise à l'échelle extrême des interactions, suggérant que la difficulté perçue des tâches à long horizon provient d'une capacité d'exploration insuffisante plutôt que de limites de raisonnement intrinsèques.
Comportements d'Exploration Supérieurs : Le paradigme induit des comportements d'exploration de haute qualité qui créent des signaux d'entraînement transférables, même pour des agents utilisant des paradigmes architecturaux différents.
Efficacité Agnostique au Modèle : La structure itérative avec reconstruction de l'espace de travail offre un avantage cognitif fondamental pour le raisonnement à long horizon, améliorant les performances à travers diverses architectures de modèles sans nécessiter de fine-tuning spécifique.

L'étude conclut que l'itération avec synthèse stratégique, plutôt que l'accumulation linéaire, est fondamentale pour surmonter les défis du raisonnement à long horizon.