WideSeek-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning

Ce papier présente WideSeek-R1, un système multi-agents entraîné par apprentissage par renforcement qui, grâce à une mise à l'échelle horizontale et une exécution parallèle, atteint des performances comparables à un modèle unique géant (DeepSeek-R1-671B) pour des tâches de recherche d'information étendues, tout en démontrant une amélioration continue avec l'ajout de sous-agents.

L'essentiel

🌍 Le Problème : Chercher une aiguille dans une botte de foin... ou plusieurs !

Imaginez que vous avez besoin de trouver des informations très précises sur 200 universités différentes (leur ville, leur année de fondation, etc.).

Jusqu'à récemment, les intelligences artificielles (IA) fonctionnaient comme un super-savant solitaire. Pour résoudre ce problème, ce savant lisait, réfléchissait, cherchait une info, puis une autre, puis une autre, tout seul, dans sa tête.

• Le problème : Si la tâche est trop vaste, le savant se perd. Il oublie ce qu'il a lu au début (c'est ce qu'on appelle la "pollution du contexte"). De plus, il doit tout faire l'un après l'autre, ce qui prend énormément de temps. C'est comme essayer de remplir un immense mur de briques avec une seule petite truelle.

Les chercheurs ont donc essayé de rendre ce "savant" plus intelligent et plus grand (plus de paramètres), mais cela coûte une fortune en énergie et en argent.

💡 La Solution WIDESEEK-R1 : Une Armée de Petits Experts

Au lieu de créer un seul géant, les auteurs de ce papier ont eu une idée géniale : au lieu de rendre un agent plus profond (plus intelligent), rendons l'équipe plus large (plus nombreuse).

Ils ont créé un système appelé WIDESEEK-R1. Imaginez-le comme une entreprise de déménagement très bien organisée :

1. Le Chef d'Équipe (L'Agent Principal) : C'est le cerveau. Il ne cherche pas les infos lui-même. Son seul travail est de regarder la grosse tâche (ex: "Trouver les infos de 200 universités") et de la découper en petits morceaux gérables.
2. Les Déménageurs (Les Sous-Agents) : Ce sont des dizaines de petits robots qui travaillent en même temps. Pendant que le chef prépare le plan, 10, 20 ou même 50 déménageurs partent chercher les infos sur des universités différentes simultanément.

🚀 Comment ça marche ? (L'Analogie de l'Orchestre)

Dans les anciens systèmes, les agents parlaient les uns aux autres en se passant la parole (tour par tour). C'était lent.

Avec WIDESEEK-R1, c'est un orchestre symphonique :

• Le chef d'orchestre donne le signal.
• Tous les musiciens (les sous-agents) jouent leur partition en même temps.
• À la fin, le chef rassemble les résultats pour former la musique parfaite.

Mais comment apprendre à un chef d'orchestre et à 50 musiciens à jouer ensemble sans se marcher dessus ? C'est là que rentre en jeu la Reinforcement Learning (Apprentissage par Renforcement).

🎮 L'Entraînement : Le Jeu Vidéo de l'Équipe

Les chercheurs ont créé un jeu vidéo géant avec 20 000 missions (des tâches de recherche d'informations).

• Ils ont laissé l'équipe (Chef + Sous-agents) jouer des milliers de fois.
• La règle du jeu : Si l'équipe trouve toutes les bonnes infos et les présente proprement dans un tableau, elle gagne des points. Si elle se trompe ou perd du temps, elle perd des points.
• Le résultat : Au fil du temps, le "Chef" a appris à mieux découper les tâches, et les "Déménageurs" ont appris à travailler plus vite et plus précisément, sans se gêner.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Le papier montre quelque chose de fou :

• Un modèle WIDESEEK-R1 avec seulement 4 milliards de paramètres (très petit et peu coûteux) arrive à faire aussi bien, voire mieux, que le modèle DeepSeek-R1 qui en a 671 milliards (un monstre énorme et très cher).
• L'analogie : C'est comme si une petite équipe de 10 cyclistes bien entraînés et bien coordonnés battait un seul cycliste professionnel ultra-puissant mais solitaire sur une course de montagne.

🔑 Les Points Clés à Retenir

1. La "Largeur" plutôt que la "Profondeur" : Au lieu de faire un cerveau plus gros, on fait une équipe plus large.
2. Le Travail Parallèle : Tout se fait en même temps, ce qui est beaucoup plus rapide.
3. L'Apprentissage Commun : Le chef et les employés apprennent ensemble à travailler en équipe, pas juste à être intelligents individuellement.
4. Démocratisation : Avec cette méthode, on peut avoir des IA très puissantes sans avoir besoin de supercalculateurs gigantesques. N'importe qui avec un ordinateur correct peut faire tourner ce système.

En résumé : WIDESEEK-R1 nous dit que pour résoudre les problèmes complexes, il ne faut pas toujours chercher le "génie solitaire", mais plutôt savoir organiser une équipe efficace qui travaille ensemble, en parallèle, et qui apprend de ses erreurs collectivement.

Résumé technique

Titre : WIDESEEK-R1 : Exploration de la mise à l'échelle par la largeur (Width Scaling) pour la recherche d'informations étendue via l'apprentissage par renforcement multi-agent (MARL)

1. Le Problème : Limites de la "Mise à l'Échelle par la Profondeur"

Les avancées récentes des Grands Modèles de Langage (LLM) se sont principalement concentrées sur la mise à l'échelle par la profondeur (depth scaling). Cette approche consiste à augmenter la capacité de raisonnement d'un agent unique via des chaînes de pensée étendues et des interactions séquentielles multiples (multi-turn) pour résoudre des problèmes complexes.

Cependant, pour des tâches à portée large (broad information seeking), comme la collecte et la synthèse d'informations sur de multiples entités pour former un tableau structuré, cette approche atteint ses limites :

• Pollution du contexte : À mesure que l'agent accumule des informations, le contexte devient saturé d'informations non pertinentes, dégradant les performances.
• Inefficacité séquentielle : L'exécution séquentielle des sous-tâches indépendantes est lente et ne tire pas parti du potentiel de calcul parallèle.
• Goulot d'étranglement organisationnel : La limite ne réside plus dans la compétence individuelle de l'agent, mais dans sa capacité à orchestrer une équipe.

Le papier propose donc d'explorer une dimension complémentaire : la mise à l'échelle par la largeur (width scaling), qui utilise des systèmes multi-agents pour exécuter des tâches en parallèle.

2. Méthodologie : WIDESEEK-R1

L'approche proposée, WIDESEEK-R1, est un système hiérarchique Agent Principal (Lead Agent) – Agents Subordonnés (Subagents) entraîné via un Apprentissage par Renforcement Multi-Agent (MARL).

• Architecture :

  • Agent Principal : Responsable de la décomposition de la tâche globale en sous-tâches indépendantes et de l'orchestration. Il utilise un outil unique call_subagent pour déléguer des tâches. Il attend que tous les agents subordonnés terminent avant de passer à la prochaine étape.
  • Agents Subordonnés : Exécutent les sous-tâches en parallèle dans des contextes isolés. Ils utilisent des outils de recherche (search) et d'accès (access) pour collecter des informations.
  • Partage de modèle : Tous les agents (principal et subordonnés) utilisent le même modèle de base (Qwen3-4B) mais avec des contextes et des outils spécialisés.

• Entraînement par MARL (Multi-Agent Reinforcement Learning) :

  • Le modèle est optimisé de bout en bout pour apprendre simultanément l'orchestration et la recherche d'informations.
  • Fonction d'objectif : Basée sur GRPO (Group Relative Policy Optimization), adaptée pour les systèmes multi-agents.
  • Attribution d'avantage (Advantage Assignment) : Une récompense de groupe est calculée basée sur la cohérence de la réponse finale par rapport à la vérité terrain. Cet avantage est partagé par tous les agents et tous les tokens d'une même trajectoire de groupe pour assurer la stabilité.
  • Repondération à deux niveaux (Dual-Level Reweighting) :
    1. Niveau Token : Pondération des avantages sur tous les tokens d'un agent sur plusieurs tours pour éviter que les tours courts ne dominent la perte.
    2. Niveau Agent : Pondération sur les agents au sein d'un groupe pour éviter que l'ajout d'agents n'augmente artificiellement la perte sans améliorer la qualité de la réponse.

• Construction des Données :

  • Création d'un jeu de données automatisé de 20 000 tâches de recherche d'informations étendues.
  • Le pipeline génère des requêtes complexes exigeant des tableaux structurés, produit deux réponses indépendantes pour vérification de cohérence, et filtre les données pour garantir la qualité et la difficulté.

3. Contributions Clés

1. WIDESEEK-R1 : Introduction d'un cadre multi-agent entraîné par MARL qui synergise l'orchestration évolutive et l'exécution parallèle, dépassant les limitations des workflows manuels.
2. Jeu de Données Open Source : Publication d'un ensemble de données de 20k tâches de recherche d'informations étendues, complétant les datasets existants axés sur le raisonnement multi-sauts (depth).
3. Preuve de Concept du "Width Scaling" : Démonstration qu'un petit modèle (4B paramètres) peut rivaliser avec des modèles massifs (671B) en utilisant l'architecture multi-agent parallèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark WideSearch (200 tâches nécessitant un tableau structuré) et d'autres benchmarks QA standards.

• Performance sur WideSearch :

  • WIDESEEK-R1-4B atteint un score Item F1 de 40,0%.
  • Ce résultat est comparable à celui de DeepSeek-R1-671B (41,3%), un modèle 170 fois plus grand, et dépasse significativement les autres modèles de 4B et 8B (baselines multi-agents et mono-agent).
  • Le système multi-agent surpasse sa variante mono-agent (SingleSeek-R1-4B) de 11,9% en score Item F1.

• Étude de la Mise à l'Échelle (Scaling) :

  • Profondeur (Depth) : La performance d'un agent unique sature rapidement avec l'augmentation du nombre de tours.
  • Largeur (Width) : WIDESEEK-R1-4B montre des gains de performance continus à mesure que le nombre d'agents subordonnés parallèles augmente (jusqu'à 10 agents), atteignant son pic à 40% de F1. À l'inverse, un modèle de base sans entraînement MARL voit ses performances chuter au-delà de 5 agents en raison du bruit et de la mauvaise orchestration.

• Généralisation :

  • Le modèle conserve ses capacités de raisonnement général sur des benchmarks QA standards (Single-hop et Multi-hop), surpassant des systèmes multi-agents plus grands comme OWL-8B et MiroFlow-8B.

5. Signification et Impact

• Paradigme Économique : Ce travail démontre qu'il est possible d'atteindre des performances de niveau "Géant" (671B paramètres) avec des modèles compacts (4B) en optimisant l'organisation collaborative plutôt que la taille du modèle. Cela réduit considérablement les barrières de calcul et démocratise l'accès aux capacités de raisonnement avancées.
• Nouvelle Dimension de Recherche : Il établit la "mise à l'échelle par la largeur" comme une voie viable et complémentaire à la mise à l'échelle par la profondeur, particulièrement pour les tâches nécessitant une collecte massive d'informations.
• Orchestration Apprise : Contrairement aux systèmes actuels basés sur des workflows statiques, WIDESEEK-R1 apprend à orchestrer dynamiquement des agents en parallèle, résolvant les problèmes de pollution de contexte et d'inefficacité séquentielle.

En conclusion, WIDESEEK-R1 prouve que l'avenir des systèmes d'agents intelligents réside peut-être moins dans la création de modèles toujours plus gros, mais dans la conception d'organisations multi-agents efficaces et parallélisées, entraînées par renforcement.