💬 NLP

COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

Ce papier présente COSEARCH, un cadre qui entraîne conjointement un agent de raisonnement et un modèle de classement de documents via l'optimisation de politique relative de groupe (GRPO) pour surmonter les limitations des systèmes de recherche agentic actuels et améliorer significativement les performances sur des tâches de question-réponse complexes.

Auteurs originaux : Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : L'Enquêteur et le Bibliothécaire Brouillon

Imaginez que vous avez un super-détective (c'est l'Intelligence Artificielle, ou "l'agent") capable de résoudre des énigmes complexes. Pour trouver la réponse, ce détective doit aller dans une immense bibliothèque (Internet) et demander à un bibliothécaire de lui apporter les livres pertinents.

Dans les systèmes actuels (comme Search-R1), le détective devient de plus en plus intelligent. Il apprend à poser les bonnes questions, à analyser les indices et à déduire la vérité. C'est formidable !

Mais il y a un gros problème : Le bibliothécaire, lui, reste le même. Il est brouillon. Parfois, le détective demande : "Donne-moi les documents sur le roi de France en 1789", et le bibliothécaire, au lieu de donner les bons livres, lui apporte des romans sur la mode du XVIIIe siècle ou des recettes de cuisine.

Le détective fait alors de son mieux avec les mauvais livres, mais il se trompe souvent. Les chercheurs ont découvert que si on remplaçait ce bibliothécaire brouillon par un bibliothécaire parfait (qui donne toujours le bon livre), le détective deviendrait 26 % plus performant.

La conclusion ? Le détective n'est pas le seul coupable. Le vrai goulot d'étranglement, c'est le bibliothécaire qui ne sait pas bien trier les documents.

💡 La Solution : COSEARCH (Le Duo Dynamique)

L'équipe derrière COSEARCH a eu une idée géniale : au lieu d'entraîner seulement le détective, entraînons les deux en même temps !

Imaginez un scénario de cinéma où le détective et le bibliothécaire sont en couple et apprennent à se comprendre mutuellement :

Le détective apprend à poser des questions plus claires.
Le bibliothécaire apprend à mieux comprendre ce que le détective veut vraiment, même si la question est mal formulée.

Ils s'entraînent ensemble grâce à une méthode appelée Apprentissage par Renforcement (comme un jeu vidéo où l'on gagne des points quand on réussit). À chaque fois qu'ils trouvent la bonne réponse, ils reçoivent une récompense. S'ils échouent, ils ajustent leur stratégie.

🛠️ Les Deux Astuces Magiques

Pour que ce duo fonctionne, les chercheurs ont dû résoudre deux problèmes techniques avec des astuces créatives :

1. Le Problème du "Groupe de Discussion" (Le regroupement sémantique)

Dans un jeu vidéo, pour apprendre, on compare souvent plusieurs tentatives faites avec la même situation de départ.

Pour le détective : C'est facile. On lui donne la même énigme, et on regarde comment il réagit 8 fois de suite.
Pour le bibliothécaire : C'est compliqué. Même avec la même énigme de départ, le détective peut poser des questions légèrement différentes à chaque fois ("Qui est le roi ?" vs "Nom du roi en 1789"). Le bibliothécaire ne peut pas apprendre s'il compare des pommes avec des poires.

L'astuce COSEARCH : Ils ont créé un système de tri automatique. Ils prennent toutes les questions du détective et les regroupent par "famille" (ceux qui veulent dire la même chose, même avec des mots différents). Cela permet d'entraîner le bibliothécaire sur des groupes cohérents, sans avoir besoin de rejouer le jeu des milliers de fois. C'est comme si le bibliothécaire apprenait à reconnaître que "Qui est le roi ?" et "Nom du roi" sont la même demande.

2. Le Système de Récompense Mixte (La double note)

Comment savoir si le bibliothécaire a bien travaillé ?

Si le détective trouve la réponse, c'est bien.
Mais parfois, le bibliothécaire donne un excellent livre, mais le détective ne sait pas l'analyser. Ou inversement.

L'astuce COSEARCH : Ils donnent une double note au bibliothécaire :

Note de pertinence : "As-tu donné le bon livre ?" (Même si le détective ne l'a pas lu).
Note de résultat final : "As-tu aidé le détective à gagner le jeu ?"

Cela permet au bibliothécaire de recevoir des feedbacks immédiats (sur la qualité du livre) et à long terme (sur le succès de l'enquête).

🏆 Les Résultats : Une Synergie Gagnante

Les tests ont été réalisés sur 7 défis de questions-réponses (du simple "Qui est ce personnage ?" au complexe "Comment ces deux événements sont-ils liés ?").

Résultat : Le duo COSEARCH (Détective + Bibliothécaire entraînés ensemble) bat tous les records précédents.
Comparaison : Il est nettement meilleur que les systèmes où le bibliothécaire est figé et ne change jamais.
Efficacité : Avec un meilleur bibliothécaire, le détective a besoin de moins de tours de recherche pour trouver la réponse. Il ne perd plus de temps à chercher dans les mauvais rayons.

En Résumé

COSEARCH, c'est l'idée que pour avoir un super-agent de recherche, il ne suffit pas d'avoir un cerveau brillant (le détective). Il faut aussi un système de récupération d'information (le bibliothécaire) qui évolue et s'adapte en même temps.

En les entraînant ensemble comme une équipe de sport, ils apprennent à se compléter parfaitement, rendant la recherche d'information beaucoup plus rapide, précise et intelligente. C'est une étape clé vers des agents IA capables de faire de véritables recherches approfondies pour nous aider au quotidien.

Titre et Contexte

COSEARCH : Entraînement conjoint du raisonnement et du classement de documents via l'apprentissage par renforcement pour la recherche agentic.

Ce travail aborde les limitations des systèmes de recherche agentic actuels, où un agent de langage (LLM) raisonne et interroge un moteur de recherche pour répondre à des questions complexes. L'hypothèse centrale est que les approches existantes traitent le système de récupération (retrieval) comme un outil fixe, créant un goulot d'étranglement majeur qui empêche l'agent d'atteindre son plein potentiel.

1. Le Problème Identifié

Les systèmes de recherche agentic actuels (comme Search-R1) utilisent l'apprentissage par renforcement (RL) pour optimiser l'agent de raisonnement, mais le composant de récupération (le moteur de recherche ou le classeur) reste figé.

Le Goulot d'Étranglement : Les auteurs ont mené une expérience avec une récupération "oracle" (où tous les documents contenant la réponse vraie sont promus en tête de liste). Les résultats montrent un gain significatif de performance :
- +14,7 % d'amélioration relative du score F1 pour un agent de 7 milliards de paramètres.
- +26,8 % d'amélioration pour un agent de 3 milliards de paramètres.
Conclusion : La qualité de la récupération est le facteur limitant principal, bien plus que la capacité de raisonnement de l'agent lui-même. Optimiser uniquement l'agent sans adapter le système de recherche est sous-optimal.

2. Méthodologie : COSEARCH

COSEARCH propose un cadre d'apprentissage par renforcement qui entraîne conjointement un agent de raisonnement principal et un classeur de documents génératif (ranker).

Architecture

Le système de récupération est décomposé en deux étapes :

Récupérateur dense (fixe) : Récupère un ensemble candidat de $N$ documents (ex: 50) via un modèle dense (E5).
Classeur génératif (entraînable) : Un modèle LLM qui reçoit les sous-questions de l'agent et les documents candidats, puis sélectionne et réordonne un sous-ensemble de $K$ documents pour l'observation de l'agent.

L'agent principal et le classeur sont optimisés simultanément via GRPO (Group Relative Policy Optimization), une variante de PPO sans valeur (value-free) qui est plus stable et efficace.

Défis Techniques et Solutions

L'application de GRPO au classeur pose deux défis majeurs, résolus par les auteurs :

A. Le problème du regroupement (Grouping) pour GRPO

Défi : GRPO nécessite de calculer des avantages sur un groupe de réponses générées à partir de la même entrée. Pour l'agent principal, c'est naturel (même question utilisateur). Pour le classeur, les entrées sont des sous-questions qui varient d'une trajectoire à l'autre, rendant le regroupement direct impossible.
Solution : Stratégie de regroupement sémantique.
- Les auteurs regroupent les sous-questions par similarité de niveau token (F1 token-level) avec un seuil $\delta$ .
- Les sous-questions sémantiquement équivalentes (paraphrases) formant un groupe sont traitées comme une seule entrée pour le calcul de l'avantage GRPO.
- Cela permet d'utiliser les mêmes trajectoires générées pour l'agent sans coût de rollouts supplémentaires.

B. La conception de la récompense (Reward Design)

Défi : La récompense basée uniquement sur la justesse de la réponse finale est trop bruitée pour le classeur (un bon classement peut échouer si le raisonnement est mauvais, et vice-versa). Une récompense basée uniquement sur la pertinence (Hit@k) ignore les documents utiles pour le raisonnement intermédiaire mais ne contenant pas la réponse finale.
Solution : Récompense composite.
La récompense pour le classeur ( $r_{rank}$ $r_{r ank}$ ) combine :
1. Récompense de pertinence ( $r_{rel}$ ) : Basée sur le Hit@k (présence de documents "pseudo-pertinents" contenant la réponse dans le top-K).
2. Récompense de trajectoire ( $r_{main}$ ) : Le score F1 de la réponse finale.
- Logique : Si des documents pertinents existent mais sont mal classés, on utilise $r_{rel}$ . Si le classement est bon, on ajoute $r_{main}$ pour valider l'utilité globale. Si aucun document pertinent n'existe dans les candidats, on se fie uniquement à $r_{main}$ .

3. Contributions Clés

Identification du goulot d'étranglement : Démonstration empirique que l'optimisation du système de récupération est cruciale, avec des gains potentiels allant jusqu'à +26,8 % par rapport à un système fixe.
Cadre COSEARCH : Un framework RL qui entraîne conjointement l'agent et le classeur, contrairement aux approches précédentes qui figent le récupérateur.
Innovations algorithmiques :
- Une stratégie de regroupement sémantique permettant d'appliquer GRPO à un classeur avec des entrées variables.
- Une récompense composite offrant des signaux d'apprentissage immédiats (qualité du classement) et à long terme (succès de la tâche).

4. Résultats Expérimentaux

Les expériences ont été menées sur 7 benchmarks de questions-réponses (QA), couvrant des tâches en un seul saut (Single-hop) et multi-sauts (Multi-hop) : PopQA, NQ, TriviaQA, HotpotQA, 2Wiki, Musique, Bamboogle.

Performance : COSEARCH surpasse systématiquement les bases solides (Search-R1, ZeroSearch, RAG).
- Avec un agent de 7B : +6,6 % d'amélioration relative F1 par rapport à Search-R1.
- Avec un agent de 3B : +10,8 % d'amélioration relative F1.
Ablation Studies :
- Le regroupement sémantique est critique : son retrait entraîne une chute de performance de 3,3 %.
- La récompense composite est essentielle : le retrait de la composante de pertinence ( $r_{rel}$ ) cause une baisse de 2,8 %.
- L'utilisation d'un backbone partagé entre l'agent et le classeur dégrade les performances (conflit de gradients).
Efficacité : COSEARCH réduit le nombre moyen de tours de recherche nécessaires (1,67 tours vs 2,62 pour un classeur fixe), indiquant que des documents mieux classés accélèrent la résolution.

5. Signification et Impact

Ce travail démontre que l'entraînement conjoint du raisonnement et de la récupération n'est pas seulement faisable, mais nécessaire pour débloquer le plein potentiel des agents de recherche.

Changement de paradigme : Il passe d'une vision où le moteur de recherche est un outil statique à une vision où le système de recherche est un composant adaptatif qui apprend à compléter les capacités de raisonnement de l'agent.
Efficacité : La méthode est efficace en termes de calcul (pas de rollouts supplémentaires grâce au regroupement sémantique) et ne nécessite pas d'annotations LLM coûteuses pour les récompenses (utilisation de métriques basées sur des règles).
Futur : COSEARCH établit une nouvelle direction pour les agents de recherche autonomes, suggérant que l'optimisation conjointe est un ingrédient clé pour les systèmes de recherche de prochaine génération.

Le code est disponible publiquement sur GitHub, favorisant la reproductibilité et l'adoption de ces techniques.