💬 NLP

DecoupleSearch: Decouple Planning and Search via Hierarchical Reward Modeling

Ce papier propose DecoupleSearch, un cadre novateur qui améliore le RAG agentique en découplant les processus de planification et de recherche grâce à des modèles de valeur duaux et une recherche faisceau hiérarchique pour répondre aux défis de la supervision par étape et de la complexité de l'espace des candidats.

Auteurs originaux : Hao Sun, Zile Qiao, Bo Wang, Guoxin Chen, Yingyan Hou, Yong Jiang, Pengjun Xie, Fei Huang, Yan Zhang

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Sun, Zile Qiao, Bo Wang, Guoxin Chen, Yingyan Hou, Yong Jiang, Pengjun Xie, Fei Huang, Yan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre une énigme très délicate, comme « Qui est le beau-père de Gulcicek Hatun ? ». Vous disposez d'un assistant très intelligent (l'IA) qui en sait beaucoup, mais qui invente parfois des choses ou reste bloqué. Pour l'aider, vous lui donnez une carte de bibliothèque afin qu'il puisse consulter des faits. C'est ce qu'on appelle la Génération Augmentée par Récupération (RAG).

Cependant, l'article soutient qu'avoir simplement une carte de bibliothèque ne suffit pas. L'assistant doit savoir comment l'utiliser. C'est ici qu'intervient le RAG Agentique : l'assistant agit comme un détective, planifiant son enquête et recherchant des indices étape par étape.

Le problème est que ce détective se perd souvent. Il peut planifier une mauvaise voie d'enquête, ou chercher les mauvais indices. L'article, DecoupleSearch, propose une nouvelle méthode pour entraîner ce détective afin qu'il ne se perde pas.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le Détective « Tout ou Rien »

Dans les anciens systèmes, le détective établissait un seul plan, effectuait une seule recherche, et espérait le meilleur. Si le plan était légèrement défectueux ou si la recherche retournait un livre ennuyeux, toute la réponse était fausse. C'était comme essayer de trouver une aiguille dans une botte de foin en ne regardant qu'un seul endroit.

2. La Solution : Le Système « Double Entraîneur »

Les auteurs ont créé un système appelé DecoupleSearch. Imaginez que vous engagez deux entraîneurs spécialisés pour votre détective :

L'Entraîneur de Planification : Cet entraîneur examine uniquement le plan. « Est-ce une bonne stratégie pour résoudre l'énigme ? »
L'Entraîneur de Recherche : Cet entraîneur examine uniquement les indices. « Ce livre est-il réellement utile pour notre plan actuel ? »

En séparant ces deux tâches, le système peut corriger un mauvais plan sans s'inquiéter de la recherche, et vice versa.

3. L'Entraînement : Le « Tournoi d'Entraînement » (MCTS)

Comment enseigner à ces entraîneurs ? On ne peut pas simplement leur montrer la clé des réponses, car les étapes intermédiaires sont délicates.
Au lieu de cela, l'article utilise une méthode appelée Recherche Arborescente de Monte Carlo (MCTS). Imaginez un jeu vidéo où l'IA joue le même niveau des milliers de fois.

Elle essaie différents chemins (plans) et recherches.
Parfois, elle gagne (obtient la bonne réponse), parfois elle perd.
À la fin de chaque partie, elle revient en arrière sur chaque coup qu'elle a joué. « Ce coup a mené à une victoire, donc il était bon. Ce coup a mené à une impasse, donc il était mauvais. »
Elle attribue un « score » à chaque étape individuelle. Cela crée une carte massive de ce qui fonctionne et de ce qui ne fonctionne pas.

4. L'Inférence : Le Processus de « Élagage Arborescent »

Lorsque l'IA répond réellement à une question pour un vrai utilisateur, elle ne fait pas que deviner. Elle utilise une technique appelée Recherche en Faisceau Hiérarchique.
Imaginez que vous grimpez à un arbre pour trouver un fruit spécifique.

L'Étalement : À chaque branche, l'IA ne choisit pas un seul chemin. Elle fait pousser plusieurs nouvelles branches (plans) et recherche plusieurs indices différents.
L'Élagage : C'est ici que l'Entraîneur de Planification et l'Entraîneur de Recherche interviennent. Ils examinent toutes les nouvelles branches.
- L'Entraîneur de Planification dit : « Cette branche semble prometteuse, mais celle-là est une impasse. Coupez l'impasse. »
- L'Entraîneur de Recherche dit : « Ce livre que nous avons trouvé est inutile. Jetez-le. Gardez celui-ci. »
Le Résultat : L'IA ne conserve que les meilleures branches et coupe le reste. Elle répète cela jusqu'à atteindre le sommet de l'arbre (la réponse finale).

Pourquoi Cela Fonctionne

L'article a testé cela sur de nombreuses questions difficiles (comme des énigmes historiques à plusieurs étapes). Ils ont constaté que :

Une Meilleure Planification est Clé : Si le détective a un mauvais plan, aucune quantité de recherche n'aidera. L'« Entraîneur de Planification » est crucial.
Les Petits Modèles Peuvent Être Intelligents : Même un modèle d'IA plus petit (comme un modèle de 7 milliards de paramètres) pouvait performer aussi bien qu'un modèle beaucoup plus grand et plus coûteux s'il utilisait cette technique d'« élagage ». C'est comme une petite équipe bien coachée battant une équipe géante non coachée.
Il Bat la Concurrence : Le système a surpassé d'autres méthodes qui ne séparaient pas la planification de la recherche ou qui n'utilisaient pas cet entraînement par « tournoi d'entraînement ».

Résumé

DecoupleSearch revient à donner à votre détective IA deux entraîneurs experts et un simulateur d'entraînement. Au lieu de deviner à l'aveugle, l'IA essaie de nombreux chemins, apprend de ses erreurs dans le simulateur, puis, lorsqu'elle résout le problème réel, elle élimine agressivement les mauvaises idées et ne conserve que les meilleures. Cela conduit à des réponses plus précises, en particulier pour les questions complexes qui nécessitent une investigation approfondie.

Résumé Technique : DecoupleSearch

Énoncé du Problème

Les systèmes de Génération Augmentée par la Récupération (RAG) sont devenus essentiels pour ancrer les Modèles de Langage de Grande Taille (LLM) dans des connaissances externes afin de réduire les hallucinations. Cependant, le RAG standard repose souvent sur des flux de travail statiques qui peinent à gérer des tâches de raisonnement complexes et multi-étapes. Le RAG Agentique pallie ce problème en introduisant des agents autonomes qui planifient et recherchent de manière itérative. Malgré son potentiel, le RAG Agentique fait face à trois défis critiques :

Interdépendance de la Planification et de la Recherche : La réussite du processus de raisonnement dépend à la fois d'une planification de haute qualité (déterminer quelles informations sont nécessaires) et d'une recherche précise (récupérer ces informations). Les erreurs à l'une ou l'autre étape se propagent, et l'optimisation de l'une sans l'autre est difficile.
Absence de Supervision Intermédiaire : La plupart des jeux de données RAG ne fournissent que les réponses finales, n'offrant aucun retour explicite sur la qualité des étapes intermédiaires de raisonnement (par exemple, la validité d'un plan généré ou la pertinence d'un document récupéré).
Espace de Recherche Exponentiel : L'espace des candidats pour la planification et la recherche croît de manière exponentielle, rendant coûteux sur le plan computationnel l'identification des chemins de raisonnement optimaux par une exploration de force brute.

Méthodologie : DecoupleSearch

Les auteurs proposent DecoupleSearch, un cadre qui découple les processus de planification et de recherche en utilisant des modèles de valeur duaux (un modèle de valeur de planification et un modèle de valeur de recherche) pour permettre une optimisation indépendante. La méthodologie se compose de trois phases principales :

1. Annotation par MCTS (Construction des Données d'Entraînement)

Pour pallier l'absence de supervision intermédiaire, les auteurs emploient la Recherche Arborescente de Monte Carlo (MCTS) pour construire des arbres de raisonnement pour les requêtes d'entraînement.

Processus : Le LLM agit comme un agent pour générer des plans et des requêtes de recherche, interagissant avec un récupérateur pour étendre l'arbre.
Évaluation : Lors de la simulation, le LLM agit comme juge pour attribuer des scores de récompense ($-1 $à$ 1$) aux étapes de planification et de recherche. Les nœuds terminaux reçoivent des récompenses basées sur l'exactitude de la réponse finale.
Rétropropagation : Les récompenses sont rétropropagées à travers l'arbre pour mettre à jour les valeurs des nœuds et les comptes de visites, créant un jeu de données de chemins de raisonnement de haute qualité (corrects) et de faible qualité (incorrects).

2. Entraînement du Modèle

Le cadre utilise un modèle de politique de base partagé ( $\pi_\theta$ ) initialisé à partir d'un LLM préentraîné.

Architecture : Deux couches linéaires auxiliaires avec une activation Tanh sont ajoutées à la base pour dériver le Modèle de Valeur de Planification ( $V_\phi$ ) et le Modèle de Valeur de Recherche ( $V_\psi$ ). Cette conception assure l'efficacité des paramètres et l'optimisation conjointe.
Fonction de Perte : Une perte multi-tâches est appliquée :
- Perte de Politique : Négatif de la vraisemblance logarithmique sur les chemins de solutions corrects pour guider la prédiction des jetons.
- Perte de Valeur : Erreur Quadratique Moyenne (MSE) entre les valeurs prédites et les récompenses dérivées du MCTS pour les étapes de planification et de recherche sur tous les chemins.

3. Inférence : Recherche en Faisceau Hiérarchique

Lors de l'inférence, le système emploie un algorithme de Recherche en Faisceau Hiérarchique pour naviguer efficacement dans l'espace de recherche exponentiel.

Exploration Découplée : À chaque étape, le modèle de politique génère plusieurs plans candidats. Le Modèle de Valeur de Planification les évalue et les élague, ne conservant que les plus prometteurs.
Ancrage de la Recherche : Sur la base des plans sélectionnés, la politique génère plusieurs requêtes de recherche. Le Modèle de Valeur de Recherche évalue les documents récupérés, élaguant les résultats de faible valeur.
Itération : Cette raffinement itératif se poursuit jusqu'à ce qu'une profondeur maximale soit atteinte ou qu'aucun nœud ne puisse être étendu. La réponse finale est sélectionnée sur la base de la valeur la plus élevée attribuée par le modèle de planification.

Contributions Clés

Cadre Découplé : Introduction de DecoupleSearch, qui sépare l'optimisation de la planification et de la recherche via des modèles de valeur duaux, permettant un raffinement indépendant de la logique de raisonnement et de l'ancrage de la récupération.
Supervision Pilotée par MCTS : Une approche novatrice pour générer des signaux de supervision intermédiaire pour le RAG Agentique en utilisant le MCTS pour annoter les arbres de raisonnement avec des récompenses au niveau des étapes, surmontant la limitation des jeux de données limités aux réponses finales.
Stratégie de Recherche Efficace : La proposition de la Recherche en Faisceau Hiérarchique, qui exploite les modèles de valeur duaux pour élaguer l'espace exponentiel des candidats, équilibrant exploration et coût computationnel.
Validation Empirique : Des expériences extensives démontrant l'efficacité de la méthode à travers différentes tailles de modèles de politique (7B et 14B paramètres) et divers jeux de données de questions-réponses.

Résultats Expérimentaux

La méthode a été évaluée sur cinq jeux de données : HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle (multi-sauts) et TriviaQA (saut unique). Les modèles de politique utilisés étaient Qwen2.5-7B-Instruct et Qwen2.5-14B-Instruct.

Gains de Performance : DecoupleSearch a obtenu des résultats de l'état de l'art sur tous les jeux de données. Avec le modèle 7B, il a montré une amélioration moyenne relative de 25,8 % par rapport à la meilleure ligne de base performante.
Comparaison : Il a surpassé les méthodes de promptage vanilla (Direct, CoT), les méthodes RAG avancées (Itératif, Juger puis récupérer) et d'autres lignes de base de RAG Agentique (RAgent, Search-o1, GreedyAgent).
Mise à l'échelle : Bien que les modèles plus grands (14B) aient généralement mieux performé, la Recherche en Faisceau Hiérarchique a permis au modèle 7B d'atteindre une performance comparable à celle du modèle 14B, soulignant l'efficacité de la mise à l'échelle au moment de l'inférence.
Études d'Ablation :
- Le retrait de l'expansion de planification ou de recherche a dégradé les performances, l'expansion de planification étant plus critique.
- Les modèles de valeur se sont révélés essentiels ; le remplacement du classement basé sur la valeur par une sélection aléatoire a entraîné des baisses de performance significatives, en particulier dans l'expansion de recherche.
- Les performances optimales ont été observées avec une taille d'expansion de planification d'environ 3, tandis que des tailles d'expansion de recherche plus grandes ont généralement donné de meilleurs résultats.

Signification et Revendications

L'article revendique que DecoupleSearch adresse les limitations fondamentales des systèmes actuels de RAG Agentique en traitant la planification et la recherche comme des problèmes d'optimisation distincts mais couplés. En découplant ces processus et en utilisant le MCTS pour générer une supervision intermédiaire de haute qualité, le cadre permet aux LLM de naviguer plus efficacement dans des tâches de raisonnement complexes.

Les auteurs soulignent que leur approche permet aux modèles plus petits de rivaliser avec les plus grands grâce à des stratégies d'inférence structurées (Recherche en Faisceau Hiérarchique) plutôt qu'en s'appuyant uniquement sur la mise à l'échelle des paramètres. Le travail fournit une méthodologie robuste pour améliorer la fiabilité et la précision des agents autonomes dans des tâches à forte intensité de connaissances, spécifiquement en atténuant le problème des « hallucinations » par un ancrage rigoureux de la recherche et en résolvant le problème de la « planification » par une exploration guidée par la valeur.

Les auteurs reconnaissent des limites, notant le coût computationnel de l'annotation MCTS et l'accent actuel mis sur le maintien d'un seul meilleur chemin par étape, laissant l'exploration du maintien de chemins multiples pour un travail futur.