💬 NLP

APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution

Ce papier présente APEX-Searcher, un cadre agentic à deux étapes qui améliore les capacités de recherche des modèles de langage pour des tâches complexes en découplant la planification et l'exécution via un apprentissage par renforcement et un ajustement fin supervisé.

Auteurs originaux : Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : L'IA qui cherche dans le noir

Imaginez que vous demandez à un ami très cultivé (une Intelligence Artificielle) une question complexe : "Est-ce que le réalisateur du film 'The Lighthouse' et le réalisateur de 'Pulp Fiction' sont de la même nationalité ?"

Si votre ami ne connaît pas la réponse par cœur, il va devoir chercher.

La méthode classique (RAG) : C'est comme si votre ami lançait une seule recherche Google, lisait le premier résultat, et répondait. Souvent, il rate le coche car il n'a pas assez d'indices.
La méthode actuelle (Recherche itérative) : C'est mieux. Votre ami cherche, trouve un indice, puis cherche encore, puis encore. Mais le problème, c'est qu'il agit souvent sans plan. Il cherche au hasard, tourne en rond, ou se perd dans des détails inutiles. C'est comme essayer de résoudre un casse-tête en regardant les pièces une par une sans jamais voir l'image globale.

💡 La Solution : APEX-Searcher (Le Chef et l'Explorateur)

Les auteurs de ce papier ont créé un nouveau système appelé APEX-Searcher. Au lieu de laisser l'IA chercher au hasard, ils lui donnent deux rôles distincts, comme dans une équipe de détectives :

1. Le Stratège (Le Chef d'Équipe) 🧠

C'est la première étape, appelée "Agentic Planning".
Avant même de chercher, l'IA s'arrête et réfléchit. Elle ne lance pas de requête tout de suite. Elle décompose le gros problème en petits morceaux logiques.

L'analogie : Imaginez que vous devez construire une maison. Le Stratège ne commence pas à poser des briques au hasard. Il dessine d'abord les plans : "D'abord, je dois trouver le terrain. Ensuite, je dois acheter le ciment. Enfin, je peux construire."
Comment ça marche ? Ils utilisent une technique appelée Apprentissage par Renforcement (RL). C'est comme entraîner un chien : si le chien (l'IA) réussit à bien découper le problème en étapes logiques, il reçoit une friandise (une récompense). S'il fait n'importe quoi, il n'en reçoit pas. Avec le temps, il devient un expert en planification.

2. L'Explorateur (Le Chasseur d'Indices) 🏃‍♂️

Une fois que le plan est prêt, l'IA passe au rôle d'"Exploration".
Elle suit le plan étape par étape. Pour chaque petite question du plan, elle cherche l'information, vérifie si elle a assez d'indices, et décide si elle doit continuer à chercher ou si elle peut répondre.

L'analogie : C'est comme un détective qui suit une liste de courses. "Ok, étape 1 : trouver la nationalité du réalisateur A." Il cherche, trouve la réponse, et note l'info. "Étape 2 : trouver la nationalité du réalisateur B." Il cherche, trouve, et note.
Comment ça marche ? Ils utilisent un entraînement supervisé (SFT). C'est comme donner à l'IA un manuel de formation avec des exemples parfaits de la façon de chercher et de synthétiser les informations. Elle apprend à ne pas se perdre et à ne pas chercher des choses inutiles.

🚀 Pourquoi c'est génial ? (Les Résultats)

Le papier montre que cette méthode fonctionne beaucoup mieux que les anciennes.

Moins de "hallucinations" : L'IA invente moins de fausses réponses parce qu'elle vérifie ses faits à chaque étape du plan.
Plus efficace : Au lieu de faire 10 recherches inutiles, elle fait 3 recherches ciblées grâce à son plan.
Résultats concrets : Sur des tests très difficiles (où il faut relier plusieurs documents pour trouver la réponse), APEX-Searcher bat tous les autres systèmes, même ceux qui sont beaucoup plus gros.

📝 En résumé, en une phrase

APEX-Searcher transforme l'IA d'un "chercheur pressé qui tape au hasard" en un "détective méthodique" qui d'abord dessine un plan de bataille (grâce à l'entraînement par récompense), puis exécute ce plan avec précision (grâce à l'entraînement sur des exemples), pour trouver la réponse exacte sans se perdre.

C'est la différence entre courir dans un labyrinthe sans carte et avoir un plan qui vous dit exactement où tourner pour sortir.

1. Problématique

Les modèles de langage larges (LLM) sont confrontés à deux limitations majeures lorsqu'ils traitent des questions complexes nécessitant des connaissances externes :

Connaissances figées et hallucinations : Les LLMs dépendent de leurs paramètres d'entraînement, ce qui les rend incapables d'accéder à des informations récentes et les pousse à générer des informations plausibles mais factuellement incorrectes (hallucinations).
Limites du RAG standard : L'approche de Génération Augmentée par la Récupération (RAG) classique échoue souvent sur des questions multi-sauts (multi-hop). Ces questions nécessitent de synthétiser des informations provenant de plusieurs documents interdépendants.
Défaillance des approches itératives actuelles : Les méthodes RAG itératives existantes augmentent le nombre de tours de recherche, mais elles manquent souvent d'une stratégie de planification globale. Elles agissent de manière réactive ("que chercher ensuite ?") plutôt que proactive ("quel est le plan global ?"), ce qui conduit à des chemins de recherche inefficaces, des boucles de requêtes répétitives ou une perturbation par des documents non pertinents.

Objectif du papier : Combler le fossé entre l'exécution tactique (recherche itérative) et la planification stratégique pour améliorer la capacité des LLMs à résoudre des problèmes de recherche d'information complexes.

2. Méthodologie : Le Framework APEX-Searcher

L'article propose APEX-Searcher (Agentic Planning & EXploration Searcher), un cadre novateur qui découple le processus de raisonnement en deux phases distinctes et synergiques :

Phase 1 : Planification Agentique par Apprentissage par Renforcement (RL)

Objectif : Décomposer une question complexe ( $Q$ ) en une séquence logique de sous-questions simples ( $S = \{s_1, s_2, ..., s_n\}$ ).
Mécanisme : Un agent de planification est entraîné via l'Optimisation de Politique Relative de Groupe (GRPO).
Fonction de Récompense : La récompense ( $R_{plan}$ ) est basée sur un score F1 calculé entre le plan généré par l'agent et un plan de référence (gold-standard). Ce score mesure l'alignement sémantique via une correspondance optimale (algorithme hongrois) entre les sous-questions générées et les sous-questions attendues.
Avantage : Cela force le modèle à apprendre à structurer le problème avant de chercher, en utilisant des références explicites (ex: #1 pour la réponse de la première sous-question).

Phase 2 : Exploration et Raisonnement Agentique par Affinement Supervisé (SFT)

Objectif : Exécuter le plan généré en effectuant des recherches itératives pour répondre à chaque sous-question.
Mécanisme : Un agent d'exécution est entraîné par SFT (Supervised Fine-Tuning) sur un jeu de données multi-tours de haute qualité.
Processus d'Exécution :
1. Résolution de références : Les placeholders (ex: #1) sont remplacés par les réponses accumulées.
2. Évaluation de la suffisance : L'agent décide si les connaissances actuelles suffisent pour répondre ou si une nouvelle recherche est nécessaire.
3. Boucle de recherche adaptative : Si nécessaire, l'agent génère dynamiquement des requêtes, récupère des documents, filtre les doublons et met à jour le contexte.
4. Synthèse finale : Une fois toutes les sous-questions résolues, les informations sont synthétisées pour répondre à la question initiale.

3. Contributions Clés

Nouveau Framework RAG : Introduction d'APEX-Searcher, qui sépare explicitement la planification stratégique (RL) de l'exploration tactique (SFT).
Amélioration de la Planification par RL : Utilisation de récompenses basées sur la décomposition de tâches pour optimiser la capacité du LLM à structurer des problèmes complexes, au-delà de la simple génération de texte.
Paradigme de Recherche Basé sur la Planification : Construction d'un pipeline où chaque étape de recherche est guidée par un plan préétabli, réduisant les erreurs de trajectoire de raisonnement.
Validation Expérimentale Rigoureuse : Démonstration de l'efficacité du framework sur plusieurs benchmarks de questions multi-sauts, prouvant que la qualité de la stratégie est plus importante que le simple nombre d'itérations.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles Qwen2.5-3B et Qwen2.5-7B avec quatre benchmarks principaux : HotpotQA, 2WikiMultiHopQA, MuSiQue et Bamboogle.

Performance Globale : APEX-Searcher surpasse significativement les méthodes de base (RAG standard, RAG itératif, et autres approches agentiques comme Search-o1 ou Search-R1).
- Sur le modèle 7B, l'amélioration moyenne par rapport au RAG standard est d'environ 22,6%.
- Sur le modèle 3B, l'amélioration est encore plus marquée, atteignant 23,0% en moyenne.
Étude d'Ablation (Tableau 2) :
- La combinaison de la Planification (Plan) et de l'Exploration (Exp) donne les meilleurs résultats.
- L'ajout du RL à la planification améliore la qualité des plans (surtout pour les petits modèles).
- L'ajout du SFT à l'exploration est crucial pour la capacité d'exécution, compensant les faiblesses des modèles plus petits.
- Observation importante : Activer uniquement la planification sans entraînement RL/SFT peut dégrader les performances des petits modèles (3B), car la tâche de décomposition devient trop complexe sans guidance.
Analyse des Paramètres :
- Le nombre de documents récupérés (Num) et le nombre maximal de sauts (Hop) montrent des rendements décroissants au-delà de certaines limites (ex: >3 documents introduisent du bruit).
- L'entraînement RL améliore la précision de la décomposition de tâches et réduit la longueur des réponses inutiles (le modèle apprend à être plus concis et précis).

5. Signification et Impact

Ce travail marque un changement de paradigme dans la recherche RAG :

De la Réaction à la Stratégie : Il démontre que pour résoudre des problèmes complexes, il est plus efficace d'enseigner aux LLMs à planifier (définir une stratégie globale) plutôt que de simplement augmenter la puissance de calcul ou le nombre de tours de recherche.
Synergie RL/SFT : L'article valide l'hypothèse selon laquelle l'apprentissage par renforcement est idéal pour apprendre la structure du problème (planification), tandis que l'affinement supervisé est optimal pour apprendre l'exécution (recherche et raisonnement itératif).
Futur des Systèmes Agentiques : APEX-Searcher ouvre la voie à des systèmes agentiques plus robustes capables de gérer des tâches d'information à long terme avec une meilleure gestion du contexte et une réduction des hallucinations, posant les bases pour une recherche d'information web plus avancée.

En résumé, APEX-Searcher ne se contente pas d'améliorer la recherche ; il améliore la cognition du modèle face à la recherche, en transformant un processus réactif en un processus stratégique et planifié.