Résumé technique : SEARCHSKILL

Énoncé du problème

Les modèles de langage de grande taille (LLM) possèdent une connaissance paramétrique étendue mais restent fondamentalement statiques, manquant souvent des faits de longue traîne ou des informations à jour nécessaires pour des tâches riches en connaissances comme la réponse aux questions (QA) en domaine ouvert et multi-sauts. Bien que les cadres de génération augmentée par la recherche (RAG) et d'utilisation d'outils (par exemple, ReAct, Toolformer) aient permis aux LLM d'interagir avec les moteurs de recherche, un goulot d'étranglement critique persiste : la qualité des requêtes.

Les méthodes existantes enseignent souvent aux modèles quoi rechercher, mais pas comment formuler des requêtes de haute qualité. Dans les contextes multi-sauts, les modèles émettent fréquemment des requêtes larges, copiées ou redondantes (par exemple, coller l'intégralité de la question dans la barre de recherche). Cela entraîne un gaspillage des budgets de recherche, des preuves bruyantes, des appels d'outils redondants et une dégradation de la précision du raisonnement. De plus, les cadres actuels de « compétences » pour les agents ne définissent pas explicitement comment les compétences doivent être représentées, invoquées ou mises à jour dans le contexte spécifique des trajectoires de recherche, en particulier concernant la manière dont une compétence façonne la prochaine requête, le comportement de vérification et les décisions d'arrêt.

Méthodologie : SEARCHSKILL

Les auteurs proposent SEARCHSKILL, un cadre qui rend explicite l'utilisation d'outils de recherche en factorisant chaque étape d'interaction en une sélection de compétence suivie d'une exécution ancrée sur la compétence. L'innovation centrale est une SkillBank évolutive qui sert de prior externe et réutilisable pour les stratégies de recherche.

1. L'interface conditionnée par la compétence

Au lieu de traiter la recherche comme une action indifférenciée, SEARCHSKILL impose un protocole au niveau des tokens :

1. Sélection de compétence : Le modèle émet une balise <skill>...</skill> pour déclarer la stratégie réutilisable spécifique qu'il va employer (par exemple, recherche-entité-pont, comparaison-attribut-parallele).
2. Exécution : Conditionné par la carte de compétence sélectionnée, le modèle génère soit une requête <search>...</search>, soit une réponse <answer>...</answer>.
3. Retour d'information : Les preuves récupérées sont renvoyées via des balises <information>...</information>.

Cette interface rend le choix de la stratégie une variable de contrôle explicite et entraînable avant chaque action de recherche ou de réponse.

2. SkillBank évolutive

La SkillBank n'est pas statique ; elle évolue grâce à une boucle externe pilotée par les échecs, alignée sur l'augmentation de la difficulté des tâches (des ensembles de données à saut unique aux ensembles complexes multi-sauts comme MuSiQue) :

• Initialisation : Commence par une banque de semences compacte ($B_0$) contenant des compétences générales de recherche et d'ancrage.
• Raffinement : À chaque étape, le système analyse les motifs d'échec récurrents issus des déploiements du modèle. Un modèle enseignant (GPT-5.4) propose de nouvelles compétences ou des raffinements des compétences existantes basés sur ces échecs (par exemple, ajouter recherche-entité-pont pour le raisonnement multi-sauts).
• Reconstruction : Après acceptation d'une mise à jour de la banque, les trajectoires affectées sont reconstruites pour assurer la cohérence.
• Taxonomie : La banque finale ($B_4$) inclut des compétences pour la recherche directe, la résolution de ponts, la décomposition de chaînes de relations, l'ancrage temporel, la vérification des conflits et l'ancrage de la réponse.

3. Affinage supervisé en deux étapes (SFT)

La recette d'entraînement aligne le modèle avec le protocole d'inférence :

• Étape 1 (Exécution) : Le modèle apprend le format d'action de base : émettre une balise <skill> suivie d'une balise <search> ou <answer>. Cette étape utilise un pool de trajectoires d'enseignants validées pour enseigner la planification de requêtes étiquetées par compétence et l'arrêt ancré.
• Étape 2 (Routage) : Le modèle apprend à sélectionner des compétences dans l'index de la SkillBank. Chaque tour d'action original est divisé en un tour de sélection de compétence, un tour utilisateur contenant le contenu de la carte de compétence sélectionnée, et le tour d'action original. Le modèle doit router à travers la SkillBank sans indices spécifiques à la question, conditionnant sa prochaine action sur le contenu de la carte sélectionnée.

4. Apprentissage par renforcement (Auxiliaire)

Les auteurs explorent également une étape légère de GRPO (Optimisation de la politique relative par groupes) post-SFT pour affiner davantage le comportement de recherche, ciblant spécifiquement l'utilisation des preuves, l'ancrage de la réponse et le comportement d'arrêt, bien que les gains principaux soient attribués au processus SFT.

Contributions clés

1. Interface conditionnée par la compétence : Un cadre novateur qui améliore la formulation des requêtes en forçant le modèle à sélectionner une stratégie de recherche réutilisable avant chaque appel d'outil, répondant à l'échec de l'émission de requêtes multi-sauts larges ou copiées.
2. SkillBank de recherche évolutive : Un référentiel dynamique mis à jour par l'analyse des échecs, les opérations d'ajout/raffinement et la reconstruction de trajectoires. Il fournit un prior réutilisable pour l'utilisation d'outils qui va au-delà du contexte spécifique de la QA.
3. Recette SFT en deux étapes : Une méthodologie d'entraînement qui atteint des performances comparables ou supérieures à celles des agents de recherche basés sur l'apprentissage par renforcement à grande échelle (comme Search-R1), tout en évitant le coût computationnel élevé des déploiements RL.
4. Généralisabilité : Efficacité démontrée sur des modèles open-source (Qwen2.5 3B/7B) et closed-source. La SkillBank figée peut servir de guide de planification externe pour des modèles propriétaires sans affinage.

Résultats expérimentaux

Le cadre a été évalué sur sept benchmarks couvrant la QA à saut unique (Natural Questions, TriviaQA, PopQA) et multi-sauts (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle).

• Performance : SEARCHSKILL a obtenu les meilleurs scores macro-moyens d'Exact Match (EM) à la fois sur Qwen2.5-7B (42,34 %) et Qwen2.5-3B (36,94 %), surpassant de solides baselines incluant Search-R1 (basé sur RL) et ZeroSearch.
• Comportement des requêtes : La méthode a considérablement réduit les taux de « copie de la première requête » (où le modèle copie la question complète) et augmenté les requêtes « focalisées sur le saut atomique ». Elle a atteint une précision plus élevée dans un petit budget de recherche (par exemple, Correct@≤3 recherches).
• Études d'ablation :
  • La suppression de la SkillBank (banque vide) a provoqué une baisse de performance, confirmant la valeur du routage explicite des compétences.
  • La suppression du contenu des cartes de compétences (en ne gardant que les identifiants) a également réduit la performance, indiquant que le contenu sémantique des compétences est crucial.
  • Le remplacement de la banque évoluée par la banque de semences ($B_0$) a dégradé les performances, soulignant l'importance du raffinement itératif.
• Transfert vers le closed-source : L'application de la SkillBank figée en tant que guide de planification à des modèles propriétaires (GPT-4o-mini, Gemini 2.5 Flash Lite, Claude Haiku 4.5) a produit des gains macro constants, prouvant la transférabilité des priors de recherche appris.

Importance et affirmations

L'article postule que la planification explicite de requêtes conditionnée par la compétence est une alternative légère et efficace au traitement de la recherche comme une action indifférenciée. En rendant la stratégie de recherche explicite et entraînable, SEARCHSKILL s'attaque à la cause racine de l'inefficacité de la recherche : la mauvaise formulation des requêtes.

Les auteurs affirment que cette approche :

• Découple la stratégie de l'exécution : La SkillBank agit comme un prior externe, permettant au modèle d'apprendre comment rechercher sans avoir besoin de redécouvrir ces motifs implicitement pendant le SFT.
• Améliore l'efficacité : Elle réduit les recherches redondantes et améliore la qualité des preuves récupérées, conduisant à de meilleures réponses dans des budgets plus serrés.
• Offre un chemin d'entraînement évolutif : La recette SFT en deux étapes fournit un moyen rentable d'entraîner des agents de recherche, évitant l'instabilité et les coûts de calcul élevés associés à l'entraînement du comportement de recherche principalement par apprentissage par renforcement.

Le travail suggère que si le RL peut affiner davantage les habitudes d'exécution (par exemple, le comportement d'arrêt), la capacité fondamentale pour une recherche intelligente est mieux établie par une supervision structurée et conditionnée par la compétence.