Résumé Technique : Combien d'outils un agent LLM doit-il voir ? Une réponse corrigée par le hasard

1. Énoncé du problème

Les agents de Modèles de Langage (LLM) nécessitent un système de récupération pour sélectionner une liste restreinte d'outils candidats à partir d'un registre avant que le modèle n'essaie d'exécuter une tâche. Un choix de conception critique consiste à déterminer la profondeur de recherche $K$ (le nombre d'outils présentés). Les systèmes actuels utilisent généralement une $K$ fixe (par exemple, afficher les 5 ou 10 meilleurs outils) indépendamment de la difficulté de la requête. Cette approche fait face à deux défis contradictoires :

• Trop peu d'outils : L'outil correct peut être exclu de la liste restreinte, entraînant un échec immédiat.
• Trop d'outils : Le modèle peine à identifier l'outil correct parmi des distracteurs excessifs, et les coûts en tokens augmentent considérablement (environ 20 000 tokens pour 100 outils).

Il n'existe pas de métrique standard pour évaluer si une profondeur $K$ choisie est appropriée pour une requête ou un registre spécifique. Les métriques de récupération existantes (comme $nDCG@K$) sont conçues pour la récupération de documents et ne tiennent pas compte des contraintes spécifiques de la sélection d'outils, où la taille du pool est faible (50 à 500 outils) et où le hasard joue un rôle significatif dans la réussite.

2. Méthodologie

2.1 La métrique Bits-sur-Aléatoire (BoR)

L'article introduit la métrique Bits-sur-Aléatoire (BoR) comme outil d'évaluation corrigé par le hasard pour la profondeur de recherche. BoR mesure le taux de réussite du système par rapport à la probabilité de réussite via une sélection aléatoire à la même profondeur.

• Formule : $BoR = \log_2(P_{obs} / P_{rand})$
  • $P_{obs}$ : Le taux de réussite observé (fraction de requêtes où l'outil correct se trouve dans le top $K$).
  • $P_{rand}$ : La probabilité d'inclure au moins un élément pertinent par hasard, calculée à l'aide de la distribution hypergéométrique. Pour les requêtes à un seul outil ($R_q=1$), $P_{rand} = K/N$, où $N$ est la taille du registre.
• Interprétation :
  • $BoR = 0$ : La performance est équivalente au hasard.
  • $BoR > 0$ : La performance dépasse le hasard.
  • Propriété d'élagage automatique : À mesure que $K$ augmente, $P_{rand}$ augmente. Par conséquent, le signal de récompense (BoR) diminue naturellement à mesure que la liste restreinte s'allonge, même si $P_{obs}$ reste constant. Cela crée une pénalité intrinsèque pour une profondeur inutile sans nécessiter de pénalités de profondeur conçues artificiellement.

2.2 Formulation par Apprentissage par Renforcement (RL)

Les auteurs formulent la sélection de $K$ comme un Processus de Décision de Markov (MDP) pour tester l'utilité de la métrique BoR :

• État : L'agent observe les scores de similarité des outils examinés jusqu'à présent, la profondeur actuelle $k_t$, la taille du registre $N$ et le plafond BoR.
• Action : Décision binaire : ARRÊTER (présenter la liste restreinte actuelle au LLM) ou CONTINUER (examiner le candidat suivant).
• Récompense :
  • Si l'agent s'arrête et que l'outil correct est présent : Récompense = $-\log_2(P_{rand})$.
  • Si l'outil correct n'est pas présent : Récompense = 0.
  • Un petit coût par étape décourage l'exploration inutile mais n'encode pas de préférence de profondeur spécifique.
• Agents : L'étude utilise des agents délibérément simples (DQN et apprentissage Q tabulaire) pour sonder les propriétés de la métrique plutôt que de proposer une architecture de production.

2.3 Lignes de base

L'approche BoR est comparée à :

1. $K$ fixe : Présentation des $K$ meilleurs outils pour toutes les requêtes.
2. Ablation F1 : Un agent RL entraîné avec une récompense basée sur F1 ($F1 = 2/(K+1)$ lorsque le rappel=1) pour tester si la conscience de la profondeur seule, sans correction par le hasard, induit un comportement adaptatif.

3. Résultats clés

L'évaluation couvre trois benchmarks (BFCL, MetaTool, ToolBench), plusieurs évaluateurs (BM25, MiniLM, BGE) et des tailles de registre allant de 20 à 3 251 outils.

3.1 Profondeur adaptative vs Profondeur fixe

• BFCL (370 outils) : L'agent BoR a atteint une couverture de 90,3 % avec une profondeur moyenne de $K=7,4$, correspondant presque à la couverture d'une profondeur fixe de $K=50$ (90,8 %) tout en présentant 7 fois moins d'outils.
• ToolBench (3 251 outils) : Une profondeur fixe de $K=5$ a atteint une couverture agrégée plus élevée (64,7 %) que l'agent BoR (61,9 %). Cependant, la ligne de base fixe a échoué complètement sur les requêtes « difficiles » (où l'outil correct était classé de 6e à 20e). L'agent BoR a adapté sa profondeur à $K=5,7$ sur ces requêtes difficiles, récupérant 16,7 % des cas que la $K$ fixe avait totalement manqués.
• MetaTool : L'agent BoR a démontré une sensibilité à la taille du registre et à la qualité de l'évaluateur. Avec un évaluateur BM25 faible, il a considérablement étendu la profondeur ($K=80,7$) pour compenser un mauvais classement, tandis que la ligne de base F1 est restée peu profonde quelle que soit la qualité de l'évaluateur.

3.2 Qualité de l'évaluateur et adaptation

Le signal de récompense BoR s'adapte à la qualité de l'évaluateur sous-jacent :

• Avec des évaluateurs d'incrustation forts (MiniLM), l'agent s'est arrêté tôt ($K \approx 1,4$) car l'outil correct apparaissait en tête.
• Avec des évaluateurs faibles (BM25 sur MetaTool), l'agent a étendu la recherche ($K \approx 80,7$) pour maintenir la sélectivité, tandis que la ligne de base F1 n'a pas réussi à s'adapter, s'arrêtant tôt et manquant l'outil correct.

3.3 Validation en aval du choix d'outil

En utilisant Claude Sonnet 4.6 sur BFCL, les auteurs ont validé si des listes plus courtes et adaptatives améliorent la capacité du LLM à choisir l'outil correct parmi l'ensemble présenté :

• Précision du choix : Lorsque l'outil correct était présent, Claude l'a sélectionné 93,1 % du temps avec les listes courtes de l'agent BoR ($K=2,2$), contre 87,1 % avec une $K$ fixe de 5.
• Difficulté moyenne : Sur les requêtes où l'outil correct était classé de 2e à 5e, l'agent BoR a amélioré la précision du choix à 76,8 % contre 60,9 % pour une $K$ fixe de 5.
• Conclusion : Réduire le nombre de distracteurs (charge de distracteurs) améliore la précision de la prise de décision du LLM, même si le taux de « trouvé » agrégé est légèrement inférieur à une ligne de base $K$ fixe élevée.

4. Signification et revendications

L'article revendique les contributions et la signification suivantes :

1. Première métrique corrigée par le hasard pour la profondeur : Il introduit BoR comme la première métrique spécifiquement conçue pour évaluer la profondeur de recherche dans la sélection d'outils en corrigeant la probabilité de réussite aléatoire, un facteur souvent ignoré dans les métriques de récupération standard.
2. Récompense d'élagage automatique : Il démontre que BoR fournit naturellement un signal de récompense qui diminue avec la profondeur, permettant à un agent RL d'apprendre des points d'arrêt optimaux sans pénalités de profondeur conçues artificiellement.
3. Efficacité adaptative : L'étude montre que les politiques adaptatives peuvent atteindre une couverture comparable à de grandes listes fixes tout en réduisant considérablement la consommation de tokens et la confusion du modèle.
4. Utilité diagnostique : La métrique peut identifier des évaluateurs cassés ou faibles (par exemple, lorsqu'un agent est contraint de parcourir l'intégralité du registre pour trouver un outil, indiquant que l'évaluateur est inefficace).
5. Impact en aval : Il fournit des preuves que la profondeur adaptative non seulement récupère les outils plus efficacement, mais améliore également la capacité en aval du LLM à choisir l'outil correct en réduisant la charge cognitive.

Limites reconnues :
Les auteurs notent que BoR optimise la sélectivité plutôt que le rappel maximal ; par conséquent, les lignes de base $K$ fixe peuvent parfois atteindre une couverture agrégée plus élevée si une profondeur uniforme suffit par hasard pour la plupart des requêtes. Les agents RL utilisés sont des sondes simples, pas des systèmes de production, et l'évaluation se concentre sur la question de savoir si l'outil est présenté, et non sur la correction des arguments d'exécution de l'outil.