To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

1. Énoncé du problème

Les architectures d'IA agentique permettent aux grands modèles de langage (LLM) d'étendre leurs capacités en invoquant des outils externes (par exemple, recherche web, calculatrices). Cependant, les agents LLM actuels manquent de mécanismes rationnels pour déterminer quand appeler un outil.

• Le problème central : L'utilisation d'outils n'est pas universellement bénéfique. Les appels peuvent être redondants (si le modèle connaît déjà la réponse) ou nuisibles (si l'outil introduit du bruit ou de la latence).
• Le fossé : Les évaluations existantes se concentrent sur la précision agrégée des tâches, négligeant la qualité des décisions individuelles d'appel d'outil. Il n'existe pas de cadre pour distinguer la nécessité/utilité réelle de la nécessité/utilité perçue par le modèle.
• Le défi : Spécifiquement pour la recherche web, les modèles peinent à estimer le « gain d'utilité » d'un appel d'outil avant de le faire, conduisant souvent à des décisions sous-optimales qui violent les contraintes de coût ou échouent à améliorer les performances.

2. Méthodologie : Un cadre rationnel

Les auteurs proposent un cadre inspiré de la théorie de la décision et de la théorie du choix rationnel pour évaluer et optimiser l'appel d'outils. Ce cadre décompose la décision en trois dimensions et les analyse à travers trois lentilles distinctes :

A. Trois dimensions clés

1. Nécessité : Le modèle a-t-il besoin d'aide externe pour résoudre la tâche $T$ ? (Peut-il la résoudre de manière satisfaisante en utilisant uniquement ses connaissances paramétriques ?)
2. Utilité : L'appel de la fonction $F$ améliorera-t-il les performances sur la tâche $T$ ? (L'outil apporte-t-il un gain positif par rapport à l'absence d'outil ?)
3. Accessibilité : Le gain d'utilité vaut-il le coût (latence, frais d'API) ? (Le modèle peut-il prioriser les instances à fort gain sous un budget donné ?)

B. Trois lentilles analytiques

1. Lentille normative (l'« Oracle ») : Définit le comportement idéal.
   • Besoins réels : Déterminés en comparant les performances du modèle dans un contexte SANS OUTIL à un seuil de qualité.
   • Utilité réelle : Déterminée en comparant les performances TOUJOURS AVEC OUTIL à celles SANS OUTIL.
   • Accessibilité réelle : Sélection des $K$ premières instances ayant le plus grand gain d'utilité marginale ($\Delta = s_{AT} - s_{NT}$) sous un budget.
2. Lentille descriptive (la « Décision autonome ») : Observe le comportement réel du modèle.
   • Besoin perçu : Le besoin auto-rapporté par le modèle (via l'incitation) sans accès à l'outil.
   • Utilité perçue : La décision réelle du modèle d'appeler un outil lorsque l'option lui est donnée.
3. Lentille prescriptive (le « Contrôleur ») : Propose un mécanisme pour combler l'écart entre le comportement descriptif et les idéaux normatifs en utilisant des représentations latentes.

C. Le cadre du Contrôleur (Estimateurs latents)

Pour remédier à la désalignement entre les signaux perçus et réels, les auteurs proposent d'entraîner des classificateurs légers de type Perceptron Multicouche (MLP) sur les états cachés du LLM (spécifiquement la représentation du dernier token) plutôt que de s'appuyer sur les sorties en langage naturel.

• Estimateur de besoin latent (LNE) : Prédit le Besoin Réel ($N^\star$) en utilisant les états cachés du contexte SANS OUTIL.
• Estimateur d'utilité latent (LUE) : Prédit l'Utilité Réelle ($U^\star$) en utilisant les états cachés des contextes SANS OUTIL ou TOUJOURS AVEC OUTIL.
• Mécanisme : Ces estimateurs agissent comme des contrôleurs externes, classant les instances par utilité/besoin prédit et allouant un budget fixe aux $K$ premières instances, contournant ainsi le processus de décision autonome défaillant du modèle.

3. Configuration expérimentale

• Modèles : Six LLM open-source allant de 3B à 120B de paramètres (incluant GPT-OSS, Qwen3, Gemma3, Mistral, Llama3.2), couvrant à la fois des variantes entraînées à l'instruction et des variantes de raisonnement.
• Tâches :
  1. Tâche Entité : Génération de paragraphes descriptifs sur des entités (évaluation de la facticité à long terme).
  2. Tâche InVivoQuery : Réponse à des questions factuelles dérivées de demandes réelles d'utilisateurs.
  3. Tâche BFCL : Berkeley Function Calling Leaderboard (sous-questions atomiques).
• Outils : Recherche web via Google (SerpAPI), Perplexity, Brave et Tavily.
• Métriques : Scores de facticité (vérifiés via LLM-as-a-judge et annotation humaine), nombre d'appels d'outils, et gain d'utilité sous diverses contraintes budgétaires.

4. Résultats et découvertes clés

A. Désalignement entre perception et réalité

• Décisions autonomes sous-optimales : Les modèles échouent systématiquement à aligner leurs décisions d'appel d'outil avec l'utilité réelle.
  • Sur-appel : Les modèles appellent souvent des outils pour des tâches qu'ils peuvent résoudre en interne (utilité négative).
  • Sous-appel : Les modèles ne déclenchent pas d'appels d'outils lorsqu'ils manquent réellement de connaissances (utilité positive manquée).
• Cohérence interne vs Vérité : Bien que le besoin perçu et l'utilité perçue d'un modèle soient souvent corrélés (le modèle est cohérent en interne), ces perceptions sont désalignées par rapport à la vérité terrain. La « croyance » interne du modèle sur ses connaissances est peu fiable.
• Sensibilité au coût : Les modèles peinent à respecter les contraintes budgétaires. Même lorsqu'ils sont explicitement informés du coût par appel et du budget restant, ils dépassent fréquemment les limites ou échouent à prioriser efficacement les requêtes à haute utilité (faibles scores NDCG dans les scénarios contraints par le budget).

B. Performance des estimateurs latents

• Prédiction supérieure : L'Estimateur de besoin latent (LNE) et l'Estimateur d'utilité latent (LUE) surpassent significativement les décisions explicites des modèles dans la prédiction du besoin et de l'utilité réels.
• Amélioration des performances de tâche : L'utilisation des estimateurs pour guider l'appel d'outils (configuration « Optimisée ») conduit à :
  • Des scores de facticité plus élevés par rapport à la « Décision autonome ».
  • Moins d'appels d'outils inutiles.
  • De meilleures performances sous des contraintes budgétaires strictes, égalant ou dépassant souvent celles de modèles beaucoup plus grands.
• Gains pour les petits modèles : L'amélioration est la plus prononcée chez les petits modèles (par exemple, Llama3.2-3B), qui bénéficient le plus de la guidance externe des signaux latents.

C. Le fossé de l'« Oracle »

Même avec les estimateurs, les performances n'atteignent pas pleinement le niveau de l'« Oracle » (Optimal). Les auteurs notent que l'appel d'outils parfait nécessite de modéliser le comportement de l'outil lui-même, ce qui est intrinsèquement difficile en raison de la nature stochastique des résultats de recherche web.

5. Signification et contributions

1. Cadre théorique : Introduction du premier cadre rationnel pour évaluer l'appel d'outils basé sur la Nécessité, l'Utilité et l'Accessibilité, dépassant les simples métriques de précision agrégée.
2. Insight empirique : Démonstration que les LLM contemporains sont des juges peu fiables de leurs propres connaissances et de la valeur des outils externes, entraînant des inefficacités systématiques.
3. Solution pratique : Proposition d'un mécanisme de contrôle non invasif et léger (Estimateurs latents) qui améliore la prise de décision des agents sans fine-tuning du LLM de base. Cela suggère qu'un comportement agentique efficace pourrait nécessiter des contrôleurs externes explicites plutôt que de reposer uniquement sur le raisonnement natif du modèle.
4. Conscience des coûts : Mise en évidence de l'écart critique dans les modèles actuels concernant l'analyse coût-bénéfice, montrant que même avec des incitations budgétaires explicites, les modèles échouent à optimiser l'utilisation des outils, nécessitant une intervention externe.

Conclusion

L'article soutient que la décision « appeler ou ne pas appeler » constitue un goulot d'étranglement fondamental dans l'IA agentique. Les modèles actuels s'appuient sur des perceptions de soi défaillantes qui conduisent à une utilisation d'outils redondante ou nuisible. En exploitant les représentations latentes pour estimer le besoin et l'utilité réels, les chercheurs peuvent construire des contrôleurs qui améliorent considérablement les performances des tâches et l'efficacité des coûts, ouvrant la voie à des agents d'IA plus rationnels et fiables.