Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

Résumé Technique : La Nécessité Adaptative des Outils Révèle le Fossé entre Savoir et Agir dans l'Utilisation d'Outils par les LLM

Énoncé du Problème

Les Grands Modèles de Langage (LLM) sont de plus en plus déployés en tant qu'agents autonomes devant décider de répondre directement aux requêtes ou d'invoquer des outils externes (par exemple, des calculateurs, des API de recherche). Les recherches antérieures sur l'utilisation adaptative des outils ont largement traité la « nécessité des outils » comme une propriété statique et agnostique du modèle, généralement annotée par des juges humains ou des LLM puissants. Cette approche suppose qu'une requête est intrinsèquement dépendante ou indépendante des outils, indépendamment des capacités spécifiques du modèle.

Cependant, dans un déploiement réel, la nécessité des outils est fondamentalement nuancée en raison de la divergence des limites de capacités entre différents modèles. Un problème résoluble par un modèle de l'état de l'art utilisant uniquement ses poids internes peut dépasser les capacités d'un modèle plus petit ou plus faible, rendant l'utilisation d'outils strictement nécessaire pour ce dernier mais redondante pour le premier. Par conséquent, les annotations statiques échouent à caractériser avec précision quand un LLM spécifique nécessite véritablement une assistance externe. De plus, les travaux existants n'ont pas suffisamment diagnostiqué pourquoi les modèles échouent à invoquer des outils lorsqu'ils en ont besoin, ou les invoquent inutilement, malgré la possession potentielle des connaissances internes nécessaires.

Méthodologie

Les auteurs proposent un cadre fondé sur la nécessité adaptative des outils et une décomposition en deux étapes du processus d'utilisation d'outils.

1. Définition de la Nécessité Adaptative des Outils :
   Au lieu d'étiquettes statiques, la nécessité des outils ($n_f(x)$) est définie empiriquement en fonction des performances d'un modèle spécifique $f$. Les auteurs effectuent $N$ inférences indépendantes à la température $T$ sans accès aux outils.

   • Si le modèle répond correctement de manière cohérente sur les $N$ exécutions, la requête est jugée inutile pour les outils ($n_f(x) = 0$).
   • Si le modèle échoue au moins une fois, la requête est jugée nécessaire pour les outils ($n_f(x) = 1$).
     Cette définition capture la fiabilité dans l'incertitude, reconnaissant qu'un modèle qui ne réussit que parfois sans outils bénéficie toujours d'une assistance externe.

2. Décomposition en Deux Étapes (Cognition vs Exécution) :
   Le processus d'utilisation d'outils est modélisé comme $x \to z_f(x) \to a_f(z_f(x))$, où :

   • Cognition ($z_f$) : La représentation interne du modèle de la nécessité d'un outil.
   • Exécution ($a_f$) : La décision réelle d'émettre des tokens déclenchant un outil.
     L'erreur de bout en bout est décomposée en la discordance entre la nécessité réelle et la cognition, et la discordance entre la cognition et l'exécution.

3. Interprétabilité Mécaniste par Sondage :
   Les auteurs utilisent un sondage linéaire sur les états cachés des LLM pour analyser les deux étapes :

   • Sonde de Cognition : Entraîne un classifieur linéaire ($w_c$) pour prédire l'étiquette de nécessité adaptative à partir des états cachés.
   • Sonde d'Action : Entraîne un classifieur linéaire ($w_a$) pour prédire le comportement réel d'appel d'outil.
   • Analyse Géométrique : La similarité cosinus entre $w_c$ et $w_a$ est calculée à travers les couches et les positions de tokens pour déterminer si la croyance interne et l'intention d'exécution sont alignées.

4. Traçage de la Trajectoire :
   Les échantillons sont tracés à travers le processus en deux étapes pour attribuer les erreurs. Un échantillon est catégorisé en fonction de l'endroit où l'erreur se produit : dans l'étape de cognition, dans l'étape d'exécution, ou dans les deux.

Configuration Expérimentale

• Modèles : Quatre LLM distincts ont été évalués : Qwen3-8B, Qwen3-4B, Llama-3.1-8B-Instruct et Llama-3.2-3B-Instruct.
• Ensembles de Données :
  • Arithmétique : 4 000 instances allant de l'addition simple à des opérations complexes multi-étapes impliquant le modulo et la priorité des opérateurs.
  • QA Factuelle : TruthfulQA (817 instances) conçue pour tester la fiabilité factuelle.
• Évaluation : Les modèles ont été testés avec accès aux outils (calculatrice pour l'arithmétique, API de recherche pour les QA). Les comportements d'appel d'outils ont été collectés en utilisant un décodage glouton.

Résultats Clés

1. Discordance Substantielle entre Nécessité et Action :
   En utilisant la définition adaptative au modèle, les auteurs ont trouvé des écarts significatifs entre le moment où les outils sont réellement nécessaires et le moment où les modèles les invoquent.

   • Arithmétique : Les taux de discordance variaient de 26,5 % à 54,0 %.
   • QA Factuelle : Les taux de discordance variaient de 30,8 % à 41,8 %.
     Les modes d'échec dominants variaient selon le modèle et le domaine ; certains modèles surutilisaient les outils (les appelant alors qu'ils étaient capables de répondre directement), tandis que d'autres les sous-utilisaient (échouant à appeler des outils alors qu'ils manquaient de connaissances internes).

2. Décodabilité Linéaire de la Cognition et de l'Action :

   • Cognition : Les représentations internes de la nécessité des outils sont décodables linéairement à partir des états cachés, particulièrement dans les couches intermédiaires à tardives. Cependant, la séparabilité dépend de la tâche, étant plus forte en arithmétique (où la difficulté corrèle avec la structure de surface) qu'en QA factuelle.
   • Action : La décision d'appeler un outil est également hautement décodable linéairement, couvrant souvent de vastes régions de couches et de positions de tokens.

3. Le Fossé d'Orthogonalité :
   Bien que les sondes de cognition et d'action soient individuellement efficaces, leurs vecteurs directeurs ($w_c$ et $w_a$) deviennent presque orthogonaux dans les couches tardives du token de requête final (le régime qui pilote la génération du token suivant). Cela indique que le signal interne reconnaissant le besoin d'un outil est géométriquement découplé du signal déclenchant l'appel à l'outil au moment critique de la décision.

4. Localisation de l'Échec (Le Fossé entre Savoir et Agir) :
   Le traçage de la trajectoire a révélé que la majorité des discordances de bout en bout proviennent de l'étape d'exécution (transition cognition $\to$ action), et non de l'étape de cognition.

   • La plupart des erreurs se produisent lorsque le modèle identifie correctement la nécessité d'un outil en interne (cognition correcte) mais échoue à traduire cela dans l'action syntaxique d'appeler l'outil.
   • Cette discordance persiste même lorsque la confiance interne du modèle dans son évaluation de la nécessité est élevée (proche de 0 ou 1), suggérant que le problème n'est pas l'incertitude mais un échec dans la traduction de la prise de conscience en action.

Importance et Contributions

L'article revendique les contributions suivantes :

• Redéfinition de la Nécessité des Outils : Il introduit une définition adaptative au modèle de la nécessité des outils fondée sur les performances empiriques, remettant en question la dépendance aux annotations statiques et agnostiques du modèle.
• Quantification de la Discordance Comportementale : Il démontre empiriquement des discordances substantielles (jusqu'à 54 %) entre la nécessité réelle des outils et les actions d'appel d'outils observées à travers plusieurs modèles et domaines.
• Insight Mécaniste : Par le sondage de représentations, il montre que bien que la nécessité des outils et l'intention d'exécution soient décodables linéairement, leurs représentations deviennent presque orthogonales dans le régime des couches tardives et du dernier token.
• Diagnostic du « Fossé entre Savoir et Agir » : Il identifie que le goulot d'étranglement principal dans l'utilisation d'outils par les LLM n'est pas la reconnaissance du moment où les outils sont nécessaires, mais la traduction de cette reconnaissance en action.

Les auteurs concluent que l'amélioration des agents LLM autonomes nécessite non seulement de renforcer la méta-cognition interne, mais spécifiquement de combler le « fossé entre savoir et agir » pour garantir que la conscience de soi se traduise de manière fiable par une exécution correcte.