Résumé technique : Diagnostic du biais intrinsèque de sur-appel chez les agents LLM

Énoncé du problème

Les agents de modèles de langage (LLM) ont évolué pour utiliser des outils externes (par exemple, moteurs de recherche, API), mais ils présentent un mode de défaillance systématique appelé sur-appel : la tendance à invoquer des outils même lorsque la demande de l'utilisateur manque d'informations nécessaires ou lorsqu'une réponse directe suffit.

L'évaluation sur le benchmark When2Call révèle une asymétrie constante à travers six modèles issus de trois familles (Qwen3.5, Gemma-3, Ministral-3). Bien que ces modèles atteignent une haute précision lorsqu'un appel d'outil est requis (Précision d'appel : 90 %–99 %), leur précision chute considérablement lorsque la bonne action est de ne pas appeler d'outil (Précision sans appel : 2 %–69 %). Cela se traduit par une précision globale comprise uniquement entre 55 % et 70 %. Ce biais dégrade l'expérience utilisateur (par exemple, hallucination d'appels d'outil pour des demandes sous-spécifiées) et gonfle les coûts API dans les systèmes déployés.

Méthodologie

Les auteurs proposent une investigation mécaniste du processus de prise de décision interne des agents LLM, allant au-delà de l'observation empirique pour atteindre une analyse causale.

1. Hypothèse de biais intrinsèque (IBH)

L'article postule que le sur-appel n'est pas simplement une fonction des niveaux d'activation, mais découle d'un décalage d'appel (CALL) indépendant de l'activation dans la cartographie de décision.

• Hypothèse : La décision d'appeler ou de ne pas appeler est déterminée par une marge d'activation signée ($m$) entre les directions de fonctionnalités « CALL » et « NO_CALL ». Cependant, la frontière de décision est décalée de telle sorte que, même à parité d'activation ($m=0$), le modèle favorise l'appel. Le modèle ne devient neutre dans sa décision que lorsque l'activation NO_CALL l'emporte significativement sur l'activation CALL.
• Formalisme : La probabilité de décision est modélisée comme $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$, où $\beta_0 > 0$ représente le décalage de biais intrinsèque.

2. Découverte de fonctionnalités via des autoencodeurs parcimonieux (SAE)

Pour tester l'IBH, les auteurs utilisent des autoencodeurs parcimonieux pour décomposer les activations du flux résiduel en fonctionnalités interprétables.

• Entraînement : Des SAE TopK sont entraînés sur les flux résiduels des modèles cibles selon un curriculum en deux étapes : d'abord sur un corpus large (OpenWebText2) pour apprendre la géométrie générale, puis sur le jeu de données When2Call pour s'adapter aux contextes d'utilisation d'outils.
• Bases de fonctionnalités : Deux ensembles de fonctionnalités alignés sur le comportement sont récupérés :
  • $\mathcal{C}$ : Fonctionnalités fortement associées aux décisions CALL observées.
  • $\mathcal{N}$ : Fonctionnalités fortement associées aux décisions NO_CALL observées.
• Validation : Des sondes linéaires entraînées sur une poignée de ces fonctionnalités (généralement $K \le 5$) prédisent la décision de passage avec une précision approchant la borne supérieure du flux résiduel brut, confirmant que ces fonctionnalités capturent le signal de passage essentiel.

3. Diagnostic et quantification

En utilisant les bases de fonctionnalités récupérées, les auteurs analysent la géométrie des activations :

• Vue conditionnée par la réponse : Les réponses NO_CALL se concentrent dans le demi-plan dominant NO_CALL, tandis que les réponses CALL s'étendent à travers la diagonale de parité vers des régions où les preuves NO_CALL sont comparables ou plus fortes.
• Vue conditionnée par l'entrée : Parmi les réponses CALL émises, les « faux appels » (erreurs de sur-appel) se situent plus près de la diagonale de parité que les « vrais appels », indiquant que le biais pousse les cas faibles au-delà de la frontière de décision.
• Estimation du décalage : Une régression logistique sur la marge d'activation signée confirme une frontière neutre négative ($m^* < 0$) pour tous les modèles, quantifiant le biais intrinsèque $\beta_0$.

4. Intervention causale : Pilotage adaptatif calibré sur la marge (AMCS)

Pour valider l'IBH de manière causale, les auteurs introduisent l'AMCS, une méthode de pilotage sous forme fermée.

• Mécanisme : L'AMCS calcule un vecteur de pilotage le long des directions du décodeur SAE de $\mathcal{C}$ et $\mathcal{N}$. Il applique un décalage anti-biais $\delta = -\beta_0 / \beta$ à la marge d'activation.
• Implémentation : Le décalage est réparti sur les fonctionnalités les mieux classées en fonction de leurs écarts d'activation. L'intervention est appliquée comme une simple addition de vecteurs au flux résiduel au moment de l'inférence, ne nécessitant aucun appel de modèle supplémentaire ni réglage itératif.

Résultats clés

Des expériences ont été menées sur six modèles ajustés par instruction (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B).

• Atténuation du sur-appel : L'annulation du décalage diagnostiqué via l'AMCS améliore significativement la Précision sans appel de 4 à 17 points de pourcentage sur cinq des six modèles.
• Préservation des appels valides : La méthode maintient la Précision d'appel avec une baisse négligeable (inférieure à 5 points) sur cinq modèles, démontrant que l'intervention corrige le biais sans supprimer l'utilisation nécessaire des outils.
• Précision globale : L'AMCS améliore la précision globale jusqu'à 5 points sur plusieurs modèles (par exemple, +5,10 % sur Qwen3.5-9B).
• Comparaison avec les références :
  • Ingénierie de prompt : Bien qu'efficace pour augmenter la précision sans appel, elle réduit drastiquement la précision d'appel (par exemple, -56 % sur Ministral-3-8B), entraînant une perte nette de performance globale.
  • Pilotage unilatéral : Les méthodes qui suppriment uniquement les fonctionnalités CALL ou qui promeuvent uniquement les fonctionnalités NO_CALL échouent à atteindre l'équilibre fourni par l'AMCS, produisant des gains plus faibles en précision globale.
• Limitation de Gemma-3 : Les modèles Gemma-3 ont montré peu de séparation entre les vrais et les faux appels le long des axes SAE, résultant en un levier minimal pour les interventions basées sur la marge. Ceux-ci ont été traités comme des cas de référence plutôt que comme des preuves principales.

Importance et affirmations

L'article prétend recadrer le sur-appel d'un phénomène empirique en un objet mécaniste qui peut être mesuré, modélisé et ajusté causalement.

1. Insight mécaniste : Le travail démontre que le passage d'utilisation d'outils est régi par un biais intrinsèque indépendant de l'activation plutôt que par la simple force relative des activations de fonctionnalités.
2. Correction causale : En identifiant et en annulant le terme de décalage spécifique ($\beta_0$) via un pilotage basé sur SAE, les auteurs fournissent une validation causale de l'Hypothèse de biais intrinsèque.
3. Contrôlabilité : Le décalage diagnostiqué agit comme un « bouton » pour l'effort d'appel. L'AMCS sert de première étape vers une interface d'« effort d'appel », permettant aux systèmes d'ajuster l'équilibre entre l'invoquation enthousiaste d'outils et la vérification par l'utilisateur sans réentraîner le modèle.
4. Portée : L'étude se concentre sur la correction au moment de l'inférence pour les modèles déployés. Elle ne remonte pas aux origines du biais au moment de l'entraînement, ni ne prétend résoudre les problèmes de planification d'agents à long horizon au-delà de l'unité de décision spécifique appel-vers-vérification.

Le code et les données sont disponibles à l'adresse https://github.com/SKURA502/agent-sae/.