💻 computer science

Tunable Tool-Call Rates in LLM Agents via Representation Steering

Cet article démontre que les taux d'appel d'outils dans les agents LLM peuvent être contrôlés avec précision au moment de l'inférence sans réentraînement en appliquant une direction de pilotage linéaire unique, sans entraînement, extraite du flux résiduel du modèle, laquelle ajuste de manière monotone la propension à l'appel pour optimiser le compromis précision-coût à travers diverses architectures et types d'outils.

Auteurs originaux : Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Publié 2026-08-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les grands modèles de langage sont de puissants moteurs de texte, capables de répondre à des questions, d'écrire des histoires et de résoudre des problèmes. Pourtant, ces systèmes opèrent avec une limite fondamentale : ils dépendent entièrement des informations stockées dans leur mémoire interne. Lorsqu'une question nécessite des faits trop obscurs, trop récents ou trop complexes pour être mémorisés, le modèle devine souvent avec une confiance dangereuse, produisant des réponses qui semblent plausibles mais qui sont entièrement fausses. Pour corriger cela, les développeurs ont appris à ces modèles à utiliser des outils externes, tels que des moteurs de recherche Web ou des calculatrices, pour rechercher des informations avant de répondre. Cependant, apprendre à un modèle quand s'arrêter pour solliciter un outil est étonnamment difficile. Si le modèle appelle un outil trop souvent, il gaspille du temps et de l'argent, et risque de déclencher des actions indésirables. S'il appelle un outil trop rarement, il manque l'occasion de trouver la bonne réponse et reste sûrement dans l'erreur.

Les chercheurs cherchent depuis longtemps des moyens de rendre ces décisions plus fiables, généralement en réentraînant le modèle avec de nouveaux exemples ou en réécrivant soigneusement les instructions qui lui sont données. Ces méthodes sont coûteuses et rigides ; une fois qu'un modèle est entraîné ou orienté d'une certaine manière, modifier son comportement nécessite de recommencer tout le processus. Une nouvelle étude de chercheurs de l'UC Santa Cruz et de l'UC Berkeley suggère une approche différente. Ils ont découvert que la décision d'utiliser un outil n'est pas un processus complexe et caché qui nécessite un réentraînement pour être modifié. Au contraire, elle est contrôlée par un signal unique et simple au sein des rouages internes du modèle, qui peut être ajusté en temps réel, comme en tournant un cadran, sans modifier l'entraînement ou les instructions du modèle.

Les chercheurs ont commencé par observer comment un modèle de langage se comporte lorsqu'on lui présente une liste d'outils disponibles, tels qu'un moteur de recherche, une calculatrice et un interprète de code. Ils ont remarqué qu'avant que le modèle ne formule ou n'écrive une réponse, il génère un signal interne spécifique qui indique s'il a l'intention d'utiliser un outil ou non. En comparant l'état interne du modèle lorsqu'il décide d'utiliser un outil par rapport à lorsqu'il décide de répondre à partir de sa mémoire, l'équipe a identifié une direction spécifique dans l'espace mathématique du modèle qui représente « l'élan » d'appeler un outil. Cette direction n'est pas liée à un outil spécifique comme une calculatrice ou un moteur de recherche ; il s'agit plutôt d'un signal général qui signifie simplement « utiliser un outil ».

Pour tester cette découverte, les chercheurs n'ont pas réentraîné le modèle ni modifié ses instructions (prompts). Au lieu de cela, ils ont pris cette direction identifiée et l'ont ajoutée au traitement interne du modèle pendant la génération d'une réponse. En ajoutant une petite quantité de ce signal, ils pouvaient encourager le modèle à utiliser les outils plus souvent. En le soustrayant, ils pouvaient supprimer totalement l'élan d'utiliser des outils. Ils ont constaté que cet ajustement fonctionnait avec une précision remarquable. À mesure qu'ils augmentaient la force du signal, le taux d'appel des outils par le modèle augmentait de manière fluide, passant de presque zéro à presque cent pour cent. Crucialement, le modèle ne s'est pas mis à appeler des outils de manière aléatoire. Lorsque les chercheurs ont poussé le modèle à appeler des outils plus souvent, celui-ci visait spécifiquement les questions auxquelles il ne pouvait pas répondre seul, telles que des faits historiques obscurs ou des calculs complexes, tout en ignorant les questions dont il connaissait déjà la réponse.

L'étude a également révélé que ce mécanisme de contrôle est hautement adaptable. Les chercheurs ont extrait le signal d'« utilisation d'outil » d'une configuration contenant trois outils spécifiques, puis l'ont appliqué à un ensemble d'outils complètement différent, incluant des prévisions météorologiques, des recherches boursières et l'envoi d'e-mails. Le même signal a réussi à induire le modèle à utiliser ces nouveaux outils avec la même efficacité que s'il avait été entraîné spécifiquement pour eux. De plus, cette méthode a fonctionné sur une grande variété d'architectures de modèles différents, des modèles plus petits et standards aux systèmes massifs et complexes utilisés dans l'industrie. Dans chaque cas, le signal unique a permis aux chercheurs de moduler le comportement d'appel d'outils vers le haut ou vers le bas sans briser la capacité du modèle à former des phrases correctes ou à sélectionner l'outil approprié une fois l'appel effectué.

Lorsque les chercheurs ont testé cette méthode dans un environnement réel où le modèle pouvait effectivement effectuer des recherches sur le Web, les résultats ont été frappants. Sur un ensemble de questions factuelles difficiles, le modèle non ajusté a répondu correctement seulement environ 29 % du temps, devinant souvent lorsqu'il aurait dû effectuer une recherche. En appliquant le signal de pilotage pour encourager l'utilisation d'outils, la précision a bondi à 56 %, doublant presque la performance du modèle. Cette amélioration s'est accompagnée d'un coût gérable, car le modèle effectuait environ un appel de recherche par question. Les chercheurs ont pu tracer un chemin clair entre le coût de l'utilisation des outils et la précision des réponses, montrant que les opérateurs pouvaient choisir un équilibre spécifique adapté à leurs besoins.

Ce travail remet en question l'idée selon laquelle le contrôle du comportement d'une IA nécessite un réentraînement massif ou une ingénierie de prompt complexe. Il démontre qu'un processus de prise de décision critique — savoir quand solliciter une aide externe — est encodé dans une direction simple et linéaire au sein de l'état interne du modèle. En trouvant et en ajustant cette direction, les chercheurs peuvent rendre les agents d'IA plus fiables et efficaces sans changer leur entraînement fondamental. La méthode offre un moyen léger de régler le coût et la précision des systèmes d'IA, garantissant qu'ils n'utilisent leurs outils que lorsqu'ils sont nécessaires et évitent les pièges de la dépendance excessive ou de la supposition dangereuse. Bien que la technique ne corrige pas les erreurs dans l'exécution d'un outil, elle fournit un nouveau levier puissant pour gérer le choix le plus basique et le plus coûteux qu'un agent d'IA doit faire : agir de lui-même ou chercher de l'aide.

Résumé Technique : Taux d'appel d'outils réglables dans les agents LLM via le pilotage de la représentation

Énoncé du Problème

Les agents basés sur les grands modèles de langage (LLM) sont confrontés à un arbitrage critique lorsqu'il s'agit de décider s'ils doivent invoquer des outils externes. Les décisions incorrectes sont coûteuses :

Sous-utilisation : Les agents ne parviennent pas à appeler les outils lorsqu'ils sont nécessaires, ce qui conduit à des réponses confiantes mais erronées sur des questions nécessitant des connaissances externes (ex. : faits de longue traîne).
Surutilisation : Les agents appellent inutilement des outils (ex. : pour des calculs arithmétiques simples), ce qui engendre de la latence, des coûts financiers et des effets secondaires potentiellement irréversibles (ex. : envoi d'e-mails).

Les stratégies d'atténuation existantes, telles que le fine-tuning ou l'ingénierie de prompts, sont coûteuses en calcul et difficiles à modifier dynamiquement au moment de l'inférence. De plus, bien que des travaux antérieurs aient montré que le quel outil sélectionner peut être représenté linéairement, il reste incertain si la décision binaire de savoir si un outil doit être appelé du tout possède une représentation interne également lisible et pilotable.

Méthodologie

Les auteurs proposent une méthode d'intervention sans entraînement, basée sur le pilotage de la représentation (representation steering). Le pipeline se compose de trois composants principaux :

1. Proxy de Propension

Au lieu de s'appuyer sur une génération complète, la méthode extrait un signal de « propension à l'usage d'outils » à partir d'une seule passe directe (forward pass). Dans un environnement multi-outils, le format d'appel d'outil du modèle commence par un jeton spécial ( $t^\star$ , ex. : <tool_call>) partagé par tous les outils disponibles. Le score de propension $s(q)$ pour une requête $q$ est défini comme la log-probabilité d'émettre ce jeton à la première position de génération :
$s(q) = \log p_\theta(t^\star | x(q))$
Cette métrique sert de signal de classement fidèle pour l'usage réel des outils sans nécessiter de génération effective.

2. Extraction de Direction (Différence de Moyennes)

En utilisant un environnement multi-outils (prompt système neutre, liste d'outils disponibles), les auteurs :

Classent les requêtes par $s(q)$ .
Forment un ensemble de haute propension ( $H$ ) et un ensemble de faible propension ( $L$ ).
Calculent le vecteur de pilotage $v_\ell$ à chaque couche $\ell$ du flux résiduel comme la différence de moyennes entre les deux ensembles :
$v_\ell = \frac{1}{|H|} \sum_{q \in H} h_\ell(q) - \frac{1}{|L|} \sum_{q \in L} h_\ell(q)$
Ce vecteur capture un signal général de « propension à l'appel » plutôt qu'un signal spécifique à un outil, car l'ensemble à haute propension contient un mélange de types de questions.

3. Pilotage au Moment de l'Inférence

Lors de l'inférence, le vecteur extrait est ajouté au flux résiduel à une couche de décodeur $\ell$ spécifique :
$h'_\ell = h_\ell + \alpha v_\ell$
où $\alpha$ est un scalaire de coefficient de pilotage.

$\alpha > 0$ : Encourage les appels d'outils.
$\alpha < 0$ : Supprime les appels d'outils.
$\alpha = 0$ : Restitue le comportement non modifié du modèle.

Les auteurs testent également des interventions de projection (écrêtage et ablation) pour vérifier que la projection sur cette direction contrôle causalement la décision.

Contributions Clés

Identification d'une Direction de Contrôle Linéaire : Le papier identifie une direction linéaire unique dans le flux résiduel qui contrôle la décision binaire de savoir si un outil doit être appelé. Cela permet un contrôle continu au moment de l'inférence sans réentraînement ni modification de prompt.
Sélectivité de la Connaissance et Généralité de l'Outil :
- Sélectivité de la Connaissance : Les appels induits se concentrent sur les questions que le modèle ne peut pas répondre via sa connaissance paramétrique (ex. : entités de faible popularité), plutôt que sur les questions qu'il connaît déjà.
- Généralité de l'Outil : Une direction extraite d'un harnais multi-outils pilote efficacement des outils non présents dans l'ensemble d'extraction (ex. : traduction, météo, SQL) avec une force comparable aux vecteurs extraits spécifiquement pour ces outils.
Désenchevêtrement des Décisions : La direction de pilotage contrôle le fait d'appeler un outil sans altérer substantiellement le quel outil est sélectionné. La distribution de routage entre les outils reste dépendante du modèle et est largement préservée.
Frontière Pareto Coût-Précision : Avec l'exécution en direct des outils, la variation de la force de pilotage trace une frontière de Pareto lisse, permettant aux opérateurs de régler l'arbitrage entre le coût (nombre d'appels) et la précision.

Résultats Expérimentaux

La méthode a été évaluée sur cinq modèles (variantes de Qwen3, Gemma-4, gpt-oss) couvrant des architectures denses, de type Mixture-of-Experts (MoE) et multimodales, en utilisant des jeux de données comme PopQA (QA en domaine ouvert), GSM8K (mathématiques) et BIG-Bench Hard (manipulation de chaînes/dates).

Contrôle Monotone : Faire varier $\alpha$ de $-2 $à$ +3$ déplace le taux d'appel d'outils de manière monotone de près de 0 % à plus de 90 % (ou 100 % pour certains modèles) à travers différents environnements d'outils (recherche, calculateur, Python).
Amélioration de la Précision : Sur le jeu de données PopQA avec recherche web en direct, le pilotage a augmenté la précision de la QA en domaine ouvert de 0,29 (baseline) à 0,56 avec environ 1,1 recherche par question.
Généralisation Inter-Modèles : La même procédure d'extraction et de pilotage a fonctionné sur tous les modèles testés, quel que soit leur tendance initiale à sous-utiliser ou surutiliser les outils.
Spécificité des Couches : L'effet de pilotage est le plus fort et le plus monotone dans une bande de couches intermédiaires à tardives du décodeur (ex. : couches 21–24 pour Qwen3-4B). Les couches précoces sont inertes et les couches très tardives montrent un comportement erratique.
Interventions de Projection : L'écrêtage de la projection du flux résiduel sur le vecteur de pilotage augmentait également de manière monotone l'usage des outils, confirmant le lien causal, bien que le pilotage additif offre une plage de contrôle plus large.

Signification et Revendications

Le papier affirme fournir un mécanisme léger et sans entraînement pour contrôler le comportement des agents, répondant à la nature de « boîte noire » des décisions d'utilisation d'outils. En démontant que la décision d'appeler un outil est encodée dans une direction linéaire pilotable unique, les auteurs montrent que :

Les agents peuvent être ajustés pour éviter des appels coûteux et inutiles ou pour récupérer des informations manquantes sans réentraînement.
Ce contrôle est robuste à travers diverses architectures de modèles et ensembles d'outils.
La méthode permet l'optimisation dynamique de l'arbitrage coût-précision dans les déploiements réels.

Les auteurs notent des limites : la méthode contrôle la décision d'appeler, non la qualité de l'exécution ; pour les modèles privilégiant le raisonnement, l'espace de raisonnement doit être contourné pour accéder à la couche de décision ; et un pilotage positif excessif peut corrompre le format d'appel d'outil. Néanmoins, ce travail établit un nouveau paradigme pour le contrôle au moment de l'inférence des comportements agentiques.