💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

Ce papier démontre que le graphe de dépendances dirigé des trajectoires d'appels d'outils dans les agents LLM est décodable linéairement à partir des flux résiduels du modèle, révélant que le réseau représente activement une topologie d'exécution abstraite plutôt que de simplement suivre l'ordre positionnel ou les valeurs d'identifiants.

Auteurs originaux : Tianda Sun, Dimitar Kazakov

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianda Sun, Dimitar Kazakov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Lire le « Fantôme » d'un Plan

Imaginez un grand modèle de langage (LLM) comme un assistant très intelligent, mais légèrement oublieux. Lorsque vous demandez à cet assistant d'accomplir une tâche complexe — comme « Trouver un utilisateur, vérifier sa commande, puis échanger le produit » — il ne le fait pas en un seul bond géant. Il doit effectuer plusieurs étapes, en appelant différents outils au fil du chemin.

Le papier pose une question simple : Le modèle « sait-il » comment ces étapes sont connectées entre elles pendant qu'il réfléchit ?

Plus précisément, si l'Étape A fournit des informations dont l'Étape B a besoin, le cerveau interne du modèle (son « flux résiduel ») contient-il réellement une carte montrant cette connexion ? Ou le modèle se contente-t-il de deviner l'étape suivante en fonction de ce qu'il a dit précédemment ?

Les chercheurs ont découvert que oui, le modèle détient bien cette carte. Ils ont construit un petit « décodeur » simple capable de lire les pensées internes du modèle et de révéler le graphe de dépendances caché (la carte de qui a besoin de quoi de qui) avec une grande précision.

L'Analogie : Le Plan du Chantier de Construction

Imaginez le modèle comme un chantier de construction.

Les Outils : Le modèle utilise des outils comme « Obtenir l'Utilisateur » ou « Obtenir la Commande ».
La Trajectoire : La séquence d'actions que le modèle entreprend.
Le Graphe de Dépendances : C'est le plan. Il indique : « Vous ne pouvez pas couler le béton (Étape B) tant que vous n'avez pas le reçu de livraison du ciment (Étape A). »

Habituellement, nous ne voyons que le bâtiment fini (la réponse finale). Nous ne voyons pas le plan à l'intérieur de la tête des ouvriers. Ce papier est comparable à porter des lunettes à rayons X spéciales qui nous permettent de voir le plan flotter dans l'esprit des ouvriers pendant qu'ils travaillent.

Comment Ils Ont Fait (Le « Décodeur »)

Les chercheurs ont utilisé un modèle appelé Qwen3-32B. Ils l'ont observé résoudre des problèmes et ont enregistré son « flux résiduel » interne (un flux continu de données représentant son état d'esprit actuel).

Ils ont entraîné un outil très petit et simple (une « sonde ») pour examiner ce flux et répondre à une question binaire pour n'importe quelles deux étapes du processus :

« La sortie de l'Étape A alimente-t-elle l'entrée de l'Étape B ? »

Les Résultats :

Cela fonctionne : La sonde pouvait prédire ces connexions avec environ 87 % de précision.
Ce n'est pas un tour : Ils ont testé contre des devinettes aléatoires et des modèles simples (comme « l'Étape 2 suit toujours l'Étape 1 »). La sonde a bien mieux performé que ces méthodes, prouvant qu'elle lisait réellement la logique de la connexion, et non simplement l'ordre des événements.
C'est abstrait : Lorsqu'ils ont changé les nombres spécifiques dans les données (par exemple, changer un ID utilisateur de « 123 » à « 456 ») tout en conservant la même structure, la sonde a continué de fonctionner. Cela signifie que le modèle comprend la relation (A dépend de B), et non pas seulement les mots spécifiques.

Le « Fantôme » dans la Machine (Propagation)

L'une des découvertes les plus cool concerne la manière dont cette information voyage.

Imaginez que vous chuchotiez un secret au premier ouvrier (Étape A). Le papier montre que ce secret ne disparaît pas simplement une fois l'ouvrier terminé. Il traverse tout le chantier de construction, persistant dans l'« air » (le flux résiduel) jusqu'au dernier ouvrier (Étape Z).

Ils l'ont prouvé en « patchant » (échangeant) l'état interne du premier ouvrier avec un scénario différent. Même si le modèle n'a pas changé son comportement final (il a toujours construit la même maison), le « plan » à l'intérieur des ouvriers ultérieurs a changé pour s'adapter au nouveau scénario. Cela suggère que le modèle transporte activement le plan structurel vers l'avant, et ne se contente pas de réagir à l'invite immédiate.

Quand Cette Carte Disparaît-elle ?

Les chercheurs ont testé cela sur différents types de tâches pour voir si la carte est toujours présente. Ils ont trouvé un motif :

Chaînes Complexes (Multi-sauts) : Si la tâche nécessite une longue chaîne de dépendances (A $\to$ B $\to$ C $\to$ D), la carte est très claire et facile à lire.
Listes Simples : Si la tâche n'est qu'une liste d'étapes indépendantes (A, puis B, puis C, sans connexions), la carte disparaît.
L'Indice de l'« Ordre » : Si les étapes sont si simples que connaître simplement l'ordre vous dit tout (par exemple, « Faites d'abord A, puis B »), le modèle n'a pas besoin de construire une carte interne complexe. Le signal « supplémentaire » disparaît car la position seule suffit.

Ce Que Cela Signifie (et Ce Que Cela Ne Signifie Pas)

Ce que cela signifie :
Nous avons trouvé un nouveau moyen de regarder à l'intérieur des agents IA. Nous pouvons voir qu'ils ne devinent pas aveuglément le mot suivant ; ils maintiennent une carte structurée et abstraite de la manière dont leurs actions dépendent les unes des autres. Cette carte est linéaire (facile à lire) et traverse les couches du modèle.

Ce que cela NE signifie PAS (basé strictement sur ce papier) :

Cela ne signifie pas que nous pouvons maintenant facilement contrôler le modèle pour prendre de meilleures décisions (le papier indique explicitement que le patchage a changé la carte interne mais pas le comportement final).
Cela ne signifie pas que cela fonctionne sur chaque modèle d'IA individuel ou sur chaque petit modèle (ils n'ont testé que des modèles spécifiques et larges).
Cela ne signifie pas que nous pouvons utiliser cela pour corriger les « hallucinations » ou rendre le modèle plus sûr pour l'instant ; c'est un travail futur.

Résumé

Le papier est comparable à la découverte qu'un assistant de magicien ne se contente pas de mémoriser un script, mais détient réellement une carte mentale de la logique de tout l'astuce. En utilisant un décodeur simple, les chercheurs ont prouvé que cette carte existe, voyage à travers le cerveau du modèle, et est essentielle pour résoudre des problèmes complexes à plusieurs étapes.

Résumé Technique : La Structure de Dépendance des Appels d'Outils est Linéairement Décodable dans les Flux Résiduels des Agents LLM

Énoncé du Problème

Bien que l'interprétabilité mécanistique ait réussi à caractériser la manière dont les grands modèles de langage (LLM) représentent des structures statiques (par exemple, les arbres syntaxiques, les états de jeu, les connaissances factuelles), il reste à déterminer si les structures d'exécution dynamiques des agents utilisant des outils sont encodées dans les états internes du modèle. Plus précisément, lorsqu'un agent entremêle la génération avec des appels de fonctions externes, les sorties d'outils antérieurs fournissent souvent des arguments à des appels ultérieurs, formant un graphe orienté acyclique (DAG) de dépendances. Il est inconnu si ce graphe de dépendances d'exécution est explicitement représenté dans le flux résiduel de l'agent, si une telle représentation est causale, ou s'il s'agit d'une propriété générale des agents ou spécifique à certains benchmarks.

Méthodologie

Les auteurs enquêtent sur cette question en utilisant une approche de sondage structurel sur le modèle Qwen3-32B (et répliqué sur Llama-3.3-70B) dans le domaine du $\tau$ -bench retail.

Construction de l'Oracle : Pour les trajectoires contenant $\ge 2$ appels d'outils, les auteurs construisent un DAG d'appels d'outils « oracle ». Une arête $i \to j$ est définie si un sous-chaîne contiguë, sensible à la casse et normalisée pour les espaces blancs (longueur $\ge 4$ ) de la sortie de l'appel $i$ apparaît mot pour mot dans les arguments JSON sérialisés de l'appel $j$ . Cela définit une étiquette d'arête binaire pour le sondage.
Architecture du Sondage : Un sondage de régression logistique à faible capacité et régularisé L2 est entraîné pour prédire l'existence d'une arête $(i, j)$ étant donné la concaténation des vecteurs du flux résiduel provenant des tokens de limite terminaux des appels $i$ et $j$ . Les vecteurs sont moyennés sur un ensemble fixe de couches $\{0, 14, 28, 41, 50, 57, 64\}$ .
Protocole d'Évaluation :
- Validation Croisée : Une validation croisée Leave-One-Group-Out (LOGO) par trajectoire garantit qu'aucun token d'une trajectoire retenue n'entre dans son pli d'entraînement.
- Contrôles : L'étude emploie une batterie complète de contrôles :
  - Contrôle Hewitt–Liang à Étiquettes Aléatoires : Permutation des étiquettes d'arêtes pour écarter la mémorisation.
  - Baseline Positionnelle : Une baseline à 5 caractéristiques ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ) pour séparer l'encodage structurel de l'ordre simple des appels.
  - Plafond de Forme de Surface : Un décodeur basé sur le chevauchement de n-grammes et les noms d'outils pour garantir que le signal n'est pas purement textuel.
  - Contrôle d'Initialisation Aléatoire : Utilisation d'un modèle initialisé aléatoirement pour isoler les signaux attribuables à l'entraînement.
- Contrefactuels : Les auteurs effectuent une corruption de valeurs (échange d'identifiants dans les sorties) et une perturbation structurelle (réécriture des sorties vers des résultats vides) pour tester si le sondage suit la topologie abstraite ou des valeurs d'identifiants spécifiques.
- Patching d'Activations : Pour tester la causalité, les auteurs patchent le flux résiduel d'un appel source avec des caractéristiques d'une trajectoire « donneuse » et mesurent le déplacement de la lecture du sondage à une limite ultérieure non patchée.

Contributions et Résultats Clés

1. Décodabilité Linéaire du Graphe de Dépendances

Le graphe de dépendance des appels d'outils est linéairement décodable à partir du flux résiduel figé.

Performance : Le sondage multicouche atteint un AUROC de 0,869 sur les paires retenues.
Significativité : Cela surpasse significativement le contrôle Hewitt–Liang à étiquettes aléatoires (AUROC maximal 0,565, $p < 10^{-4}$ ) et la baseline positionnelle (AUROC 0,792). Le flux résiduel contribue à un écart d'AUROC conditionnel de +0,0775 par rapport à la baseline positionnelle, confirmant que le signal n'est pas simplement un proxy de l'ordre des appels.
Émergence : Le signal émerge nettement dès la Couche 14 (~22 % de profondeur) et sature autour de la Couche 41, correspondant aux motifs d'émergence sémantique au milieu de la pile.

2. Sensibilité à la Topologie vs Spécificité des Valeurs

Le sondage suit la topologie de dépendance abstraite plutôt que des valeurs d'identifiants spécifiques.

Corruption de Valeurs : L'échange des valeurs d'ID dans les sorties d'outils (tout en maintenant le plan fixe) ne résulte en aucun déplacement statistiquement significatif de la structure DAG décodée (Cohen's $d = 0,06$ ).
Perturbation Structurelle : La réécriture d'une réponse d'outil vers un résultat vide (forçant un changement de plan) provoque un grand déplacement de la structure décodée (Cohen's $d = 0,87$ ).
Réplication : Cette dissociation tient à travers les domaines, y compris ComplexFuncBench, et est reproduite en utilisant un oracle indépendant d'égalité de valeurs typées par schéma (sans correspondance de sous-chaîne), confirmant que le signal n'est pas un artefact de l'heuristique de sous-chaîne.

3. Propagation Représentationnelle

Le patching d'activations fournit des preuves que la représentation de dépendance se propage à travers le réseau plutôt que d'être une lecture passive.

Le patching du flux résiduel à un appel source déplace la prédiction du sondage à une limite strictement ultérieure non patchée (par exemple, à la Couche 57).
Crucialement, bien que la représentation se déplace, le choix d'outil réalisé par l'agent ne bouge pas (0 % de déplacement du comportement). Cela suggère que la représentation est porteuse pour l'état interne mais insuffisante pour le contrôle comportemental dans ce contexte.

4. Généralité Inter-domaine et Modulation

La contribution non positionnelle se généralise à travers les benchmarks interactifs multi-sauts mais s'atténue là où l'ordre des appels seul suffit.

Répliques Positives : Le signal est fort dans ToolHop (+0,161 de contribution) et ComplexFuncBench (+0,060 de contribution).
Arêtes Transitives : Le sondage décode les dépendances transitives (multi-sauts) encore plus fortement (AUROC 0,986) que les arêtes directes, le signal transite augmentant plus rapidement dans les couches précoces.
Atténuation : La contribution disparaît dans TaskBench (planification en un seul coup, contribution -0,02) et est intestable dans BFCL (utilisation d'outils directe uniquement), soutenant l'hypothèse que le signal existe là où l'ordre des appels est un proxy faible de la dépendance.

Signification et Revendications

Les auteurs revendiquent qu'il s'agit du premier sondage structurel du graphe de dépendance d'appels d'outils d'exécution d'un agent LLM.

Représentation vs Contrôle : Les revendications portent strictement sur la représentation. L'article démontre que le graphe de dépendance est lisible linéairement et propagé causalement dans le flux résiduel, mais déclare explicitement que le patching d'activations ne produit pas actuellement de contrôle comportemental (les choix d'outils de l'agent restent inchangés).
Nouvelle Classe Cible : Les résultats suggèrent que les structures d'exécution d'exécution (DAG d'appels d'outils) constituent une nouvelle classe de cibles d'interprétabilité mécanistique, distincte des décisions au niveau des tokens ou des traces de raisonnement statiques.
Modestie : Les auteurs sont modestes quant à la portée de la propagation, notant que la réplication causale inter-domaine et les interventions suffisantes sur le comportement restent un travail futur. Ils reconnaissent également que la définition de la dépendance repose sur la réutilisation de valeurs (correspondance de sous-chaîne ou de schéma), excluant les dépendances médiées purement par le flux de contrôle sans transfert de valeur.

En résumé, l'article établit que les agents LLM encodent la topologie abstraite de leurs graphes d'exécution d'appels d'outils dans leurs flux résiduels, une représentation distincte des priors positionnels, robuste aux changements de valeurs, et qui se propage à travers les couches du réseau.