💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

Dit artikel toont aan dat het gerichte afhankelijkheidsgrafiek van tool-aanroeptrajecten in LLM-agenten lineair decodeerbaar is uit de residustromen van het model, wat aantoont dat het netwerk actief een abstracte uitvoeringstopologie representeert in plaats van louter positievolgorde of identificatiewaarden bij te houden.

Oorspronkelijke auteurs: Tianda Sun, Dimitar Kazakov

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianda Sun, Dimitar Kazakov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Spook" van een Plan Lezen

Stel je een groot taalmodel (LLM) voor als een zeer slimme, maar iets vergeetachtige assistent. Wanneer je deze assistent vraagt een complexe taak uit te voeren – zoals "Vind een gebruiker, controleer hun bestelling en wissel vervolgens het product in" – doet hij dit niet in één grote sprong. Hij moet meerdere stappen zetten en onderweg verschillende tools aanroepen.

Het artikel stelt een simpele vraag: Weet het model "hoe" deze stappen met elkaar verbonden zijn terwijl het denkt?

Specifiek: als Stap A informatie geeft die Stap B nodig heeft, bevat het interne brein van het model (zijn "residustroom") dan daadwerkelijk een kaart die die verbinding toont? Of raadt het model de volgende stap gewoon in op basis van wat het laatst zei?

De onderzoekers ontdekten dat ja, het model deze kaart wel bevat. Ze bouwden een klein, simpel "decoder" dat de interne gedachten van het model kan lezen en het verborgen afhankelijkheidsdiagram (de kaart van wie wat van wie nodig heeft) met hoge nauwkeurigheid kan onthullen.

De Analogie: Het Blauwdruk van de Bouwplaats

Stel je het model voor als een bouwplaats.

De Tools: Het model gebruikt tools zoals "Gebruiker Ophalen" of "Bestelling Ophalen".
De Traject: De reeks acties die het model onderneemt.
Het Afhankelijkheidsdiagram: Dit is het blauwdruk. Het zegt: "Je kunt het beton niet gieten (Stap B) voordat je de ontvangstbewijs van de cementlevering hebt (Stap A)."

Meestal zien we alleen het afgewerkte gebouw (het uiteindelijke antwoord). We zien het blauwdruk niet in de hoofden van de werknemers. Dit artikel is als het dragen van speciale X-Bril die ons het blauwdruk laat zien dat in de hoofden van de werknemers zweeft terwijl ze werken.

Hoe Ze Het Deden (De "Decoder")

De onderzoekers gebruikten een model genaamd Qwen3-32B. Ze keken toe hoe het problemen oploste en namen zijn interne "residustroom" op (een continue stroom van data die zijn huidige gemoedstoestand vertegenwoordigt).

Ze trainden een zeer klein, simpel hulpmiddel (een "sonde") om naar deze stroom te kijken en een binair antwoord te geven voor twee willekeurige stappen in het proces:

"Voedt de output van Stap A de input van Stap B?"

De Resultaten:

Het werkt: De sonde kon deze verbindingen voorspellen met ongeveer 87% nauwkeurigheid.
Het is geen truc: Ze testten het tegen willekeurige gissingen en simpele patronen (zoals "Stap 2 volgt altijd op Stap 1"). De sonde deed het veel beter dan die, wat bewijst dat het daadwerkelijk de logica van de verbinding las, en niet alleen de volgorde van gebeurtenissen.
Het is abstract: Toen ze de specifieke cijfers in de data veranderden (bijvoorbeeld het wijzigen van een gebruikers-ID van "123" naar "456"), maar de structuur hetzelfde hielden, werkte de sonde nog steeds. Dit betekent dat het model de relatie begrijpt (A hangt af van B), en niet alleen de specifieke woorden.

Het "Spook" in de Machine (Propagatie)

Een van de coolste bevindingen gaat over hoe deze informatie reist.

Stel je voor dat je een geheim fluistert naar de eerste werknemer (Stap A). Het artikel toont aan dat dit geheim niet gewoon verdwijnt nadat de werknemer klaar is. Het reist door de hele bouwplaats, blijft hangen in de "lucht" (de residustroom) tot bij de laatste werknemer (Stap Z).

Ze bewezen dit door de interne staat van de eerste werknemer te "patchen" (vervangen) met een ander scenario. Hoewel het model zijn uiteindelijke gedrag niet veranderde (het bouwde nog steeds hetzelfde huis), veranderde het "blauwdruk" binnen de latere werknemers om te passen bij het nieuwe scenario. Dit suggereert dat het model actief het structurele plan vooruit draagt, en niet alleen reageert op de directe prompt.

Wanneer Verdwijnt Deze Kaart?

De onderzoekers testten dit op verschillende soorten taken om te zien of de kaart altijd aanwezig is. Ze vonden een patroon:

Complexe Keten (Multi-hop): Als de taak een lange keten van afhankelijkheden vereist (A $\to$ B $\to$ C $\to$ D), is de kaart zeer duidelijk en makkelijk te lezen.
Eenvoudige Lijsten: Als de taak gewoon een lijst van onafhankelijke stappen is (A, dan B, dan C, zonder verbindingen), verdwijnt de kaart.
De "Volgorde" Clue: Als de stappen zo simpel zijn dat het weten van de volgorde je alles vertelt (bijvoorbeeld "Eerst doe je A, dan B"), hoeft het model geen complex intern kaartje te bouwen. Het "extra" signaal verdwijnt omdat de positie alleen al voldoende is.

Wat Dit Betekent (en Wat Niet)

Wat het betekent:
We hebben een nieuwe manier gevonden om naar binnen te kijken in AI-agenten. We kunnen zien dat ze niet blindelings het volgende woord raden; ze handhaven een gestructureerde, abstracte kaart van hoe hun acties van elkaar afhankelijk zijn. Deze kaart is lineair (makkelijk te lezen) en reist door de lagen van het model.

Wat het NIET betekent (gebaseerd strikt op dit artikel):

Het betekent niet dat we het model nu makkelijk kunnen controleren om betere beslissingen te nemen (het artikel zegt expliciet dat het patchen de interne kaart veranderde, maar niet het uiteindelijke gedrag).
Het betekent niet dat dit werkt op elk enkel AI-model of elk klein model (ze testten alleen specifieke grote modellen).
Het betekent niet dat we dit kunnen gebruiken om "hallucinaties" te fixen of het model veiliger te maken; dat is toekomstig werk.

Samenvatting

Het artikel is als het ontdekken dat de assistent van een goochelaar niet alleen een script uit het hoofd leert, maar daadwerkelijk een mentale kaart van de logica van de hele truc vasthoudt. Door een simpele decoder te gebruiken, bewezen de onderzoekers dat deze kaart bestaat, door het brein van het model reist, en essentieel is voor het oplossen van complexe, meerstapsproblemen.

Technische Samenvatting: Tool-Call Dependency Structuur is Lineair Decodeerbaar in de Residuele Stroom van LLM Agenten

Probleemstelling

Hoewel mechanistische interpretabiliteit succesvol heeft beschreven hoe Large Language Models (LLM's) statische structuren representeren (zoals syntactische bomen, bordtoestanden en feitelijke kennis), is het onduidelijk of de dynamische uitvoeringsstructuren van tool-gebruikende agenten zijn gecodeerd in de interne toestanden van het model. Specifiek, wanneer een agent generatie afwisselt met externe functieaanroepen, leveren eerdere tool-outputs vaak argumenten voor latere aanroepen, waardoor een gericht acyclisch graaf (DAG) van afhankelijkheden ontstaat. Het is onbekend of dit runtime-afhankelijkheidsgraaf expliciet wordt weergegeven in de residuele stroom van de agent, of dat zo'n representatie causaal is, of dat het een algemeen kenmerk is van agenten of specifiek voor bepaalde benchmarks.

Methodologie

De auteurs onderzoeken deze vraag met een structurele probing-benadering op het Qwen3-32B-model (en gerepliceerd op Llama-3.3-70B) binnen het $\tau$ -bench retail-domein.

Orakelconstructie: Voor trajecten met $\ge 2$ tool-aanroepen construeren de auteurs een "orakel" tool-call DAG. Een rand $i \to j$ wordt gedefinieerd als een aaneengesloten, hoofdlettergevoelige, whitespace-genormaliseerde substring (lengte $\ge 4$ ) van de output van aanroep $i$ letterlijk voorkomt in de geserialiseerde JSON-argumenten van aanroep $j$ . Dit definieert een binaire randlabel voor de probe.
Probe-architectuur: Een lage-capaciteit, L2-geregulariseerde logistische regressie-probe wordt getraind om het bestaan van een rand $(i, j)$ te voorspellen op basis van de concatenatie van residuele stroomvectoren van de afsluitende grenstokens van aanroepen $i$ en $j$ . De vectoren worden gemiddeld gepooled over een vaste set lagen $\{0, 14, 28, 41, 50, 57, 64\}$ .
Evaluatieprotocol:
- Cross-validatie: Per-traject Leave-One-Group-Out (LOGO) cross-validatie zorgt ervoor dat geen enkel token uit een vastgehouden traject zijn trainingsfold binnenkomt.
- Controles: De studie hanteert een uitgebreide reeks controles:
  - Hewitt–Liang Random-Label Controle: Labels van randen permuteren om memorisatie uit te sluiten.
  - Positieve Baseline: Een 5-kenmerken-baseline ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ) om structurele codering te scheiden van eenvoudige aanroepvolgorde.
  - Oppervlaktevorm-Ceiling: Een decoder gebaseerd op n-gram-overlap en tool-namen om ervoor te zorgen dat het signaal niet louter tekstueel is.
  - Random-Init Controle: Een willekeurig geïnitieerd model gebruiken om aan training toe te schrijven signalen te isoleren.
- Contrastfactoren: De auteurs voeren waardecorruptie (ID's in outputs verwisselen) en structurele perturbatie (outputs herschrijven naar lege resultaten) uit om te testen of de probe abstracte topologie of specifieke identificatiewaarden volgt.
- Activeringspatching: Om causaliteit te testen, patchen de auteurs de residuele stroom van een bron-aanroep met kenmerken uit een "donor"-traject en meten ze de verschuiving in de uitlezing van de probe op een latere, niet-gepatchte grens.

Belangrijkste Bijdragen en Resultaten

1. Lineaire Decodeerbaarheid van het Afhankelijkheidsgraaf

Het tool-call afhankelijkheidsgraaf is lineair decodeerbaar vanuit de bevroren residuele stroom.

Prestatie: De meerlagige probe bereikt een AUROC van 0,869 op vastgehouden paren.
Betekenis: Dit presteert significant beter dan de Hewitt–Liang random-label controle (max AUROC 0,565, $p < 10^{-4}$ ) en de positieve baseline (AUROC 0,792). De residuele stroom draagt bij aan een conditionele AUROC-kloof van +0,0775 ten opzichte van de positieve baseline, wat bevestigt dat het signaal niet louter een proxy is voor aanroepvolgorde.
Ontstaan: Het signaal scherp ontstaat bij Laag 14 (~22% diepte) en verzadigt rond Laag 41, wat overeenkomt met patronen van mid-stack semantisch ontstaan.

2. Topologiegevoeligheid versus Waarde-specifiteit

De probe volgt abstracte afhankelijkheidstopologie in plaats van specifieke identificatiewaarden.

Waardecorruptie: Het verwisselen van ID-waarden in tool-outputs (terwijl het plan vast blijft) resulteert in geen statistisch significante verschuiving in de gedecodeerde DAG-structuur (Cohen's $d = 0,06$ ).
Structurele Perturbatie: Het herschrijven van een tool-antwoord naar een leeg resultaat (wat een planwijziging forceert) veroorzaakt een grote verschuiving in de gedecodeerde structuur (Cohen's $d = 0,87$ ).
Replicatie: Deze dissociatie geldt over domeinen heen, inclusief ComplexFuncBench, en wordt gereproduceerd met een onafhankelijk, schema-getypeerd waarde-gelijkheid-orakel (geen substring-matching), wat bevestigt dat het signaal geen artefact is van de substring-heuristiek.

3. Representatieverspreiding

Activeringspatching levert bewijs dat de afhankelijkheidsrepresentatie verspreidt door het netwerk in plaats van een passieve uitlezing te zijn.

Patchen van de residuele stroom bij een bron-aanroep verschuift de voorspelling van de probe op een strikt latere, niet-gepatchte grens (bijvoorbeeld bij Laag 57).
Cruciaal, terwijl de representatie verschuift, verandert de gerealiseerde tool-keuze van de agent niet (0% verschuiving in gedrag). Dit suggereert dat de representatie draagkrachtig is voor de interne staat, maar niet voldoende is voor gedragscontrole in deze context.

4. Cross-domein Generalisatie en Modulatie

De niet-positieve bijdrage generaliseert over interactieve multi-hop benchmarks, maar neemt af waar aanroepvolgorde alleen volstaat.

Positieve Replicaties: Het signaal is sterk in ToolHop (+0,161 bijdrage) en ComplexFuncBench (+0,060 bijdrage).
Transitieve Randen: De probe decodeert transitieve (multi-hop) afhankelijkheden zelfs sterker (AUROC 0,986) dan directe randen, waarbij het transitieve signaal sneller stijgt in vroege lagen.
Afzwakking: De bijdrage verdwijnt in TaskBench (single-shot planning, bijdrage -0,02) en is niet testbaar in BFCL (direct-only tool-gebruik), wat de hypothese ondersteunt dat het signaal bestaat waar aanroepvolgorde een zwakke proxy is voor afhankelijkheid.

Betekenis en Claims

De auteurs claimen dat dit de eerste structurele probe is van het runtime tool-call afhankelijkheidsgraaf van een LLM-agent.

Representatie versus Controle: De claims gaan strikt over representatie. Het artikel toont aan dat het afhankelijkheidsgraaf lineair leesbaar is en causaal wordt voortgeplant binnen de residuele stroom, maar stelt expliciet dat activeringspatching momenteel geen gedragscontrole oplevert (de tool-keuzes van de agent blijven onveranderd).
Nieuwe Doelklasse: De resultaten suggereren dat runtime-uitvoeringsstructuren (DAG's van tool-aanroepen) een nieuwe klasse van mechanistische interpretabiliteitsdoelen vormen, onderscheiden van token-niveau beslissingen of statische redeneersporen.
Bescheidenheid: De auteurs zijn bescheiden over de reikwijdte van verspreiding, en merken op dat cross-domein causale replicatie en gedragsvoldoende interventies toekomstig werk blijven. Ze erkennen ook dat de definitie van afhankelijkheid rust op waarde-hergebruik (substring- of schema-matching), en afhankelijkheden uitsluit die puur door controlevloei worden bemiddeld zonder waarde-overdracht.

Kortom, het artikel stelt vast dat LLM-agenten de abstracte topologie van hun tool-call uitvoeringsgrafen coderen in hun residuele stromen, een representatie die onderscheiden is van positieve priors, robuust is tegen waardeveranderingen, en zich verspreidt door de netwerklagen.