💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

Dieser Artikel zeigt, dass der gerichtete Abhängigkeitsgraph von Tool-Aufruf-Trajektorien in LLM-Agenten linear aus den Residualströmen des Modells dekodierbar ist, was offenbart, dass das Netzwerk eine abstrakte Ausführungstopologie aktiv repräsentiert und nicht lediglich eine Positionsreihenfolge oder Identifikatorwerte verfolgt.

Ursprüngliche Autoren: Tianda Sun, Dimitar Kazakov

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianda Sun, Dimitar Kazakov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Geist" eines Plans lesen

Stellen Sie sich ein großes Sprachmodell (LLM) als einen sehr klugen, aber etwas vergesslichen Assistenten vor. Wenn Sie diesen Assistenten bitten, eine komplexe Aufgabe zu erledigen – wie etwa „Einen Benutzer finden, seine Bestellung prüfen und dann das Produkt umtauschen" –, führt er dies nicht in einem einzigen riesigen Sprung aus. Er muss mehrere Schritte unternehmen und dabei verschiedene Werkzeuge aufrufen.

Das Papier stellt eine einfache Frage: Weiß das Modell, wie diese Schritte während des Denkens miteinander verbunden sind?

Spezifisch: Wenn Schritt A Informationen liefert, die Schritt B benötigt, enthält das innere Gehirn des Modells (sein „Residual-Stream") tatsächlich eine Karte, die diese Verbindung zeigt? Oder errät das Modell den nächsten Schritt einfach basierend darauf, was es zuletzt gesagt hat?

Die Forscher stellten fest, dass ja, das Modell diese Karte tatsächlich besitzt. Sie entwickelten einen winzigen, einfachen „Decoder", der die inneren Gedanken des Modells lesen und das verborgene Abhängigkeitsgraph (die Karte, wer was von wem benötigt) mit hoher Genauigkeit offenbaren kann.

Die Analogie: Der Bauplan einer Baustelle

Stellen Sie sich das Modell als eine Baustelle vor.

Die Werkzeuge: Das Modell verwendet Werkzeuge wie „Benutzer abrufen" oder „Bestellung abrufen".
Die Trajektorie: Die Abfolge der Aktionen, die das Modell ausführt.
Der Abhängigkeitsgraph: Dies ist der Bauplan. Er besagt: „Sie können den Beton nicht gießen (Schritt B), bevor Sie den Lieferschein für den Zement (Schritt A) haben."

Normalerweise sehen wir nur das fertige Gebäude (die endgültige Antwort). Wir sehen nicht den Bauplan im Kopf der Arbeiter. Dieses Papier ist wie das Aufsetzen einer speziellen Röntgenbrille, die es uns ermöglicht, den Bauplan zu sehen, der während der Arbeit in den Köpfen der Arbeiter schwebt.

Wie sie es gemacht haben (Der „Decoder")

Die Forscher verwendeten ein Modell namens Qwen3-32B. Sie beobachteten, wie es Probleme löste, und zeichneten seinen inneren „Residual-Stream" auf (einen kontinuierlichen Datenstrom, der seinen aktuellen Geisteszustand darstellt).

Sie trainierten ein sehr kleines, einfaches Werkzeug (eine „Sonde"), um diesen Strom zu betrachten und für zwei beliebige Schritte im Prozess eine binäre Frage zu beantworten:

„Führt die Ausgabe von Schritt A in die Eingabe von Schritt B?"

Die Ergebnisse:

Es funktioniert: Die Sonde konnte diese Verbindungen mit etwa 87 % Genauigkeit vorhersagen.
Es ist kein Trick: Sie testeten gegen zufällige Vermutungen und einfache Muster (wie „Schritt 2 folgt immer Schritt 1"). Die Sonde schnitt viel besser ab als diese, was bewies, dass sie tatsächlich die Logik der Verbindung las und nicht nur die Reihenfolge der Ereignisse.
Es ist abstrakt: Als sie die spezifischen Zahlen in den Daten änderten (z. B. eine Benutzer-ID von „123" auf „456"), die Struktur jedoch gleich ließen, funktionierte die Sonde weiterhin. Dies bedeutet, dass das Modell die Beziehung versteht (A hängt von B ab) und nicht nur die spezifischen Wörter.

Der „Geist" in der Maschine (Propagation)

Eine der coolsten Erkenntnisse betrifft, wie diese Information wandert.

Stellen Sie sich vor, Sie flüstern ein Geheimnis dem ersten Arbeiter (Schritt A) zu. Das Papier zeigt, dass dieses Geheimnis nicht einfach verschwindet, nachdem der Arbeiter fertig ist. Es wandert durch die gesamte Baustelle und verweilt in der „Luft" (dem Residual-Stream) bis zum letzten Arbeiter (Schritt Z).

Sie bewiesen dies, indem sie den inneren Zustand des ersten Arbeiters mit einem anderen Szenario „patchten" (austauschten). Obwohl das Modell sein finales Verhalten nicht änderte (es baute immer noch dasselbe Haus), änderte sich der „Bauplan" in den späteren Arbeitern, um dem neuen Szenario zu entsprechen. Dies deutet darauf hin, dass das Modell den strukturellen Plan aktiv vorwärts trägt und nicht nur auf den unmittelbaren Prompt reagiert.

Wann verschwindet diese Karte?

Die Forscher testeten dies an verschiedenen Aufgabentypen, um zu sehen, ob die Karte immer vorhanden ist. Sie fanden ein Muster:

Komplexe Ketten (Multi-hop): Wenn die Aufgabe eine lange Kette von Abhängigkeiten erfordert (A $\to$ B $\to$ C $\to$ D), ist die Karte sehr klar und leicht zu lesen.
Einfache Listen: Wenn die Aufgabe nur eine Liste unabhängiger Schritte ist (A, dann B, dann C, ohne Verbindungen), verschwindet die Karte.
Der „Reihenfolge"-Hinweis: Wenn die Schritte so einfach sind, dass allein das Wissen um die Reihenfolge alles verrät (z. B. „Zuerst A machen, dann B"), muss das Modell keinen komplexen inneren Plan aufbauen. Das „zusätzliche" Signal verschwindet, weil die Position allein ausreicht.

Was dies bedeutet (und was nicht)

Was es bedeutet:
Wir haben eine neue Möglichkeit gefunden, in KI-Agenten hineinzublicken. Wir können sehen, dass sie nicht blind den nächsten Wort erraten; sie unterhalten eine strukturierte, abstrakte Karte darüber, wie ihre Aktionen voneinander abhängen. Diese Karte ist linear (leicht zu lesen) und wandert durch die Schichten des Modells.

Was es NICHT bedeutet (basierend streng auf diesem Papier):

Es bedeutet nicht, dass wir das Modell nun leicht steuern können, um bessere Entscheidungen zu treffen (das Papier sagt ausdrücklich, dass das Patchen die innere Karte änderte, aber nicht das finale Verhalten).
Es bedeutet nicht, dass dies bei jedem einzelnen KI-Modell oder jedem winzigen Modell funktioniert (sie testeten nur spezifische große Modelle).
Es bedeutet nicht, dass wir dies nutzen können, um „Halluzinationen" zu beheben oder das Modell sicherer zu machen; das ist zukünftige Arbeit.

Zusammenfassung

Das Papier ist wie die Entdeckung, dass der Assistent eines Magiers nicht nur ein Skript auswendig lernt, sondern tatsächlich eine mentale Karte der gesamten Logik des Tricks hält. Durch die Verwendung eines einfachen Decoders bewiesen die Forscher, dass diese Karte existiert, durch das Gehirn des Modells wandert und für die Lösung komplexer, mehrstufiger Probleme unerlässlich ist.

Technische Zusammenfassung: Die Tool-Call-Abhängigkeitsstruktur ist in den Residualströmen von LLM-Agenten linear dekodierbar

Problemstellung

Während die mechanistische Interpretierbarkeit erfolgreich charakterisiert hat, wie Large Language Models (LLMs) statische Strukturen (z. B. Syntaxbäume, Brettzustände, faktisches Wissen) repräsentieren, bleibt unklar, ob die dynamischen Ausführungsstrukturen von Tool-verwendenden Agenten in den internen Zuständen des Modells kodiert sind. Insbesondere wenn ein Agent die Generierung mit externen Funktionsaufrufen verknüpft, liefern frühere Tool-Ausgaben oft Argumente für spätere Aufrufe und bilden einen gerichteten azyklischen Graphen (DAG) von Abhängigkeiten. Es ist unbekannt, ob dieser Laufzeit-Abhängigkeitsgraph im Residualstrom des Agenten explizit repräsentiert ist, ob eine solche Repräsentation kausal ist, oder ob es sich um eine allgemeine Eigenschaft von Agenten oder ein spezifisches Merkmal bestimmter Benchmarks handelt.

Methodik

Die Autoren untersuchen diese Frage mittels eines strukturellen Probing-Ansatzes am Modell Qwen3-32B (und repliziert am Llama-3.3-70B) im Bereich des $\tau$ -bench Retail-Domains.

Konstruktion des Orakels: Für Trajektorien mit $\ge 2$ Tool-Aufrufen konstruieren die Autoren einen „Orakel"-Tool-Call-DAG. Eine Kante $i \to j$ ist definiert, wenn ein zusammenhängender, case-sensitiver, whitespace-normalisierter Teilstring (Länge $\ge 4$ ) der Ausgabe von Aufruf $i$ wörtlich in den serialisierten JSON-Argumenten von Aufruf $j$ erscheint. Dies definiert eine binäre Kantenbeschriftung für die Sonde.
Probenarchitektur: Ein low-capacity, L2-regularisierter logistischer Regressions-Classifier wird trainiert, um das Vorhandensein einer Kante $(i, j)$ vorherzusagen, gegeben die Konkatenation von Residualstrom-Vektoren von den abschließenden Boundary-Tokens der Aufrufe $i$ und $j$ . Die Vektoren werden über einen festen Satz von Schichten $\{0, 14, 28, 41, 50, 57, 64\}$ gemittelt (mean-pooled).
Evaluierungsprotokoll:
- Cross-Validation: Per-Trajektorie Leave-One-Group-Out (LOGO) Cross-Validation stellt sicher, dass kein Token einer zurückgehaltenen Trajektorie in deren Trainingsfold gelangt.
- Kontrollen: Die Studie employs eine umfassende Batterie von Kontrollen:
  - Hewitt–Liang Random-Label Control: Permutieren der Kantenbeschriftungen, um Memorierung auszuschließen.
  - Positional Baseline: Eine 5-Feature-Baseline ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ), um strukturelle Kodierung von einfacher Aufrufreihenfolge zu trennen.
  - Surface-Form Ceiling: Ein Decoder basierend auf n-Gram-Überlappung und Tool-Namen, um sicherzustellen, dass das Signal nicht rein textuell ist.
  - Random-Init Control: Verwendung eines zufällig initialisierten Modells, um trainingsattributbare Signale zu isolieren.
- Counterfactuals: Die Autoren führen Value Corruption (Austausch von IDs in Ausgaben) und Structural Perturbation (Umschreiben von Ausgaben zu leeren Ergebnissen) durch, um zu testen, ob die Sonde eine abstrakte Topologie oder spezifische Identifikatorwerte verfolgt.
- Activation Patching: Um Kausalität zu testen, patchen die Autoren den Residualstrom eines Quellaufrufs mit Merkmalen aus einer „Spender"-Trajektorie und messen die Verschiebung im Auslesen der Sonde an einem späteren, nicht gepatchten Boundary.

Hauptbeiträge und Ergebnisse

1. Lineare Dekodierbarkeit des Abhängigkeitsgraphen

Der Tool-Call-Abhängigkeitsgraph ist linear dekodierbar aus dem eingefrorenen Residualstrom.

Performance: Die Multi-Layer-Sonde erreicht eine AUROC von 0,869 auf zurückgehaltenen Paaren.
Signifikanz: Dies übertrifft signifikant die Hewitt–Liang Random-Label Control (max. AUROC 0,565, $p < 10^{-4}$ ) und die Positional Baseline (AUROC 0,792). Der Residualstrom trägt eine konditionale AUROC-Lücke von +0,0775 über die Positional Baseline bei, was bestätigt, dass das Signal nicht nur ein Proxy für die Aufrufreihenfolge ist.
Emergenz: Das Signal tritt scharf ab Schicht 14 (~22 % Tiefe) auf und sättigt um Schicht 41, was Mustern der semantischen Emergenz in der mittleren Stack-Höhe entspricht.

2. Topologie-Sensitivität vs. Wert-Spezifität

Die Sonde verfolgt eine abstrakte Abhängigkeits-Topologie und nicht spezifische Identifikatorwerte.

Value Corruption: Das Austauschen von ID-Werten in Tool-Ausgaben (während der Plan fest bleibt) führt zu keiner statistisch signifikanten Verschiebung in der dekodierten DAG-Struktur (Cohens $d = 0,06$ ).
Structural Perturbation: Das Umschreiben einer Tool-Antwort zu einem leeren Ergebnis (Erzwingen einer Planänderung) verursacht eine große Verschiebung in der dekodierten Struktur (Cohens $d = 0,87$ ).
Replikation: Diese Dissoziation gilt über Domänen hinweg, einschließlich ComplexFuncBench, und wird unter Verwendung eines unabhängigen, schema-getypten Value-Gleichheits-Orakels (ohne Teilstring-Matching) reproduziert, was bestätigt, dass das Signal kein Artefakt des Teilstring-Heuristik ist.

3. Repräsentationspropagation

Activation Patching liefert Beweise dafür, dass die Abhängigkeitsrepräsentation durch das Netzwerk propagiert und nicht nur eine passive Auslesung ist.

Das Patchen des Residualstroms an einem Quellaufruf verschiebt die Vorhersage der Sonde an einem strikt späteren, nicht gepatchten Boundary (z. B. in Schicht 57).
Entscheidend ist, dass sich zwar die Repräsentation verschiebt, die realisierte Tool-Wahl des Agenten sich jedoch nicht bewegt (0 % Verschiebung im Verhalten). Dies legt nahe, dass die Repräsentung für den internen Zustand tragend ist, aber in diesem Kontext nicht ausreichend für die Verhaltenskontrolle ist.

4. Domänenübergreifende Allgemeingültigkeit und Modulation

Der nicht-positionale Beitrag generalisiert über interaktive Multi-Hop-Benchmarks hinweg, schwächt sich jedoch dort ab, wo die Aufrufreihenfolge allein ausreicht.

Positive Replikationen: Das Signal ist stark in ToolHop (+0,161 Beitrag) und ComplexFuncBench (+0,060 Beitrag).
Transitive Kanten: Die Sonde kodiert transitive (Multi-Hop) Abhängigkeiten sogar stärker (AUROC 0,986) als direkte Kanten, wobei das transitive Signal in frühen Schichten schneller ansteigt.
Abschwächung: Der Beitrag verschwindet in TaskBench (Single-Shot-Planung, Beitrag -0,02) und ist in BFCL (nur direkter Tool-Einsatz) nicht testbar, was die Hypothese stützt, dass das Signal dort existiert, wo die Aufrufreihenfolge ein schwacher Proxy für Abhängigkeiten ist.

Bedeutung und Behauptungen

Die Autoren behaupten, dies sei die erste strukturelle Sonde für den Laufzeit-Tool-Call-Abhängigkeitsgraphen eines LLM-Agenten.

Repräsentation vs. Kontrolle: Die Behauptungen beziehen sich strikt auf die Repräsentation. Die Arbeit zeigt, dass der Abhängigkeitsgraph linear lesbar und kausal im Residualstrom propagiert wird, stellt jedoch explizit fest, dass Activation Patching derzeit keine Verhaltenskontrolle liefert (die Tool-Wahlen des Agenten bleiben unverändert).
Neue Zielklasse: Die Ergebnisse deuten darauf hin, dass Laufzeit-Ausführungsstrukturen (DAGs von Tool-Aufrufen) eine neue Klasse mechanistisch-interpretierbarer Ziele darstellen, die sich von token-level Entscheidungen oder statischen Reasoning-Spuren unterscheiden.
Bescheidenheit: Die Autoren sind bescheiden hinsichtlich des Umfangs der Propagation und stellen fest, dass domänenübergreifende kausale Replikation und verhaltensadäquate Interventionen zukünftige Arbeiten bleiben. Sie erkennen zudem an, dass die Definition der Abhängigkeit auf der Wiederverwendung von Werten (Teilstring- oder Schema-Matching) beruht und Abhängigkeiten ausschließt, die rein durch Kontrollfluss ohne Wertetransfer vermittelt werden.

Zusammenfassend etabliert die Arbeit, dass LLM-Agenten die abstrakte Topologie ihrer Tool-Call-Ausführungsgraphen in ihren Residualströmen kodieren, eine Repräsentation, die sich von positionellen Priors unterscheidet, robust gegenüber Wertänderungen ist und sich durch die Netzwerkschichten propagiert.