💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

Questo articolo dimostra che il grafo delle dipendenze dirette delle traiettorie di chiamate agli strumenti negli agenti LLM è decodificabile linearmente dai flussi residui del modello, rivelando che la rete rappresenta attivamente la topologia di esecuzione astratta anziché limitarsi a tracciare l'ordine posizionale o i valori degli identificatori.

Autori originali: Tianda Sun, Dimitar Kazakov

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tianda Sun, Dimitar Kazakov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Principale: Leggere il "Fantasma" di un Piano

Immagina un modello linguistico di grandi dimensioni (LLM) come un assistente molto intelligente, ma leggermente distratto. Quando chiedi a questo assistente di svolgere un compito complesso – come "Trova un utente, controlla il suo ordine e poi scambia il prodotto" – non lo esegue in un unico balzo gigantesco. Deve compiere diversi passaggi, chiamando diversi strumenti lungo il percorso.

Il documento si pone una domanda semplice: Il modello "sa" come questi passaggi si collegano tra loro mentre sta pensando?

Nello specifico, se il Passaggio A fornisce informazioni di cui il Passaggio B ha bisogno, il cervello interno del modello (il suo "flusso residuo") contiene effettivamente una mappa che mostra tale connessione? O il modello sta semplicemente indovinando il passaggio successivo in base a ciò che ha detto prima?

I ricercatori hanno scoperto che sì, il modello possiede questa mappa. Hanno costruito un minuscolo e semplice "decodificatore" in grado di leggere i pensieri interni del modello e rivelare il grafo delle dipendenze nascosto (la mappa di chi ha bisogno di cosa da chi) con alta accuratezza.

L'Analogia: Il Progetto di un Cantiere Edile

Pensa al modello come a un cantiere edile.

Gli Strumenti: Il modello utilizza strumenti come "Ottieni Utente" o "Ottieni Ordine".
La Traiettoria: La sequenza di azioni intraprese dal modello.
Il Grafo delle Dipendenze: Questo è il progetto. Dice: "Non puoi versare il cemento (Passaggio B) finché non hai la ricevuta della consegna del cemento (Passaggio A)".

Di solito, vediamo solo l'edificio finito (la risposta finale). Non vediamo il progetto all'interno delle menti degli operai. Questo documento è come indossare occhiali a raggi X speciali che ci permettono di vedere il progetto fluttuare all'interno delle menti degli operai mentre lavorano.

Come l'Hanno Fatto (Il "Decodificatore")

I ricercatori hanno utilizzato un modello chiamato Qwen3-32B. Hanno osservato mentre risolveva problemi e hanno registrato il suo "flusso residuo" interno (un flusso continuo di dati che rappresenta il suo attuale stato mentale).

Hanno addestrato uno strumento molto piccolo e semplice (una "sonda") per esaminare questo flusso e rispondere a una domanda binaria per qualsiasi coppia di passaggi nel processo:

"L'output del Passaggio A alimenta l'input del Passaggio B?"

I Risultati:

Funziona: La sonda ha potuto prevedere queste connessioni con circa 87% di accuratezza.
Non è un trucco: Hanno testato contro ipotesi casuali e modelli semplici (come "Il Passaggio 2 segue sempre il Passaggio 1"). La sonda ha ottenuto risultati molto migliori, dimostrando che stava effettivamente leggendo la logica della connessione, non solo l'ordine degli eventi.
È astratto: Quando hanno modificato i numeri specifici nei dati (ad esempio, cambiando un ID utente da "123" a "456") ma mantenendo la struttura invariata, la sonda ha continuato a funzionare. Ciò significa che il modello comprende la relazione (A dipende da B), non solo le parole specifiche.

Il "Fantasma" nella Macchina (Propagazione)

Una delle scoperte più interessanti riguarda come queste informazioni viaggiano.

Immagina di sussurrare un segreto al primo operaio (Passaggio A). Il documento mostra che questo segreto non scompare semplicemente dopo che l'operaio ha finito. Viaggia attraverso l'intero cantiere, persistendo nell'"aria" (il flusso residuo) fino all'ultimo operaio (Passaggio Z).

Lo hanno dimostrato "patchando" (sostituendo) lo stato interno del primo operaio con uno scenario diverso. Anche se il modello non ha modificato il suo comportamento finale (ha costruito la stessa casa), il "progetto" all'interno degli operai successivi è cambiato per adattarsi al nuovo scenario. Questo suggerisce che il modello sta attivamente trasportando il piano strutturale in avanti, non reagendo semplicemente al prompt immediato.

Quando Questa Mappa Scompare?

I ricercatori hanno testato questo su diversi tipi di compiti per vedere se la mappa è sempre presente. Hanno trovato un modello:

Catene Complesse (Multi-hop): Se il compito richiede una lunga catena di dipendenze (A $\to$ B $\to$ C $\to$ D), la mappa è molto chiara e facile da leggere.
Liste Semplici: Se il compito è solo un elenco di passaggi indipendenti (A, poi B, poi C, senza connessioni), la mappa svanisce.
L'Indizio "Ordine": Se i passaggi sono così semplici che conoscere solo l'ordine ti dice tutto (ad esempio, "Prima fai A, poi B"), il modello non ha bisogno di costruire una mappa interna complessa. Il segnale "extra" scompare perché la posizione da sola è sufficiente.

Cosa Significa (e Cosa Non Significa)

Cosa significa:
Abbiamo trovato un nuovo modo per guardare dentro gli agenti AI. Possiamo vedere che non stanno semplicemente indovinando alla cieca la parola successiva; stanno mantenendo una mappa strutturata e astratta di come le loro azioni dipendono l'una dall'altra. Questa mappa è lineare (facile da leggere) e viaggia attraverso i livelli del modello.

Cosa NON significa (basandosi strettamente su questo documento):

Non significa che possiamo ora controllare facilmente il modello per prendere decisioni migliori (il documento afferma esplicitamente che il patching ha modificato la mappa interna ma non il comportamento finale).
Non significa che questo funziona su ogni singolo modello AI o su ogni modello minuscolo (hanno testato solo specifici modelli di grandi dimensioni).
Non significa che possiamo usare questo per correggere le "allucinazioni" o rendere il modello più sicuro; questo è lavoro futuro.

Riepilogo

Il documento è come scoprire che l'assistente di un mago non sta solo memorizzando una sceneggiatura, ma sta effettivamente tenendo una mappa mentale della logica dell'intero trucco. Utilizzando un semplice decodificatore, i ricercatori hanno dimostrato che questa mappa esiste, viaggia attraverso il cervello del modello ed è essenziale per risolvere problemi complessi a più passaggi.

Riepilogo Tecnico: La Struttura delle Dipendenze delle Chiamate agli Strumenti è Decodificabile Linearmente nei Flussi Residui degli Agenti LLM

Enunciato del Problema

Mentre l'interpretabilità meccanica ha caratterizzato con successo come i Modelli Linguistici di Grandi Dimensioni (LLM) rappresentano strutture statiche (ad esempio, alberi sintattici, stati della scacchiera, conoscenze fattuali), non è ancora chiaro se le strutture di esecuzione dinamica degli agenti che utilizzano strumenti siano codificate all'interno degli stati interni del modello. Nello specifico, quando un agente intercala la generazione con chiamate a funzioni esterne, gli output degli strumenti precedenti forniscono spesso argomenti alle chiamate successive, formando un grafo aciclico diretto (DAG) di dipendenze. È sconosciuto se questo grafo delle dipendenze runtime sia esplicitamente rappresentato nel flusso residuo dell'agente, se tale rappresentazione sia causale, o se sia una proprietà generale degli agenti o specifica di determinati benchmark.

Metodologia

Gli autori indagano questa domanda utilizzando un approccio di sondaggio strutturale sul modello Qwen3-32B (e replicato su Llama-3.3-70B) nel dominio $\tau$ -bench retail.

Costruzione dell'Oracolo: Per le traiettorie contenenti $\ge 2$ chiamate agli strumenti, gli autori costruiscono un DAG "oracolo" delle chiamate agli strumenti. Un arco $i \to j$ è definito se una sottostringa contigua, sensibile alle maiuscole/minuscole e normalizzata per gli spazi (lunghezza $\ge 4$ ) dell'output della chiamata $i$ appare verbatim negli argomenti JSON serializzati della chiamata $j$ . Questo definisce un'etichetta binaria per l'arco per il sondaggio.
Architettura del Sondaggio: Un sondaggio di regressione logistica a bassa capacità e regolarizzato L2 viene addestrato per prevedere l'esistenza di un arco $(i, j)$ data la concatenazione dei vettori del flusso residuo dai token di confine terminanti delle chiamate $i$ e $j$ . I vettori sono mediati su un insieme fisso di livelli $\{0, 14, 28, 41, 50, 57, 64\}$ .
Protocollo di Valutazione:
- Validazione Incrociata: La validazione incrociata Leave-One-Group-Out (LOGO) per traiettoria garantisce che nessun token di una traiettoria trattenuta entri nel suo fold di addestramento.
- Controlli: Lo studio impiega una batteria completa di controlli:
  - Controllo Hewitt–Liang a Etichette Casuali: Permutazione delle etichette degli archi per escludere la memorizzazione.
  - Baseline Posizionale: Una baseline a 5 caratteristiche ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ) per separare la codifica strutturale dal semplice ordinamento delle chiamate.
  - Tetto della Forma Superficiale: Un decoder basato sulla sovrapposizione di n-grammi e nomi degli strumenti per garantire che il segnale non sia meramente testuale.
  - Controllo Inizializzazione Casuale: Utilizzo di un modello inizializzato casualmente per isolare i segnali attribuibili all'addestramento.
- Controfattuali: Gli autori eseguono corruzione dei valori (scambio di ID negli output) e perturbazione strutturale (riscrittura degli output in risultati vuoti) per testare se il sondaggio traccia la topologia astratta o i valori specifici degli identificatori.
- Patching delle Attivazioni: Per testare la causalità, gli autori applicano patch al flusso residuo di una chiamata sorgente con caratteristiche da una traiettoria "donatrice" e misurano lo spostamento nella lettura del sondaggio a un confine successivo non patchato.

Contributi e Risultati Chiave

1. Decodificabilità Lineare del Grafo delle Dipendenze

Il grafo delle dipendenze delle chiamate agli strumenti è decodificabile linearmente dal flusso residuo congelato.

Prestazioni: Il sondaggio multistrato raggiunge un AUROC di 0,869 su coppie trattenute.
Significatività: Questo supera significativamente il controllo Hewitt–Liang a etichette casuali (AUROC massimo 0,565, $p < 10^{-4}$ ) e la baseline posizionale (AUROC 0,792). Il flusso residuo contribuisce a un gap di AUROC condizionale di +0,0775 rispetto alla baseline posizionale, confermando che il segnale non è semplicemente un proxy per l'ordine delle chiamate.
Emergenza: Il segnale emerge nettamente al Livello 14 (~22% di profondità) e si satura intorno al Livello 41, corrispondendo ai modelli di emergenza semantica a metà pila.

2. Sensibilità alla Topologia vs. Specificità dei Valori

Il sondaggio traccia la topologia delle dipendenze astratta piuttosto che i valori specifici degli identificatori.

Corruzione dei Valori: Lo scambio dei valori ID negli output degli strumenti (mantenendo fisso il piano) non comporta alcuno spostamento statisticamente significativo nella struttura DAG decodificata (Cohen's $d = 0,06$ ).
Perturbazione Strutturale: La riscrittura di una risposta dello strumento in un risultato vuoto (forzando un cambiamento del piano) causa un grande spostamento nella struttura decodificata (Cohen's $d = 0,87$ ).
Replicazione: Questa dissociazione vale attraverso i domini, incluso ComplexFuncBench, ed è riprodotta utilizzando un oracolo indipendente di uguaglianza di valori basato su schema (nessuna corrispondenza di sottostringhe), confermando che il segnale non è un artefatto dell'euristica della sottostringa.

3. Propagazione Rappresentazionale

Il patching delle attivazioni fornisce prove che la rappresentazione della dipendenza si propaga attraverso la rete piuttosto che essere una lettura passiva.

Il patching del flusso residuo a una chiamata sorgente sposta la previsione del sondaggio a un confine successivo strettamente non patchato (ad esempio, al Livello 57).
Crucialmente, mentre la rappresentazione si sposta, la scelta reale dello strumento dell'agente non si muove (0% di spostamento nel comportamento). Ciò suggerisce che la rappresentazione è portante per lo stato interno ma non sufficiente per il controllo comportamentale in questo contesto.

4. Generalità Cross-Dominio e Modulazione

Il contributo non posizionale si generalizza attraverso benchmark interattivi multi-hop ma si attenua dove l'ordine delle chiamate da solo è sufficiente.

Replicazioni Positive: Il segnale è forte in ToolHop (+0,161 contributo) e ComplexFuncBench (+0,060 contributo).
Archi Transitivi: Il sondaggio decodifica le dipendenze transitive (multi-hop) anche più fortemente (AUROC 0,986) rispetto agli archi diretti, con il segnale transitivo che cresce più rapidamente nei livelli iniziali.
Attenuazione: Il contributo svanisce in TaskBench (pianificazione single-shot, contributo -0,02) ed è non testabile in BFCL (uso diretto degli strumenti solo), a supporto dell'ipotesi che il segnale esista dove l'ordine delle chiamate è un proxy debole per la dipendenza.

Significato e Affermazioni

Gli autori affermano che questo è il primo sondaggio strutturale del grafo delle dipendenze delle chiamate agli strumenti runtime di un agente LLM.

Rappresentazione vs. Controllo: Le affermazioni sono strettamente relative alla rappresentazione. Il documento dimostra che il grafo delle dipendenze è linearmente leggibile e causalmente propagato all'interno del flusso residuo, ma afferma esplicitamente che il patching delle attivazioni non produce attualmente controllo comportamentale (le scelte degli strumenti dell'agente rimangono invariate).
Nuova Classe Target: I risultati suggeriscono che le strutture di esecuzione runtime (DAG di chiamate agli strumenti) costituiscono una nuova classe di target di interpretabilità meccanica, distinta dalle decisioni a livello di token o dalle tracce di ragionamento statiche.
Modestia: Gli autori sono modesti riguardo alla portata della propagazione, notando che la replicazione causale cross-dominio e le interventi sufficienti dal punto di vista comportamentale rimangono lavori futuri. Riconoscono inoltre che la definizione di dipendenza si basa sul riutilizzo dei valori (corrispondenza di sottostringhe o schema), escludendo le dipendenze mediate puramente dal flusso di controllo senza trasferimento di valori.

In sintesi, il documento stabilisce che gli agenti LLM codificano la topologia astratta dei loro grafi di esecuzione delle chiamate agli strumenti nei loro flussi residui, una rappresentazione distinta dai prior posizionali, robusta ai cambiamenti di valore e che si propaga attraverso i livelli della rete.