💬 NLP

Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations

Questo articolo introduce Tokengeist, un framework scalabile che affronta i limiti dei metodi di attribuzione a passaggio singolo nelle conversazioni multi-turno tracciando ricorsivamente le dipendenze a livello di token attraverso i turni di conversazione, raggiungendo un'accuratezza significativamente superiore nel recupero di grafi di provenienza complessi rispetto agli approcci esistenti.

Autori originali: Jessica Tang, Shraddha Barke, Sharad Agarwal

Pubblicato 2026-07-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jessica Tang, Shraddha Barke, Sharad Agarwal

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire perché il tuo personaggio detective preferito in una serie TV abbia improvvisamente deciso di risolvere un caso in un modo specifico. Conosci la risposta finale, ma la serie salta avanti e indietro nel tempo, mostrando il detective che parla con un testimone, poi che controlla una mappa, poi che chiama un amico e infine che prende una decisione. Se guardassi solo l'ultima scena, penseresti che la decisione sia derivata dall'amico. Ma se l'amico stesse solo ripetendo qualcosa detto dal testimone, che a sua volta aveva ottenuto l'informazione dalla mappa? Per comprendere davvero la storia, non puoi limitarti a guardare il momento finale; devi seguire la scia degli indizi all'indietro, passo dopo passo, attraverso ogni conversazione e azione che ha portato a quel punto. Questo è il tipo di puzzle che gli scienziati stanno cercando di risolvere con l'Intelligenza Artificiale (IA).

Nel mondo dell'IA, specificamente con i Large Language Models (i chatbot super intelligenti che usiamo oggi), c'è un problema crescente. Questi modelli hanno spesso lunghe conversazioni con noi, dove pongono domande, noi rispondiamo, loro controllano un database e poi forniscono una risposta finale. A volte, la risposta finale dipende da un dettaglio minuscolo che abbiamo menzionato cinque giri fa, che il modello ha poi riassunto, che il modello ha poi usato per chiamare uno strumento, il quale ha infine portato alla risposta. La grande domanda è: come possiamo vedere esattamente quali parti di quella lunga conversazione hanno plasmato la risposta finale? Attualmente, la maggior parte degli strumenti che cercano di rispondere a questa domanda agiscono come una torcia che illumina solo la stanza immediata. Possono dirti quali parole in tutta la chat sembrano importanti, ma perdono la "trama" del modo in cui l'informazione è viaggiata dall'inizio alla fine. Questo è importante perché se non possiamo tracciare da dove un'IA ha tratto i suoi fatti, non possiamo fidarci di essa, correggerne gli errori o capire perché potrebbe mentirci.

Entra in gioco Tokengeist, un nuovo metodo introdotto dai ricercatori Jessica Tang, Shraddha Barke e Sharad Agarwal. Pensa al vecchio modo di tracciare i pensieri dell'IA come a una mappa "piatta". Se chiedi a una mappa piatta di trovare la fonte di una voce, potrebbe indicarti l'ultima persona che ti ha riferito la voce, ma non ti dirà chi l'ha detta a quella persona. I ricercatori chiamano questo fallimento "provenance collapse" (collasso della provenienza). È come un gioco del telefono in cui l'ultimo giocatore viene incolpato del messaggio, anche se il messaggio è stato distorto tre persone prima. Il metodo piatto collassa l'intera storia in un unico livello, perdendo il profondo viaggio multi-step dell'informazione.

Per risolvere questo problema, il team ha costruito Tokengeist, che agisce come un detective ricorsivo. Inve di limitarsi a guardare la risposta finale e chiedere: "Con chi hai parlato?", Tokengeist chiede: "Con chi hai parlato?" e poi, per ogni persona che hai nominato, chiede: "E chi ha parlato quella persona?". Continua a scavare all'indietro, passo dopo passo, attraverso i turni della conversazione. Tratta la conversazione come un albero che si dirama (o un albero genealogico delle idee), seguendo i rami fino alle primissime foglie: gli input originali dell'utente o i risultati degli strumenti.

I ricercatori hanno testato questa idea utilizzando un nuovo benchmark creato da loro chiamato MTCABENCH, che contiene 3.845 parti specifiche di risposte provenienti da 665 diverse conversazioni multi-turno. Queste conversazioni erano complicate, coinvolgevano strumenti come la prenotazione di voli o il controllo di conti bancari, dove l'IA doveva concatenare informazioni da molti passaggi. Hanno scoperto che il vecchio metodo "piatto" era terribile in questo. Quando venivano interrogati per trovare la fonte originale dell'informazione, i metodi piatti avevano successo meno del 20% delle volte. Si incagliavano costantemente a metà della storia.

Al contrario, Tokengeist è stato un punto di svolta. Tracciando ricorsivamente il percorso all'indietro, ha trovato con successo la fonte originale dell'informazione più del 90% delle volte. Non ha solo tirato a indovinare; ha mappato l'intero viaggio. Ad esempio, se un'IA dice: "Puoi cancellare il tuo volo perché hai un'assicurazione", un metodo piatto potrebbe semplicemente indicare la conferma della cancellazione. Tokengeist, tuttavia, ha tracciato il percorso fino al risultato dello strumento che mostrava l'assicurazione, poi all'ID dell'utente che ha sbloccato quel risultato dello strumento, e infine alla richiesta originale dell'utente.

Il documento suggerisce che questo approccio ricorsivo è la chiave per rendere l'IA trasparente. Dimostra che guardare semplicemente l'intera conversazione non è sufficiente; dobbiamo capire la struttura della conversazione, ovvero come un turno dipenda da un altro. Sebbene il metodo funzioni meglio con i modelli di IA specifici testati dai ricercatori (che sono open-source e relativamente piccoli), i risultati suggeriscono fortemente che, per gli agenti IA complessi e multi-step, non dobbiamo trattare le conversazioni come una lista piatta di parole, ma come una rete connessa di dipendenze. Tokengeist non ci dice solo cosa ha detto l'IA; ci aiuta a comprendere l'intera storia del perché lo abbia detto.

Riepilogo Tecnico: Tokengeist: Tracciamento dell'Attribuzione Multi-Turn nelle Conversazioni Agenti

1. Definizione del Problema: Attribuzione del Contesto Multi-Turn (MTCA)

Gli attuali metodi di attribuzione del contesto sono progettati principalmente per contesti a turno singolo, trattando l'input del contesto come una sequenza piatta di token. Quando applicati a conversazioni agentiche multi-turn, questi metodi "piatti" non riescono a catturare la struttura stratificata e non lineare dei dialoghi del mondo reale. In interazioni complesse che coinvolgono chiamate a strumenti (tool calls), riassunti intermedi dell'assistente e ragionamenti multi-step, la risposta finale di un modello spesso dipende da informazioni introdotte diversi turni prima, che potrebbero essere state riassunte, riformattate o trasformate da passaggi intermedi.

Il documento definisce l'Attribuzione del Contesto Multi-Turn (MTCA) come il compito di tracciare la provenienza di uno specifico span target in una risposta del modello a ritroso attraverso i turni. L'obiettivo non è semplicemente identificare quali turni precedenti siano rilevanti, ma ricostruire l'intera catena di dipendenza, inclusi il modo in cui i turni intermedi (ad esempio, riassunti dell'assistente o risultati degli strumenti) dipendono dal contesto precedente. Gli autori identificano un fallimento sistematico nei metodi di attribuzione a passaggio singolo denominato "collasso della provenienza" (provenance collapse), in cui un metodo attribuisce una risposta a un turno intermedio immediato (ad esempio, un riassunto) ma non riesce a risalire alla fonte esogena originale (ad esempio, un input dell'utente o l'output di uno strumento) perché il modello non ha prestato attenzione direttamente alla fonte originale nell'ultimo turno.

2. Metodologia: TOKENGEIST

Gli autori propongono TOKENGEIST, un framework che inquadra l'MTCA come una traversata ricorsiva di un Grafo Aciclico Diretto (DAG) sopra i turni di conversazione. Il framework è agnostico rispetto al metodo di attribuzione, il che significa che può utilizzare qualsiasi metodo di attribuzione a turno singolo esistente come punteggiatore di base.

Meccanismo Core

TOKENGEST costruisce un grafo di provenienza tramite una ricerca in ampiezza (BFS) a ritroso partendo dallo span target:

Attribuzione Ricorsiva: Ad ogni step, il framework applica un metodo di attribuzione di base ( $A$ ) allo span target corrente contro la concatenazione di tutti i turni precedenti.
Aggregazione dei Turni: I punteggi a livello di frase vengono aggregati in un singolo punteggio per ogni turno precedente.
Selezione dei Nodi: Vengono selezionati i top- $k$ turni con i punteggi più alti come candidati per il successivo step di ricorsione.
Dispatch Consapevole del Ruolo (Role-Aware): La ricorsione procede diversamente in base al ruolo del turno selezionato:
- Turni Esogeni (Utente/Sistema): Questi vengono aggiunti come nodi foglia; la ricorsione si interrompe.
- Turni di Risultato Strumento (Tool-Result): Poiché questi non contengono pesi di attenzione generati dal modello, il framework segue un arco strutturale deterministico verso il turno dell'assistente precedente più vicino che ha emesso l'invocazione dello strumento, per poi riprendere la riccorsione dal turno di invocazione.
- Turni dell'Assistente: Questi vengono aggiunti come nodi intermedi e il framework ricorre in essi, attribuendo il loro intero contenuto rispetto al contesto precedente.
Terminazione: La ricorsione si interrompe quando vengono raggiunti i turni esogeni, viene raggiunta una profondità massima ( $d_{max}$ ) o nessun turno supera una soglia di punteggio.

Costruzione e Potatura del Grafo

La struttura risultante è un DAG in cui gli archi rappresentano le dipendenze. Per produrre il grafo di provenienza finale, il framework applica l'estrazione per soglia relativa. Invece di utilizzare una soglia assoluta globale, gli archi vengono mantenuti se il loro punteggio è superiore a una frazione ( $\alpha$ ) del punteggio massimo dell'arco di quel nodo. Ciò si adatta alle distribuzioni locali dei punteggi, permettendo al grafo di catturare dipendenze multi-fonte dove un turno dipende da più fonti precedenti con diversi livelli di confidenza.

3. Benchmark: MTCABENCH

Per valutare l'MTCA, gli autori introducono MTCABENCH, un benchmark composto da:

Scala: 3.845 span target annotati attraverso 665 conversazioni multi-turn.
Fonti: Dati tratti da ConFETTI (10 famiglie di task, ad esempio viaggio, banking) e TauBench (domini airline e retail).
Annotazione: Gli span target sono annotati con grafi di provenienza "gold" (DAG) che raggiungono profondità fino a 14 turni. Le annotazioni coprono quattro tipi di dipendenza:
- Diretta: Singolo salto (single-hop) dalla fonte allo target.
- A Catena (Chained): Multi-salto attraverso turni intermedi.
- Multi-fonte: Dipendenze da due o più turni sorgente indipendenti.
- Allucinazione: Span non supportati dal contesto o fattualmente errati, che richiedono il tracciamento dei turni della "fonte allucinata" che hanno preparato l'errore.
Controllo Qualità: Le annotazioni sono state generate tramite una pipeline a due fasi utilizzando GPT-5.4, seguita da revisione umana, raggiungendo un tasso di accettazione del 98%.

4. Risultati Sperimentali

Gli autori hanno valutato TOKENGEIST contro i baseline di attribuzione "flat" utilizzando quattro modelli open-weight istruiti (Llama-3.1-8B, Qwen2.5-7B, Phi-4-Mini, DeepSeek-R1-Distill-Qwen-7B) e tre backend di attribuzione di base (Avg. Attention, AT2, AttnTrace).

Risultati Chiave

Recall della Fonte: I metodi di attribuzione flat hanno fallito costantemente nel recuperare le dipendenze multi-hop, ottenendo una source recall <20%** (identificazione della fonte esogena originale). Al contrario, TOKENGEIST ha raggiunto una **source recall >90% in tutti i modelli.
Edge F1: L'attribuzione ricorsiva ha superato significativamente i metodi flat. Su ConFETTI, TOKENGEIST ha migliorato l'Edge F1 di 20–40 punti percentuali rispetto ai baseline flat. Su TauBench, i metodi flat sono scesi sotto il 35% di Edge F1 sulle dipendenze a catena, mentre TOKENGEIST ha raggiunto circa il 70%.
Tipi di Dipendenza: Il divario di prestazioni è stato più pronunciato per le dipendenze a catena e multi-fonte. I metodi flat si sono comportati adeguatamente sulle dipendenze dirette (single-hop), ma sono crollati sulle strutture complesse.
Tracciamento delle Allucinazioni: TOKENGEIST ha migliorato sostanzialmente il recupero dei turni della "fonte allucinata", aiutando a localizzare dove i valori errati sono entrati nella traccia agentica.
Indipendenza dello Scorer di Base: I guadagni derivanti dalla ricorsione sono stati coerenti in tutti e tre gli scorer di base, incluso il più debole (AttnTrace), indicando che TOKENGEIST è un upgrade robusto applicabile a qualsiasi metodo di attribuzione a turno singolo.

5. Significato e Rivendicazioni

Il documento afferma che TOKENGEIST e MTCABENCH affrontano una lacuna critica nell'interpretabilità dei sistemi agentici.

Modalità di Fallimento Sistematico: Il lavoro identifica formalmente il "collasso della provenienza" come un fallimento sistematico dell'attribuzione a passaggio singolo nelle impostazioni multi-turn, dimostrando che i metodi flat non possono recuperare le dipendenze stratificate.
Necessità della Ricorsione: I risultati motivano un passaggio verso metodi di attribuzione che ragionano ricorsivamente attraverso i turni, piuttosto che trattare il contesto come una finestra piatta.
Debugging e Fiducia: Recuperando i percorsi completi di provenienza, il framework consente agli sviluppatori di fare il debug dei workflow agentici, verificare che le affermazioni siano fondate sulle fonti originali (anziché su riassunti intermedi) e tracciare l'origine delle allucinazioni.
Modestia sull'Ambito: Gli autori riconoscono che i loro risultati sono limitati dalla qualità del metodo di attribuzione di base e che il benchmark è attualmente limitato al testo in inglese e a domini specifici (viaggi/retail). Notano inoltre che i punteggi di attribuzione sono correlazionali (basati sull'attenzione) piuttosto che causali, e che il framework opera attualmente post-hoc sulle trascrizioni piuttosto che online all'interno del loop dell'agente.

Il documento conclude che, sebbene l'MTCA non sia un sostituto per la correttezza o la sicurezza, fornisce un meccanismo fondamentale per rendere ispezionabile il flusso di informazioni nelle conversazioni multi-turn, servendo come passo verso interazioni agentiche più trasparenti.