💬 NLP

Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations

Este artigo apresenta o Tokengeist, um framework escalável que aborda as limitações dos métodos de atribuição de passagem única em conversas de múltiplos turnos ao rastrear recursivamente as dependências de nível de token através dos turnos da conversa, alcançando uma precisão significativamente maior na recuperação de grafos de proveniência complexos em comparação com abordagens existentes.

Autores originais: Jessica Tang, Shraddha Barke, Sharad Agarwal

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jessica Tang, Shraddha Barke, Sharad Agarwal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando descobrir por que seu personagem detetive favorito de um programa de TV decidiu, de repente, resolver um caso de uma maneira específica. Você sabe a resposta final, mas o programa salta no tempo, mostrando o detetive conversando com uma testemunha, depois checando um mapa, depois ligando para um amigo e, finalmente, tomando uma decisão. Se você olhasse apenas para a última cena, poderia pensar que a decisão veio do amigo. Mas e se o amigo estivesse apenas repetindo algo que a testemunha disse, que obteve a informação do mapa? Para entender verdadeiramente a história, você não pode apenas olhar para o momento final; você tem que rastrear a trilha de pistas de trás para frente, passo a passo, através de cada conversa e ação que levou até lá. Este é o tipo de quebra-cabeça que os cientistas estão tentando resolver com a Inteligência Artificial (IA).

No mundo da IA, especificamente com os Grandes Modelos de Linguagem (os chatbots super inteligentes que usamos hoje), há um problema crescente. Esses modelos costem ter conversas longas conosco, onde fazem perguntas, nós respondemos, eles verificam um banco de dados e, então, dão uma resposta final. Às vezes, a resposta final depende de um detalhe minúsculo que mencionamos cinco turnos atrás, que o modelo então resumiu, que o modelo então usou para chamar uma ferramenta, o que finalmente levou à resposta. A grande questão é: Como podemos ver exatamente quais partes daquela longa conversa moldaram a resposta final? Atualmente, a maioria das ferramentas que tentam responder a essa pergunta agem como uma lanterna que ilumina apenas a sala imediata. Elas podem dizer quais palavras em toda a conversa parecem importantes, mas perdem a "linha narrativa" de como a informação viajou do início ao fim. Isso importa porque, se não pudermos rastrear de onde uma IA obteve seus fatos, não poderemos confiar nela, corrigir seus erros ou entender por que ela pode estar nos mentindo.

Apresentamos o Tokengeist, um novo método introduzido pelos pesquisadores Jessica Tang, Shraddha Barke e Sharad Agarwal. Pense na forma antiga de rastrear os pensamentos da IA como um mapa "plano". Se você pedir a um mapa plano para encontrar a fonte de um boato, ele pode apontar para a pessoa que lhe contou o boato por último, mas não dirá quem contou para ela. Os pesquisadores chamam essa falha de "colapso de proveniência". É como um jogo de telefone sem fio onde o último jogador é culpado pela mensagem, mesmo que a mensagem tenha sido distorcida três pessoas atrás. O método plano colapsa todo o histórico em uma única camada, perdendo a jornada profunda e de múltiplos passos da informação.

Para corrigir isso, a equipe construiu o Tokengeist, que atua como um detetive recursivo. Em vez de apenas olhar para a resposta final e perguntar: "Com quem você falou?", o Tokengeist pergunta: "Com quem você falou?" e então, para cada pessoa que você nomeou, ele pergunta: "E com quem eles falaram?". Ele continua cavando para trás, passo a passo, através dos turnos da conversa. Ele trata a conversa como uma árvore ramificada (ou uma árvore genealógica de ideias), onde segue os ramos de volta às primeiras folhas — as entradas originais do usuário ou os resultados das ferramentas.

Os pesquisadores testaram essa ideia usando um novo benchmark que criaram chamado MTCABENCH, que contém 3.845 partes específicas de respostas de 665 diferentes conversas de múltiplos turnos. Essas conversas eram complicadas, envolvendo ferramentas como reserva de voos ou consulta de contas bancárias, onde a IA tinha que encadear informações de muitos passos. Eles descobriram que os métodos "planos" antigos eram terríveis nisso. Quando questionados sobre encontrar a fonte original da informação, os métodos planos tiveram sucesso em menos de 20% das vezes. Eles ficavam presos no meio da história.

Em contraste, o Tokengeist foi um divisor de águas. Ao rastrear o caminho recursivamente para trás, ele encontrou a fonte original da informação mais de 90% das vezes. Ele não apenas adivinhou; ele mapeou toda a jornada. Por exemplo, se uma IA dissesse: "Você pode cancelar seu voo porque possui um seguro", um método plano poderia apenas apontar para a confirmação de cancelamento. O Tokengeist, no entanto, rastreou de volta até o resultado da ferramenta que mostrava o seguro, depois de volta ao ID do usuário que desbloqueou esse resultado da ferramenta e, finalmente, ao pedido original do usuário.

O artigo sugere que essa abordagem recursiva é a chave para tornar a IA transparente. Ele mostra que simplesmente olhar para toda a conversa de uma vez não é suficiente; precisamos entender a estrutura da conversa, como um turno depende de outro. Embora o método funcione melhor com os modelos de IA específicos que eles testaram (que são de código aberto e relativamente pequenos), os resultados sugerem fortemente que, para agentes de IA complexos e de múltiplos passos, precisamos parar de tratar as conversas como uma lista plana de palavras e começar a tratá-las como uma rede conectada de dependências. O Tokengeist não apenas nos diz o que a IA disse; ele nos ajuda a entender toda a história de como ela chegou a dizer aquilo.

Resumo Técnico: Tokengeist: Rastreamento de Atribuição de Múltiplos Turnos em Conversas Agênticas

1. Definição do Problema: Atribuição de Contexto de Múltiplos Turnos (MTCA)

Os métodos atuais de atribuição de contexto são projetados primariamente para cenários de turno único, tratando o contexto de entrada como uma sequência plana de tokens. Quando aplicados a conversas agênticas de múltiplos turnos, esses métodos "planos" falham em capturar a estrutura em camadas e não linear de diálogos do mundo real. Em interações complexas envolvendo chamadas de ferramentas, resumos intermediários do assistente e raciocínio de múltiplas etapas, a resposta final de um modelo frequentemente depende de informações introduzidas vários turnos antes, que podem ter sido resumidas, reformatadas ou transformadas por etapas intermediárias.

O artigo define a Atribuição de Contexto de Múltiplos Turnos (MTCA) como a tarefa de rastrear a proveniência de um trecho alvo específico em uma resposta do modelo através dos turnos de forma retroativa. O objetivo não é meramente identificar quais turnos anteriores são relevantes, mas reconstruir toda a cadeia de dependência, incluindo como os turnos intermediários (por exemplo, resumos do assistente ou resultados de ferramentas) dependem do contexto anterior. Os autores identificam um modo de falha sistemática na atribuição de passagem única denominada "colapso de proveniência", onde um método atribui uma resposta a um turno intermediário imediato (por exemplo, um resumo), mas falha em rastrear de volta à fonte exógena original (por exemplo, uma entrada do usuário ou saída de uma ferramenta) porque o modelo não atentou diretamente para a fonte original no turno final.

2. Metodologia: TOKENGEIST

Os autores propõem o TOKENGEIST, um framework que trata a MTCA como um percurso recursivo de um Grafo Acíclico Dirigido (DAG) sobre os turnos da conversa. O framework é agnóstico ao método de atribuição, o que significa que pode utilizar qualquer método de atribuição de turno único existente como um pontuador base.

Mecanismo Central

O TOKENGEIST constrói um grafo de proveniência via uma busca em largura (BFS) retroativa começando pelo trecho alvo:

Atribuição Recursiva: Em cada etapa, o framework aplica um método de atribuição base ( $A$ ) ao trecho alvo atual contra a concatenação de todos os turnos precedentes.
Agregação de Turnos: As pontuações ao nível de sentença são agregadas em uma pontuação única por turno precedente.
Seleção de Nós: Os $k$ melhores turnos com as maiores pontuações são selecionados como candidatos para a próxima etapa de recursão.
Despacho Sensível ao Papel (Role-Aware): A recursão procede de forma diferente com base no papel do turno selecionado:
- Turnos Exógenos (Usuário/Sistema): Estes são adicionados como nós folha; a recursão para.
- Turnos de Resultado de Ferramenta (Tool-Result): Como estes não contêm pesos de atenção gerados pelo modelo, o framework segue uma aresta estrutural determinística para o turno do assistente imediatamente anterior que emitiu a invocação da ferramenta, e então retoma a recursão a partir daquele turno de invocação.
- Turnos do Assistente: Estes são adicionados como nós intermediários, e o framework recorre a eles, atribuindo seu conteúdo total contra o contexto anterior.
Terminação: A recursão para quando os turnos exógenos são alcançados, quando um limite de profundidade ( $d_{max}$ ) é atingido ou quando nenhum turno excede um limiar de pontuação.

Construção e Poda do Grafo

A estrutura resultante é um DAG onde as arestas representam dependências. Para produzir o grafo de proveniência final, o framework aplica a extração de limiar relativo. Em vez de usar um limiar absoluto global, as arestas são mantidas se sua pontuação estiver acima de uma fração ( $\alpha$ ) da pontuação máxima da aresta daquele nó. Isso se adapta às distribuições locais de pontuação, permitindo que o grafo capture dependências de múltiplas fontes onde um turno depende de múltiplos turnos anteriores com diferentes níveis de confiança.

3. Benchmark: MTCABENCH

Para avaliar a MTCA, os autores introduzem o MTCABENCH, um benchmark composto por:

Escala: 3.845 trechos alvo anotados em 665 conversas de múltiplos turnos.
Fontes: Dados extraídos do ConFETTI (10 famílias de tarefas, ex: viagens, bancário) e TauBench (domínios de companhias aéreas e varejo).
Anotação: Os trechos alvo são anotados com grafos de proveniência "gold" (DAGs) atingindo profundidades de até 14 turnos. As anotações cobrem quatro tipos de dependência:
- Direta: Salto único da fonte para o alvo.
- Encadeada (Chained): Múltiplos saltos através de turnos intermediários.
- Multi-fonte: Dependências de dois ou mais turnos de origem independentes.
- Alucinação: Trechos não suportados pelo contexto ou factualmente incorretos, exigendo o rastreamento dos turnos da "fonte alucinada" que prepararam o erro.
Controle de Qualidade: As anotações foram geradas via um pipeline de duas fases usando GPT-5.4, seguido de revisão humana, alcançando uma taxa de aceitação de 98%.

4. Resultados Experimentais

Os autores avaliaram o TOKENGEIST contra baselines de atribuição plana usando quatro modelos de instrução de pesos abertos (Llama-3.1-8B, Qwen2.5-7B, Phi-4-Mini, DeepSeek-R1-Distill-Qwen-7B) e três backends de atribuição base (Avg. Attention, AT2, AttnTrace).

Principais Descobertas

Recall de Fonte: Métodos de atribuição plana falharam consistentemente em recuperar dependências de múltiplos saltos, alcançando <20% de recall de fonte** (identificando a fonte exógena original). Em contraste, o TOKENGEIST alcançou **>90% de recall de fonte em todos os modelos.
F1 de Aresta (Edge F1): A atribuição recursiva superou significativamente os métodos planos. No ConFETTI, o TOKENGEIST melhorou o F1 de Aresta em 20 a 40 pontos percentuais sobre os baselines planos. No TauBench, os métodos planos caíram para menos de 35% de F1 de Aresta em dependências encadeadas, enquanto o TOKENGEIST atingiu ~70%.
Tipos de Dependência: A lacuna de desempenho foi mais pronunciada para dependências encadeadas e multi-fonte. Métodos planos performaram adequadamente em dependências diretas (salto único), mas colapsaram em estruturas complexas.
Rastreamento de Alucinação: O TOKENGEIST melhorou substancialmente a recuperação de turnos de "fonte alucinada", ajudando a localizar onde valores errôneos entraram no traço agêntico.
Independência do Pontuador Base: Os ganhos da recursão foram consistentes em todos os três pontuadores base, incluindo o mais fraco (AttnTrace), indicando que o TOKENGEST é um upgrade robusto aplicável a qualquer método de atribuição de turno único.

5. Significância e Alegações

O artigo afirma que o TOKENGEIST e o MTCABENCH abordam uma lacuna crítica de interpretabilidade em sistemas agênticos.

Modos de Falha Sistemáticos: O trabalho identifica formalmente o "colapso de proveniência" como uma falha sistemática da atribuição de passagem única em configurações de múltiplos turnos, demonstrando que métodos planos não podem recuperar dependências em camadas.
Necessidade de Recursividade: Os resultados motivam uma mudança para métodos de atribuição que raciocinam recursivamente entre turnos, em vez de tratar o contexto como uma janela plana.
Depuração e Confiança: Ao recuperar caminhos completos de proveniência, o framework permite que desenvolvedores depurem fluxos de trabalho agênticos, verifiquem se as afirmações estão fundamentadas em fontes originais (em vez de resumos intermediários) e rastreiem a origem das alucinações.
Modéstia de Escopo: Os autores reconhecem que seus resultados são limitados pela qualidade do método de atribuição base e que o benchmark é atualmente limitado a texto em inglês e domínios específicos (viagens/varejo). Eles observam que as pontuações de atribuição são correlacionais (baseadas em atenção) e não causais, e que o framework opera atualmente post-hoc em transcrições, em vez de online dentro do loop do agente.

O artigo conclui que, embora a MTCA não seja um substituto para correção ou segurança, ela fornece um mecanismo fundamental para tornar o fluxo de informação em conversas de múltiplos turnos inspecionável, servindo como um passo em direção a interações agênticas mais transparentes.