💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

Este artigo demonstra que o grafo de dependência direcionado das trajetórias de chamadas de ferramentas em agentes de LLM é linearmente decodificável a partir dos fluxos residuais do modelo, revelando que a rede representa ativamente a topologia de execução abstrata em vez de meramente rastrear a ordem posicional ou os valores dos identificadores.

Autores originais: Tianda Sun, Dimitar Kazakov

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianda Sun, Dimitar Kazakov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Lendo o "Fantasma" de um Plano

Imagine um modelo de linguagem grande (LLM) como um assistente muito inteligente, mas um pouco esquecido. Quando você pede a esse assistente para realizar uma tarefa complexa — como "Encontrar um usuário, verificar o pedido dele e, em seguida, trocar o produto" —, ele não faz tudo em um único salto gigante. Ele precisa dar vários passos, chamando diferentes ferramentas ao longo do caminho.

O artigo faz uma pergunta simples: O modelo "sabe" como esses passos se conectam entre si enquanto está pensando?

Especificamente, se o Passo A fornece informações de que o Passo B precisa, o cérebro interno do modelo (seu "fluxo residual") realmente mantém um mapa mostrando essa conexão? Ou o modelo está apenas adivinhando o próximo passo com base no que disse por último?

Os pesquisadores descobriram que sim, o modelo mantém esse mapa. Eles construíram um pequeno e simples "decodificador" que pode ler os pensamentos internos do modelo e revelar o gráfico de dependência oculto (o mapa de quem precisa do quê de quem) com alta precisão.

A Analogia: O Projeto de uma Obra de Construção

Pense no modelo como um canteiro de obras.

As Ferramentas: O modelo usa ferramentas como "Obter Usuário" ou "Obter Pedido".
A Trajetória: A sequência de ações que o modelo realiza.
O Gráfico de Dependência: Este é o projeto. Ele diz: "Você não pode despejar o concreto (Passo B) até ter o recibo da entrega do cimento (Passo A)."

Normalmente, vemos apenas o prédio pronto (a resposta final). Não vemos o projeto dentro das cabeças dos trabalhadores. Este artigo é como colocar óculos de raio-X especiais que nos permitem ver o projeto flutuando dentro das mentes dos trabalhadores enquanto eles trabalham.

Como Eles Fizeram Isso (O "Decodificador")

Os pesquisadores usaram um modelo chamado Qwen3-32B. Eles observaram enquanto ele resolvia problemas e registraram seu "fluxo residual" interno (um fluxo contínuo de dados representando seu estado atual de mente).

Eles treinaram uma ferramenta muito pequena e simples (uma "sonda") para olhar para esse fluxo e responder a uma pergunta binária para quaisquer dois passos no processo:

"A saída do Passo A alimenta a entrada do Passo B?"

Os Resultados:

Funciona: A sonda pôde prever essas conexões com cerca de 87% de precisão.
Não é um truque: Eles testaram contra palpites aleatórios e padrões simples (como "o Passo 2 sempre segue o Passo 1"). A sonda performou muito melhor do que esses, provando que estava realmente lendo a lógica da conexão, e não apenas a ordem dos eventos.
É abstrato: Quando eles alteraram os números específicos nos dados (por exemplo, mudar um ID de usuário de "123" para "456"), mas mantiveram a estrutura a mesma, a sonda ainda funcionou. Isso significa que o modelo entende o relacionamento (A depende de B), e não apenas as palavras específicas.

O "Fantasma" na Máquina (Propagação)

Uma das descobertas mais legais é sobre como essa informação viaja.

Imagine que você sussurra um segredo para o primeiro trabalhador (Passo A). O artigo mostra que esse segredo não desaparece apenas após o trabalhador terminar. Ele viaja por todo o canteiro de obras, pairando no "ar" (o fluxo residual) até o último trabalhador (Passo Z).

Eles provaram isso "aplicando patches" (substituindo) o estado interno do primeiro trabalhador por um cenário diferente. Mesmo que o modelo não tenha mudado seu comportamento final (ele ainda construiu a mesma casa), o "projeto" dentro dos trabalhadores posteriores mudou para corresponder ao novo cenário. Isso sugere que o modelo está ativamente carregando o plano estrutural para frente, e não apenas reagindo ao prompt imediato.

Quando Esse Mapa Desaparece?

Os pesquisadores testaram isso em diferentes tipos de tarefas para ver se o mapa está sempre lá. Eles encontraram um padrão:

Cadeias Complexas (Multi-hop): Se a tarefa requer uma longa cadeia de dependências (A $\to$ B $\to$ C $\to$ D), o mapa é muito claro e fácil de ler.
Listas Simples: Se a tarefa é apenas uma lista de passos independentes (A, depois B, depois C, sem conexões), o mapa desaparece.
A Pista da "Ordem": Se os passos são tão simples que apenas conhecer a ordem diz tudo (por exemplo, "Primeiro faça A, depois B"), o modelo não precisa construir um mapa interno complexo. O sinal "extra" desaparece porque a posição sozinha é suficiente.

O Que Isso Significa (e O Que Não Significa)

O que significa:
Encontramos uma nova maneira de olhar para dentro dos agentes de IA. Podemos ver que eles não estão apenas adivinhando cegamente a próxima palavra; eles estão mantendo um mapa estruturado e abstrato de como suas ações dependem umas das outras. Esse mapa é linear (fácil de ler) e viaja através das camadas do modelo.

O que NÃO significa (baseado estritamente neste artigo):

Não significa que agora podemos facilmente controlar o modelo para tomar melhores decisões (o artigo afirma explicitamente que a aplicação de patches mudou o mapa interno, mas não o comportamento final).
Não significa que isso funciona em todos e cada modelo de IA ou em modelos minúsculos (eles testaram apenas modelos grandes específicos).
Não significa que podemos usar isso para corrigir "alucinações" ou tornar o modelo mais seguro ainda; isso é trabalho futuro.

Resumo

O artigo é como descobrir que o assistente de um mágico não está apenas memorizando um roteiro, mas está realmente segurando um mapa mental da lógica de todo o truque. Ao usar um decodificador simples, os pesquisadores provaram que esse mapa existe, viaja pelo cérebro do modelo e é essencial para resolver problemas complexos e de múltiplos passos.

Resumo Técnico: A Estrutura de Dependência de Chamadas de Ferramenta é Linearmente Decodificável nos Fluxos Residuais de Agentes LLM

Declaração do Problema

Enquanto a interpretabilidade mecânica caracterizou com sucesso como os Modelos de Linguagem de Grande Escala (LLMs) representam estruturas estáticas (por exemplo, árvores sintáticas, estados de tabuleiro, conhecimento factual), permanece incerto se as estruturas de execução dinâmicas de agentes que utilizam ferramentas estão codificadas nos estados internos do modelo. Especificamente, quando um agente intercala a geração com chamadas de funções externas, as saídas de ferramentas anteriores frequentemente fornecem argumentos para chamadas posteriores, formando um grafo acíclico direcionado (DAG) de dependências. Desconhece-se se esse grafo de dependência em tempo de execução é explicitamente representado no fluxo residual do agente, se tal representação é causal, ou se é uma propriedade geral de agentes ou específica de determinados benchmarks.

Metodologia

Os autores investigam essa questão utilizando uma abordagem de sondagem estrutural no modelo Qwen3-32B (e replicada no Llama-3.3-70B) dentro do domínio de $\tau$ -bench retail.

Construção do Oráculo: Para trajetórias contendo $\ge 2$ chamadas de ferramenta, os autores constroem um "oráculo" DAG de chamadas de ferramenta. Uma aresta $i \to j$ é definida se um substrato contíguo, sensível a maiúsculas/minúsculas e normalizado quanto a espaços em branco (comprimento $\ge 4$ ) da saída da chamada $i$ aparecer verbatim nos argumentos JSON serializados da chamada $j$ . Isso define um rótulo de aresta binário para a sonda.
Arquitetura da Sonda: Uma sonda de regressão logística de baixa capacidade e regularizada L2 é treinada para prever a existência de uma aresta $(i, j)$ dada a concatenação dos vetores do fluxo residual dos tokens de fronteira terminais das chamadas $i$ e $j$ . Os vetores são agrupados pela média (mean-pooled) sobre um conjunto fixo de camadas $\{0, 14, 28, 41, 50, 57, 64\}$ .
Protocolo de Avaliação:
- Validação Cruzada: A validação cruzada Leave-One-Group-Out (LOGO) por trajetória garante que nenhum token de uma trajetória retida entre em sua dobra de treinamento.
- Controles: O estudo emprega uma bateria abrangente de controles:
  - Controle de Rótulo Aleatório Hewitt–Liang: Permutando os rótulos das arestas para descartar memorização.
  - Linha de Base Posicional: Uma linha de base de 5 características ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ) para separar a codificação estrutural da simples ordenação de chamadas.
  - Teto de Forma Superficial: Um decodificador baseado em sobreposição de n-gramas e nomes de ferramentas para garantir que o sinal não seja meramente textual.
  - Controle de Inicialização Aleatória: Usando um modelo inicializado aleatoriamente para isolar sinais atribuíveis ao treinamento.
- Contrafactuais: Os autores realizam corrupção de valores (troca de IDs nas saídas) e perturbação estrutural (reescrevendo saídas para resultados vazios) para testar se a sonda rastreia topologia abstrata ou valores específicos de identificadores.
- Correção de Ativação: Para testar causalidade, os autores corrigem o fluxo residual de uma chamada de origem com características de uma trajetória "doadora" e medem a mudança na leitura da sonda em uma fronteira posterior não corrigida.

Principais Contribuições e Resultados

1. Decodificabilidade Linear do Grafo de Dependência

O grafo de dependência de chamadas de ferramenta é linearmente decodificável a partir do fluxo residual congelado.

Desempenho: A sonda multicamadas alcança um AUROC de 0,869 em pares retidos.
Significância: Isso supera significativamente o controle de rótulo aleatório Hewitt–Liang (AUROC máximo 0,565, $p < 10^{-4}$ ) e a linha de base posicional (AUROC 0,792). O fluxo residual contribui com uma lacuna condicional de AUROC de +0,0775 sobre a linha de base posicional, confirmando que o sinal não é meramente um proxy para a ordem de chamadas.
Emergência: O sinal emerge nitidamente pela Camada 14 (~22% de profundidade) e satura em torno da Camada 41, correspondendo a padrões de emergência semântica de meio de pilha.

2. Sensibilidade à Topologia vs. Especificidade de Valor

A sonda rastreia topologia de dependência abstrata em vez de valores específicos de identificadores.

Corrupção de Valor: A troca de valores de ID nas saídas de ferramentas (mantendo o plano fixo) resulta em nenhuma mudança estatisticamente significativa na estrutura DAG decodificada (d de Cohen = 0,06).
Perturbação Estrutural: A reescrita de uma resposta de ferramenta para um resultado vazio (forçando uma mudança de plano) causa uma grande mudança na estrutura decodificada (d de Cohen = 0,87).
Replicação: Essa dissociação mantém-se através de domínios, incluindo ComplexFuncBench, e é reproduzida usando um oráculo independente de igualdade de valores tipado por esquema (sem correspondência de substrato), confirmando que o sinal não é um artefato do heurístico de substrato.

3. Propagação Representacional

A correção de ativação fornece evidências de que a representação de dependência propaga-se através da rede em vez de ser uma leitura passiva.

A correção do fluxo residual em uma chamada de origem desloca a previsão da sonda em uma fronteira estritamente posterior não corrigida (por exemplo, na Camada 57).
Crucialmente, enquanto a representação se desloca, a escolha real de ferramenta do agente não se move (0% de mudança no comportamento). Isso sugere que a representação é portadora de carga para o estado interno, mas não suficiente para controle comportamental neste contexto.

4. Generalidade Cross-Domain e Modulação

A contribuição não posicional generaliza-se através de benchmarks interativos de múltiplos saltos, mas atenua-se onde a ordem de chamadas sozinha é suficiente.

Replicações Positivas: O sinal é forte em ToolHop (+0,161 de contribuição) e ComplexFuncBench (+0,060 de contribuição).
Arestas Transitivas: A sonda decodifica dependências transitivas (multissalto) ainda mais fortemente (AUROC 0,986) do que arestas diretas, com o sinal transitivo subindo mais rapidamente nas camadas iniciais.
Atenuação: A contribuição desaparece em TaskBench (planejamento de tiro único, contribuição -0,02) e é não testável em BFCL (uso de ferramenta direto apenas), apoiando a hipótese de que o sinal existe onde a ordem de chamadas é um proxy fraco para dependência.

Significância e Alegações

Os autores afirmam que esta é a primeira sonda estrutural do grafo de dependência de chamadas de ferramenta em tempo de execução de um agente LLM.

Representação vs. Controle: As alegações são estritamente sobre representação. O artigo demonstra que o grafo de dependência é linearmente legível e causalmente propagado dentro do fluxo residual, mas afirma explicitamente que a correção de ativação não produz atualmente controle comportamental (as escolhas de ferramentas do agente permanecem inalteradas).
Nova Classe-Alvo: Os resultados sugerem que estruturas de execução em tempo de execução (DAGs de chamadas de ferramenta) constituem uma nova classe de alvos de interpretabilidade mecânica, distintos de decisões em nível de token ou traços de raciocínio estáticos.
Modéstia: Os autores são modestos quanto ao escopo da propagação, observando que a replicação causal cross-domain e intervenções comportamentalmente suficientes permanecem como trabalho futuro. Eles também reconhecem que a definição de dependência depende da reutilização de valores (correspondência de substrato ou esquema), excluindo dependências mediadas puramente por fluxo de controle sem transferência de valor.

Em resumo, o artigo estabelece que agentes LLM codificam a topologia abstrata de seus grafos de execução de chamadas de ferramenta em seus fluxos residuais, uma representação distinta de priores posicionais, robusta a mudanças de valor e que se propaga através das camadas da rede.