🤖 AI

AgentTrails: Towards Trust and Reuse for Agentic Tasks

O AgentTrails é um sistema protótipo que transforma registros cronológicos brutos de agentes baseados em LLM em grafos de proveniência estruturados para aumentar a confiança e o reuso ao revelar dependências de dados ocultas, permitir a comparação de execuções e suportar a extração de padrões e a abstração de habilidades.

Autores originais: Eden Wu, Sonia Castelo, Yurong Liu, Cláudio T. Silva, Juliana Freire

Publicado 2026-07-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eden Wu, Sonia Castelo, Yurong Liu, Cláudio T. Silva, Juliana Freire

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um chef brilhante, mas ligeiramente caótico, preparando uma refeição complexa. Você consegue ver o chef pegando ingredientes, picando, mexendo e empratando, mas você só tem um vídeo das mãos do chef se movendo da esquerda para a direita. Você sabe o que aconteceu, mas não sabe por que o chef pegou o sal depois da pimenta, ou se o molho que eles fizeram no passo três foi realmente usado no prato final, ou se eles apenas fizeram uma leva inteira extra de sopa que ninguém comeu. No mundo da inteligência artificial, esses "chefs" são chamados de agentes impulsionados por LLM. Eles são programas de computador que resolvem problemas difíceis usando ferramentas — como pesquisar na web, executar código ou ler arquivos — exatamente como um humano faria.

Quando esses agentes trabalham, eles deixam para trás uma lista longa e bagunçada de cada coisa que fizeram, escrita em ordem do início ao fim. Isso é chamado de trajetória. Pense nisso como uma entrada de diário que diz: "Primeiro eu fiz isso, depois fiz aquilo, depois fiz isso outro". O problema é que, embora esse diário diga a ordem dos eventos, ele esconde a história real: os fios invisíveis que conectam uma ação à próxima. É difícil ver qual etapa dependeu da anterior, ou se o agente se confundiu e tomou um caminho errado. Sem ver essas conexões, é quase impossível corrigir erros, aprender com bons exemplos ou confiar que o agente realmente fez o seu trabalho corretamente.

É aqui que um novo projeto chamado AgentTrails entra. Os pesquisadores por trás dele, uma equipe da Universidade de Nova York, perceberam que apenas ler o diário cronológico não é suficiente. Eles queriam transformar essa lista bagunçada em um mapa visual claro. O objetivo deles era construir um sistema que pudesse olhar para um log bruto e entediante das ações de um agente e reconstruir automaticamente a "árvore genealógica" oculta de dependências. Eles queriam mostrar exatamente qual chamada de ferramenta produziu um arquivo específico, qual arquivo foi usado como ingrediente para a próxima etapa e onde o agente pode ter saído dos trilhos.

O artigo apresenta o AgentTrails, um sistema protótipo que atua como um detetive para esses agentes de IA. Em vez de apenas mostrar uma lista de eventos, o AgentTrails pega o log de texto bruto e o transforma em um grafo de proveniência. Imagine pegar aquele vídeo caótico de cozinha e transformá-lo em um fluxograma onde cada ingrediente é um nó e cada etapa de cozimento é uma seta conectando-os. Isso torna as dependências invisíveis visíveis. O sistema não apenas adivinha; ele procura pistas no texto, como nomes de arquivos, IDs ou valores específicos que aparecem em uma etapa e são referenciados em uma etapa posterior, para desenhar as linhas entre eles.

Mas a mágica não para em apenas um agente. Os pesquisadores também abordaram o problema de comparar diferentes agentes ou o mesmo agente realizando a mesma tarefa várias vezes. Como a IA é um pouco como um humano, ela pode resolver o mesmo quebra-cabeça em uma ordem ligeiramente diferente ou tomar um desvio uma vez e um atalho na próxima. O AgentTrails pode pegar vários desses "mapas" e costurá-los em um grafo quociente unido. Pense nisso como sobrepor várias rotas diferentes percorridas por trilheiros na mesma montanha. O sistema destaca a trilha principal que todos usaram (o fluxo de trabalho comum e bem-sucedido) e mostra os pequenos caminhos laterais onde alguns trilheiros se perderam ou fizeram desvios desnecessários. Isso ajuda os desenvolvedores a identificar as "melhores práticas" e os "maus hábitos" que ficam ocultos quando você olha apenas para os logs um por um.

A equipe testou este sistema em exemplos do mundo real. Em um cenário, eles observaram um agente tentando resolver um problema de física sobre átomos de hidrogênio. O log bruto era apenas uma longa sequência de números e chamadas de ferramentas, mas o AgentTrails revelou um padrão claro: o agente calculou várias constantes independentes, combinou-as para encontrar um valor específico e, em seguida, usou esse valor para calcular a resposta final. Em outro teste, eles analisaram um agente explorando dados genéticos. Ao comparar uma execução de "pontuação alta" (bem-sucedida) com uma de "pontuação baixa" (falha), o grafo unido mostrou que o agente bem-sucedido seguiu um caminho direto, enquanto o que falhou continuou fazendo viagens laterais desnecessárias e realizando chamadas de ferramentas extras que não ajudavam.

O artigo sugere que esta abordagem é um passo promissor para tornar os agentes de IA mais confiáveis e fáceis de depurar. No entanto, os autores ressaltam cuidadosamente que este ainda é um trabalho preliminar. Eles ainda não provaram que seu sistema é perfeito em encontrar todas as conexões e ainda estão trabalhando em como escalá-lo para lidar com milhares de tarefas complexas de uma só vez. Eles anotaram manualmente um pequeno conjunto de exemplos para mostrar que funciona, mas a grande questão de como verificar esses mapas automaticamente em uma escala massiva ainda está aberta.

Em última análise, o AgentTrails oferece uma nova maneira de olhar para a IA. Em vez de tratar esses agentes como caixas pretas que cospem respostas, ele tenta abrir a caixa e mostrar as engrenagens girando lá dentro. Ao transformar uma simples linha do tempo em um mapa rico e interconectado, ele fornece aos desenvolvedores as ferramentas para entender, comparar e melhorar a maneira como esses agentes digitais pensam e trabalham. É uma mudança de simplesmente assistir ao show para compreender o roteiro nos bastidores.

Resumo Técnico: AgentTrails: Em Direção à Confiança e Reuso para Tarefas Agênticas

Declaração do Problema

Agentes baseados em LLM executam cada vez mais tarefas complexas ao invocar ferramentas, consultar bancos de dados e manipular artefatos intermediários. No entanto, os rastros de execução desses agentes são tipicamente armazenados como logs textuais cronológicos e não estruturados. Este formato apresenta três desafios primários para desenvolvedores e analistas:

Heterogeneidade e Extensão: Os rastros brutos contêm conteúdo misto (mensagens, esquemas, argumentos, respostas, artefatos), tornando a comparação baseada em texto tediosa e carente de uma visão geral compacta do uso de ferramentas.
Estrutura de Fluxo de Trabalho Oculta: A ordenação cronológica obscurece o fluxo de dados real. Chamadas de ferramentas posteriores podem depender de artefatos de muitos passos anteriores, ou chamadas adjacentes podem não estar relacionadas. O formato de log falha em revelar dependências, o reuso de artefatos e a topologia subjacente do fluxo de trabalho.
Estocasticidade: As execuções dos agentes são não-determinísticas. A mesma tarefa pode gerar diferentes ordens de ferramentas, chamadas repetidas ou ramos divergentes entre execuções, modelos ou agentes, tornando a comparação direta de sequências ineficaz.

Além disso, a reconstrução da proveniência a partir desses logs introduz dificuldades específicas: os rastros brutos raramente contêm arestas de dependência explícitas, exigindo a inferência de relações a partir de evidências heterogêneas (por exemplo, caminhos de arquivos, IDs, referências semânticas). Adicionalmente, comparar múltiplos grafos de proveniência é desafiador porque estágios de fluxo de trabalho semelhantes podem aparecer em contextos estruturais diferentes devido a variações estocásticas.

Metodologia

Os autores apresentam o AgentTrails, um protótipo de sistema de análise visual projetado para converter trajetórias de agentes brutos em grafos de proveniência estruturados e suportar a comparação de múltiplos rastros. O sistema opera através de três níveis coordenados de análise:

1. Visão Geral do Rastro (Abordando P1)

Antes da análise profunda, o AgentTrails fornece uma visão geral global e agnóstica a ferramentas usando uma visualização estilo UpSet.

Ele constrói uma matriz de cobertura onde as linhas representam rastros e as colunas representam ferramentas.
Os valores das células indicam a frequência das invocações de ferramentas.
Esta visão permite que usuários filtrem, agrupem e selecionem rastros com base em métricas como pontuação, custo, latência ou contagem de tokens, facilitando a seleção de candidatos para inspeção detalhada sem inferir dependências.

2. Construção do Grafo de Proveniência (Abordando P2 e S1)

O AgentTrails converte um rastro cronológico selecionado em um grafo de proveniência bipartido ( $G_T = (A_T \cup E_T, R_T)$ ), onde:

Nós: $A_T$ representa atividades de chamada de ferramenta, e $E_T$ representa artefatos de dados (entradas, saídas, valores retornados).
Arestas: $R_T$ inclui arestas generatedBy (da atividade para a saída) e arestas usedBy/informedBy (do artefato para a atividade consumidora).

Estratégia de Reconstrução:
Como os rastros brutos carecem de arestas de dependência explícitas, o sistema emprega uma abordagem de reconstrução baseada em evidências:

Esqueleto Determinístico: Primeiro, ele extrai dependências exatas de referências explícitas nas respostas (ex: IDs de armazenamento, nomes de arquivos, URLs). Se uma chamada posterior referencia explicitamente a chave de uma entidade anterior, uma aresta de dependência é adicionada.
Candidatos Semânticos: Evidências semânticas mais fracas (valores compartilhados, termos de consulta, objetos de domínio) são extraídas e armazenadas como dependências candidatas, em vez de verdade fundamental (ground truth).
Refinamento por LLM: Um agente de LLM restrito revisa o grafo preliminar e as relações candidatas para propor "operações de correção" (patch operations). Apenas correções que preservam a validade temporal, referências de nós e restrições de esquema são aceitas. Isso garante que o grafo final permaneça auditável, distinguindo entre arestas exatas, candidatos semânticos e edições refinadas por LLM.

3. Proveniência de Múltiplos Rastros via Grafo Quociente Unificado (Abordando P3 e S2)

Para comparar múltiplas execuções, o AgentTrails constrói um grafo quociente unificado (joined quotient graph):

Cápsulas de Atividade: Cada atividade em um rastro é abstraída em uma "cápsula" contendo sua identidade de ferramenta, estrutura de I/O, contexto de grafo local e linhagem ascendente (upstream lineage).
Agrupamento (Clustering): Cápsulas de diferentes rastros são agrupadas usando uma função de similaridade ponderada ( $S$ ) baseada em tokens de ferramenta, estrutura de I/O, contexto de grafo e palavras-chave de evidência.
Alinhamento: Cada grupo forma um "nó de atividade unificado". As arestas originais são remapeadas: se as arestas conectam atividades atribuídas aos mesmos clusters de origem e destino, elas são agregadas em uma única "aresta unificada".
Visualização: O grafo resultante visualiza estruturas de alto suporte (motivos recorrentes de fluxo de trabalho) e estruturas de baixo suporte (ramos específicos de um rastro, operações redundantes ou anomalias). O tamanho do nó e a largura da aresta refletem as contagens de suporte, enquanto a cor preserva a participação do rastro.

Interação de Sentido (Sensemaking)
O sistema inclui um copiloto de proveniência (um agente baseado em LLM) que inspeciona os grafos reconstruídos e unificados. Ele auxilia os usuários a resumir padrões, explicar ramos e recuperar entradas/saídas específicas, mas não define a proveniência em si; o fluxo de trabalho central permanece fundamentado nas estruturas derivadas do rastro.

Principais Contribuições

O artigo apresenta três contribuições preliminares:

Enquadramento de Proveniência: Um novo enquadramento para a compreensão de chamadas de ferramentas de agentes focado na recuperação da topologia de dependência a partir de rastros cronológicos.
Reconstrução Agnóstica ao Rastro: Uma abordagem que extrai e infere dependências de evidências estruturais e semânticas sem exigir a instrumentação do framework do agente.
Abstração de Proveniência Unificada: Um método para alinhar múltiplos rastros via um grafo quociente unificado para expor fluxos de trabalho compartilhados, ramos divergentes e comportamentos de baixo suporte.

Resultados e Cenários de Uso

Os autores demonstram o AgentTrails em dois conjuntos de dados do mundo real:

SciAgentGym (Física): Analisando uma tarefa envolvendo cálculos de frequência de transição hiperfina. O rastro bruto obscurecia o fluxo de trabalho, mas o grafo de proveniência reconstruído revelou um padrão claro de fan-in/fan-out onde constantes físicas independentes convergiam para calcular uma constante intermediária, que então ramificava para cálculos de deslocamento de energia. Isso validou a capacidade do sistema de expor dependências científicas ocultas.
Discovera (Exploração de Conjuntos de Genes): Analisando tarefas de "Assinatura-para-Mecanismos". O sistema permitiu que os usuários passassem de uma visão geral de nível de rastro para a inspeção de rastro único e, finalmente, para uma comparação de múltiplos rastros unificada. O grafo unificado distinguiu com sucesso um fluxo de dados de alta pontuação de rastros com pontuações menores que continiam desvios e chamadas redundantes, identificando candidatos concretos para otimização de prompts.

Significância e Limitações

O artigo posiciona o AgentTrails como uma fundação preliminar para depuração de agentes, reuso de fluxo de trabalho e extração de habilidades. Sua significância reside na mudança da análise de agentes de logs lineares para grafos de proveniência estruturados e auditáveis que revelam o "porquê" e o "como" do comportamento do agente, além do "o quê".

Os autores explicitamente observam várias questões abertas e limitações:

Verdade Fundamental (Ground Truth): A qualidade da proveniência atualmente carece de benchmarks de dependência de padrão ouro (embora 10 rastros anotados manualmente tenham sido usados para validação preliminar).
Ajuste (Tuning): A função de similaridade de cápsula e seus pesos requerem ajuste e avaliação fundamentados.
Escalabilidade: O sistema ainda não foi avaliado para rastros muito longos ou coleções de rastros de grande escala.
Abstração: Trabalhos futuros são necessários para explorar abstrações alternativas para o alinhamento de grafos além da atual abordagem de agrupamento de cápsulas.

O trabalho é enquadrado como um passo em direção à "confiança e reuso", permitindo que desenvolvedores compreendam, comparem e melhorem tarefas agênticas ao tornar o fluxo de dados subjacente explícito.