Resumo Técnico: LEDGER – Grafos de Traçado de Alegação-para-Evidência para Auditoria de Agentes LLM

Declaração do Problema

À medida que os agentes de Grandes Modelos de Linguagem (LLMs) evoluem de sistemas de resposta a perguntas de turno único para trabalhadores interativos capazes de executar fluxos de trabalho técnicos de longo horizonte (envolvendo uso de ferramentas, execução de código, edições de arquivos e geração de artefatos), o principal gargalo na produtividade deslocou-se da geração de saída para a auditabilidade. Os revisores atuais enfrentam um problema de "registro plano": eles devem reconstruir manualmente a estrutura lógica de uma sessão para determinar quais ações, artefatos e etapas de validação sustentam uma conclusão específica. Esta reconstrução manual é laboriosa, escala mal com a complexidade da sessão e obscurece a linhagem direta entre uma alegação final e sua evidência subjacente. O artigo argumenta que uma auditoria eficaz requer uma abordagem centrada em evidências, onde os revisores possam percorrer de um resultado relatado de volta aos atos concretos e artefatos que o produziram, em vez de ler um log linear.

Metodologia: Sistema LEDGER

Os autores introduzem o LEDGER (Layered Evidence and Decision Graphs for Execution Review - Grafos de Evidência e Decisão em Camadas para Revisão de Execução), um sistema de rastreamento e revisão sidecar que opera ao lado de sessões de agentes interativos não modificados. O LEDGER não substitui a observabilidade, mas reorganiza os registros capturados em um grafo de traçado semântico em camadas projetado para revisão humana.

1. Captura e Registros de Traçado

A base do LEDGER é o Registro de Traçado (Trace Record), um substrato estável e não interpretativo de dados de sessão capturados.

• Mecanismo: O sistema utiliza ganchos de ciclo de vida (ex: SessionStart, PreToolUse, PostToolUse) e reconstrução de transcrição para capturar payloads JSON contendo mensagens, invocações de ferramentas, resultados e interações de arquivos.
• Integridade: Esses registros preservam a ordem e o conteúdo originais da sessão, incluindo links para a transcrição de origem. Eles servem como a "fonte da verdade", distinta de qualquer estrutura inferida.

2. Construção de Grafo em Camadas

O LEDGER organiza os Registros de Traçado em uma estrutura de grafo de três níveis:

• Nós de Evidência: Estes agrupam Registros de Traçado intimamente relacionados (ex: uma chamada de ferramenta e seu resultado) em unidades de trabalho inspecionáveis. São categorizados por Tipo (Ação vs. Artefato) e Categoria (ex: user_message, tool_call, control, artifact). Nós de artefato representam especificamente objetos inspecionáveis como patches de código, gráficos, tabelas ou saídas de comando.
• Nós de Fluxo de Trabalho: Estes agrupam Nós de Evidência relacionados em fases de tarefas de nível superior (ex: context, plan, inspect, execute, validate, claim). Essa abstração permite que os revisores visualizem a sessão em um nível de fase, em vez de um nível de evento por evento.
• Arestas Semânticas: Arestas tipadas e direcionadas conectam os nós para definir relacionamentos. Tipos de arestas principais incluem:
  • uses (usa): Uma unidade de trabalho consome um artefato.
  • produces (produz): Uma unidade de trabalho cria ou modifica um artefato.
  • checked_by (verificado por): Uma mudança é validada por uma etapa específica.
  • supports (sustenta): A evidência justifica uma alegação.
  • informs (informa): Um resultado molda um plano subsequente.
  • frames (contextualiza): Um requisito estabelece o contexto para uma tarefa.

3. Interface e Fluxo de Trabalho de Revisão

O sistema fornece um dashboard local que integra:

• Visualizações de Grafo: Uma visualização de dois níveis (Camadas de Fluxo de Trabalho e de Evidência) permitindo que os revisores percorram desde as fases de alto nível até a evidência específica.
• Inspeção de Artefatos: Indexação direta nos artefatos subjacentes (ex: abrir um gráfico, patch ou tabela específico) vinculados do grafo.
• Auditoria de Construção de Traçado: Visualizações mostrando os Registros de Traçado brutos e atualizações do grafo, permitindo que os revisores distingam entre erros do agente e erros de traçado (ou seja, verificando como o grafo foi construído a partir dos dados brutos).

Principais Contribuições

1. Construção de Grafo de Traçado de Alegação-para-Evidência: Um método para analisar sessões de agentes não modificadas em um grafo semântico em camadas onde os nós de artefato representam evidências inspecionáveis e arestas tipadas conectam explicitamente alegações a ações de suporte e etapas de validação.
2. Interface de Revisão Centrada em Evidência: Um dashboard que unifica caminhos de auditoria de nível de grafo com registros de origem e artefatos, permitindo que os revisores se movam fluidamente entre a estrutura lógica do fluxo de trabalho e a evidência bruta.
3. Separação de Captura e Interpretação: Um design que separa estritamente os registros determinísticos de origem (Registros de Traçado) da estrutura inferida (Nós de Evidência/Fluxo de Trabalho), garantindo que o grafo permaneça um auxílio de auditoria e não uma fonte de verdade opaca.

Resultados e Estudos de Caso

O artigo valida o LEDGER através de dois estudos de caso usando um agente Codex com rastreamento ao vivo habilitado:

• Estudo de Caso 1: Análise de Dados Tabulares: Um agente analisou dados de qualidade do ar para gerar um relatório de padrões diários. O grafo de traçado expôs com sucesso a linhagem do artefato, ligando a alegação final de volta através de gráficos gerados e tabelas de resumo até as etapas de limpeza de dados de origem. Também destacou uma sequência de erro-e-reparo, mostrando como uma execução de script falha (devido a uma dependência ausente) foi rastreada, corrigida e revalidada, tornando o processo de reparo transparente.
• Estudo de Caso 2: Adição de Funcionalidade em Base de Código: Um agente adicionou uma utilidade de caminho mais curto à biblioteca NetworkX. O grafo distinguiu entre a implementação inicial e os subsequentes testes de regressão e patches de salvaguarda. Permitiu que os revisores traçassem a escolha de design (colocar a função em um módulo específico) de volta à inspeção do repositório e leituras de documentação, e para frente aos testes específicos que validaram o comportamento.

Em ambos os casos, o sistema demonstrou a capacidade de tornar o "caminho de auditoria" explícito, permitindo que os revisores verifiquem não apenas que uma alegação foi feita, mas como ela foi sustentada por artefatos e verificações específicas.

Significância e Alegações

O artigo posiciona o LEDGER como uma evolução necessária na observabilidade de agentes. Sua significância reside na mudança do paradigma de visibilidade (ver o que aconteceu) para auditabilidade (entender por que uma conclusão é confiável).

• Alegações Modestas: Os autores declaram explicitamente que a construção do grafo não é totalmente determinística; o rastreador interpreta quais registros pertencem uns aos outros e atribui arestas semânticas. Portanto, o grafo é apresentado como um auxílio de auditoria, não uma fonte da verdade. A interface é projetada para manter os registros subjacentes visíveis para que os revisores possam verificar a construção do grafo.
• Direção Futura: O artigo sugere que trabalhos futuros devem visar substituir a estrutura inferida pelo modelo por uma estrutura determinística ou independentemente verificável (ex: via instrumentação mais forte ou backends cientes de proveniência) e melhorar o vocabulário visual para distinguir melhor entre relações determinísticas e inferidas.

Em última análise, o LEDGER visa apoiar a crescente necessidade de supervisão humana em fluxos de trabalho complexos de agentes, preservando o acesso aos registros de origem enquanto torna as conexões entre ações, artefatos e conclusões inspecionáveis e navegáveis.