TraceSIR: A Multi-Agent Framework for Structured Analysis and Reporting of Agentic Execution Traces

1. O Problema

Os sistemas agênicos (que combinam Grandes Modelos de Linguagem - LLMs - com ferramentas externas e tomada de decisão iterativa) são poderosos para tarefas complexas como pesquisa profunda, chamadas de função e codificação. No entanto, a análise e o diagnóstico desses sistemas enfrentam desafios críticos:

• Complexidade e Volume: As trilhas de execução (execution traces) são longas e intrincadas, contendo milhares de chamadas de ferramentas e interações, o que torna a inspeção manual inviável.
• Limitações de Contexto: Aplicar LLMs diretamente nas trilhas brutas frequentemente excede os limites de entrada de tokens, levando a análises não confiáveis, alucinações ou conteúdo sem sentido.
• Perda de Informação Contextual: Métodos que focam apenas no resultado final da tarefa descartam informações comportamentais cruciais necessárias para localizar erros e identificar causas raízes.
• Falta de Agregação Sistemática: Abordagens existentes geralmente avaliam casos isoladamente ou usam agregação superficial (como clustering simples), falhando em identificar padrões recorrentes de falha entre múltiplas instâncias de tarefas.

2. Metodologia: TraceSIR

O TraceSIR é um framework multi-agente projetado para análise estruturada e geração de relatórios sobre trilhas de execução agênicas. Ele coordena três agentes especializados que operam colaborativamente:

A. Estrutura de Dados: TraceFormat

Antes da análise, o sistema converte as trilhas brutas (formato OpenAI) em um formato estruturado chamado TraceFormat.

• Abstração: Transforma a sequência de mensagens em uma estrutura de $N$ rodadas de interação, onde cada rodada contém: Thought (pensamento), Action (ação/ferramenta) e Observation (resultado).
• Compressão: Preserva a ordem temporal e o alinhamento causal, mas remove redundâncias, permitindo uma representação compacta e analisável.

B. Os Três Agentes

1. StructureAgent (Agente de Estruturação):

   • Recebe a trilha estruturada (TraceFormat).
   • Aplica um operador de abstração sensível ao comprimento ($\theta$) para comprimir elementos excessivamente longos (como trechos de código ou logs de ferramentas extensos) sem perder informações comportamentais essenciais.
   • Garante que a semântica original da execução seja mantida para diagnósticos confiáveis.

2. InsightAgent (Agente de Insights):

   • Realiza diagnóstico fino em nível de instância individual.
   • Analisa a trilha estruturada para produzir:
     • Avaliação geral de conclusão da tarefa (0-100).
     • Detecção de erros (principal e secundários).
     • Identificação de fraquezas e pontos fortes.
     • Análise de Causa Raiz (RCA): Explicações profundas sobre por que as falhas ocorreram.
     • Sugestões de otimização (incluindo amostras para fine-tuning).
   • Utiliza sinais auxiliares (como gold_score) quando disponíveis, mas depende principalmente de evidências comportamentais da trilha.

3. ReportAgent (Agente de Relatórios):

   • Opera em nível macro, agregando diagnósticos de múltiplas instâncias ($M$ casos).
   • Decide se a geração de um relatório é necessária com base no número de casos.
   • Realiza análise estatística (frequência de erros, distribuição de pontuações) para identificar padrões sistemáticos.
   • Gera um relatório abrangente em Markdown, incluindo seções de visão geral, análise de erros, causas raízes, sugestões de otimização e um apêndice com as trilhas estruturadas relevantes para rastreabilidade.

3. Contribuições Chave

• Framework Multi-Agente: Propõe uma arquitetura coordenada (Structure, Insight, Report) que separa a compressão de dados, o diagnóstico individual e a agregação estatística.
• TraceFormat: Introduz um novo formato de abstração que equilibra a compressão de dados com a preservação de informações comportamentais críticas para o diagnóstico.
• TraceBench: Construiu um benchmark unificado com 150 casos de falha de três cenários reais (Pesquisa Profunda, Chamada de Função e Codificação Agênica) para avaliação sistemática.
• ReportEval: Introduziu um protocolo de avaliação focado na qualidade e usabilidade dos relatórios, alinhado com necessidades da indústria, avaliando estrutura, análise de erros, causa raiz, otimização e impacto geral.

4. Resultados

O TraceSIR foi avaliado comparando-se com o ClaudeCode (baseline) em três cenários, utilizando tanto avaliação humana (por especialistas) quanto avaliação automatizada (LLM-as-a-judge).

• Desempenho Superior: O TraceSIR superou consistentemente o baseline em todas as dimensões e cenários.
  • Na avaliação humana, houve uma melhoria média de 9,7% na qualidade geral do relatório.
  • Na avaliação automatizada, a melhoria média foi de 7,5%.
• Ganhos Específicos: As maiores melhorias foram observadas em Análise de Erros (EA) e Análise de Causa Raiz (RCA), demonstrando a capacidade do sistema de fornecer insights diagnósticos mais profundos e acionáveis.
• Robustez: O sistema manteve vantagens mesmo quando utilizando modelos base (backbones) mais fracos (GLM-5), com ganhos relativos de até 26% em cenários desafiadores como codificação agênica.
• Qualidade do Relatório: Os relatórios gerados foram descritos como mais coerentes, fundamentados em evidências e úteis para a tomada de decisão de engenheiros e pesquisadores.

5. Significado e Impacto

O trabalho do TraceSIR é significativo porque:

• Escalabilidade: Resolve o gargalo da análise manual de trilhas longas, permitindo o diagnóstico de sistemas agênicos complexos em escala.
• Transparência e Confiabilidade: Ao transformar trilhas brutas em representações estruturadas e analisáveis, aumenta a interpretabilidade dos sistemas agênicos.
• Orientação à Ação: Não apenas identifica erros, mas fornece sugestões concretas de otimização e amostras para fine-tuning, fechando o ciclo entre diagnóstico e melhoria do sistema.
• Padrão de Avaliação: Estabelece um novo padrão para avaliar não apenas se um agente "funciona" (resultado final), mas como ele falha e por que, através do protocolo ReportEval.

Em suma, o TraceSIR representa um avanço crucial na engenharia de sistemas agênicos, fornecendo as ferramentas necessárias para diagnosticar, entender e melhorar o comportamento de agentes de IA em cenários do mundo real.