Resumo Técnico: TrajAudit

Declaração do Problema

Sistemas de codificação agênicos, impulsionados por Modelos de Linguagem de Grande Escala (LLMs), estão sendo cada vez mais implantados para tarefas de manutenção de software em nível de repositório, como correção de bugs e desenvolvimento de funcionalidades. Embora eficazes em modificações simples de arquivo único, esses agentes frequentemente falham em cenários complexos de múltiplos arquivos que exigem raciocínio de longo horizonte. Compreender onde e por que essas falhas ocorrem é crítico para o refinamento iterativo e a confiabilidade operacional.

Os métodos existentes de diagnóstico automático de falhas enfrentam dois desafios principais ao serem aplicados a trajetórias de codificação em nível de repositório:

1. Ruído Observacional: As trajetórias de execução estão carregadas de informações irrelevantes, como estruturas de programa redundantes e contexto de código verboso (que frequentemente constituem mais de 70% da trajetória). Esse ruído interfere nas capacidades de raciocínio dos LLMs.
2. Extensão Excessiva: Trajetórias para tarefas complexas frequentemente abrangem de 20 a mais de 100 etapas, com cada etapa contendo milhares de caracteres. LLMs mais avançados lutam para manter a qualidade do raciocínio ao processar contextos tão longos, levando a uma degradação significativa no desempenho de diagnóstico (caindo abaixo de 40% de precisão em tarefas de longo horizonte).

As abordagens atuais tipicamente consomem passivamente trajetórias inteiras ou segmentos fixos, tratando todas as etapas como igualmente relevantes, o que falha em abordar a natureza específica das falhas agênicas em ambientes ruidosos e de longo horizonte.

Metodologia: TrajAudit

Para abordar esses desafios, os autores propõem o TrajAudit, o primeiro framework de diagnóstico automático de falhas especificamente projetado para trajetórias de codificação em nível de repositório. O TrajAudit emprega um Agente Investigador apoiado por dois módulos sinérgicos para explorar ativamente e buscar fragmentos relevantes de trajetórias longas e ruidosas.

Componentes Principais

1. Módulo de Raciocínio Prévio de Falhas:

   • Função: Gera um diagnóstico preliminar antes do agente processar a trajetória completa.
   • Mecanismo: Solicita a um LLM que analise o código de teste falho e sua descrição de erro correspondente para identificar a região mais suspeita (por exemplo, fases específicas como "Exploração" ou "Implementação de Código") responsável pela falha.
   • Objetivo: Esse diagnóstico preliminar serve como conhecimento prévio, direcionando o foco do Agente Investigador para os segmentos de falha mais prováveis e mitigando a degradação de contexto longo.

2. Módulo de Dobra de Saliência Semântica:

   • Função: Comprime seletivamente as observações da trajetória para reduzir o ruído.
   • Mecanismo: Emprega correspondência de padrões (por exemplo, detectar cabeçalhos de patch de código como --- a e +++ b) e detecção de palavras-chave (por exemplo, "exceção", "falha", "erro") para identificar contexto relevante para falhas.
   • Ação: Observações contendo esses sinais são preservadas. Observações irrelevantes (por exemplo, logs verbosos de criação de arquivo, árvores de diretório) são "dobradas" em um único marcador de posição de token, removendo efetivamente o ruído enquanto retêm a capacidade de recuperar o conteúdo completo sob demanda.

3. Agente Investigador:

   • Função: Atua como o hub central para o diagnóstico.
   • Mecanismo: Recebe o diagnóstico preliminar e a trajetória dobrada. Avalia dinamicamente se o contexto atual é suficiente para a localização. Se não for, invoca iterativamente APIs para recuperar o conteúdo completo de observações dobradas específicas sob demanda.
   • Estratégia: Isso permite uma abordagem diagnóstica de cima para baixo, começando com uma visão geral de alto nível e perfurando seletivamente em detalhes apenas quando necessário, garantindo que informações críticas sejam preservadas enquanto se minimiza o ruído.

Contribuições Principais

O artigo apresenta três contribuições principais:

1. Framework: TrajAudit, um framework automatizado que localiza o "primeiro passo decisivo de erro" (a primeira etapa em que uma ação incorreta leva à falha da tarefa) e fornece justificativas de diagnóstico para trajetórias de codificação agênica.
2. Benchmark (RootSE): O primeiro benchmark dedicado à avaliação de diagnóstico de falhas em programação agênica.
   • Escala: Compreende 93 instâncias complexas de falha provenientes de tarefas reais de manutenção de software (SWE-bench e SWE-bench Pro).
   • Complexidade: Contém mais de 4.500 etapas de execução e aproximadamente 27 milhões de caracteres, representando o benchmark de diagnóstico de trajetória mais complexo até a data.
   • Anotação: Inclui rótulos de verdade fundamental para o primeiro passo decisivo de erro e justificativas textuais, curados por especialistas com acordo substancial entre avaliadores (Kappa de Cohen = 0,78).
3. Avaliação: Uma avaliação abrangente do TrajAudit contra baselines existentes no RootSE, demonstrando melhorias significativas na precisão de localização e eficiência de tokens.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark RootSE usando vários LLMs base (Claude-Sonnet, GPT-5.2, DeepSeek-R1) e comparados com baselines incluindo Atribuição Aleatória, Tudo-de-Vez, Passo-a-Passo e Busca Binária.

• Precisão de Localização: O TrajAudit superou a baseline mais forte (Tudo-de-Vez) em 24,4 pontos percentuais na Precisão Exata em Nível de Etapa no cenário sem referência (50,9% vs. 26,9%). A lacuna de desempenho aumentou significativamente à medida que o comprimento da trajetória aumentava, com o TrajAudit mostrando uma lacuna de precisão superior a 70% sobre as baselines em trajetórias que excedem 80 etapas.
• Eficiência de Tokens: O TrajAudit demonstrou eficiência superior, reduzindo o consumo de tokens em pelo menos 18% em comparação com a baseline mais eficiente (Tudo-de-Vez) e em mais de 1200% em comparação com a abordagem Passo-a-Passo.
• Qualidade da Justificativa: O TrajAudit alcançou a maior Precisão de Justificativa (71,0% no total), superando significativamente as baselines, particularmente em trajetórias mais longas.
• Estudo de Ablação: A remoção do Módulo de Dobra de Saliência Semântica causou a queda mais significativa na precisão (11,4%), destacando seu papel crítico na redução de ruído. A remoção do Raciocínio Prévio de Falhas também reduziu a precisão (3,5–3,9%), confirmando o valor da orientação preliminar.

Significado e Alegações

O artigo afirma que o TrajAudit fornece um recurso fundamental para a comunidade abordar o gerenciamento de falhas na engenharia de software agênica. Ao introduzir um framework que filtra ativamente o ruído e aproveita o raciocínio prévio, ele supera as limitações do processamento passivo de contexto longo. Os autores posicionam o RootSE como um passo necessário para frente, argumentando que benchmarks existentes (como Who&When) falham em capturar a complexidade e o comprimento de tarefas reais em nível de repositório, mascarando assim as limitações dos métodos de diagnóstico atuais.

O trabalho enfatiza que o diagnóstico eficaz de falhas em sistemas agênicos exige ir além da análise simples de trajetórias para uma investigação ativa e consciente do ruído, uma capacidade que o TrajAudit demonstra através de sua precisão e eficiência superiores em falhas complexas e reais de manutenção de software.