Resumo Técnico: TraceView – Visualização Interativa de Trajetórias de Reparação de Programas Agênticos

Declaração do Problema

Agentes de Reparação Automática de Programas (APR) baseados em Grandes Modelos de Linguagem (LLM) geram patches candidatos através de trajetórias complexas que envolvem raciocínio, uso de ferramentas e feedback do ambiente. Embora o resultado final de uma tentativa de reparação (sucesso ou falha) seja observável, o processo intermediário permanece opaco. Um patch que falha não revela se o agente localizou o bug, ignorou o feedback, repetiu ações ou divergiu da tarefa. Essa falta de visibilidade torna as falhas de reparação agêntica difíceis de diagnosticar, reproduzir e prevenir.

Abordagens existentes para análise de trajetórias dependem frequentemente da inspeção manual de logs brutos ou planilhas. O trabalho anterior de Bouzenia e Pradel, envolvendo a rotulagem manual de 14.000 pares de Pensamento-Ação-Resultado (TAR), destaca o alto custo e esforço necessários para anotar essas trajetórias. Sem ferramentas dedicadas, pesquisadores lutam para criar, filtrar e inspecionar rótulos de relações semânticas, tornando difícil conectar as anotações de volta à evidência original no traço.

Metodologia: TraceView

Para enfrentar esses desafios, os autores apresentam o TraceView, uma ferramenta interativa projetada para rotular e visualizar trajetórias de agentes de APR. O sistema é implementado como uma aplicação Streamlit e opera através de um fluxo de trabalho estruturado:

1. Ingestão e Normalização de Dados

O TraceView aceita entradas brutas (ex: SWE-agent JSON, JSONL, logs de texto puro) e entradas pré-rotuladas (datasets agrupados como AutoCodeRover). Ele normaliza essas entradas em etapas ordenadas de Pensamento, Ação e Resultado (TAR), criando uma representação subjacente unificada, independentemente do formato de origem.

2. Fluxo de Trabalho de Rotulagem

A ferramenta suporta um processo de rotulagem em dois estágios:

• Categorização de Ação: Usuários atribuem categorias a cada etapa (ex: Explorar, Localizar, Buscar, Reproduzir, Gerar correção, Executar testes, Refatorar, Explicar).
• Rotulagem de Relação Semântica: Usuários rotulam as relações entre os componentes de origem e destino dos TARs. Os rótulos de relação suportados incluem Alinhamento, Seguimento, Refinamento, Redundância, Repetição, Divergência, Contradição, Informativo, Gatilho, Sem influência, Desalinhamento e Má interpretação.
• Interface: O espaço de trabalho de rotulagem apresenta o texto de evidência de ambos os componentes de origem e destino. Os usuários podem inspecionar evidências longas via popovers para reduzir a desordem visual, mantendo o acesso ao texto original.

3. Visualização e Análise

O TraceView renderiza trajetórias rotuladas como grafos direcionados com duas visualizações coordenadas:

• Visualização de Iteração: Um resumo de alto nível onde cada nó representa uma etapa, rotulada por número de iteração e categoria de ação.
• Visualização Detalhada de TAR: Expande cada etapa em nós distintos de Pensamento (T), Ação (A) e Resultado (R).
  • Estilização de Nós: Os nós de Pensamento e Resultado usam cores fixas; os nós de Ação são coloridos por sua categoria atribuída.
  • Famílias de Arestas: Arestas semânticas conectam os nós com base em cinco famílias de relações (ex: Pensamento→Ação dentro de uma etapa, Resultado→Pensamento entre etapas). Arestas estruturais preservam o fluxo cronológico.
  • Filtragem e Métricas: Usuários podem filtrar o grafo por tipos de relação (ex: isolando loops de Repetição ou mudanças de Divergência). A ferramenta fornece contagens agregadas de relações e resumos de resultados de patch (ex: RESOLVIDO, APLICADO, GERADO).
  • Painel de Inspeção: Selecionar um nó revela o texto subjacente e as relações rotuladas conectadas, aderindo ao princípio de "detalhes sob demanda".

Principais Contribuições

O artigo apresenta três contribuições principais:

1. Ferramenta TraceView: Um sistema interativo para rotular e visualizar trajetórias de agentes de APR como grafos estruturados de Pensamento, Ação e Resultado.
2. Fluxo de Trabalho de Análise: Um fluxo de trabalho abrangente que apresenta rotulagem de arestas semânticas, filtros de relação, resumos de resultados de patch, métricas de relacionamento e inspeção de evidência ao nível do nó.
3. Estudo de Usuário Preliminar: Uma avaliação envolvendo cinco pesquisadores que analisa a utilidade da ferramenta na varredura de trajetórias e compreensão de fluxos de trabalho de reparação, identificando áreas específicas para melhoria da interface.

Resultados da Avaliação

Os autores conduziram um estudo de usuário baseado em questionários com cinco pesquisadores de ciência da computação. Os participantes realizaram tarefas que variaram desde a rotulagem de ações até a análise de visualizações de grafos.

• Achados Quantitativos: Os participantes avaliaram o TraceView positivamente em todas as três dimensões avaliadas:
  • Fluxo de Trabalho de Rotulagem: Altas classificações para clareza das seções (Mediana=4) e formatos de entrada (Mediana=5).
  • Evidência e Interpretação: Popovers de nível de linha receberam uma pontuação mediana de 5 por fornecer evidência suficiente. A interpretabilidade do grafo recebeu uma mediana de 4.
  • Fluxo de Trabalho de Análise: Os participantes classificaram a ferramenta como mais eficiente que logs brutos (Mediana=5), acharam os grafos mais fáceis de escanear (Mediana=5) e consideraram útil a hierarquia de visão geral para detalhe (Mediana=5).
• Feedback Qualitativo:
  • Pontos Fortes: Usuários consideraram a visualização de grafos eficaz para entender o processo de reparação e o fluxo de visão geral-para-detalhe útil para orientação.
  • Limitações: Alguns participantes notaram que as prévias de ação eram às vezes curtas demais para fornecer contexto ou longas demais para escanear eficientemente. Usuários solicitaram que os rótulos dos nós incluam resumos curtos em vez de apenas identificadores (ex: "T0"). Além disso, arestas diagonais e certos rótulos de relação (ex: Desalinhamento) foram por vezes difíceis de interpretar sem explicação adicional.

Significância e Alegações

O artigo posiciona o TraceView como um passo necessário para tornar as falhas de reparação agêntica diagnosticáveis. Ao ir além dos resultados finais do patch para visualizar o processo de reparação, a ferramenta permite que pesquisadores identifiquem onde os agentes se alinham com feedbacks úteis, repetem ações, divergem de tarefas ou interpretam mal o contexto.

Os autores alegam modestamente que seu estudo preliminar demonstra a capacidade da ferramenta de melhorar a varredura de trajetórias em comparação com logs brutos e apoia a utilidade de um fluxo de trabalho de visão geral-para-detalhe. Eles não alegam ter resolvido o problema da reparação agêntica inteiramente, mas sim terem fornecido uma ferramenta que facilita a "análise de granularidade fina" necessária para entender e, potencialmente, corrigir o comportamento agêntico. Trabalhos futuros planejam incorporar o feedback do usuário (resumos mais curtos, prévias de hover) e realizar estudos maiores com trajetórias mais diversas.