Resumo Técnico: AGENTLENS: Revelando o Problema da Aprovação Sortuda na Avaliação de Agentes SWE

1. Declaração do Problema

A avaliação atual de Agentes de Engenharia de Software (SWE) é dominada por um sinal binário: se o patch final passa na suíte de testes (por exemplo, SWE-bench). Essa visão focada apenas no "resultado" trata uma solução principiante e eficiente e um processo caótico de tentativa e erro como equivalentes. Os autores argumentam que essa equivalência é empiricamente falsa e insuficiente para avaliar o comportamento do agente.

Especificamente, o artigo identifica o problema da "Aprovação Sortuda": um subconjunto de trajetórias bem-sucedidas que alcançam um patch correto por meio de processos fracos, frágeis ou ineficientes. Estes incluem:

• Ciclos de regressão: Falhar repetidamente e re tentar edições semelhantes.
• Re tentativas cegas: Repetir ações sem novas informações.
• Falta de verificação: Aplicar correções sem executar testes.
• Exploração temporalmente desordenada: Realizar etapas de verificação antes da implementação ou explorar arquivos irrelevantes após uma correção ser verificada.

O artigo postula que tratar todas as trajetórias de aprovação como dados de supervisão igualmente valiosos (como feito em conjuntos de dados como SWE-Gym) é um proxy grosseiro para a qualidade da demonstração. Além disso, à medida que os modelos convergem para benchmarks de taxa de aprovação, a qualidade do processo torna-se um eixo necessário para comparação de modelos e avaliação de riscos, pois agentes que têm sucesso via tentativa e erro podem se comportar de forma imprevisível em implantações complexas do mundo real.

2. Metodologia: O Framework AGENTLENS

Os autores introduzem o AGENTLENS, um framework para avaliação em nível de processo de trajetórias de agentes SWE. Ele opera em quatro etapas:

A. De Logs Brutos a Estados Rotulados

Logs brutos de agentes são analisados em sequências de estados estruturados. Cada estado recebe um rótulo de estágio de intenção de quatro fases cognitivas:

1. Exploração (E): Leitura de arquivos, busca, listagem de diretórios.
2. Implementação (I): Edição ou criação de arquivos de origem.
3. Verificação (V): Execução de testes, verificação de erros, re-leitura de arquivos editados.
4. Orquestração (O): Etapas de contabilidade e raciocínio.

Crucialmente, o AGENTLENS emprega um rotulador de estágio de intenção sensível ao contexto. Diferentemente de abordagens ingênuas que rotulam ações baseadas apenas na identidade da ferramenta (por exemplo, assumindo que grep é sempre exploração), este rotulador utiliza o histórico da trajetória. Por exemplo, grep é rotulado como Exploração antes de um patch ser escrito, mas como Verificação se realizado após uma etapa de implementação para verificar uma alteração específica. Isso resolve ambiguidades em comandos de terminal, validado com um $\kappa$ de Fleiss = 0,933 entre sete anotadores.

B. Construindo uma Referência PTA

Em vez de comparar uma trajetória candidata a um único rastro de referência, o AGENTLENS constrói um Aceptor de Árvore de Prefixos (PTA) a partir de $k \ge 2$ trajetórias de aprovação para a mesma tarefa.

• Mesclagem: Prefixos compartilhados são mesclados em nós comuns.
• Ramificação: Estratégias divergentes, mas bem-sucedidas, formam ramificações.
• Resultado: O PTA é um Grafo Acíclico Direcionado (DAG) que codifica um espaço de estratégias de solução "conhecidas como boas", em vez de um único exemplar. Isso permite que o sistema reconheça caminhos alternativos válidos, enquanto sinaliza desvios de processos de sucesso conhecidos.

C. Pontuação de Trajetórias Candidatas

Uma trajetória candidata é pontuada contra o PTA em nível de tarefa usando quatro sinais complementares, combinados em uma pontuação de qualidade de 0 a 100:

1. Alinhamento Estrutural ($\Phi_{struct}$): Mede se a candidata visita estados do PTA na ordem aproximadamente correta (recall ordenado + precisão não ordenada).
2. Cobertura de Conjunto ($\Phi_{cov}$): Mede a fração de estados do PTA correspondidos pela candidata, independentemente da ordem.
3. Coerência da Trajetória ($\Phi_{coh}$): Resume a sequência de estágio de intenção, recompensando o progresso forward (por exemplo, $E \to I \to V$) e penalizando retrocessos e re tentativas cegas.
4. Semelhança do Perfil Temporal ($\Phi_{temp}$): Compara a distribuição de estágios nos segmentos inicial, médio e tardio da trajetória contra o PTA usando divergência de Jensen-Shannon.

A pontuação final é uma soma ponderada:
$$f(\tau_c, G) = 0,20 \cdot \Phi_{struct} + 0,15 \cdot \Phi_{cov} + 0,30 \cdot (100 \cdot \Phi_{coh}) + 0,35 \cdot (100 \cdot \Phi_{temp})$$
Sinais comportamentais (Coerência e Perfil Temporal) carregam 65% do peso, refletindo que a cobertura estrutural e a qualidade do processo frequentemente falham em trajetórias diferentes.

D. Relatórios e Classificação por Níveis

As trajetórias são classificadas em níveis com base em sua pontuação composta:

• Ideal ($\ge 70$): Principiante, baixo desperdício, bem ordenado.
• Sólido ($47 \le pontuação < 70$): Imperfeito, mas coerente.
• Sortudo ($< 47$): Processos fracos que acabam passando (por exemplo, ciclos de regressão, re tentativas cegas).
• Falha Parcial / Fora de Rota: Para trajetórias que falham.

O sistema também gera relatórios estruturados de ineficiência, localizando "desperdício" (loops de regressão, re tentativas cegas, etapas redundantes, exploração desnecessária, padrões cíclicos) para etapas específicas da trajetória.

3. Contribuições Principais

1. AGENTLENS-Bench: O primeiro conjunto de dados de trajetórias de agentes SWE anotado em nível de processo. Contém 1.815 trajetórias de 47 tarefas verificadas do SWE-bench, apresentando pontuações de qualidade, anotações de desperdício, metadados de divergência e PTAs de verdade absoluta.
2. A Descoberta da Aprovação Sortuda: Os autores demonstram que 10,7% das trajetórias de aprovação são "Aprovações Sortudas". Estas são decompostas em cinco mecanismos recorrentes:
   • Mínimo e Não Verificado (15,6%): Curto, sem verificação.
   • Convergência por Força Bruta (34,4%): Alto desperdício, baixa coerência.
   • Implementação Incompleta (33,6%): Correções parciais passando devido a lacunas nos testes.
   • Exploração Excessiva (4,1%): Longo, sem foco.
   • Divergente, mas Válido (12,3%): Abordagens válidas alternativas.
3. Rotulagem de Intenção Sensível ao Contexto: Um rotulador validado que resolve a ambiguidade entre exploração e verificação em comandos de terminal, alcançando 96,0% de acordo bruto.
4. Referências de Processo Baseadas em PTA: Um método para mesclar múltiplas soluções de aprovação em um espaço de referência de estratégias conhecidas como boas, permitindo a pontuação de novas trajetórias contra um conjunto diversificado de comportamentos corretos.
5. Ferramentas de Código Aberto: Lançamento do SDK AGENTLENS e interface web, suportando rastros ATIF e OpenHands sem a necessidade de chamadas de LLM para pontuação.

4. Resultados

O framework foi avaliado em 2.614 trajetórias de oito backends de modelos (incluindo GPT-4.1, GPT-4o, Claude Opus e Gemini 2.5 Pro) em 60 tarefas verificadas do SWE-bench.

• Distribuição de Trajetórias de Aprovação: Entre 1.136 trajetórias de aprovação, 20,2% foram Ideais, 69,1% foram Sólidas e 10,7% foram Sortudas.
• Discrepância no Ranking de Modelos: A pontuação consciente de processo altera significativamente os rankings de modelos em comparação com a taxa de aprovação isolada.
  • Exemplo: O GPT-4o ocupa o 8º lugar pela taxa de aprovação, mas o 3º pela pontuação de qualidade.
  • Exemplo: O Claude Opus 4.6 ocupa o 3º lugar pela taxa de aprovação, mas o 6º pela pontuação de qualidade, com uma taxa de Aprovação Sortuda de 18,7% (a mais alta entre os modelos de nível superior).
  • As taxas de Aprovação Sortuda entre os modelos variam de 0,5% (Opus 4.5) a 23,2% (GPT-4.1).
• Especificidade da Taxonomia: Há uma associação significativa entre o tipo de modelo e a categoria de Aprovação Sortuda ($\chi^2(28) = 102,47, p < 0,0001$). Por exemplo, o Opus 4.6 produz desproporcionalmente aprovações "Mínimas e Não Verificadas", enquanto o GPT-4.1 domina as categorias "Força Bruta" e "Exploração Excessiva".
• Poder Discriminatório: A pontuação composta separa trajetórias de aprovação e falha com um AUROC de 0,766 ($p=0,0017$). Nenhum sinal único alcançou significância estatística sozinho, destacando a necessidade de fundir sinais estruturais e comportamentais.
• Implicações de Custo: Aprovações Sortudas incorrem em custos computacionais significativamente mais altos. Trajetórias de "Força Bruta" custam ~25x mais tokens do que as "Mínimas", e "Exploração Excessiva" custa ~40x mais, apesar de receberem rótulos binários idênticos de aprovação/falha.

5. Significado e Alegações

O artigo alega que o AGENTLENS fornece uma camada necessária de avaliação além dos resultados binários. Seu significado reside em três áreas:

1. Curadoria de Dados: Desafia a prática de filtrar dados de treinamento apenas pela taxa de aprovação, mostrando que trajetórias "bem-sucedidas" variam amplamente em qualidade. Usar trajetórias "Sortudas" de baixa qualidade para supervisão pode reforçar comportamentos frágeis.
2. Comparação de Modelos: Oferece um novo eixo para comparar modelos. À medida que os modelos convergem para altas taxas de aprovação, a capacidade de resolver tarefas por meio de processos coerentes e de baixo desperdício torna-se um diferencial. O artigo demonstra que o ranking por pontuação de qualidade pode deslocar as posições dos modelos em até cinco lugares.
3. Risco de Implantação: Destaca que agentes que têm sucesso via tentativa e erro podem ser imprevisíveis em ambientes com testes caros ou ações irreversíveis. Ao expor "Aprovações Sortudas", o AGENTLENS ajuda os praticantes a identificar modelos que dependem de exploração frágil em vez de raciocínio principiante.

Os autores posicionam o AGENTLENS não como um substituto para verificações de correção funcional, mas como uma ferramenta diagnóstica complementar para melhorar a avaliação, análise e treinamento de agentes de engenharia de software. Eles lançam o conjunto de dados e as ferramentas para tornar a análise consciente de processo um componente padrão do pipeline de avaliação de agentes SWE.