Beyond Resolution Rates: Behavioral Drivers of Coding Agent Success and Failure

Título: Além das Taxas de Resolução: Drivers Comportamentais do Sucesso e Falha de Agentes de Codificação

1. O Problema

Os agentes de codificação, que combinam a capacidade de raciocínio de Grandes Modelos de Linguagem (LLMs) com loops de interação aumentados por ferramentas, representam um novo paradigma na engenharia de software automatizada. No entanto, apesar do progresso rápido, esses agentes ainda apresentam limitações severas: os melhores agentes baseados em LLMs falham em mais de 20% das tarefas de benchmarks como o SWE-bench Verified.

O problema central identificado pelos autores é a falta de uma compreensão sistemática sobre por que (causas raiz) e como (padrões comportamentais observáveis) esses agentes falham. Estudos anteriores focaram principalmente em métricas de nível de resultado (taxas de resolução) ou analisaram amostras pequenas sem controlar adequadamente a dificuldade da tarefa, o que obscurece a relação entre o comportamento do agente e o seu sucesso ou fracasso.

2. Metodologia

Os autores realizaram um estudo empírico em larga escala e controlado para preencher essa lacuna:

• Dados: Análise de 9.374 trajetórias geradas por 19 agentes distintos (compostos por 8 frameworks diferentes e 14 LLMs diferentes) em 500 tarefas do SWE-bench Verified.
• Design Experimental: A característica crucial do estudo é que cada agente tentou cada uma das 500 tarefas. Isso permite comparações "dentro da tarefa" (controlando a dificuldade da tarefa) e "dentro do agente" (controlando a identidade do agente), eliminando variáveis de confusão comuns em estudos anteriores.
• Codificação de Trajetórias: As trajetórias (sequências de ações e respostas do ambiente) foram codificadas em 13 símbolos (ex: Lb para localizar/arquivar, P para patch limpo, Ps para erro de sintaxe, Vp para validação aprovada). Isso capturou não apenas as ações, mas a qualidade da execução e os tipos de erro.
• Extração de Recursos: Foram extraídos 90 recursos por tarefa, incluindo complexidade do patch, demanda de testes, características do relatório de erro (issue) e metadados do repositório.
• Abordagem Analítica:
  • RQ1: Análise quantitativa e qualitativa de tarefas "fáceis" que nenhum agente resolveu.
  • RQ2: Comparações pareadas para isolar o efeito da dificuldade da tarefa sobre métricas comportamentais (como comprimento da trajetória).
  • RQ3: Experimento natural para desacoplar o impacto da capacidade do LLM versus o design do framework.

3. Principais Contribuições e Resultados

O estudo responde a três perguntas de pesquisa (RQs) com descobertas contra-intuitivas e fundamentais:

RQ1: Por que os agentes falham em certas tarefas?

• Complexidade do Patch não é o Fator Determinante: 12 tarefas que nenhum agente resolveu exigiam apenas patches simples (1 arquivo, ≤10 alterações) e foram classificadas como "fáceis" por anotadores humanos.
• Lacuna de Raciocínio Arquitetural: A causa raiz não foi a complexidade do código, mas uma falha em entender a arquitetura. Os agentes frequentemente localizavam o arquivo correto, mas aplicavam a correção no nível arquitetural errado (tratando o sintoma em vez da causa raiz).
  • Exemplo: Em uma tarefa de serialização de imagens, o agente tentou corrigir a camada de exibição (backend), enquanto a solução correta exigia ajustar a lógica de serialização (__getstate__).
• Conclusão: Métricas baseadas apenas em tamanho do patch são insuficientes; a dificuldade real reside no raciocínio sobre dependências causais e limites de componentes.

RQ2: Como os padrões comportamentais diferenciam sucesso de falha?

• O Comprimento da Trajetória é Ambíguo: Existe uma correlação conhecida de que trajetórias falhas são mais longas. No entanto, o estudo mostra que essa correlação se inverte quando se controla a dificuldade da tarefa:
  • Sem controle: Agentes falham em tarefas mais difíceis, que exigem mais passos (correlação positiva).
  • Com controle (mesma tarefa): Os agentes que sucesso tendem a dar mais passos do que os que falham.
• Estrutura > Comprimento: O que realmente discrimina o sucesso é a estrutura da trajetória:
  1. Coleta de Contexto: Agentes que leem/exploram o código antes de editar têm taxas de sucesso muito maiores.
  2. Intensidade de Patch: Agentes que começam a editar imediatamente (sem explorar) falham mais.
  3. Esforço de Validação: Agentes que dedicam mais passos para testes e validação tendem a ter mais sucesso.
• Estratégias Fixas: Os agentes não adaptam suas estratégias à complexidade da tarefa. Eles aplicam um comportamento fixo (ex: editar imediatamente ou esperar 10 passos) independentemente da dificuldade, sugerindo falta de adaptabilidade.

RQ3: A capacidade do LLM ou o design do framework impulsiona o sucesso?

• O LLM é o Driver Primário: A capacidade do modelo de linguagem é o fator dominante tanto para o resultado quanto para o comportamento.
  • Agentes que compartilham o mesmo LLM (mas frameworks diferentes) concordam em 85-93% das tarefas.
  • Agentes que compartilham o mesmo framework (mas LLMs diferentes) concordam apenas em 47-88% das tarefas.
• Convergência dos Frameworks: À medida que os LLMs melhoram, a diferença de desempenho entre os frameworks diminui drasticamente (de 19,4 pontos percentuais para 0,9 pontos entre gerações do Claude).
• Influência do Prompt: Prompts de sistema detalhados (ex: 5.600 caracteres no OpenHands vs. 350 no SWE-agent) influenciam a escolha de ferramentas, mas não o esforço total ou o resultado final para LLMs fortes. LLMs mais capazes desenvolvem suas próprias estratégias e são menos suscetíveis a instruções verbosas.

4. Significado e Implicações

• Para Pesquisa e Benchmarks: Métricas de dificuldade baseadas apenas em tamanho de patch ou tempo estimado são enganosas. Novos benchmarks devem avaliar explicitamente o raciocínio arquitetural e a compreensão de domínio.
• Para Engenharia de Agentes:
  • Foco no LLM: Investir em modelos de linguagem mais capazes traz retornos maiores do que redesenhar a orquestração do framework (scaffold).
  • Monitoramento Comportamental: O comprimento da trajetória não deve ser usado isoladamente para detectar falhas. Em vez disso, sistemas de monitoramento devem detectar padrões estruturais (ex: edição prematura sem exploração) para flagar execuções com alta probabilidade de falha antes do gasto excessivo de recursos.
  • Adaptabilidade: Os agentes atuais são "rígidos". O futuro do design de agentes deve focar em mecanismos que permitam ajustar a estratégia (leitura vs. edição) baseada na complexidade percebida da tarefa.
• Para a Prática: Ao selecionar um agente para automação, a escolha do modelo de linguagem (LLM) é mais crítica do que a escolha do framework.

Conclusão

O estudo demonstra que a falha dos agentes de codificação não é apenas uma questão de "quantos passos" eles dão, mas de como eles estruturam esses passos e onde eles aplicam o raciocínio. A barreira atual não é a falta de ferramentas, mas a incapacidade de raciocinar sobre a arquitetura do software e a falta de adaptabilidade estratégica. À medida que os LLMs evoluem, o papel do framework torna-se secundário, convergindo para um cenário onde a inteligência do modelo é o fator determinante de sucesso.