Resumo Técnico: Dissecando o Comportamento de Modelos através de Trajetórias de Agentes

Declaração do Problema

O artigo argumenta que o desempenho de agentes de IA é fundamentalmente um problema de sistemas, não meramente um problema de modelagem. Embora os Grandes Modelos de Linguagem (LLMs) possuam capacidades avançadas, estas são frequentemente não realizadas na prática devido a um desalinhamento entre o modelo e o "harness" (suporte/infraestrutura) — a camada de software que media chamadas de ferramentas, gerencia o ciclo pensamento-ação-observação e fornece os resultados da execução de volta ao contexto.

Os autores formalizam este desalinhamento como o gap de intenção-execução: um descompasso bidirecional onde (1) o harness falha em executar o que o modelo pretende (ex: devido a erros de parsing ou incompatibilidades de interface de ferramenta) e (2) o modelo recebe um relato impreciso do que o harness executou (ex: saídas truncadas ou mensagens de erro genéricas). Este gap faz com que os agentes raciocinem a partir de premissas falsas, levando a falhas em cascata mesmo quando o modelo subjacente é capaz. Os autores postulam que minimizar este gap é tão crítico quanto projetar ferramentas ou loops de execução, embora os benchmarks atuais frequentemente confundam a capacidade do modelo com a fricção do harness.

Metodologia

O Simple Strands Agent (SSA)

Para isolar e minimizar o gap de intenção-execução, os autores desenvolveram o Simple Strands Agent (SSA), um harness de código aberto e customizável. O SSA foi projetado para ser um framework único e unificado que se adapta a diferentes famílias de modelos através de ajustes estreitos e específicos de interface, em vez de ajustes específicos para tarefas.

Componentes Arquiteturais Principais:

• Limites de Ferramenta Ricos em Feedback: O SSA garante uma troca de informações transparente. Chamadas de shell retornam feedback estruturado (comando, status, código de saída, saída, texto de erro). Edições são ancoradas a linhas vizinhas, e edições bem-sucedidas retornam diffs unificados para confirmar a aplicação.
• Equilíbrio Raciocínio-Ferramenta: O harness emprega "indícios de raciocínio" (reasoning nudges) para equilibrar o pensamento de cadeia de raciocínio interna com a coleta de evidências externas. Para modelos Claude, isso envolve metas quantitativas (ex: "fazer 50+ chamadas de ferramenta") para quebrar longas cadeias de raciocínio. Para outras famílias (Gemini, Grok), diretivas flexíveis ("use ferramentas o máximo possível") são usadas para evitar o excesso de pensamento ou chamadas de ferramentas vazias.
• Alinhamento Específico do Modelo: O SSA adapta as interfaces de ferramentas para corresponder às preferências dos modelos aprendidas durante o treinamento. Por exemplo, utiliza apply_patch para modelos GPT e divide operações atômicas para o Grok, em vez de forçar uma interface de ferramenta monolítica que degrada o desempenho.

Estrutura de Análise de Trajetória

Indo além das métricas binárias de passar/falhar, os autores introduzem uma estrutura para analisar o comportamento do agente em um espaço de estado de código em nível de texto.

• Distância da Solução ($D(t)$): Eles definem uma métrica que mede a distância entre o estado atual do repositório do agente e um conjunto de soluções verificadas como corretas (uma aproximação empírica do espaço de solução oracle). Isso permite rastrear o quão próximo o agente está de uma correção em cada ciclo.
• Quantificação de Backtracking: Ao calcular a mudança na distância da solução ($\Delta D$) entre edições, os autores identificam eventos de "backtracking" onde um agente se afasta de uma solução ($\Delta D > 0$).
• Assinaturas Comportamentais: Usando um juiz de LLM, as trajetórias são classificadas em fases (explorar, localizar, implementar, verificar) e categorias de chamada de ferramenta (edições de fonte, testes de rascunho, testes de suíte) para revelar padrões de resolução de problemas específicos de cada família.

Protocolo de Avaliação

O estudo avalia 21 modelos em cinco famílias (Claude, GPT, Gemini, Grok, Qwen) em três benchmarks: SWE-Bench-Verified, SWE-Bench-Pro e Terminal-Bench-2. Os autores geram aproximadamente 138.000 trajetórias. Crucialmente, eles auditam o vazamento de histórico de git (git-history leakage) nos containers públicos do SWE-Bench-Pro, onde commits futuros estão acessíveis ao agente, e comparam os resultados contra containers "Sanitizados" onde este histórico foi podado.

Principais Contribuições

1. Harness SSA: Introdução do Simple Strands Agent, que reproduz ou excede os números oficiais dos modelos para 21 modelos de cinco famílias usando um único harness minimamente adaptado, demonstrando que alto desempenho é alcançável sem ajuste específico para tarefas.
2. Métrica de Distância da Solução: Definição de uma métrica de espaço de estado de código em nível de texto que rastreia a qualidade da trajetória e a distância para soluções verificadas, permitindo a análise além dos scores binários de pass@1.
3. Análise de Nível de Trajetória: Identificação de assinaturas comportamentais estáveis e específicas de cada família (ex: razões de edição/teste, cronogramas de fase, taxas de backtracking) que diferenciam os modelos mesmo quando seus scores pass@1 são indistinguíveis.
4. Auditoria de Integridade de Avaliação: Quantificação de um canal de vazamento de histórico de git em containers públicos do SWE-Bench-Pro, mostrando que ele infla o pass@1 em até 6,9% para certos modelos e fornecendo uma base "Sanitizada" para uma comparação mais justa.

Resultados Experimentais

• Desempenho: O SSA atinge scores pass@1 que igualam ou excedem os números oficiais dos modelos em todos os três benchmarks. Por exemplo, no SWE-Bench-Verified, o Opus 4.6 e o Gemini 3.1 Pro atingiram 80,80% de pass@1, enquanto o GPT-5.4 alcançou 80,16%.
• Comportamentos Divergentes: Apesar de scores pass@1 semelhantes, os modelos exibem trajetórias radicalmente diferentes.
  • Backtracking: Existe um desacoplamento entre a taxa de resolução e o backtracking. O Gemini 3.1 Pro teve a maior taxa de backtracking (14,3%), mas empatou com a maior taxa de resolução, enquanto o GPT-5.4 teve a menor taxa de backtracking (1,2%) com uma taxa de resolução semelhante.
  • Cronogramas de Fase: Os modelos diferem em como alocam esforço. O Opus 4.6 realiza testes de rascunho significativos cedo e as edições atingem o pico no meio, enquanto o GPT-5.4 aumenta gradualmente os testes de rascunho e passa mais tempo nas fases de implementação/verificação.
  • Uso de Ferramentas: Modelos GPT tendem a agrupar a escrita e execução de scripts em chamadas únicas, enquanto modelos Claude e Qwen frequentemente separam a escrita e a execução de scripts.
• Impacto do Vazamento: No SWE-Bench-Pro, a remoção do histórico de git futuro (Sanitizado) reduziu o pass@1 para vários modelos. O Opus 4.6 caiu 6,87% (de 57,45% para 50,58%), e o GPT-5.4 caiu 3,32%. Isso confirma que benchmarks públicos podem superestimar a capacidade do modelo devido ao vazamento ambiental.

Significância e Alegações

O artigo alega que o gap entre as capacidades documentadas dos modelos e o desempenho realizado dos agentes deve-se, em grande parte, à fricção do harness e não a limitações fundamentais de designs de agente único baseados em ReAct simples. Ao minimizar o gap de intenção-execução bidirecional, um harness bem projetado pode desbloquear o potencial total de diversas famílias de modelos.

Além disso, os autores argumentam que, à medida que os modelos convergem no desempenho de benchmarks de alto nível, o pass@1 deixa de ser um diferenciador. Em vez disso, compreender a trajetória — como os modelos resolvem problemas, sua estabilidade e sua eficiência no espaço de estado de código — torna-se a métrica crítica para o co-design de modelo-harness. O trabalho enfatiza que agentes eficazes requerem não apenas modelos poderosos, mas interfaces que se alinhem aos comportamentos e preferências aprendidos de cada modelo específico.

Os autores concluem que o objetivo do design de agentes deve ser manter os invariantes de execução fixos enquanto se adapta as interfaces para encontrar cada família de modelos "onde seu treinamento a deixou", em vez de forçar uma superfície de ferramenta de tamanho único.