Resumo Técnico: CATArena

Declaração do Problema

Os atuais frameworks de avaliação para agentes de código baseados em Large Language Models (LLMs) dependem predominantemente de benchmarks estáticos de turno único que medem a correção funcional (ex: Pass@k) dentro de cenários de desenvolvimento isolados. Os autores argumentam que essas métricas falham em capturar duas dimensões críticas da engenharia de software do mundo real: evolução iterativa e otimização contínua. O desenvolvimento no mundo real é inerentemente incremental e colaborativo, envolvendo autorreflexão sobre logs de execução e aprendizado entre pares a partir de implementações superiores. Os benchmarks existentes isolam os agentes dos loops de feedback dinâmicos necessários para a otimização, tratando soluções de força bruta como equivalentes a otimizações de nível especialista e falhando em avaliar a capacidade de um agente de refinar estratégias ao longo do tempo.

Metodologia: O Framework CATArena

Para abordar essas limitações, os autores introduzem o CATArena (Code Agent Tournament Arena), um framework de avaliação dinâmica projetado para avaliar as capacidades evolutivas de agentes de código através de torneios iterativos.

1. Estrutura de Torneio Iterativo

Ao contrário dos benchmarks estáticos, o CATArena imerge os agentes em um loop de desenvolvimento de múltiplos turnos consistindo em três fases:

• Desenvolvimento Inicial (Rodada 1): Os agentes geram uma solução inicial $C^{(1)}$ baseada em especificações de tarefas sem orientação externa.
• Feedback de Execução: O código submetido é executado em uma arena de sandbox. O sistema agrega os resultados em um conjunto de feedback estruturado contendo logs de execução, um leaderboard global e soluções de pares.
• Evolução Iterativa (Rodada $n > 1$): Os agentes analisam o feedback para refinar seu código em $C^{(n)}$. Este processo utiliza dois mecanismos:
  • Autorreflexão: Analisar logs de execução para identificar e corrigir bugs ou erros de lógica.
  • Aprendizado entre Pares (Peer-Learning): Analisar soluções superiores de outros agentes para adotar melhores estratégias ou algoritmos.

2. Categorização de Tarefas

O framework instancia seis tarefas diversas categorizadas por seus sinais de feedback:

• Tarefas Competitivas (Feedback Dinâmico): Os agentes competem em um torneio Round-Robin entre si. A dificuldade é não estacionária, pois a população de "oponentes" evolui. As tarefas incluem Gomoku, Texas Hold'em, Xadrez e Bridge. O feedback inclui logs completos do torneio e estratégias de pares.
• Tarefas de Otimização Objetiva (Feedback Quasi-Estático): Os agentes otimizam contra métricas fixas (ex: complexidade de tempo, throughput) onde o padrão competitivo é elevado pelo melhor desempenho da população. As tarefas incluem OIBench (eficiência algorítmica) e SWE-Perf (aceleração de performance em nível de repositório).

3. Métricas de Avaliação

Os autores propõem um sistema de métrica dupla para desacoplar a proficiência estática do potencial evolutivo:

• Desempenho Base ($S_{base}$): Mede a habilidade de codificação estática de um agente em um cenário zero-shot (desempenho da Rodada 1 em relação à população inicial).
• Capacidade Evolutiva ($S_{evo}$): Quantifica a taxa de melhoria impulsionada pelo feedback. É calculada como a inclinação ($k_i$) do ajuste linear de uma pontuação de desempenho global de um agente ($G^n_i$) sobre $N$ rodadas usando Mínimos Quadrados Ordinários (OLS). Esta métrica captura a tendência de adaptação enquanto mitiga o impacto de falhas transitórias ou outliers.

Principais Resultados

Experimentos extensivos foram conduzidos utilizando agentes mínimos (impulsionados por vários LLMs via Google ADK) e agentes de código comerciais de última geração (SoTA).

• Ortogonalidade de Capacidades: O estudo revela uma correlação fraca entre $S_{base}$ e $S_{evo}$. A alta proficiência inicial não garante fortes capacidades evolutivas. Por exemplo, enquanto o Claude-4 dominou a rodada inicial no Xadrez, sofreu uma regressão significativa durante a evolução, enquanto o Gemini-2.5-Pro demonstrou uma trajetória de "início baixo, alto crescimento" no Gomoku.
• Dinâmicas Dependentes de Tarefa: Padrões evolutivos variam significamente conforme a tarefa. Tarefas competitivas (ex: Hold'em) tendem a promover a convergência (agentes imitando estratégias bem-sucedidas), enquanto tarefas objetivas (ex: OIBench) impulsionam a divergência (agentes pressionando em direção aos limites teóricos). Em ambientes altamente complexos como o Xadrez, muitos agentes exibiram tendências evolutivas negativas, indicando uma lacuna de raciocínio que o feedback não conseguiu preencher.
• Limitações de Mecanismo: Estudos de ablação mostram que os agentes atuais têm dificuldade em sinergizar autorreflexão e aprendizado entre pares. A maioria dos agentes depende predominantemente de um mecanismo (frequentemente autorreflexão) enquanto trata o outro como ruído. Apenas agentes de alta capacidade selecionados (ex: Claude, Qwen) conseguiram utilizar efetivamente as soluções de pares para alcançar avanços de desempenho.
• Robustez: O framework demonstra alta extensibilidade e resistência a variantes de tarefas. Quando as regras foram perturbadas (ex: inversão de rankings de mãos no Hold'em), as pontuações de $S_{base}$ variaram significativamente, mas o $S_{evo}$ manteve seu poder discriminativo, confirmando que ele mede a habilidade adaptativa intrínseca em vez de soluções memorizadas.

Significância e Alegações

O artigo afirma ser o primeiro a identificar e formalizar a capacidade evolutiva de agentes de código como uma dimensão distinta de inteligência, separada da proficiência de geração estática.

• Mudança de Paradigma: O CATArena desloca o padrão de avaliação da correção estática para a capacidade evolutiva dinâmica, alinhando-se com a natureza iterativa da engenharia do mundo real.
• Nova Fronteira: Os resultados sugerem que o potencial evolutivo é uma fronteira crítica para a pesquisa futura em sistemas agênticos, uma vez que o scaffolding comercial atual melhora a geração estática, mas falha em abordar os mecanismos necessários para a auto-melhoria contínua.
• Confiabilidade: Ao validar o framework contra variantes de tarefas não vistas e diversos ambientes (incluindo trilhas multilíngues e de ML), os autores estabelecem o CATArena como um padrão contínuo e confiável para avaliar a próxima geração de agentes inteligentes.

Os autores concluem que, embora o feedback iterativo permita que os agentes superem platôs de desempenho típicos do desenvolvimento de turno único, desafios significativos permanecem em domínios complexos onde os agentes falham em gerar pontos de partida robustos para a evolução.