Resumo Técnico: FORMULACODE

1. O Problema

Os Agentes de Linguagem (LLMs) para codificação estão evoluindo rapidamente de assistentes que geram funções isoladas para agentes autônomos capazes de otimizar repositórios de código inteiros. No entanto, existem lacunas críticas na avaliação dessas capacidades:

• Benchmarks Existentes: A maioria dos benchmarks atuais baseia-se em tarefas sintéticas, feedback binário (passou/falhou) ou avaliação de um único objetivo. Isso é insuficiente para medir o comportamento holístico de otimização, que envolve trade-offs complexos.
• Falta de Realismo: Otimização no mundo real raramente é isolada; exige raciocínio sobre decisões arquiteturais, interações de componentes e compromissos de desempenho em nível de sistema, não apenas o ajuste de uma função.
• Métricas Insuficientes: Não há frameworks padronizados para avaliar como os agentes equilibram múltiplas cargas de trabalho (workloads), mantêm a integridade funcional e estruturam melhorias em diferentes níveis de hierarquia do código.

2. Metodologia e Design do Benchmark

O FORMULACODE é um novo benchmark projetado para avaliar a otimização agênica em grandes ecossistemas de software reais.

Construção do Dataset

• Fonte: O dataset foi extraído de 70 repositórios Python científicos de código aberto (como Pandas, Scikit-learn, SciPy, Qiskit, etc.).
• Tarefas: Foram minerados 957 gargalos de desempenho reais (performance bottlenecks) do GitHub.
• Estrutura de Tarefa: Cada tarefa consiste em:
  1. Um problema de regressão de desempenho descrito em issues do GitHub.
  2. Um repositório base (snapshot) antes da correção.
  3. Um patch escrito por especialistas humanos (a solução de referência).
  4. Múltiplas Cargas de Trabalho (Workloads): Em média, 264.6 workloads mantidos pela comunidade por tarefa, gerados usando o framework Airspeed Velocity (ASV). Isso permite medir desempenho em múltiplas dimensões (tempo de execução, uso de memória, etc.).
• Pipeline de Validação: O processo envolveu filtragem baseada em regras e LLMs, síntese de ambientes Docker reproduzíveis e validação estatística rigorosa (Teste U de Mann-Whitney, $p < 0.002$) para garantir que as melhorias de desempenho sejam significativas e reproduzíveis.

Métricas de Avaliação

O benchmark utiliza métricas contínuas e multi-objetivo, indo além do "passou/falhou":

• Aceleração (Speedup): Razão geométrica entre o tempo de execução do código base e o código otimizado.
• Vantagem (Advantage - Adv): Diferença entre a aceleração do agente e a aceleração do especialista humano ($Adv = Speedup_{agente} - Speedup_{humano}$). Um valor positivo indica superação do humano.
• Vantagem Estratificada: Mede a performance em diferentes níveis de granularidade (Módulo, Classe, Função) para entender se o agente faz otimizações locais ou sistêmicas.
• Vantagem Normalizada e Ponderada por Custo: Considera a variabilidade do ruído de medição e o custo de inferência do modelo (tokens).

3. Principais Contribuições

1. Primeiro Benchmark Multi-Workload em Escala de Repositório: Diferente de benchmarks anteriores que focam em uma única função, o FORMULACODE exige que os agentes otimizem um código base inteiro, onde melhorar uma parte pode degradar outra (otimização multi-objetivo).
2. Métricas de Vantagem Humana: Introduz uma métrica relativa que compara diretamente o agente com soluções de especialistas humanos, permitindo medir o "gap" de performance real.
3. Recursos de Avaliação Holística: Fornece um ambiente completo com testes de unidade, testes de snapshot (para garantir que a funcionalidade não quebre) e suites de benchmarking de desempenho reais.
4. Análise de Viabilidade e Custo: Inclui análises detalhadas sobre a relação custo-benefício de diferentes configurações de agentes e modelos.

4. Resultados Experimentais

Os autores avaliaram modelos de ponta (GPT-5, Claude 4.0 Sonnet, Gemini 2.5 Pro, Qwen 3 Coder) em frameworks agênicos (Terminus 2 e OpenHands). As descobertas principais foram:

• Desempenho Geral Inferior ao Humano: Todos os agentes avaliados tiveram uma vantagem negativa em relação aos especialistas humanos. Embora consigam melhorar o tempo de execução em relação ao código base, eles não superam as otimizações humanas.
• Otimização Local vs. Global: Os agentes tendem a ser melhores em otimizações locais (nível de função) do que em reestruturações de nível de repositório. Eles frequentemente falham em entender as interdependências sistêmicas.
• Estratégias de Otimização:
  • Pontos Fortes: Os agentes têm sucesso em estratégias de paralelização e batching.
  • Pontos Fracos: Têm dificuldade em delegar para implementações de baixo nível (extensões C, operações vetorizadas em NumPy) ou em reescrever algoritmos complexos.
• Generalização por Popularidade: O desempenho dos agentes varia drasticamente dependendo da popularidade do repositório (medida por estrelas no GitHub).
  • Desempenham pior em repositórios de "cauda longa" (pouco populares), possivelmente devido a viés de distribuição nos dados de treinamento.
  • Desempenham melhor em repositórios de popularidade média.
• Custo-Efetividade: Modelos de ponta (mais caros) são, paradoxalmente, mais custo-efetivos do que modelos de pesos abertos menores, pois estes últimos tendem a gerar cadeias de raciocínio mais longas e consumir mais tokens para atingir resultados similares.
• Compromissos (Trade-offs): Os agentes fazem decisões de trade-off desempenho-custo menos favoráveis que os humanos e frequentemente degradam o desempenho em alguns workloads ao tentar melhorar outros.
• Vazamento de Dados (Data Leakage): Não houve evidências consistentes de que o desempenho seja impulsionado pelo vazamento de dados de treinamento (soluções humanas presentes no conjunto de treino), sugerindo que o desafio é de capacidade, não de memória.

5. Significado e Conclusão

O FORMULACODE estabelece um novo padrão para a avaliação de agentes de IA em engenharia de software.

• Para Pesquisadores: Oferece um sinal de avaliação livre de contaminação e métricas finas para guiar o desenvolvimento de agentes capazes de superar especialistas humanos em otimização de código.
• Para Praticantes: Fornece métricas comparativas para avaliar a utilidade de LLMs em repositórios específicos sob restrições de custo e desempenho.
• Desafio Futuro: O estudo revela que a otimização multi-objetivo em escala de repositório continua sendo um desafio significativo para os modelos de fronteira atuais. A capacidade de raciocinar sobre trade-offs arquiteturais e manter a integridade do sistema enquanto otimiza múltiplas cargas de trabalho simultaneamente é a próxima fronteira para os agentes de codificação.

O benchmark é mantido como um recurso vivo (live benchmark), atualizado mensalmente com novas tarefas, garantindo sua relevância contínua e resistência à saturação.