Resumo Técnico: ProxyWar: Avaliação Dinâmica de Geração de Código por LLM em Arenas de Jogos

1. Declaração do Problema

A avaliação da geração de código por Grandes Modelos de Linguagem (LLMs) estagnou amplamente atrás de benchmarks estáticos e métricas simplistas. As abordagens atuais, como HumanEval e MBPP, dependem fortemente de métricas baseadas em execução "pass@k" ou pontuações de similaridade baseadas em texto (ex: BLEU, CodeBLEU). Esses métodos sofrem de várias limitações críticas:

• Natureza Estática: Eles avaliam o código de forma isolada, falhando em capturar restrições de execução dinâmica, estabilidade em tempo de execução e robustez sob orçamentos de recursos compartilhados.
• Viés de Simplicidade: Os benchmarks geralmente consistem em funções isoladas com casos de teste limitados, ignorando a complexidade da engenharia de software do mundo real (ex: dependências, coordenação entre múltiplos arquivos).
• Falta de Contexto Comparativo: Eles não medem como o código se comporta contra soluções alternativas em cenários competitivos ou adversariais, perdendo nuances na eficiência algorítmica e tomada de decisão estratégica.
• Dimensões Ignoradas: As métricas focam quase exclusivamente na correção funcional, negligenciando características operacionais como eficiência, manutenibilidade e adaptabilidade a casos de borda.

Consequentemente, existe uma lacuna significativa entre as pontuações dos benchmarks e a viabilidade real do código gerado por LLMs em cenários dinâmicos e do mundo real.

2. Metodologia: O Framework ProxyWar

O ProxyWar é um novo framework projetado para avaliar a geração de código por LLMs através de execução competitiva e controlada dentro de diversos ambientes de jogos. Ele orquestra um pipeline que vai da geração de código à avaliação competitiva, indo além dos testes binários de passar/falhar para uma avaliação de desempenho holística.

2.1 Arquitetura do Sistema

O framework opera através de cinco camadas distintas:

1. Camada de Ambiente de Jogo: Define o jogo como uma tupla $G = \langle S, A, T, R, O, s_0 \rangle$, gerenciando transições de estado, regras e observações. Suporta cenários de informação perfeita e imperfeita.
2. Camada de Agente: Impõe um contrato de interface mínima ($\pi: O_{space} \times \{0, 1\}^{|A|} \to A$) que todos os agentes gerados devem implementar, garantindo uma comparação justa sob restrições idênticas.
3. Camada de Geração de Código: Transforma especificações de linguagem natural em código de agente executável. Inclui uma Função de Reparo que refina iterativamente o código com base no feedback de erro, simulando fluxos de trabalho de depuração do mundo real.
4. Camada de Teste: Valida os agentes através de uma suíte hierárquica de testes cobrindo sintaxe, conformidade de interface, funcionalidade básica, lógica de jogo e robustez (casos de borda). Testes falhos disparam o loop de reparo.
5. Camada de Gerenciamento de Torneio: Orquestra torneios automatizados onde agentes competem diretamente entre si. Utiliza sistemas de classificação TrueSkill para computar rankings de habilidade baseados em resultados de partidas, fornecendo uma métrica de desempenho contínua em vez de uma pontuação binária.

2.2 Metodologia de Avaliação

O ProxyWar emprega uma estratégia de avaliação multidimensional:

• Desempenho Competitivo: Usa classificações TrueSkill para ranquear agentes com base em resultados de vitória/derrota/empate em torneios. Reporta estimativas conservadoras de habilidade ($\mu - 3\sigma$) para garantir robustez.
• Qualidade de Código Estático: Mede Pass@1 (corretude inicial), Taxa de Reparo (capacidade de autocorreção) e desempenho através de camadas de teste hierárquicas (Estrutura, Função, Lógica, Robustez).
• Características Operacionais: Monitora métricas de tempo de execução, incluindo velocidade de decisão (latência), taxas de erro (timeouts, exceções) e taxas de participação.

2.3 Configuração Experimental

O framework foi implementado usando Python e avaliado em 18 LLMs de última geração (incluindo modelos de propósito geral, com reforço de raciocínio e especializados em código) e 10 ambientes de jogos diversos. Esses ambientes variam de quebra-cúbras de um jogador (Sudoku, 2048) a jogos de tabuleiro para dois jogadores (Tic-Tac-Toe, Reversi) e jogos de cartas multijogador (Texas Hold'em). Cada modelo participou de mais de 10.000 partidas para garantir significância estatística.

3. Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Framework ProxyWar: O primeiro framework de avaliação competitiva baseado em execução para geração de código por LLM que integra geração automatizada, reparo iterativo e classificação baseada em torneios.
2. Avaliação Multidimensional: Uma metodologia que captura características operacionais (eficiência, robustez, adaptabilidade) além das métricas tradicionais de passar/falhar.
3. Plataforma Escalável: Uma implementação que suporta diversos ambientes de jogo com diferentes níveis de complexidade e estruturas de informação, permitindo a avaliação sistemática através de diferentes paradigmas de programação.
4. Avaliação Empírica: Um estudo abrangente que revela limitações anteriormente ocultas na geração de código por LLM, particularmente no que diz respeito à criatividade algorítmica, estratégias de otimização e a lacuna entre corretude funcional e aplicabilidade prática.

4. Principais Resultados e Descobertas

A avaliação empírica gerou vários insights críticos:

• Poder Discriminativo (RQ1): O ProxyWar revela lacunas substanciais de desempenho invisíveis para métricas estáticas. Por exemplo, embora o DeepSeek-R1 e o Qwen2.5-Coder possam ter pontuações Pass@k comparáveis, o ProxyWar mostrou uma diferença de quase três vezes nas taxas de vitória em torneios (39,6% vs. 13,4%). Modelos com 100% de taxas de participação (passando em todos os testes) ainda exibiram grandes variações no desempenho competitivo.
• Desempenho Estático vs. Dinâmico (RQ2): Existe uma correlação fraca (Spearman's $\rho = 0,23$) entre Pass@1 e o ranking competitivo.
  • Eficiência vs. Sofisticação: No Sudoku, o DeepSeek-R1 gerou um agente de backtracking minimalista que superou a abordagem baseada em heurísticas mais complexa (MRV/LCV) do GPT-4.1. O código do GPT-4.1 era teoricamente superior, mas quase 28x mais lento na prática devido ao overhead de interpretação do Python, levando a resultados piores no torneio.
  • Limites de Depuração: Embora alguns modelos (ex: Claude3.5-Sonnet) tenham alcançado taxas de reparo perfeitas, isso não garantiu um forte desempenho no torneio, indicando limites nas capacidades atuais de autocorreção.
• Sensibilidade ao Ambiente (RQ3): O desempenho do modelo é altamente dependente do contexto.
  • Complexidade: As lacunas de desempenho aumentam significamente conforme a complexidade do jogo aumenta (ex: Reversi vs. Tic-Tac-Toe).
  • Estrutura de Informação: Jogos de informação perfeita favorecem capacidades de busca/planejamento, enquanto jogos de informação imperfeita (ex: Poker) favorecem o raciocínio probabilístico. Nenhum modelo único se destaca universalmente em todos os tipos de jogos.
  • Especialização: Modelos especializados em código frequentemente apresentam desempenho inferior em cenários competitivos e ricos em contexto quando comparados a modelos de propósito geral ou com reforço de raciocínio.

5. Significância e Alegações

Os autores posicionam o ProxyWar como um passo fundamental em direção a uma avaliação mais rigorosa, reprodutível e realista de sistemas de síntese de programas.

• Preenchendo a Lacuna: O framework aborda o descompasso entre o desempenho em benchmarks e a utilidade prática ao avaliar o código sob restrições de recursos compartilhados e condições adversariais.
• Além da Corretude: Ele destaca que o código "correto" é insuficiente; características operacionais como latência, estabilidade e adaptabilidade estratégica são cruciais para o implante no mundo real.
• Pesquisa Futura: O ProxyWar lança as bases para a pesquisa em descoberta de algoritmos impulsionada por LLM e resolução de problemas adaptativos. Os autores sugerem que trabalhos futuros podem explorar se os codificadores de LLM podem descobrir estratégias inovadoras ou superar agentes criados manualmente em jogos complexos.
• Escopo Modesto: O artigo reconhece que os ambientes de jogo, embora diversos, podem não capturar totalmente a complexidade de todas as tarefas de engenharia de software do mundo real (ex: desenvolvimento colaborativo em larga escala). Ele vê o conjunto atual de ambientes como um ponto de partida para benchmarks não-jogísticos mais amplos.

Em conclusão, o ProxyWar demonstra que a avaliação competitiva baseada em jogos fornece uma diferenciação refinada das capacidades de LLM, expondo limitações operacionais que os benchmarks estáticos falham em detectar.