Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning

Resumo Técnico: Pode o "Vibe Coding" Superar Estudantes de Pós-Graduação em Ciência da Computação?

Definição do Problema
O artigo aborda uma lacuna crítica na avaliação de Grandes Modelos de Linguagem (LLMs) para geração de código. Enquanto os benchmarks predominantes (ex: HumanEval, APPS) focam na correção sintática e taxas de aprovação em testes unitários para problemas bem definidos, eles falham em capturar a complexidade da engenharia de software do mundo real. Esses cenários do mundo real frequentemente exigem interação estratégica multiagente, planejamento de longo horizonte, otimização de restrições e design de algoritmos avançados.

Para preencher essa lacuna, os autores introduzem o Problema de Leilão, Coleta e Entrega (APDP - Auction, Pickup, and Delivery Problem). Este é um benchmark baseado em raciocínio multiagente, fundamentado em um cenário de otimização logística. No APDP:

• Contexto: Múltiplas empresas de transporte (agentes) competem em um mercado onde tarefas (pacotes) são vendidas via um leilão de lance único selado e inverso (reverse first-price sealed-bid auction).
• Mecanismo: Os agentes devem dar lances nas tarefas sem conhecer as distribuições de tarefas futuras, e então resolver um Problema de Coleta e Entrega (PDP) estático para suas tarefas ganhas sob restrições de capacidade de veículos.
• Objetivo: O objetivo é maximizar o lucro, definido como a soma dos lances vencedores menos os custos de transporte (distância × custo por km).
• Complexidade: O problema é NP-difícil e envolve sistemas multiagentes não cooperativos (estratégia de leilão), sistemas multiagentes cooperativos (roteamento de frota) e otimização de restrições. Exige que os agentes modelem oponentes, calculem custos marginais e tomem decisões estratégicas (ex: dar lances baixos para garantir sinergias de rota futuras) sob limites de tempo rigorosos.

Metodologia
O estudo avalia as capacidades de LLMs de última geração contra agentes codificados por humanos em um ambiente de torneio controlado.

1. Participantes:
   • Agentes Humanos: 17 agentes desenvolvidos antes do advento dos LLMs modernos. Estes incluem 12 agentes criados por estudantes de pós-graduação em um curso de Agentes Inteligentes na EPFL (tendo recebido de 2 a 3 semanas para resolver o problema) e 5 agentes de linha de base desenvolvidos por pesquisadores de laboratórios de IA.
   • Agentes LLM: 40 agentes gerados por quatro LLMs líderes: GPT-5 Thinking da OpenAI, Gemini 2.5 Pro do Google, Claude Opus 4.1 da Anthropic e DeepSeek R1 da DeepThink.
2. Estratégias de Prompting: Cada LLM foi testado com cinco metodologias de prompting distintas para simular vários níveis de "vibe coding" (linguagem natural para código):
   • Dois prompts gerados pelos autores (A1, A2) fornecendo as mesmas instruções dadas aos estudantes.
   • Refinamento Iterativo (IR): Ciclos de feedback de auto-jogo (self-play).
   • LLM como Crítico (CR): Usar um modelo mais forte para criticar e melhorar um agente gerado.
   • Prompt Gerado pelo GPT-5 (GEN): Usar o GPT-5 para otimizar o próprio prompt.
3. Configuração Experimental:
   • Torneios: Foram realizados 12 torneios de todos contra todos em dupla através de quatro topologias de rede diferentes (Suíça, França, Grã-Bretanha, Países Baixos).
   • Escala: Aproximadamente 40.000 partidas foram jogadas. Em cada partida, os agentes competiam 1v1, alternando o controle de diferentes frotas de empresas para garantir a imparcialidade.
   • Depuração: Diferente dos agentes humanos (que foram avaliados como estão), os agentes LLM passaram por ciclos rigorosos de depuração para corrigir erros sintáticos e semânticos até que estivessem livres de bugs, garantindo que a avaliação focasse na competência algorítmica em vez de bugs de implementação.

Principais Resultados
Os resultados demonstram uma clara superioridade dos agentes codificados por humanos sobre os agentes codificados por LLM neste domínio estratégico complexo:

1. Dominância Humana: As cinco primeiras posições no ranking do torneio foram consistentemente ocupadas por agentes codificados por humanos (especificamente os agentes dos estudantes).
2. Baixo Desempenho dos LLMs: A maioria dos agentes codificados por LLM (33 de 40) foi derrotada por agentes humanos de linha de base muito simples (ex: "ExpCostFixedBid", que utiliza um custo médio fixo para lances).
3. Déficits de Raciocínio:
   • Em testes preliminares envolvendo variantes mais simples (ex: busca A*), os LLMs frequentemente falharam em implementar requisitos fundamentais, como heurísticas admissíveis, apesar das instruções explícitas.
   • Os LLMs tiveram dificuldades com bugs semânticos, como violar limites de tempo, falhar na entrega de tarefas ganhas ou ignorar restrições de capacidade, muitas vezes exigindo intervenção manual significativa para resolução.
4. Degradação de Soluções Existentes: Em um achado contraintuitivo, quando o melhor LLM (GPT-5) recebeu o código do agente humano vencedor e foi solicitado a "melhorá-lo", o agente resultante teve um desempenho significativamente inferior, caindo do 1º para o 10º lugar. Isso sugere que os LLMs têm dificuldade em utilizar efetivamente o aprendizado em contexto para refinar soluções complexas e funcionais.

Significância e Alegações
O artigo alega que o alto desempenho em benchmarks de codificação existentes (que priorizam sintaxe e testes unitários) não se traduz na capacidade de resolver problemas do mundo real que exigem raciocínio estratégico e otimização.

• Limitações dos Benchmarks Atuais: Os autores argumentam que as métricas atuais subestimam a dificuldade das tarefas de engenharia do mundo real. O benchmark APDP destaca que os LLMs podem gerar códigos que executam, mas frequentemente falham em gerar códigos que competem.
• Lacuna do Vibe Coding: O estudo questiona a eficidade do "vibe coding" (usar prompts de linguagem natural para gerar software complexo) para tarefas de engenharia de nível de pós-graduação ou profissional envolvendo estratégia multiagente.
• Chamado à Ação: O trabalho motiva uma mudança no campo em direção a benchmarks de "síntese de código baseada em raciocínio". Os autores defendem avaliações que enfatizem planejamento, modelagem de oponente e interação estratégica em cenários abertos do mundo real, em vez de apenas correção funcional.

Os autores mantêm-se modestos quanto às suas alegações, observando que não estão criando um ranking de modelos específicos ou alegando ter encontrado a estratégia de prompting ideal. Em vez disso, apresentam uma amostra representativa das capacidades atuais, concluindo que, embora os LLMs sejam ferramentas impressionantes, eles atualmente carecem da profundidade estratégica para superar engenheiros humanos experientes em problemas de otimização competitivos e complexos.