Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning

Technische Samenvatting: Kan Vibe Coding Afstijgen aan Graduate CS-studenten?

Probleemdefinitie
Het artikel adresseert een kritieke kloof in de evaluatie van Large Language Models (LLMs) voor codegeneratie. Terwijl heersende benchmarks (bijv. HumanEval, APPS) zich richten op syntactische correctheid en het slagen van unit-tests voor goed gedefinieerde problemen, falen ze om de complexiteit van real-world software engineering te vatten. Deze real-world scenario's vereisen vaak multi-agent strategische interactie, langetermijnplanning, constraint-optimalisatie en geavanceerd algoritmeontwerp.

Om deze kloof te overbruggen, introduceren de auteurs het Auction, Pickup, and Delivery Problem (APDP). Dit is een multi-agent, reasoning-gedreven benchmark gebaseerd op een logistiek optimalisatiescenario. In de APDP:

• Context: Meerdere transportbedrijven (agents) concurreren in een markt waar taken (pakketten) worden verkocht via een reverse first-price sealed-bid auction.
• Mechanisme: Agents moeten bieden op taken zonder de toekomstige taakverdelingen te kennen, en vervolgens een statisch Pickup and Delivery Problem (PDP) oplossen voor hun gewonnen taken onder voertuigcapaciteitsbeperkingen.
• Doelstelling: Het doel is om winst te maximaliseren, gedefinieerd als de som van de winnende biedingen minus de transportkosten (afstand × kosten per km).
• Complexiteit: Het probleem is NP-hard en omvat non-coöperatieve multi-agent systemen (auction strategy), coöperatieve multi-agent systemen (fleet routing) en constraint-optimalisatie. Het vereist dat agents tegenstanders modelleren, marginale kosten berekenen en strategische beslissingen nemen (bijv. onderbieden om toekomstige route-synergieën veilig te stellen) onder strikte tijdslimieten.

Methodologie
De studie evalueert de capaciteiten van state-of-the-art LLMs tegenover door mensen gecodeerde agents in een gecontroleerde tournament-setting.

1. Deelnemers:
   • Human Agents: 17 agents ontwikkeld vóór de komst van moderne LLMs. Dit omvat 12 agents gemaakt door graduate studenten in een Intelligent Agents cursus aan de EPFL (gegeven 2–3 weken om het probleem op te lossen) en 5 baseline agents ontwikkeld door AI-laboratoriumonderzoekers.
   • LLM Agents: 40 agents gegenereerd door vier leidende LLMs: OpenAI's GPT-5 Thinking, Google's Gemini 2.5 Pro, Anthropic's Claude Opus 4.1, en DeepSeek's DeepThink R1.
2. Prompting Strategieën: Elke LLM werd getest met vijf verschillende prompting-methodologieën om verschillende niveaus van "vibe coding" (natuurlijke taal naar code) te simuleren:
   • Twee door de auteur gegenereerde prompts (A1, A2) die dezelfde instructies geven als die aan de studenten werden gegeven.
   • Iteratieve Verfijning (IR): Self-play feedback loops.
   • LLM als Critic (CR): Een sterker model gebruiken om een gegenereerde agent te bekritiseren en te verbeteren.
   • Door GPT-5 gegenereerde Prompt (GEN): GPT-5 gebruiken om de prompt zelf te optimaliseren.
3. Experimentele Opzet:
   • Tournaments: Er werden 12 double all-play-all tournaments uitgevoerd over vier verschillende netwerktopologieën (Zwitserland, Frankrijk, Groot-Brittannië, Nederland).
   • Schaal: Ongeveer 40.000 wedstrijden werden gespeeld. In elke wedstrijd concurreerden agents 1v1, waarbij ze de controle over verschillende bedrijfsvloten wisselden om eerlijkheid te garanderen.
   • Debugging: In tegen tegenstelling tot de human agents (die "as-is" werden geëvalueerd), ondergingen de LLM agents rigoureuze debugging-cycli om syntactische en semantische fouten te herstellen totdat ze bugvrij waren, zodat de evaluatie zich kon richten op algoritmische competentie in plaats van implementatiefouten.

Belangrijkste Resultaten
De resultaten tonen een duidelijke superioriteit van door mensen gecodeerde agents over LLM-gecodeerde agents in dit complexe, strategische domein:

1. Dominantie van de Mens: De top 5 posities in de tournament-ranglijsten werden consistent bezet door door mensen gecodeerde agents (specifiek de student-agents).
2. Onderpresteren van LLMs: De meerderheid van de LLM-gecodeerde agents (33 van de 40) werd verslagen door zeer eenvoudige baseline human agents (bijv. "ExpCostFixedBid", die een vaste gemiddelde kost gebruikt voor het bieden).
3. Reasoning Tekorten:
   • In voorlopige tests met eenvoudigere varianten (bijv. A*-search) faalden LLMs vaak in het implementeren van fundamentele vereisten, zoals admissible heuristics, ondanks expliciete instructies.
   • LLMs worstelden met semantische bugs, zoals het schenden van tijdslimieten, het niet leveren van gewonnen taken, of het negeren van capaciteitsbeperkingen, wat vaak significante handmatige interventie vereiste om dit op te lossen.
4. Degradatie van Bestaande Oplossingen: In een contra-intuïtieve bevinding, toen de best presterende LLM (GPT-5) de code van de winnende human agent kreeg en de opdracht kreeg deze te "verbeteren", presteerde de resulterende agent aanzienlijk slechter, van de 1e plaats naar de 10e plek zakken. Dit suggereert dat LLMs moeite hebben met het effectief benutten van in-context learning om complexe, werkende oplossingen te verfijnen.

Betekenis en Claims
Het artikel claimt dat een hoge prestatie op bestaande coding benchmarks (die prioriteit geven aan syntaxis en unit-tests) niet vertaalt naar het vermogen om real-world problemen op te lossen die strategisch redeneren en optimalisatie vereisen.

• Beperkingen van Huidige Benchmarks: De auteurs betogen dat huidige metrieken de moeilijkheid van real-world engineering taken onderschatten. De APDP-benchmark benadrukt dat LLMs code kunnen genereren die draait, maar vaak faalt in het genereren van code die kan concurreren.
• Vibe Coding Kloof: De studie stelt vragen bij de effectiviteit van "vibe coding" (natuurlijke taal prompts gebruiken om complexe software te genereren) voor graduate-level of professionele engineering taken die betrekking hebben op multi-agent strategie.
• Oproep tot Actie: Het werk motiveert een verschuiving in het vakgebied naar "reasoning-driven code synthesis" benchmarks. De auteurs pleiten voor evaluaties die leggen de nadruk op planning, opponent modeling en strategische interactie in open-ended, real-world scenario's, in plaats van alleen functionele correctheid.

De auteurs blijven bescheiden over hun claims, waarbij zij opmerken dat zij geen leaderboard van specifieke modellen creëren of beweren dat zij de optimale prompting-strategie hebben gevonden. In plaats daarvan presenteren zij een representatieve steekproef van de huidige capaciteiten, concluderend dat hoewel LLMs indrukwekkende tools zijn, ze momenteel de strategische diepgang missen om ervaren menselijke engineers te overtreffen in complexe, competitieve optimalisatieproblemen.