Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning

Sintesi Tecnica: Il "Vibe Coding" può battere gli studenti laureati in Informatica?

Definizione del Problema
Il documento affronta una lacuna critica nella valutazione dei Large Language Models (LLM) per la generazione di codice. Mentre i benchmark prevalenti (ad es., HumanEval, APPS) si concentrano sulla correttezza sintattica e sui tassi di superamento dei test unitari per problemi ben definiti, essi non riescono a catturare la complessità dell'ingegneria del software nel mondo reale. Questi scenari reali richiedono spesso l'interazione strategica tra più agenti, pianificazione a lungo termine, ottimizzazione dei vincoli e progettazione di algoritmi avanzati.

Per colmare questa lacuna, gli autori introducono il Problema di Asta, Ritiro e Consegna (APDP - Auction, Pickup, and Delivery Problem). Si tratta di un benchmark basato su un ragionamento multi-agente, fondato su uno scenario di ottimizzazione logistica. Nell'APDP:

• Contesto: Diverse società di trasporti (agenti) competono in un mercato in cui i compiti (pacchi) vengono venduti tramite un'asta a busta chiusa con prezzo inverso.
• Meccanismo: Gli agenti devono offrire per i compiti senza conoscere la distribuzione futura dei compiti stessi, per poi risolvere un problema statico di Ritiro e Consegna (PDP) per i compiti vinti, sotto vincoli di capacità del veicolo.
• Obiettivo: L'obiettivo è massimizzare il profitto, definito come la somma delle offerte vincenti meno i costi di trasporto (distanza × costo per km).
• Complessità: Il problema è NP-hard e coinvolge sistemi multi-agente non cooperativi (strategia d'asta), sistemi multi-agente cooperativi (instradamento della flotta) e ottimizzazione dei vincoli. Richiede che gli agenti modellino gli avversari, calcolino i costi marginali e prendano decisioni strategiche (ad es., offrire meno per assicurarsi sinergie di rotta future) sotto rigidi limiti di tempo.

Metodologia
Lo studio valuta le capacità degli stati dell'arte degli LLM rispetto ad agenti codificati da esseri umani in un ambiente di torneo controllato.

1. Partecipanti:
   • Agenti Umani: 17 agenti sviluppati prima dell'avvento dei moderni LLM. Questi includono 12 agenti creati da studenti laureati in un corso di Intelligent Agents presso l'EPFL (a cui sono stati dati 2–3 settimane per risolvere il problema) e 5 agenti di base sviluppati da ricercatori di laboratori di IA.
   • Agenti LLM: 40 agenti generati da quattro modelli leader: OpenAI's GPT-5 Thinking, Google's Gemini 2.5 Pro, Anthropic's Claude Opus 4.1 e DeepSeek's DeepThink R1.
2. Strategie di Prompting: Ogni LLM è stato testato con cinque distinte metodologie di prompting per simulare vari livelli di "vibe coding" (linguaggio naturale verso codice):
   • Due prompt generati dagli autori (A1, A2) che forniscono le stesse istruzioni date agli studenti.
   • Raffinamento Iterativo (IR): cicli di feedback di auto-gioco.
   • LLM come Critico (CR): l'uso di un modello più forte per criticare e migliorare un agente generato.
   • Prompt generato da GPT-5 (GEN): l'uso di GPT-5 per ottimizzare il prompt stesso.
3. Configurazione Sperimentale:
   • Tornei: Sono stati condotti 12 tornei "double all-play-all" attraverso quattro diverse topologie di rete (Svizzera, Francia, Gran Bretagna, Paesi Bassi).
   • Scala: Sono state giocate circa 40.000 partite. In ogni partita, gli agenti competevano 1 contro 1, scambiando il controllo di diverse flotte aziendali per garantire l'equità.
   • Debugging: A differenza degli agenti umani (che sono stati valutati così come sono), gli agenti LLM hanno subito rigorosi cicli di debugging per correggere errori sintattici e semantici finché non fossero privi di bug, garantendo che la valutazione si concentrasse sulla competenza algoritmica piuttosto che sugli errori di implementazione.

Risultati Chiave
I risultati dimostrano una chiara superiorità degli agenti codificati da umani rispetto agli agenti codificati da LLM in questo dominio complesso e strategico:

1. Dominio Umano: Le prime 5 posizioni nelle classifiche del torneo sono state occupate costantemente da agenti codificati da umani (specificamente gli agenti degli studenti).
2. Scarse Prestazioni degli LLM: La maggior parte degli agenti codificati da LLM (33 su 40) è stata sconfitta da agenti umani di base molto semplici (ad es., "ExpCostFixedBid", che utilizza un costo medio fisso per l'offerta).
3. Deficit di Ragionamento:
   • In test preliminari che coinvolgevano varianti più semplici (ad es., ricerca A*), gli LLM hanno spesso fallito nell'implementare requisiti fondamentali, come le euristiche ammissibili, nonostante le istruzioni esplicite.
   • Gli LLM hanno avuto difficoltà con bug semantici, come la violazione dei limiti di tempo, il mancato ritiro dei compiti vinti o l'ignoranza dei vincoli di capacità, richiedendo spesso un intervento manuale significativo per risolverli.
4. Degradazione delle Soluzioni Esistenti: In un risultato controintuitivo, quando il miglior LLM (GPT-5) gli è stato dato il codice dell'agente umano vincitore e gli è stato chiesto di "migliorarlo", l'agente risultante ha performato significativamente peggio, passando dal 1° al 10° posto. Ciò suggerisce che gli LLM faticano a utilizzare efficacemente l'apprendimento in-context per raffinare soluzioni complesse e funzionanti.

Significato e Rivendicazioni
Il documento sostiene che le alte prestazioni nei benchmark di codifica esistenti (che privilegiano la sintassi e i test unitari) non si traducono nella capacità di risolvere problemi del mondo reale che richiedono ragionamento strategico e ottimizzazione.

• Limiti dei Benchmark Correnti: Gli autori sostengono che le metriche attuali sottostimano la difficoltà dei compiti di ingegneria del mondo reale. Il benchmark APDP evidenzia che gli LLM possono generare codice che gira, ma spesso non riescono a generare codice che competa.
• Gap del Vibe Coding: Lo studio mette in discussione l'efficacia del "vibe coding" (usare il linguaggio naturale per generare software complesso) per compiti di ingegneria di livello universitario o professionale che coinvolgono strategie multi-agente.
• Chiamata all'Azione: Il lavoro motiva uno spostamento nel campo verso i benchmark di "sintesi del codice guidata dal ragionamento". Gli autori sostengono valutazioni che mettano alla prova la pianificazione, la modellazione dell'avversario e l'interazione strategica in scenari aperti e reali, piuttosto che la sola correttezza funzionale.

Gli autori rimangono modesti riguardo alle loro rivendicazioni, sottolineando che non stanno creando una classifica di modelli specifici né pretendendo di aver trovato la strategia di prompting ottimale. Inveve, presentano un campione rappresentativo delle capacità attuali, concludendo che, sebbene gli LLM siano strumenti impressionanti, attualmente mancano della profondità strategica necessaria per superare esperti ingegneri umani in problemi di ottimizzazione competitivi e complessi.