Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning

Resumen Técnico: ¿Puede el "Vibe Coding" superar a los estudiantes de posgrado en Ciencias de la Computación?

Definición del Problema
El artículo aborda una brecha crítica en la evaluación de los Modelos de Lenguaje Extensos (LLM) para la generación de código. Mientras que los benchmarks predominantes (por ejemplo, HumanEval, APPS) se centran en la corrección sintáctica y las tasas de aprobación de pruebas unitarias para problemas bien definidos, no logran capturar la complejidad de la ingeniería de software del mundo real. Estos escenarios del mundo real a menudo requieren interacción estratégica entre múltiples agentes, planificación de largo alcance, optimización de restricciones y diseño de algoritmos avanzados.

Para cerrar esta brecha, los autores introducen el Problema de Subasta, Recogida y Entrega (APDP, por sus siglas en inglés). Este es un benchmark basado en un escenario de optimización logística que involucra múltiples agentes y razonamiento. En el APDP:

• Contexto: Múltiples empresas de transporte (agentes) compiten en un mercado donde las tareas (paquetes) se venden mediante una subasta de primera oferta sellada inversa.
• Mecanismo: Los agentes deben pujar por las tareas sin conocer las distribuciones de tareas futuras, y luego resolver un Problema de Recogida y Entrega (PDP) estático para sus tareas ganadas bajo restricciones de capacidad de vehículo.
• Objetivo: El objetivo es maximizar el beneficio, definido como la suma de las pujas ganadas menos los costes de transporte (distancia × coste por km).
• Complejidad: El problema es NP-duro e involucra sistemas multi-agente no cooperativos (estrategia de subasta), sistemas multi-agente cooperativos (rutas de flota) y optimización de restricciones. Requiere que los agentes modelen a los oponentes, calculen costes marginales y tomen decisiones estratégicas (por ejemplo, pujar por debajo del valor para asegurar sinergias de ruta futuras) bajo límites de tiempo estrictos.

Metodología
El estudio evalúa las capacidades de los LLM de vanguardia frente a agentes codificados por humanos en un entorno de torneo controlado.

1. Participantes:
   • Agentes Humanos: 17 agentes desarrollados antes de la llegada de los LLM modernos. Estos incluyen 12 agentes creados por estudiantes de posgrado en un curso de Agentes Inteligentes en la EPFL (a quienes se les dieron 2 a 3 semanas para resolver el problema) y 5 agentes de base desarrollados por investigadores de laboratorios de IA.
   • Agentes LLM: 40 agentes generados por cuatro LLM líderes: GPT-5 Thinking de OpenAI, Gemini 2.5 Pro de Google, Claude Opus 4.1 de Anthropic y DeepThink R1 de DeepSeek.
2. Estrategias de Prompting: Cada LLM fue probado con cinco metodologías de prompting distintas para simular varios niveles de "vibe coding" (lenguaje natural a código):
   • Dos prompts generados por el autor (A1, A2) que proporcionan las mismas instrucciones dadas a los estudiantes.
   • Refinamiento Iterativo (IR): Bucles de retroalimentación de auto-juego.
   • LLM como Crítico (CR): Utilizar un modelo más fuerte para criticar y mejorar un agente generado.
   • Prompt Generado por GPT-5 (GEN): Utilizar GPT-5 para optimizar el propio prompt.
3. Configuración Experimental:
   • Torneos: Se realizaron 12 torneos de todos contra todos de doble ronda a través de cuatro topologías de red diferentes (Suiza, Francia, Gran Bretaña, Países Bajos).
   • Escala: Se jugaron aproximadamente 40,000 partidas. En cada partida, los agentes competían 1v1, intercambiando el control de diferentes flotas de empresas para garantizar la equidad.
   • Depuración: A diferencia de los agentes humanos (que fueron evaluados tal cual), los agentes LLM pasaron por rigurosos ciclos de depuración para corregir errores sintácticos y semánticos hasta que no tuvieron errores, asegurando que la evaluación se centrara en la competencia algorítmica en lugar de errores de implementación.

Resultados Clave
Los resultados demuestran una clara superioridad de los agentes codificados por humanos sobre los agentes codificados por LLM en este dominio estratégico y complejo:

1. Dominio Humano: Las 5 primeras posiciones en la clasificación del torneo fueron ocupadas consistentemente por agentes codificados por humanos (específicamente los agentes de los estudiantes).
2. Bajo Rendimiento de los LLM: La mayoría de los agentes codificados por LLM (33 de 40) fueron derrotados por agentes humanos de base muy simples (por ejemplo, "ExpCostFixedBid", que utiliza un coste medio fijo para la puja).
3. Déficit de Razonamiento:
   • En pruebas preliminares que involucraban variantes más simples (por ejemplo, búsqueda A*), los LLM fallaron frecuentemente al implementar requisitos fundamentales, como heurísticas admisibles, a pesar de las instrucciones explícitas.
   • Los LLM tuvieron dificultades con errores semánticos, como violar límites de tiempo, no entregar las tareas ganadas o ignorar las restricciones de capacidad, lo que a menudo requirió una intervención manual significativa para resolverse.
4. Degradación de Soluciones Existentes: En un hallazgo contraintuitivo, cuando el mejor LLM (GPT-5) recibió el código del agente humano ganador y se le pidió que lo "mejorara", el agente resultante funcionó significativamente peor, cayendo del 1er lugar al 10º lugar. Esto sugiere que los LLM tienen dificultades para utilizar eficazmente el aprendizaje en contexto para refinar soluciones complejas y funcionales.

Significado y Reivindicaciones
El artículo sostiene que el alto rendimiento en los benchmarks de codificación actuales (que priorizan la sintaxis y las pruebas unitarias) no se traduce en la capacidad de resolver problemas del mundo real que requieren razonamiento estratégico y optimización.

• Limitaciones de los Benchmarks Actuales: Los autores argumentan que las métricas actuales subestiman la dificultad de las tareas de ingeniería del mundo real. El benchmark APDP resalta que los LLM pueden generar código que funciona, pero a menudo fallan en generar código que compite.
• Brecha del "Vibe Coding": El estudio cuestiona la eficacia del "vibe coding" (usar prompts de lenguaje natural para generar software complejo) para tareas de ingeniería de nivel de posgrado o profesional que involucran estrategia multi-agente.
• Llamado a la Acción: El trabajo motiva un cambio en el campo hacia benchmarks de "síntesis de código impulsada por el razonamiento". Los autores abogan por evaluaciones que enfaticen la planificación, el modelado de oponentes y la interacción estratégica en escenarios abiertos del mundo real, en lugar de solo la corrección funcional.

Los autores mantienen la modestia respecto a sus afirmaciones, señalando que no están creando una tabla de clasificación para modelos específicos ni afirmando haber encontrado la estrategia de prompting óptima. En su lugar, presentan una muestra representativa de las capacidades actuales, concluyendo que, si bien los LLM son herramientas impresionantes, actualmente carecen de la profundidad estratégica para superar a los ingenieros humanos experimentados en problemas de optimización competitivos y complejos.