Evaluating Agentic Optimization on Large Codebases

Resumen Técnico: FORMULACODE

1. El Problema

Los Agentes de Código impulsados por Modelos de Lenguaje Grande (LLM) están evolucionando desde la síntesis de funciones aisladas hacia la optimización de repositorios completos. Sin embargo, existen vacíos críticos en la evaluación de estas capacidades:

• Limitaciones de los Benchmarks Actuales: La mayoría de las evaluaciones existentes se basan en tareas sintéticas, señales de corrección binaria (éxito/fracaso) o evaluación de un solo objetivo. Esto no captura el comportamiento holístico de optimización necesario en el mundo real.
• Complejidad de la Optimización Real: La optimización de software rara vez es aislada. Requiere razonar sobre decisiones arquitectónicas, interacciones entre componentes y compensaciones (trade-offs) a nivel de sistema, no solo el ajuste de una función individual.
• Falta de Métricas Finas: Se necesita pasar de la corrección binaria a métricas continuas de rendimiento y compensaciones multi-objetivo (ej. velocidad vs. uso de memoria) bajo restricciones realistas de ingeniería de software.

2. Metodología: El Benchmark FORMULACODE

Los autores presentan FORMULACODE, un nuevo benchmark diseñado para evaluar la capacidad de agentes para optimizar grandes bases de código reales bajo restricciones estrictas de corrección y rendimiento.

• Construcción del Dataset:

  • Se extrajeron 957 cuellos de botella de rendimiento reales de 70 repositorios científicos de Python de código abierto (incluyendo Pandas, Scikit-learn, SciPy, Qiskit, etc.).
  • Cada tarea se basa en una solicitud de extracción (Pull Request - PR) real que mejoró el rendimiento, acompañada de un parche escrito por expertos humanos.
  • Carga de Trabajo Multi-entorno: A diferencia de benchmarks anteriores, cada tarea incluye un promedio de 264.6 cargas de trabajo de rendimiento mantenidas por la comunidad (utilizando el framework Airspeed Velocity o ASV). Esto permite evaluar cómo un cambio afecta múltiples rutas de ejecución simultáneamente.
  • Pipeline Automatizado: El dataset se construye mediante un pipeline de cuatro etapas: raspado de repositorios, filtrado de intenciones (reglas + LLM), síntesis de entornos Docker reproducibles y validación estadística (prueba de Mann-Whitney U) para asegurar mejoras significativas.

• Métricas de Evaluación:

  • Corrección: El código modificado debe pasar todas las pruebas funcionales y de instantáneas (snapshot tests) del repositorio original.
  • Aceleración (Speedup): Se calcula la relación de rendimiento entre el código del agente y la línea base.
  • Ventaja (Advantage): Se compara el rendimiento del agente contra el parche de un experto humano ($Adv = Speedup_{agente} - Speedup_{experto}$). Un valor positivo indica superación humana.
  • Ventaja Estratificada: Evalúa el rendimiento a diferentes niveles de granularidad (módulo, clase, función) para detectar si las optimizaciones son locales o sistémicas.
  • Costo-Promedio: Se considera el costo de inferencia (tokens) para evaluar la eficiencia económica.

3. Contribuciones Clave

1. Primer Benchmark de Optimización Multi-Carga de Trabajo: FORMULACODE es el primero en evaluar agentes en la optimización holística de repositorios grandes con cientos de cargas de trabajo concurrentes, capturando la naturaleza multi-objetivo de la ingeniería de software real.
2. Evaluación Basada en la Realidad: Utiliza cargas de trabajo mantenidas por la comunidad y parches de expertos reales, evitando la síntesis artificial y proporcionando una línea base humana sólida.
3. Análisis de Capacidades Agénticas: Proporciona una taxonomía detallada de qué estrategias de optimización (ej. paralelización, vectorización, cambios de algoritmo) los agentes pueden o no realizar efectivamente.
4. Recurso de Código Abierto: El benchmark se actualiza mensualmente ("live benchmark") para evitar la contaminación de datos y mantenerse relevante frente a la evolución de los modelos.

4. Resultados Principales

Los autores evaluaron modelos de vanguardia (GPT-5, Claude 4.0 Sonnet, Gemini 2.5 Pro, Qwen 3 Coder) en marcos de agentes como Terminus 2 y OpenHands. Los hallazgos incluyen:

• Brecha con Expertos Humanos: Aunque los agentes pueden mejorar el tiempo de ejecución, generalmente rinden peor que los expertos humanos en tareas de optimización a escala de repositorio. La ventaja promedio ($Adv$) es negativa para todas las configuraciones.
• Optimización Local vs. Global: Los agentes son más competentes en optimizaciones locales o a nivel de función, pero luchan significativamente con reestructuraciones a nivel de repositorio que requieren entender interacciones complejas entre módulos.
• Estrategias Específicas:
  • Fortalezas: Los agentes tienen éxito en estrategias como la paralelización y el agrupamiento (batching).
  • Debilidades: Tienen dificultades con operaciones vectorizadas (ej. delegar a implementaciones de bajo nivel como C/NumPy) y optimizaciones que requieren cambios arquitectónicos profundos.
• Generalización por Popularidad: El rendimiento varía drásticamente según la popularidad del repositorio. Los agentes rinden peor en repositorios de "cola larga" (poco populares) y en los más populares (cuartil 4), donde el margen de mejora restante es menor o la distribución de datos de entrenamiento es diferente.
• Eficiencia de Costos: A pesar de ser más costosos por llamada, los modelos de vanguardia (frontier LLMs) resultan ser más rentables en general que los modelos de pesos abiertos, ya que estos últimos a menudo requieren cadenas de razonamiento más largas y consumen más tokens sin lograr mejores resultados.
• Compensaciones (Trade-offs): Los agentes tienden a tomar decisiones de compensación rendimiento-costo menos favorables que los humanos y a menudo degradan el rendimiento de algunas cargas de trabajo mientras mejoran otras, sin lograr un equilibrio óptimo global.
• Fuga de Datos (Data Leakage): Se observó un efecto mínimo de fuga de datos, lo que sugiere que la brecha de rendimiento es principalmente por capacidad de razonamiento y no por memorización de soluciones.

5. Significado e Impacto

• Nuevo Estándar de Evaluación: FORMULACODE establece un nuevo estándar para medir la capacidad de los agentes de IA para realizar ingeniería de software autónoma, yendo más allá de la simple generación de código correcto hacia la optimización de sistemas complejos.
• Dirección para la Investigación: Los resultados indican que, aunque los LLMs son herramientas poderosas, aún carecen de la capacidad de razonamiento sistémico necesaria para superar a los ingenieros humanos en la optimización de software a gran escala. Esto guía el desarrollo futuro hacia arquitecturas que mejoran la comprensión de la jerarquía del código y la gestión de compensaciones multi-objetivo.
• Utilidad Práctica: Proporciona a los desarrolladores y empresas métricas comparativas para evaluar la utilidad de los agentes de IA en flujos de trabajo reales, considerando tanto el rendimiento como el costo.

En conclusión, FORMULACODE demuestra que la optimización agéntica a escala de repositorio sigue siendo un desafío mayor para los modelos actuales, destacando la necesidad de avances en la capacidad de razonamiento holístico y la gestión de compensaciones en sistemas de software complejos.