Automatically Benchmarking LLM Code Agents through Agent-Driven Annotation and Evaluation

Resumen Técnico: PRDBench y PRDJudge

1. El Problema

A pesar de los avances en los agentes de código basados en Modelos de Lenguaje Grande (LLM), la evaluación de su capacidad para desarrollar software a nivel de proyecto enfrenta dos limitaciones críticas:

• Costo y Escalabilidad de la Creación de Datos: La generación de conjuntos de datos de evaluación de alta calidad requiere expertos humanos con conocimientos de dominio específicos (ej. doctores en ciencias de la computación para benchmarks de investigación). Esto resulta en costos de anotación prohibitivos y una diversidad limitada de tareas.
• Rigidez y Precisión de la Evaluación: Los benchmarks existentes dependen en gran medida de pruebas unitarias rígidas, que no cubren la complejidad de proyectos completos. Por otro lado, los paradigmas recientes de "Agente como Juez" (Agent-as-a-Judge) que utilizan LLMs generales con In-Context Learning (ICL) a menudo producen evaluaciones inexactas, con una alineación humana baja (ej. ~83% en benchmarks anteriores) debido a la incapacidad de interpretar logs de ejecución complejos o diferencias sutiles en archivos.

2. Metodología Propuesta

Los autores proponen un enfoque integral que consta de dos componentes principales: un pipeline de construcción de datos impulsado por agentes y un marco de evaluación especializado.

A. Pipeline de Construcción de Datos Impulsado por Agentes (PRDBench)
En lugar de depender de expertos para crear cada prueba, utilizan un agente de código de última generación (SOTA) para generar la infraestructura del proyecto y los criterios de evaluación, bajo supervisión humana ligera:

1. Inicialización: Se seleccionan "tareas semilla" de fuentes reales (proyectos universitarios, repositorios de GitHub, solicitudes de desarrollo interno).
2. Generación por Agente: Un agente SOTA genera:
   • Un Documento de Requisitos de Producto (PRD) estructurado.
   • Un Esquema de Criterios (basado en la metodología Arrange-Act-Assert) que define cómo verificar el cumplimiento.
   • El andamiaje (scaffold) del código (estructura de archivos e interfaces).
3. Inspección Humana: Los anotadores (con nivel de licenciatura en ingeniería de software) solo verifican que los criterios sean compatibles con las interfaces generadas y que los resultados esperados sean razonables. No necesitan escribir código de prueba ni soluciones de referencia.
4. Refinamiento Iterativo: Si hay errores, el agente corrige el esquema. Se requiere un mínimo de 5 rondas de refinamiento para mantener la tarea.
5. Eliminación del Andamiaje: Finalmente, se elimina el código generado por el agente, dejando solo el PRD y los criterios. Esto obliga al agente evaluado a escribir el código desde cero.

B. Marco de Evaluación: PRDJudge
Para superar la inestabilidad de los LLMs generales como jueces, se introduce PRDJudge:

• Arquitectura: Un agente de evaluación ligero equipado con herramientas (lectura/escritura de archivos, ejecución de shell, análisis de gráficos).
• Modelo Base: Se fine-tunea el modelo Qwen3-Coder-30B.
• Entrenamiento: Se utiliza un conjunto de datos de trayectorias de evaluación de alta calidad. Un modelo más grande (Qwen3-Coder-480B) actúa como juez inicial para generar trayectorias, que luego se filtran estrictamente para asegurar que coincidan con la anotación humana (Ground Truth).
• Tipos de Pruebas: El sistema evalúa tres categorías:
  1. Unit Test: Pruebas funcionales tradicionales.
  2. Shell Interaction: Ejecución de comandos y comparación de salidas.
  3. File Comparison: Comparación de archivos generados (contenido, formato, estructura).

3. Contribuciones Clave

1. PRDBench: Un benchmark de 50 proyectos reales en Python cubriendo 20 dominios (desde IA hasta seguridad informática). Cada tarea incluye un PRD detallado y 1,258 métricas de evaluación estructuradas.
2. Pipeline de Anotación Eficiente: Reduce drásticamente la necesidad de expertos, permitiendo que anotadores con conocimientos básicos de ingeniería de software supervisen la creación de tareas complejas en ~8 horas por proyecto.
3. PRDJudge: Un evaluador especializado fine-tuneado que logra una alineación humana superior al 90% en escenarios de interfaz fija, superando a modelos propietarios masivos y modelos base sin fine-tuning.
4. Análisis de Comportamiento: Proporciona una comprensión profunda de cómo los agentes de código actuales fallan o tienen éxito en diferentes tipos de tareas (generación vs. depuración).

4. Resultados Experimentales

• Rendimiento del Juez (PRDJudge):
  • Logra un 91.75% de alineación humana en pruebas dentro del dominio (In-Domain) y 92.69% en pruebas fuera del dominio (Out-of-Domain), superando a modelos como GPT-5.2 y Claude-4.5.
  • Muestra una estabilidad excepcional (94.19% de acuerdo unánime en 3 ejecuciones), muy superior a los LLMs generales que sufren de variabilidad en el razonamiento.
  • Es más eficiente en tokens y tiempo de inferencia que sus contrapartes más grandes.
• Evaluación de Agentes de Código:
  • Generación Zero-Shot: Los modelos base (como Claude-4.5 y GPT-5.2) dominan la fase de generación inicial, lo que indica que la capacidad de razonamiento intrínseca del LLM es el factor limitante para crear scaffolds desde cero.
  • Depuración Iterativa: Los agentes comerciales (ej. Claude Code) superan a los agentes "mínimos" en la fase de depuración, aprovechando mejor los feedbacks para correcciones dirigidas.
  • Degradación en Contexto Largo: Los agentes sin restricciones (Minimal Agents) a menudo sufren regresiones durante la depuración de largo contexto, rompiendo módulos que ya funcionaban debido a la falta de gestión global de estado.
  • Dificultad de las Pruebas: Las pruebas unitarias son significativamente más difíciles de depurar que las interacciones de shell o la comparación de archivos, ya que requieren que el agente lea y comprenda el código de prueba, no solo compare salidas.

5. Significancia e Impacto

Este trabajo establece un nuevo estándar para la evaluación de agentes de código a nivel de repositorio:

• Escalabilidad: Demuestra que es posible construir benchmarks masivos y diversos con un costo humano mínimo mediante la supervisión de agentes.
• Fiabilidad: PRDJudge resuelve el problema de la "alucinación" y la inconsistencia en la evaluación automática, ofreciendo una alternativa robusta y económica a la evaluación humana manual o al uso de LLMs generales costosos.
• Insights para el Futuro: Revela que, aunque los modelos base definen el techo de la generación inicial, la arquitectura del agente (herramientas, gestión de estado) es crucial para la iteración y depuración exitosa.
• Reproducibilidad: Al centrarse en la alineación con PRDs estructurados en lugar de solo pruebas unitarias, el enfoque permite evaluar la capacidad de los agentes para cumplir con requisitos de ingeniería de software complejos y realistas.

En resumen, el artículo presenta una solución integral que combina la automatización en la creación de datos con un evaluador especializado, permitiendo una medición precisa, escalable y fiable del estado del arte en agentes de programación.