Resumen Técnico: RepoZero

Enunciado del Problema

Aunque los Modelos de Lenguaje Grande (LLM) han demostrado un progreso significativo en la generación de código, su capacidad para construir repositorios de software completos desde cero sigue siendo poco comprendida. Las evaluaciones existentes para la codificación a nivel de repositorio sufren limitaciones críticas:

1. Sesgo en la Evaluación: Muchas dependen de marcos de trabajo con intervención humana o de "LLM como juez", lo que introduce subjetividad e inseguridad.
2. Filtrado de Datos: Los modelos preentrenados en grandes corpus de GitHub a menudo memorizan repositorios existentes en lugar de demostrar un razonamiento genuino. Utilizar repositorios "limpios" o raros para mitigar esto limita inherentemente la escala del conjunto de datos y es susceptible a una contaminación rápida.
3. Brechas en la Verificación: Las evaluaciones actuales para la generación "desde cero" a menudo carecen de verdades fundamentales verificables basadas en la ejecución, particularmente para proyectos recién generados donde los tests unitarios preexistentes son escasos.

Metodología: Evaluación RepoZero

Para abordar estos desafíos, los autores presentan RepoZero, la primera evaluación diseñada para la verificación totalmente automatizada y basada en la ejecución de la generación de repositorios desde cero.

Concepto Central: Reproducción de Repositorio

RepoZero reformula la tarea de generación como reproducción de repositorio. En lugar de generar código únicamente a partir de descripciones en lenguaje natural, se proporciona a un agente:

1. Especificaciones de API: Especificaciones funcionales de las APIs de un repositorio fuente.
2. Casos de Prueba de Caja Blanca: Cuatro casos de prueba ilustrativos (entradas y salidas de verdad fundamental) proporcionados en el prompt.
3. Restricciones: Reglas estrictas para evitar soluciones "atajos", como la incrustación entre lenguajes o la delegación directa de API.

El agente debe re-implementar el repositorio completo en un lenguaje de programación diferente (por ejemplo, de Python a JavaScript, o de C/C++ a Rust). El repositorio generado se evalúa ejecutándolo contra una suite oculta de casos de prueba y comparando sus salidas byte a byte con el repositorio fuente original.

Construcción de la Evaluación

• Conjuntos de Datos: Se curan dos subconjuntos: RepoZero-Py2JS (400 muestras, de Python a JavaScript) y RepoZero-C2Rust (200 muestras, de C/C++ a Rust).
• Selección de Fuentes: Los repositorios se seleccionan manualmente basándose en la determinación, la integridad de código abierto y la complejidad arquitectónica (requiriendo implementaciones de múltiples archivos).
• Generación de Pruebas: Un LLM genera archivos y casos de prueba que invocan las APIs fuente. Estos se filtran rigurosamente para asegurar que sean deterministas (eliminando salidas dependientes del tiempo o de direcciones de memoria) y ejecutables.
• Protocolo de Evaluación:
  • Pruebas de Caja Negra: Solo cuatro casos de caja blanca son visibles para el agente; el resto de la suite de pruebas está oculta para evitar el sobreajuste.
  • Aislamiento del Entorno: Las evaluaciones se ejecutan en contenedores Docker aislados con permisos restringidos del sistema de archivos.
  • Restricciones Translenguaje: Se prohíbe a los agentes usar paquetes externos o comandos puente (por ejemplo, llamar a Python desde un envoltorio de shell), forzando una síntesis translenguaje genuina.

Marco de Evolución Agente-Código-Prueba (ACE)

El artículo propone ACE, un marco para la escalabilidad en tiempo de prueba. A diferencia de la evaluación estática, ACE emplea un bucle iterativo:

1. Un agente de codificación genera el repositorio objetivo.
2. Un agente de pruebas genera nuevos casos de prueba y ejecuta el repositorio fuente para obtener salidas de verdad fundamental.
3. Si el repositorio objetivo falla, los mensajes de error se retroalimentan al agente de codificación para su refinamiento.
   Este proceso continúa hasta que el repositorio supera todos los casos de prueba, aprovechando el repositorio fuente como un oráculo determinista.

Contribuciones Clave

1. Evaluación RepoZero: La primera evaluación escalable y verificable para la generación de repositorios desde cero que cierra la brecha entre la codificación de un solo archivo y la ingeniería de software completa. Combina de manera única restricciones translenguaje con verificación basada en la ejecución.
2. Marco ACE: Un flujo de trabajo de agente novedoso que integra la generación iterativa de pruebas y el refinamiento impulsado por errores, permitiendo una escalabilidad efectiva en tiempo de prueba para la síntesis compleja de repositorios.
3. Evaluación Exhaustiva: Una extensa comparación de LLMs de última generación (incluyendo Kimi, GLM, DeepSeek, Ernie, Minimax y Claude) a través de múltiples andamios de agentes (OpenHands-bash y Mini-SWE-Agent).

Resultados Experimentales

Los autores evaluaron numerosos modelos en los niveles de dificultad Fácil, Medio y Difícil. Los hallazgos clave incluyen:

• Tasas de Éxito Limitadas: Incluso los agentes más fuertes logran tasas de aprobación modestas. El modelo de mejor rendimiento, Claude-4.6-Sonnet, logró una tasa de aprobación de aproximadamente 51.5% en Py2JS y 44.6% en C2Rust utilizando el andamio OpenHands-bash.
• Rendimiento del Agente: Mini-SWE-Agent generalmente superó a OpenHands-bash, atribuido a una ingeniería de contexto más sofisticada.
• Impacto de la Escalabilidad en Tiempo de Prueba: El marco ACE mejoró significativamente el rendimiento. Para DeepSeek V3.1 en OpenHands-bash, la tasa de aprobación aumentó de 26.1% (solo codificación) a 42.9% con dos iteraciones de codificación-prueba-refinamiento.
• Modos de Fallo: El análisis reveló que, aunque los errores de tiempo de ejecución fueron infrecuentes, los agentes fallaron frecuentemente debido a:
  • Deriva Contextual: Perder el rastro de los requisitos a lo largo de trayectorias de razonamiento largas.
  • Ejecutabilidad vs. Corrección: Aproximadamente el 40% del código ejecutable no logró coincidir con la salida determinista de la fuente, destacando una brecha entre el código que se ejecuta y el código que es semánticamente correcto.

Significado y Afirmaciones

El artículo posiciona a RepoZero como un campo de pruebas desafiante, escalable y confiable para la generación de código de extremo a extremo. Los autores afirman que:

• Los agentes LLM actuales, incluso cuando están respaldados por andamios avanzados, exhiben una brecha sustancial entre sus capacidades y los requisitos reales del desarrollo de software, con tasas de aprobación que rara vez superan el 55%.
• La autoverificación mediante la generación de pruebas es una dirección crítica para el avance de los agentes de codificación. La capacidad de aprovechar un entorno ejecutable para el desarrollo impulsado por pruebas se identifica como un determinante fundamental del éxito.
• La evaluación mitiga con éxito el filtrado de datos a través de la síntesis translenguaje y restricciones de ejecución estrictas, proporcionando una evaluación más rigurosa que los enfoques anteriores de "LLM como juez".

El trabajo concluye que, aunque el bucle iterativo "código-prueba" es prometedor, el progreso futuro requiere una integración más robusta de la síntesis autónoma de suites de pruebas de alta calidad y una mejora en la retención de contexto largo en los agentes.