ZeroCoder: Can LLMs Improve Code Generation Without Ground-Truth Supervision?

1. El Problema

La generación de código es una tarea fundamental en la ingeniería de software. Recientemente, el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha demostrado ser un paradigma poderoso para mejorar los Modelos de Lenguaje Grande (LLM) mediante retroalimentación basada en la ejecución del código. Sin embargo, los pipelines de RLVR existentes dependen casi exclusivamente de supervisión de verdad fundamental (ground-truth), como pruebas unitarias curadas por humanos o generadas a partir de soluciones de referencia.

Esto presenta dos cuellos de botella principales:

1. Escasez y costo: La creación de pruebas de alta calidad es costosa y difícil de escalar.
2. Limitaciones de las pruebas auto-generadas: Los trabajos anteriores que intentan usar pruebas generadas por el propio modelo a menudo fallan porque el modelo, al no estar bien entrenado para generar pruebas, produce pruebas poco discriminativas. Esto permite que soluciones erróneas (espurias) pasen las pruebas, generando señales de recompensa ruidosas y de baja información.

La pregunta central de la investigación es: ¿Pueden los LLMs mejorar la generación de código sin depender de supervisión de verdad fundamental?

2. Metodología: ZeroCoder

Los autores proponen ZeroCoder, un marco de trabajo completamente libre de etiquetas (label-free) basado en la co-evolución de dos roles dentro de un único modelo:

• Coder: Genera soluciones de código.
• Tester: Genera pruebas unitarias para verificar esas soluciones.

En lugar de tratar estos roles por separado, ZeroCoder los entrena conjuntamente. La interacción entre el código generado y las pruebas generadas crea un bucle de retroalimentación donde un "Coder" más fuerte obliga al "Tester" a crear pruebas más difíciles, y un "Tester" más fuerte presiona al "Coder" a producir código más robusto.

Componentes Clave del Framework:

A. Matriz de Aprobación (Passing Matrix) y Selección:
Para cada problema, el sistema genera $N$ soluciones y $M$ pruebas. Ejecuta todos los pares $(solución, prueba)$ para construir una matriz binaria $E$ (donde $e_{ij}=1$ si la solución $i$ pasa la prueba $j$).
Un algoritmo de selección (Selector) analiza esta matriz para identificar un subconjunto de consenso de soluciones probables y pruebas consistentes. Se utilizan tres selectores estáticos:

• MaxPass: Selecciona soluciones con más aprobaciones.
• CodeT: Agrupa soluciones por patrones de ejecución idénticos.
• B4: Utiliza estimaciones bayesianas para puntuar configuraciones de consenso.

B. Filtrado Pre-entrenamiento Basado en Rango (Offline Rank-based Pre-filtering):
Para evitar problemas demasiado fáciles (todas las pruebas pasan) o demasiado difíciles (ninguna pasa), que generan gradientes de política nulos, ZeroCoder filtra los datos antes del entrenamiento. Calcula el rango de la matriz de aprobación como una métrica de diversidad de interacción. Solo se retienen los problemas con un rango suficientemente alto, asegurando que haya suficiente variabilidad en los resultados para aprender.

C. Curriculum de Recompensa para el Tester:
El entrenamiento del Tester es crítico. Se diseña una recompensa compuesta por tres términos:

1. Acuerdo con el Proxy: Recompensa si la prueba pasa una solución seleccionada como "buena".
2. Discriminación (Mutación): Recompensa si la prueba puede detectar errores en variantes mutadas del código (usando mutmut). Esto evita que el Tester genere pruebas triviales (ej. assert True).
3. Formato: Penaliza pruebas que no son ejecutables.
   Se utiliza un scheduler (programación) que comienza priorizando la validez de las pruebas y gradualmente aumenta el peso de la discriminación (mutación) a medida que el modelo avanza.

D. Selector Dinámico (𝐷𝑦B4):
Los autores identifican un fenómeno llamado "Deriva del Selector" (Selector Drift): las reglas de selección fijas (como las de B4) se descalibran a medida que la fiabilidad del Coder y el Tester cambia durante el entrenamiento, generando ruido.
Para mitigar esto, proponen 𝐷𝑦B4, una variante de B4 que recalibra dinámicamente sus hiperparámetros de priores bayesianos utilizando un conjunto de calibración muy pequeño (tan solo 10 ejemplos etiquetados) en cada paso de entrenamiento.

3. Contribuciones Clave

1. ZeroCoder: Un marco de RLVR co-evolutivo libre de etiquetas que mejora simultáneamente la generación de código y pruebas mediante interacciones auto-generadas.
2. Análisis de Deriva del Selector y 𝐷𝑦B4: Identifican que los selectores estáticos sufren de descalibración progresiva. Introducen 𝐷𝑦B4, un selector bayesiano dinámico que mantiene la calidad de la selección con un costo mínimo de etiquetas (10 ejemplos).
3. Validación Empírica: Demuestran que la co-evolución sin etiquetas es efectiva y que, con una calibración ligera, el rendimiento se acerca al de la supervisión con oráculos (datos reales).

4. Resultados Experimentales

Los experimentos se realizaron en tres familias de modelos (Qwen2.5-1.5B, Qwen3-4B, Qwen2.5-Coder-7B) y seis benchmarks (MBPP, LiveCodeBench, APPS, CodeForces).

• Entorno Libre de Etiquetas: ZeroCoder con selectores estáticos mejoró la generación de código en un 14.5% y la generación de pruebas en un 23.9% sobre el modelo base (Qwen2.5-Coder-7B) en promedio.
• Entorno con Calibración Ligera (𝐷𝑦B4): Al añadir el selector dinámico con solo 10 ejemplos etiquetados, las mejoras aumentaron a 21.6% en generación de código y 24.3% en generación de pruebas.
• Comparación con Oráculo: El rendimiento de ZeroCoder + 𝐷𝑦B4 fue competitivo con el entrenamiento supervisado por oráculo (que usa soluciones y pruebas reales), alcanzando un 42.2% vs 43.2% en el modelo más grande.
• Análisis de Componentes: Se demostró que eliminar la recompensa basada en mutación degrada significativamente el rendimiento, confirmando que la discriminación de pruebas es vital. El filtrado por rango también resultó esencial para eliminar datos de baja información.

5. Significado e Impacto

El trabajo de ZeroCoder es significativo porque:

• Rompe la dependencia de datos etiquetados: Muestra que es posible mejorar la capacidad de codificación de los LLMs sin necesidad de costosas pruebas unitarias humanas, utilizando únicamente la interacción código-prueba.
• Resuelve el problema de la retroalimentación ruidosa: Al co-evolucionar el generador de pruebas y el generador de código, el sistema genera naturalmente pruebas más discriminativas a medida que avanza, superando la limitación de los métodos anteriores donde las pruebas se quedaban obsoletas.
• Eficiencia de Etiquetas: Demuestra que una cantidad mínima de datos etiquetados (10 ejemplos) es suficiente para mantener la calibración del sistema, haciendo viable la implementación en escenarios con recursos limitados.
• Nueva Dirección para RLVR: Propone un cambio de paradigma desde la optimización estática basada en verificadores fijos hacia un proceso dinámico y adaptativo donde la calidad de la verificación escala con la capacidad del modelo.

En resumen, ZeroCoder establece un nuevo estado del arte en la generación de código auto-supervisada, demostrando que la co-evolución de tareas duales (escribir código y probarlo) puede generar señales de aprendizaje suficientemente ricas para superar a los modelos base y acercarse al rendimiento de la supervisión humana completa.