Resumen Técnico: Colapso por Autotrenamiento Recursivo en Modelos de Lenguaje de Código (Code LLMs)

1. Planteamiento del Problema

El artículo investiga el riesgo de colapso por autotrenamiento recursivo en los Modelos de Lenguaje de Código (LLMs). A medida que las herramientas de IA para codificación (por ejemplo, GitHub Copilot, Cursor) generan cada vez más código que se integra en repositorios públicos, los futuros corpus de entrenamiento podrían consistir en gran medida en código generado por IA. Si un modelo es ajustado (fine-tuned) con datos que él mismo generó previamente, y esos datos se utilizan posteriormente para entrenar la siguiente iteración sin un control de calidad externo, el sistema entra en un bucle de "autoconsumo".

El problema central es que, sin datos humanos frescos o señales de calidad exógenas, este bucle puede conducir al colapso del modelo:

• Deriva Distribuida: El modelo aprende a imitar sus propios resultados previos en lugar de la distribución de datos originales.
• Amplificación de Errores: Los errores (bugs), la lógica incompleta y la estrechez estilística en el código generado se copian y refuerzan en las generaciones subsiguientes.
• Pérdida de Diversidad: El modelo converge hacia salidas de baja varianza y baja calidad, fallando en la resolución de tareas de programación.

El artículo contrasta específicamente tres regímenes de entrenamiento recursivo:

1. Sin Revisión (No Regulado/Ungated): Todo el código generado es reutilizado.
2. Revisión con Filtro Humano (Human-Gate Review): El código es filtrado por señales independientes del modelo (por ejemplo, compilación, análisis estático, pruebas de ejecución).
3. Revisión con Filtro de IA (AI-Self-Gate Review): El LLM de código evalúa y filtra sus propias salidas utilizando señales internas (por ejemplo, perplejidad, puntuación binaria propia).

2. Metodología

Marco Teórico

Los autores formalizan el entrenamiento recursivo como un reponderado distribuido con puertas (gated distributional reweighting).

• Recursión No Regulada: La distribución de entrenamiento en la iteración $t$ es simplemente la distribución de salida del modelo $p_{\theta_t}(c|x)$. El siguiente modelo minimiza la divergencia KL respecto a esta distribución, imponiendo solo consistencia propia.
• Recursión con Puerta (Gated): Una muestra es aceptada con una probabilidad $r(x, c)$. La distribución de entrenamiento se convierte en $q_{\theta_t}(c|x) \propto p_{\theta_t}(c|x)r(x, c)$.
• Análisis Teórico:
  • Concentración Espectral: Los autores demuestran (Proposición 2.1) que el reentrenamiento recursivo amplifica las direcciones de representación dominantes mientras suprime otras, lo que conduce a un colapso en la matriz de covarianza del espacio de representación (reducción de rango/diversidad).
  • Degeneración de la Autorevisión por IA: El artículo demuestra (Teorema 2.3) que si un revisor de IA está acoplado al generador (compartiendo parámetros o distribución), y el revisor se vuelve "autoconfirmante" (asignando puntuaciones altas a las salidas probables del generador independientemente de la calidad), el mecanismo de puerta degenera matemáticamente en un autotrenamiento no regulado. En este régimen de "sello de goma" (rubber-stamp), el filtro pierde su capacidad de rechazar salidas degradadas.
  • Condición de Estabilidad: El entrenamiento con puerta de IA solo evita el colapso si el revisor de IA permanece calibrado con un estándar humano exógeno (Teorema 2.6).

Configuración Experimental

• Modelos: Se probaron cuatro familias de Code LLMs: SantaCoder (1.1B), StarCoder2-3B, Qwen2.5-Coder-1.5B y Code Llama-7B.
• Benchmarks: HumanEval, MBPP, LiveCodeBench y sus versiones aumentadas (HumanEval+, MBPP+).
• Protocolo: Ajuste fino recursivo a lo largo de 5 rondas. En cada ronda, el modelo genera código, una estrategia de filtrado selecciona 5,000 muestras y el modelo se ajusta sobre este conjunto durante 3,000 pasos.
• Estrategias de Filtrado:
  • Vanilla: Sin filtro.
  • Puertas Humanas (Human Gates): Compile (verificación de sintaxis), Quality (métricas estáticas como repetición/longitud), Compile+Quality.
  • Autopuertas de IA (AI Self-Gates): Perplexity (el 25% inferior por verosimilitud del modelo), Binary Classifier (el 25% superior por puntuación de diferencia de logits).

3. Resultados Clave

Degradación Universal

En todas las familias de modelos y estrategias de filtrado, el autotrenamiento recursivo conduce a una degradación del rendimiento en comparación con la línea base de preentrenamiento.

• Sin Revisión: Colapsa de forma más rápida y severa. Por ejemplo, Qwen2.5-Coder cayó de una línea base de HumanEval+ de 0.372 a 0.043 (−88.4%) para la Ronda 5.
• Puertas Humanas: Ralentizan la tasa de colapso pero no lo detienen. Aunque los filtros Compile y Quality preservan la validez ejecutable y retrasan la deriva semántica, no pueden prevenir la degradación a largo plazo.
• Autopuertas de IA: Exhiben un modo de fallo de "sello de goma". Inicialmente, pueden seleccionar muestras de alto rendimiento (por ejemplo, el Binary Classifier logró el HumanEval+ más alto en la Ronda 5 para tres modelos), pero su eficacia de filtrado se degrada con el tiempo.
  • Divergencia de Métricas: Un hallazgo crítico es la divergencia entre la señal interna del filtro y la corrección real. Para el Binary Classifier, las puntuaciones de aceptación (la confianza del modelo en su propio código) aumentaron mientras que la corrección en los benchmarks cayó. Esto confirma la predicción teórica de que la autopuerta se vuelve autoconfirmante.

Consistencia entre Modelos

El fenómeno del colapso no es específico de una sola arquitectura.

• LiveCodeBench: Todos los modelos se acercaron a un pass@1 cercano a cero en este benchmark fuera de la distribución (out-of-distribution) para la Ronda 5 bajo entrenamiento vanilla, lo que indica que el autotrenamiento recursivo degrada desproporcionadamente las capacidades de razonamiento complejo.
• Magnitud del Colapso: Los modelos con distribuciones iniciales más fuertes (por ejemplo, Qwen2.5-Coder) mostraron cambios distributivos más agudos al ser contaminados con sus propias salidas, aunque todos los modelos eventualmente convergieron hacia un "atractor de colapso" de bajo rendimiento.

Tasas de Paso de los Filtros

• Puertas Humanas: Mantuvieron tasas de paso estables (por ejemplo, Compile se mantuvo alto porque depende de una ejecución externa).
• Autopuertas de IA: Mostraron tasas de paso crecientes a lo largo de las rondas (por ejemplo, la tasa de paso de Perplexity subió de ~0.17 a ~0.24), lo que indica una pérdida de poder discriminativo a medida que la distribución de puntuación interna del modelo derivaba junto con su distribución de generación degradada.

4. Contribuciones

1. Estudio Empírico del Colapso de Code LLM: Proporcionó una evaluación sistemática del autotrenamiento recursivo a través de cinco regímenes de filtrado y cuatro familias distintas de Code LLM, demostrando que el colapso es un fenómeno transversal a los modelos.
2. Formulación de la Revisión como Reponderado con Puertas: Enmarcó teóricamente la revisión de código como un mecanismo de reponderado de muestreo, explicando por qué las puertas exógenas ralentizan el colapso mientras que las puertas endógenas fallan.
3. Identificación de la Exogeneidad como Clave: Estableció que la diferencia crítica entre el entrenamiento recursivo exitoso y el fallido es si la regla de aceptación es exógena (fija, independiente del modelo) o endógena (acoplada al generador).
4. Prueba Teórica de la Degeneración: Probó que la autorevisión por IA degenera en un autotrenamiento no regulado bajo condiciones de autoconfirmación y proporcionó un análisis espectral que muestra cómo el reentrenamiento recursivo concentra la varianza de la representación en un subespacio de baja dimensión.

5. Significado y Reivindicaciones

El artículo argumenta que el entrenamiento estable de Code LLMs recursivos requiere verificación exógena en lugar de una autorevisión acoplada al modelo.

• Limitación de la Revisión por IA: El estudio sugiere que confiar en sistemas de IA para revisar su propio código para futuros entrenamientos es inherentemente inestable. A medida que el generador se degrada, los criterios del revisor también derivan, aceptando eventualmente salidas degradadas como de alta calidad (el régimen de "sello de goma").
• Papel de las Puertas Humanas: Aunque las puertas humanas (compilación, análisis estático) son más robustas y preservan la validez ejecutable, son insuficientes para detener por completo la deriva semántica a largo plazo. Actúan como un freno, no como una cura.
• Implicación para Sistemas Futuros: Los hallazgos advierten contra el bucle de "autoconsumo" donde el código generado por IA entra en los repositorios y se utiliza inmediatamente para entrenar la siguiente generación de modelos sin datos humanos frescos o señales externas fuertes. El artículo concluye que, para evitar el colapso, la señal de verificación debe permanecer fuera de la distribución de preferencias del propio modelo.

Los autores mantienen la modestia, señalando que sus experimentos se centraron en Python y modelos de hasta 7B parámetros, y que los horizontes más largos, modelos más grandes y puertas basadas en ejecución más fuertes siguen siendo áreas abiertas para futuras investigaciones.