Self-Improving Code Generation via Semantic Entropy and Behavioral Consensus

Resumen Técnico: ConSelf

1. Planteamiento del Problema

La mejora de las capacidades de generación de código de los Modelos de Lenguaje Grande (LLMs) depende tradicionalmente de la ajuste fino supervisado (SFT) o la optimización basada en preferencias. Sin embargo, estos métodos requieren recursos externos costosos:

• Modelos maestros superiores: Para generar soluciones de referencia.
• Oráculos de prueba fiables: Para verificar la corrección funcional del código generado.

En escenarios del mundo real, es mucho más fácil obtener descripciones de problemas y entradas de prueba que soluciones de referencia o oráculos de prueba precisos (el "problema del oráculo de prueba"). Además, los modelos auto-generados a menudo producen soluciones erróneas y ruidosas. Si un modelo intenta aprender de problemas que exceden su capacidad actual (donde todas sus soluciones son incorrectas), se enfrenta a un "ruido" que degrada el rendimiento en lugar de mejorarlo.

La pregunta de investigación: ¿Puede un modelo de lenguaje de código mejorar a sí mismo sin acceso a un modelo maestro superior ni a oráculos de prueba preexistentes, utilizando solo descripciones de problemas e entradas de prueba?

2. Metodología: Enfoque ConSelf

Los autores proponen ConSelf, un enfoque de auto-mejora basado en dos pilares fundamentales: qué aprender (selección de problemas) y cómo aprender (optimización robusta).

A. Selección de Currículo: Entropía Semántica de Código

Para responder a "qué aprender", el método introduce una nueva métrica llamada Entropía Semántica de Código (Code Semantic Entropy).

• Concepto: A diferencia de las métricas de confianza interna (como la entropía de tokens o la verosimilitud negativa), que miden la incertidumbre del modelo en el espacio lingüístico, la entropía semántica mide la incertidumbre en el espacio de comportamiento funcional.
• Proceso:
  1. Muestreo Guiado por Observaciones: Se generan múltiples observaciones (pistas, definiciones, estrategias) para un problema y, basándose en ellas, se generan múltiples candidatos de código.
  2. Ejecución y Agrupamiento: Los candidatos se ejecutan en las entradas de prueba disponibles. Se agrupan según sus trazas de ejecución idénticas (comportamiento funcional).
  3. Cálculo de Entropía: Se calcula la entropía de Shannon sobre la distribución de estos grupos de comportamiento.
     • Alta entropía: Indica que el modelo produce comportamientos funcionales muy diversos y caóticos (problema no aprendible o demasiado difícil).
     • Entropía cero: Indica que todos los candidatos son idénticos (ya sea todos correctos o todos incorrectos de la misma manera).
     • Entropía moderada: Indica un punto óptimo donde el modelo tiene variabilidad pero convergencia hacia soluciones plausibles.
• Filtrado: Se construye un currículo filtrando los problemas con entropía demasiado alta (ruido) o cero (sin señal de aprendizaje), reteniendo solo aquellos con un nivel de incertidumbre manejable.

B. Optimización: DPO Impulsado por Consenso (Con-DPO)

Para responder a "cómo aprender", se propone una variante de la Optimización Directa de Preferencias (DPO) llamada Con-DPO.

• El Problema: En un entorno no supervisado, las etiquetas de preferencia (ganador vs. perdedor) son ruidosas. El DPO estándar trata todos los pares con la misma confianza, lo que puede llevar a sobreajustarse a errores.
• La Solución (Con-DPO):
  1. Puntuación de Consenso Conductual: Se asigna una puntuación a cada candidato basada en la frecuencia con la que su comportamiento funcional coincide con el de otros candidatos independientes. Un comportamiento compartido por muchos es más probable que sea correcto.
  2. Ponderación de la Pérdida: La función de pérdida de DPO se modifica para ponderar cada par de preferencia por la puntuación de consenso del "ganador".
  3. Resultado: El modelo aprende agresivamente de pares de alta confianza y cautelosamente de pares inciertos, mitigando el impacto de las etiquetas de supervisión auto-generadas ruidosas.

3. Contribuciones Clave

1. Entropía Semántica de Código: Una métrica novedosa que estima la incertidumbre epistémica del modelo basándose en el comportamiento funcional observable (ejecución) en lugar de estados internos o similitud textual.
2. Estrategia Dual de Aprendizaje: ConSelf integra un filtrado de currículo basado en entropía (para seleccionar problemas aprendibles) y un algoritmo de optimización robusto (Con-DPO) para manejar el ruido residual.
3. Eficacia sin Supervisión Externa: Demuestra que es posible mejorar significativamente la generación de código sin depender de modelos maestros costosos ni oráculos de prueba perfectos.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro benchmarks estándar (HumanEval, MBPP, EvalPlus, LiveCodeBench) utilizando tres modelos base de código (CodeLlama-7B, DeepSeek-Coder-6.7B, Qwen2.5-Coder-7B).

• Mejora de Rendimiento: ConSelf superó consistentemente a los modelos base y a otros métodos de auto-mejora (SFT auto, DPO auto, PFPO).
  • Mejoras relativas promedio: +3.30% en CodeLlama, +2.73% en DeepSeek-Coder y +3.95% en Qwen2.5-Coder.
• Eficiencia de Datos: Al filtrar problemas no aprendibles, ConSelf logra mejoras significativas utilizando mucho menos datos de entrenamiento que los métodos que utilizan todo el conjunto de datos generado (ej. en DeepSeek-Coder, usa ~6,372 ejemplos frente a ~46,000 de los baselines).
• Validación de Métricas: La entropía semántica de código demostró ser una métrica de incertidumbre mucho más fiable (mayor AUC y correlación negativa con la tasa de error) que las métricas internas tradicionales (entropía de tokens, verosimilitud negativa) o la entropía semántica basada solo en texto.
• Estudio de Ablación:
  • Eliminar el filtrado de currículo (entrenar con todos los datos) causó la mayor degradación de rendimiento, confirmando que la selección de datos es más crítica que el algoritmo de aprendizaje en sí.
  • Eliminar la ponderación por consenso (usar DPO estándar) también redujo el rendimiento, demostrando la necesidad de manejar el ruido en las etiquetas.

5. Significado e Impacto

El trabajo de ConSelf es significativo porque aborda una limitación fundamental en la investigación actual de LLMs para código: la dependencia de recursos de supervisión costosos.

• Viabilidad Realista: Ofrece un camino para que los modelos de código se auto-mejoren en entornos donde las soluciones de referencia son escasas o costosas de obtener.
• Cambio de Paradigma: Propone que la incertidumbre en la generación de código debe medirse mediante el comportamiento funcional (ejecución) y no por la confianza lingüística del modelo.
• Robustez: Al combinar la selección inteligente de problemas con un aprendizaje robusto al ruido, establece un nuevo estándar para el aprendizaje auto-supervisado en tareas de programación, reduciendo el riesgo de degradación por aprendizaje de datos ruidosos.

En conclusión, ConSelf demuestra que, mediante una curación de currículo basada en la entropía semántica y una optimización guiada por el consenso, los modelos de lenguaje pueden mejorar sus capacidades de generación de código de manera autónoma y eficiente.