Resumen Técnico: Generación Primal, Juicio Dual: Autoentrenamiento a partir de la Escalabilidad en Tiempo de Prueba

Enunciado del Problema

Los modelos de generación de código suelen entrenarse en el espacio primal, donde un modelo produce una solución candidata y recibe retroalimentación de ejecución escasa y binaria (aprobado/reprobado). Aunque la escalabilidad en tiempo de prueba (muestrear múltiples candidatos y seleccionar el mejor mediante un juez) mejora la precisión de la inferencia, la información comparativa revelada durante este proceso —específicamente las diferencias estructurales entre los intentos exitosos y los fallidos— se descarta tras la inferencia. Los sistemas existentes de "generar-luego-juzgar" utilizan esta estructura comparativa únicamente para la clasificación en tiempo de inferencia, sin actualizar al generador en sí. En consecuencia, el modelo puede continuar asignando alta probabilidad a código plausible pero incorrecto en futuros despliegues.

El artículo sostiene que la estructura comparativa de la escalabilidad en tiempo de prueba define un espacio de juicio dual. Este espacio ofrece una señal de entrenamiento más densa que el espacio primal: en lugar de bits aislados de aprobado/reprobado, proporciona estructuras de corrección relativa entre intentos plausibles, revelando lo que distingue el éxito del fracaso.

Metodología: DuST (Autoentrenamiento Dual)

Los autores introducen DuST, un marco para el autoentrenamiento a partir de este espacio de juicio dual. La hipótesis central es que un modelo entrenado para discriminar entre código correcto e incorrecto en el espacio dual adquiere características sensibles a la corrección que benefician la generación primal, incluso sin recompensas directas por generar código correcto.

1. Construcción de Datos

• Muestreo: Para un problema de codificación $x$, el modelo base muestrea un gran conjunto de códigos candidatos ($M$ candidatos).
• Ejecución y Etiquetado: Los candidatos se ejecutan en un entorno aislado (sandbox) para obtener etiquetas de corrección binarias ($1$ para aprobado, $0$ para reprobado).
• Agrupación: Los candidatos se dividen en grupos de tamaño $K$. Solo se retienen los grupos de calidad mixta (que contienen al menos un candidato correcto y uno incorrecto). Los grupos con todos los candidatos correctos o todos incorrectos se descartan, ya que carecen de contraste de clasificación.
• Conjunto de Datos: El conjunto de datos resultante consiste en problemas emparejados con conjuntos de candidatos generados automáticamente y etiquetas fundamentadas en la ejecución.

2. Objetivo de Entrenamiento

El modelo se entrena para clasificar candidatos dentro de un grupo basándose en la corrección de la ejecución.

• Función de Recompensa: La recompensa es puramente discriminativa. Mide con qué frecuencia los candidatos con ejecución correcta se clasifican por encima de los candidatos con ejecución incorrecta.
  • $R_{exec}$ calcula la fracción de pares (correcto-sobre-incorrecto) $(i, j)$ donde la clasificación predicha de $i$ es mejor que la de $j$.
  • Las respuestas malformadas reciben una penalización negativa por formato.
• Optimización: El marco utiliza Optimización de Política Relativa por Grupos (GRPO).
  • Las muestras de código candidato se mantienen fijas (fuera de política con respecto a la generación).
  • El modelo muestrea respuestas de juicio (trazas de razonamiento y clasificaciones) en política.
  • La política se actualiza para maximizar la recompensa de clasificación, regularizada frente a una política de referencia congelada.

3. Distinción Clave

A diferencia de la Aprendizaje por Refuerzo (RL) estándar para la generación de código, DuST nunca recompensa directamente la generación de programas correctos. La supervisión proviene enteramente de juzgar los contrastes de corrección entre los propios intentos del modelo. Los parámetros actualizados son los mismos que se utilizan para la generación de código subsiguiente.

Contribuciones Clave

1. Marco de Espacio de Juicio Dual: El artículo propone ver la escalabilidad en tiempo de prueba no solo como una estrategia de inferencia, sino como una fuente de señales de entrenamiento densas y contrastivas en un espacio dual.
2. Autoentrenamiento Discriminativo: DuST demuestra que entrenar a un modelo para clasificar candidatos por corrección de ejecución (una tarea discriminativa) mejora sus capacidades generativas (una tarea generativa) sin recompensas de generación directas.
3. Aislamiento del Mecanismo: Mediante estudios de ablación que comparan el Ajuste Fino Supervisado (SFT) y GRPO, el artículo identifica al RL en política como el mecanismo crítico para transferir el aprendizaje del espacio dual de vuelta a la generación primal. El SFT mejora el juicio pero no logra mejorar la generación, mientras que GRPO mejora ambas.
4. Densidad de Recompensa: El artículo destaca que la señal contrastiva densa de la clasificación (exponiendo $O(N^2)$ comparaciones por pares) es más efectiva para la transferencia que las recompensas primas escasas o las recompensas basadas en la selección.

Resultados Experimentales

El método se evaluó en LiveCodeBench (v5 y v6) en cinco modelos que abarcan dos familias (Qwen, GPT-oss) y tres escalas (de 4B a 30B).

• Precisión de Escalabilidad en Tiempo de Prueba: DuST mejora consistentemente la precisión Best-of-4. Para Qwen3-30B-Thinking en LiveCodeBench v6, la precisión mejoró en +4.1% (de 68.7% a 72.6%).
• Calidad del Juicio: La capacidad del modelo entrenado para clasificar candidatos mejoró significativamente, con un aumento de +6.2 en NDCG para Qwen3-30B-Thinking.
• Generación Primal (Pass@1): Notablemente, la calidad de la generación de una sola muestra mejoró sin recompensas directas. Para Qwen3-30B-Thinking, pass@1 aumentó en +3.1% (de 65.4% a 68.5%).
• Generalización: Se observaron mejoras en todos los tamaños de modelo (4B–30B) y familias, lo que sugiere que el enfoque es agnóstico a la arquitectura.
• Comparación con SFT: Cuando se entrenó con los mismos datos de clasificación, SFT mejoró el juicio (NDCG) pero dejó la generación (pass@1) sin cambios. Solo GRPO mejoró ambas, confirmando que el bucle de retroalimentación en política es esencial para la transferencia.
• Sensibilidad a la Recompensa: Las recompensas de clasificación (Precisión por Pares/NDCG) superaron a las recompensas de selección (solo top-1) en la transferencia a la generación, probablemente porque la clasificación expone la estructura contrastiva completa del código correcto frente al incorrecto.

Significado y Afirmaciones

El artículo afirma que los espacios primal (generación) y dual (juicio) de la generación de código están más estrechamente acoplados de lo que asume el entrenamiento estándar.

• Transferencia de Comprensión: Los autores argumentan que al aprender a distinguir por qué una solución falla o tiene éxito en relación con otros intentos plausibles, el modelo internaliza características de corrección ejecutable (por ejemplo, invariantes algorítmicas, casos límite). Estas características desplazan posteriormente la masa de probabilidad del generador hacia trayectorias correctas.
• Eficiencia: El despliegue único del modelo entrenado iguala el rendimiento Best-of-4 del modelo base, integrando efectivamente los beneficios de la escalabilidad en tiempo de prueba en los pesos del modelo.
• Limitaciones de los Paradigmas Actuales: El trabajo sugiere que descartar la información comparativa tras la inferencia es una oportunidad perdida. La estructura contrastiva revelada en tiempo de prueba es una señal de entrenamiento rica y en gran medida desaprovechada.

El artículo concluye que el aprendizaje por refuerzo en política en el espacio de juicio dual es un mecanismo viable y efectivo para mejorar la generación de código, ofreciendo una nueva vía para la auto-mejora que no depende de preferencias humanas externas ni de recompensas de generación directas.