Resumen Técnico: El Promedio de Pesos Extrapolativo Revela Fronteras de Correctitud–Eficiencia en RL para Código

Declaración del Problema

En el Aprendizaje por Refuerzo (RL) para la generación de código, particularmente en programación competitiva, los modelos enfrentan un doble objetivo: correctitud funcional (superar todos los casos de prueba) y eficiencia computacional (resolver dentro de los límites de tiempo y memoria). El entrenamiento estándar de RL a menudo lucha por equilibrar estos aspectos, ya que optimizar para una eficiencia estricta puede llevar a fallos de correctitud, mientras que optimizar para la correctitud en entradas pequeñas puede producir soluciones ineficientes que fallan en pruebas de estrés más grandes.

El trabajo existente sobre fusión de modelos (por ejemplo, "Rewarded Soups") ha demostrado que interpolar linealmente los pesos entre puntos de control entrenados bajo diferentes objetivos de recompensa puede trazar una frontera de Pareto entre esos objetivos. Sin embargo, sigue sin estar claro si el promedio de pesos extrapolativo (promediar pesos con coeficientes fuera del intervalo $[0, 1]$) puede extender estas fronteras hacia nuevos puntos de control útiles sin entrenamiento adicional. Específicamente, ¿puede la extrapolación navegar más allá de los límites de las ejecuciones individuales de RL para descubrir políticas que no sean ni puramente correctas ni puramente eficientes, sino complementarias?

Metodología

Configuración Experimental

Los autores investigan esta pregunta utilizando la programación competitiva como un entorno controlado donde la estrictitud del verificador sirve como un eje experimental natural.

• Modelos: Los experimentos se realizan en modelos de 7B y 32B parámetros (Qwen 2.5 7B y CWM-SFT 32B).
• Entorno de Entrenamiento: Se utilizan tres configuraciones distintas de RL:
  1. Razonamiento Puro: Generación de un solo turno.
  2. Uso de Herramientas: Razonamiento de múltiples turnos con llamadas a herramientas en Python.
  3. Codificación Agéntica: Interacción de múltiples turnos con un terminal aislado (sandbox).
• Recorrido de Estrictitud de la Recompensa: Partiendo de un punto de control compartido de Ajuste Fino Supervisado (SFT), se entrenan ejecuciones independientes de RL en el conjunto de datos CodeContestsPlus. La función de recompensa es una señal binaria anidada basada en umbrales de longitud de entrada ($k$):
  • $R_k(y) = 1$ si la solución supera todas las pruebas con longitud de entrada $< 10^k$.
  • $R_\infty(y) = 1$ si la solución supera todas las pruebas (suite completa).
  • Esto crea una familia ordenada de puntos de control desde "baja cobertura" (relajada, entradas pequeñas) hasta "alta cobertura" (estricta, pruebas de estrés completas).

Promedio de Pesos

La operación central es el promedio lineal de pesos entre dos extremos, $\theta_{low}$ (baja cobertura) y $\theta_{high}$ (alta cobertura):
$$\theta_\alpha = \alpha \theta_{high} + (1 - \alpha) \theta_{low}$$

• Interpolación: $\alpha \in [0, 1]$.
• Extrapolación: $\alpha \notin [0, 1]$ (por ejemplo, $\alpha < 0$ o $\alpha > 1$).

Evaluación

Los puntos de control se evalúan en la prueba LiveCodeBench (LCB) (retención, cobertura completa de pruebas). Los resultados se categorizan en:

1. Correcto: Supera todas las pruebas.
2. Fallo de Optimización: Supera pruebas más pequeñas pero excede los límites de tiempo/memoria en las más grandes.
3. Fallo de Correctitud: Falla debido a errores de lógica o excepciones de tiempo de ejecución dentro de los límites.
4. Error de Formato: Salida no analizable.

Contribuciones y Resultados Clave

1. Emergencia de una Frontera de Correctitud–Eficiencia

El estudio revela que variar la estrictitud del verificador no produce una clasificación simple de puntos de control. En cambio, en problemas difíciles, traza una frontera de correctitud–eficiencia:

• El entrenamiento de baja cobertura reduce los fallos de correctitud pero aumenta los fallos de optimización (soluciones ineficientes).
• El entrenamiento de alta cobertura reduce los fallos de optimización pero aumenta los fallos de correctitud (los modelos intentan algoritmos eficientes pero fallan en la lógica).
• Estabilidad de la Tasa de Resolución: La tasa general de resolución permanece casi constante a lo largo de la frontera; el compromiso es principalmente entre cómo falla el modelo (ineficiencia vs. incorrectitud), no si resuelve el problema.

2. La Interpolación Recupera la Frontera

La interpolación lineal entre los extremos de baja y alta cobertura recupera con éxito la frontera trazada por los puntos de control entrenados independientemente. Una sola dirección de interpolación en el espacio de pesos es suficiente para recorrer el compromiso entre fallos de optimización y de correctitud.

3. La Extrapolación Extiende la Frontera

Crucialmente, el promedio de pesos extrapolativo extiende esta frontera más allá de los extremos alcanzados por cualquier ejecución individual de RL:

• Más allá de los Límites de RL: Para $\alpha > 1$ y $\alpha < 0$, los puntos de control extrapolados continúan la misma curva de compromiso, logrando niveles de ratios de fallos de optimización/correctitud que ningún punto de control individual de RL alcanzó.
• Estabilidad: Esta continuación es estable en un amplio rango (por ejemplo, $\alpha \in [-0.5, 1.5]$). La extrapolación extrema ($|\alpha| > 2$) conduce a una degradación principalmente debido a errores de formato (agotamiento de tokens) en lugar de un colapso de la lógica de la frontera.
• Generalización: Este fenómeno se mantiene en los tres entornos de inferencia (razonamiento, uso de herramientas, codificación agéntica) y en ambas escalas de modelo (7B, 32B), siempre que la dificultad del problema coincida con la capacidad del modelo.

4. Escalado en Tiempo de Inferencia mediante Conjuntos

El documento demuestra que los puntos de control extrapolados son políticas complementarias:

• Rotación por Problema: Diferentes puntos a lo largo del eje extrapolado resuelven diferentes subconjuntos de problemas difíciles. Mientras que la tasa general de resolución es plana, los problemas específicos resueltos varían significativamente.
• Ganancias del Conjunto: Al conjuntar puntos de control a lo largo de la frontera extendida (interpolación + extrapolación), los autores mejoran la métrica pass@250 en LCB/hard en un 3.3% sobre el mejor punto de control individual con un presupuesto de muestras equivalente.
• Diversidad: El conjunto extrapolado proporciona soluciones únicas para problemas que los conjuntos solo de interpolación pasan por alto, particularmente en los problemas más difíciles.

5. ¿Qué Mueve la Frontera?

Los autores contrastan la conformación estática de recompensas con el entrenamiento condicionado al fallo:

• Conformación Estática de Recompensas: Asignar crédito parcial por superar pruebas más pequeñas (discreto o continuo) mantiene al modelo en la misma frontera. Simplemente repondera los resultados existentes sin introducir nueva información.
• Entrenamiento Condicionado al Fallo: Utilizar el contexto de fallo (código fallido + estadísticas de ejecución) para entrenar una política de reparación (corrección en línea) muestra el potencial de desplazar la frontera hacia afuera, mejorando tanto las tasas de reparación como las tasas de aprobación originales, lo que sugiere que se requieren señales de fallo más ricas para ir más allá del compromiso existente.

Significado y Afirmaciones

El documento afirma que la cobertura anidada de pruebas unitarias en RL para código induce una frontera de correctitud–eficiencia que puede ser navegada, extendida y explotada mediante promedio de pesos extrapolativo.

• Novelty: Establece que la extrapolación no es solo una curiosidad matemática, sino un método práctico para acceder a una "continuación" de la frontera de Pareto, generando políticas diversas que ninguna ejecución individual de entrenamiento produce.
• Utilidad Práctica: Los puntos de control extrapolados sirven como un mecanismo económico y libre de entrenamiento para el escalado en tiempo de inferencia, ampliando la cobertura de problemas resueltos sin cómputo adicional de RL.
• Limitaciones: La frontera es inducida por el compromiso específico entre correctitud y eficiencia en la programación competitiva. Los autores notan que mover la frontera en sí misma (mejorar la frontera de Pareto) probablemente requiera señales de entrenamiento que revelen por qué fallan los programas (por ejemplo, entrenamiento condicionado al fallo) en lugar de simplemente pruebas más estrictas.

El trabajo sugiere un nuevo paradigma para el RL en código: en lugar de buscar un único punto de control "óptimo", los practicantes pueden aprovechar el promedio de pesos para explorar un espectro de comportamientos complementarios, extendiendo las capacidades de los modelos existentes mediante operaciones aritméticas simples sobre los pesos.