Resumen Técnico: Más allá de la entropía: Modelado de ventaja consciente de la corrección mediante la optimización de políticas contrastivas

Planteamiento del problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), particularmente métodos como la Optimización de Política Relativa de Grupo (GRPO), ha avanzado las capacidades de razonamiento en dominios como las matemáticas y la programación. Sin embargo, los enfoques existentes enfrentan dos limitaciones fundamentales:

1. Negligencia a nivel de token: Las recompensas binarias de corrección (correcto/incorrecto) aplicadas al nivel de la trayectoria no logran distinguir las contribuciones distintivas de los tokens individuales dentro de una cadena de razonamiento.
2. Ineficiencia de ventaja cero: En grupos donde todas las respuestas muestreadas son incorrectas (o todas son correctas), la ventaja a nivel de trayectoria es cero, lo que deja una vasta cantidad de datos de entrenamiento inútiles para la optimización de la política.

Intentos recientes para abordar esto han utilizado la entropía como una señal para el modelado de la ventaja con el fin de fomentar la exploración o refinar la importancia de los tokens. Sin embargo, los autores argumentan que la entropía está fundamentalmente desalineada con la corrección. Una alta entropía puede indicar una exploración productiva de soluciones alternativas o una confusión perjudicial causada por caminos de razonamiento incorrectos. En consecuencia, los métodos basados en la entropía a menudo conducen a elecciones de diseño contradictorias (por ejemplo, recompensar tokens de alta entropía en algunos contextos mientras se suprimen en otros) porque la entropía cuantifica la incertidumbre sin evaluar la calidad del razonamiento subyacente.

Metodología: Optimización de Política Contrastiva (CPO)

El artículo propone la Optimización de Política Contrastiva (CPO), un marco que reemplaza la entropía con una señal de desacuerdo contrastivo a nivel de token para el modelado de la ventaja consciente de la corrección.

Mecanismo Central

CPO aprovecha la intuición de que la corrección surge a través de la comparación. Así como un estudiante identifica errores comparando su trabajo con una respuesta de referencia, un LLM puede identificar tokens erróneos contrastando su distribución de generación vanilla ($\pi$) con una distribución posterior guiada por referencia ($\pi_{post}$).

1. Desacuerdo Contrastivo ($\delta_t$):
   El método define una señal a nivel de token como la razón de logaritmos entre la probabilidad de un token bajo un prompt de referencia y su probabilidad bajo el prompt vanilla:
   $$\delta_t(x, y) = \log \frac{\pi_{post}(y_t | x, y^\star, y_{<t})}{\pi(y_t | x, y_{<t})}$$
   Aquí, $y^\star$ es una respuesta de referencia (oráculo). Teóricamente, esta razón se correlaciona monótonamente con la probabilidad de que un token específico conduzca a una finalización correcta ($g(x, y_{<t}, y_t)$).

   • $\delta_t$ Positivo: Indica que el token se alinea con la referencia y es probablemente correcto.
   • $\delta_t$ Negativo: Indica que el token contradice la referencia y es probablemente incorrecto.

2. Modelado de la Ventaja (Advantage Shaping):
   CPO integra esta señal a nivel de token en la ventaja a nivel de trayectoria ($A_i$) derivada de GRPO. La ventaja modelada $\tilde{A}_{i,t}$ se calcula como:
   $$\tilde{A}_{i,t} = A_i + \text{clip}(\alpha \cdot \delta_{i,t}, \text{bounds})$$

   • Recorte (Clipping): Para asegurar la estabilidad, la magnitud de la señal a nivel de token se recorta para que no pueda revertir la dirección de la ventaja de la trayectoria (por ejemplo, una trayectoria correcta no puede ser penalizada por un solo token de desacuerdo).
   • Resolución de Ventaja Cero: Para trayectorias con ventaja cero ($A_i = 0$), la señal a nivel de trayectoria no proporciona gradiente. CPO utiliza $\delta_t$ para proporcionar señales de aprendizaje significativas incluso en estos casos, permitiendo la optimización en datos que anteriormente se consideraban inútiles.

3. Unificación Teórica:
   Los autores demuestran que la Destilación On-Policy (OPD) es un caso especial de CPO. En OPD, un modelo profesor externo proporciona la distribución posterior. CPO generaliza esto permitiendo que la posterior sea instanciada por cualquier distribución más informada sobre la corrección que la política actual, incluyendo el autocondicionamiento sobre respuestas de referencia.

Contribuciones Clave

1. El Desacuerdo Contrastivo como Señal: El artículo introduce y valida (teórica y empíricamente) que el desacuerdo contrastivo es una señal de corrección a nivel de token más confiable que la entropía. Distingue entre la exploración útil y la confusión perjudicial.
2. Fundamento Teórico para OPD: El marco proporciona una base principled para la Destilación On-Policy, unificando diversas variantes (profesores externos, auto-profesores guiados por referencia, políticas guiadas por el crítico) bajo un único objetivo impulsado por la corrección.
3. Marco CPO: Un método computacionalmente eficiente para el modelado de la ventaja que resuelve el problema de la ventaja cero en RLVR, permitiendo gradientes más informativos y una exploración efectiva.
4. Validación Empírica: Extensos experimentos que muestran que CPO supera a los métodos de RLVR basados en entropía tanto en razonamiento matemático in-domain como en tareas de generalización out-of-domain.

Resultados Experimentales

Los experimentos se realizaron en Qwen2.5-Math-7B y Qwen3-Base-4B utilizando el conjunto de datos MATH para el entrenamiento.

• Ganancias de Rendimiento: CPO supera sustancialmente a GRPO y otras líneas base basadas en entropía (por ejemplo, Entropy-Tokens, Entropy-Adv, RL-ZVP).
  • En Qwen2.5-Math-7B, CPO mejoró el rendimiento promedio en un 7.7% respecto a GRPO.
  • En Qwen3-Base-4B, CPO mejoró el rendimiento promedio en un 8.5% respecto a GRPO.
• Generalización: A diferencia de muchas líneas base que sufren degradación out-of-domain (OOD), CPO preserva o mejora el rendimiento OOD en benchmarks como GPQA y MMLU-Pro.
• Estudios de Ablación:
  • Efectividad de los Datos: El estudio encontró que las respuestas incorrectas impulsan principalmente las mejoras in-domain (explotación), mientras que las respuestas correctas son cruciales para mantener la generalización OOD (exploración). Una relación equilibrada de $\alpha_+ : \alpha_-$ (1:1) produjo los mejores resultados.
  • Nivel de Token vs. Nivel de Trayectoria: El modelado a nivel de token resultó superior al promedio del desacuerdo al nivel de la trayectoria, ya que preserva mejor las variaciones cruciales en la asignación de crédito.
  • Análisis de Entropía: CPO mantiene una mayor entropía de entrenamiento y longitudes de respuesta más largas en comparación con GRPO, lo que indica una exploración sostenida. El análisis de nube de palabras mostró que CPO se enfoca en tokens críticos para la tarea (símbolos matemáticos, constructos de código), mientras que la entropía se enfoca en la variabilidad lingüística.

Significancia y Reivindicaciones

El artículo afirma que CPO representa un cambio de las intervenciones heurísticas basadas en la entropía hacia una estrategia de optimización consciente de la corrección. Al utilizar el contraste entre las distribuciones generadas por sí mismo y las guiadas por referencia, CPO proporciona una señal confiable que alinea el aprendizaje de la política con el éxito de la tarea.

Los autores enfatizan que los roles distintos de los tipos de respuesta son críticos: las respuestas correctas permiten al modelo explorar nuevos caminos de solución (evitando el sobreajuste), mientras que las respuestas incorrectas permiten al modelo explotar y refinar los caminos más prometedores. Equilibrar esto a través de la señal de desacuerdo contrastivo conduce a un rendimiento superior sin sacrificar la generalización. Además, la capacidad del marco para resolver el problema de la ventaja cero sugiere un uso más eficiente de los datos de entrenamiento en entornos RLVR.