Resumen Técnico: CEPO – Auto-distilación RLVR mediante Optimización de Política de Evidencia Contrastiva

1. Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en el paradigma dominante para el entrenamiento posterior de modelos de lenguaje grandes (LLM) en tareas de razonamiento. El enfoque estándar, la Optimización de Política Relativa por Grupos (GRPO), simplifica el entrenamiento eliminando las redes de valor y normalizando las recompensas dentro de grupos de respuestas muestreadas. Sin embargo, GRPO sufre de un cuello de botella fundamental en la asignación de crédito: asigna una ventaja uniforme a nivel de secuencia a cada token en una trayectoria correcta y una señal negativa uniforme a cada token en una incorrecta.

Esta uniformidad es ineficiente para el razonamiento matemático, donde un único paso inferencial decisivo o un error aritmético menor determina el resultado, mientras que la mayoría de los tokens son rellenos gramaticales o texto estándar. La asignación de crédito uniforme desperdicia la señal de gradiente en tokens de relleno y falla al distinguir los pasos de razonamiento decisivos del contenido no informativo, lo que conduce a una convergencia lenta y actualizaciones ruidosas.

Los intentos previos de solucionar esto mediante auto-distilación en política (condicionando el modelo en la respuesta correcta como un maestro) han enfrentado dos problemas críticos:

1. Fuga de Información: Métodos como OPSD y SDPO minimizan la divergencia por token entre el estudiante y un maestro privilegiado. Teóricamente, esto introduce una suma a nivel de vocabulario de pesos condicionados por $r$ en el gradiente. A medida que avanza el entrenamiento, esta "desviación dañina" domina la señal benigna, causando que el modelo codifique correlaciones espurias entre la entrada y la respuesta ($x \to r^+$), degradando la generalización.
2. Calidad Débil de la Señal: El reciente método RLSD resolvió la fuga utilizando un stop-gradient en la razón de evidencia $P^+_T(y_t)/P_S(y_t)$ para modular la ventaja de GRPO. Sin embargo, RLSD tiene tres limitaciones de señal:
   • Confusión de Fluidez: El denominador $P_S(y_t)$ refleja la fluidez de la tasa base, suprimiendo la razón para tokens comunes independientemente de su relevancia semántica.
   • Señal Negativa Asimétrica: Para trayectorias incorrectas, la penalización es indirecta y carece de anclaje explícito en lo que la respuesta incorrecta predice.
   • Evidencia Unilateral: RLSD no puede distinguir un token de relleno (respaldado por igual por respuestas correctas e incorrectas) de un paso de razonamiento decisivo (respaldado por la respuesta correcta pero desfavorecido por la incorrecta), ya que ambos producen la misma razón.

2. Metodología: Optimización de Política de Evidencia Contrastiva (CEPO)

Los autores proponen CEPO, que reemplaza la razón de evidencia de referencia única con una razón contrastiva entre un maestro de respuesta correcta y un maestro de respuesta incorrecta.

Mecanismo Central

En lugar de comparar el prior del estudiante $P_S$ contra el maestro correcto $P^+_T$, CEPO compara el maestro correcto $P^+_T$ contra un maestro incorrecto $P^-_T$. El maestro incorrecto se construye condicionando el modelo en una respuesta rechazada ($r^-$) extraída del mismo lote de entrenamiento (específicamente, la trayectoria rechazada con la recompensa más baja), incurriendo en ningún costo de muestreo adicional.

El Delta de Evidencia Contrastiva se define como:
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
Donde $\text{sg}(\cdot)$ es el operador de stop-gradient.

Interpretación Bayesiana

Los autores derivan una interpretación bayesiana limpia para $\Delta^{CE}_t$ como una actualización diferencial de creencias. Mide cuánto un token $y_t$ fortalece simultáneamente la creencia posterior en la respuesta correcta $r^+$ mientras debilita la creencia en la respuesta incorrecta $r^-$.

• Pasos Decisivos: Reciben un $\Delta^{CE}_t$ positivo grande (fuertemente favorecido por $r^+$, desfavorecido por $r^-$).
• Tokens de Relleno: Reciben $\Delta^{CE}_t \approx 0$ (respaldados por igual tanto por $r^+$ como por $r^-$).

Objetivo de Entrenamiento

La ventaja a nivel de token se modula mediante este peso contrastivo:
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
donde $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$. La política se actualiza utilizando un objetivo sustituto estándar de PPO con recorte. El parámetro $\lambda$ decae linealmente desde un valor inicial hasta 0 durante un período de calentamiento.

3. Contribuciones Clave y Garantías Teóricas

El artículo establece que CEPO hereda la seguridad estructural de RLSD mientras generaliza estrictamente su calidad de señal:

1. Seguridad Estructural: CEPO satisface el Anclaje Direccional (la información privilegiada no puede invertir el signo de la actualización) y Gradientes Libres de Fugas (ninguna suma a nivel de vocabulario condicionada por $r$). El maestro de respuesta incorrecta $r^-$ entra solo como un escalar con stop-gradient.
2. Contención de RLSD: Si el maestro de respuesta incorrecta no porta información ($P^-_T = P_S$), CEPO se reduce exactamente a RLSD. Por lo tanto, RLSD es un caso degenerado de CEPO.
3. Nitidez Discriminativa: Los autores demuestran que CEPO asigna un crédito estrictamente más agudo que RLSD en un token $y_t$ si y solo si el maestro de respuesta incorrecta desfavorece ese token en relación con el prior del estudiante ($P^-_T(y_t) < P_S(y_t)$). Esta condición se concentra empíricamente en posiciones decisivas aritmética e inferencialmente, mientras que los tokens de relleno reciben pesos neutrales ($w^{CE}_t \approx 1$), evitando la introducción de señales espurias.

4. Resultados Experimentales

Los autores evaluaron CEPO en modelos Qwen3-VL (2B y 4B parámetros) entrenados en el conjunto de datos de geometría Geo3k y probados en cinco benchmarks de razonamiento matemático multimodal: DynaMath, LogicVista, MathVisionmini, MMMU y WeMath.

• Mejoras de Rendimiento:
  • Escala 2B: CEPO logró una precisión promedio del 43.43%, superando a GRPO (41.17%) en +2.26 puntos porcentuales.
  • Escala 4B: CEPO logró un 60.56%, superando a GRPO (57.43%) en +3.13 puntos porcentuales.
  • Las ganancias fueron más significativas en benchmarks que requieren razonamiento multi-paso fino (por ejemplo, LogicVista, MathVisionmini) y mínimas en benchmarks de recuperación de conocimiento (MMMU).
• Fallo de las Líneas Base:
  • OPSD y SDPO se degradaron por debajo de la línea base no entrenada (por ejemplo, 34.96% vs. 39.73% para 2B), confirmando empíricamente la predicción teórica de fuga de información.
  • RLSD mostró una mejora marginal sobre GRPO pero fue superado por CEPO.
• Eficiencia: CEPO añade solo una pasada forward adicional del maestro por trayectoria en comparación con GRPO (sobrecarga similar a RLSD), sin costo de muestreo adicional.

5. Significado y Afirmaciones

El artículo afirma que CEPO ofrece una solución principiada y práctica al problema de asignación de crédito en RLVR. Su significado radica en:

• Resolución del Compromiso: Logra "lo mejor de ambos mundos": la seguridad estructural necesaria para prevenir la fuga de información (un requisito previo para un entrenamiento estable) y la calidad de señal necesaria para distinguir los pasos de razonamiento decisivos de los rellenos.
• Validación Empírica de la Teoría: El colapso de los métodos propensos a fugas (OPSD/SDPO) por debajo de la línea base sirve como confirmación empírica del análisis teórico de fugas, mientras que el éxito de CEPO valida el enfoque contrastivo.
• Interpretabilidad: El análisis de los pesos de los tokens muestra que CEPO localiza con éxito el crédito en derivaciones algebraicas críticas y suprime la prosa fluida pero no informativa, un comportamiento no observado en RLSD.

Los autores concluyen que CEPO proporciona un bloque de construcción robusto para la próxima generación de entrenamiento RLVR consciente del crédito, sugiriendo trabajo futuro para extender el método a modelos más grandes, razonamiento solo en texto y generación de código.