Resumen Técnico: Off-Context GRPO (OC-GRPO)

1. Planteamiento del Problema: El Precipicio de Aprendizaje en RLVR

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), particularmente utilizando la Optimización de Política Relativa de Grupo (GRPO), ha emergido como un enfoque dominante para mejorar el razonamiento en Modelos de Lenguaje Grande (LLMs). Sin embargo, los autores identifican un modo de fallo fundamental conocido como el precipicio de aprendizaje (learning cliff).

En el GRPO estándar, para un problema dado, se extrae un grupo de respuestas, se califican mediante un verificador y las ventajas se calculan basándose en el rendimiento relativo dentro de ese grupo. Si un problema es suficientemente difícil como para que el modelo no logre generar ninguna solución correcta en un grupo de despliegue (rollout), todas las recompensas son cero. En consecuencia, la varianza de la recompensa dentro del grupo colapsa a cero, lo que resulta en una señal de gradiente nula. El modelo no recibe ninguna señal de aprendizaje, independientemente de cuánto continúe el entrenamiento.

Las soluciones existentes suelen implicar guía privilegiada (por ejemplo, prefijos de solución, pistas o información de un oráculo) inyectada en el prompt durante el entrenamiento para asegurar que al menos algunos despliegues tengan éxito. Si bien esto restaura la señal de aprendizaje, introduce el problema del contexto ajeno (off-context problem):

• Distribución de Entrenamiento: Los despliegues se muestrean de un prompt guiado $g(x)$ que contiene información privilegiada no disponible en el despliegue.
• Objetivo Objetivo: El objetivo es optimizar la política para el prompt original y no guiado $x$.
• El Desajuste: Los métodos guiados estándar (por ejemplo, POPE, BREAD) optimizan un objetivo $J_{guide}(\theta)$ condicionado en $g(x)$, asumiendo que la política se generalizará de vuelta a $x$ ("retro-generalización"). Los autores argumentan que esto es una optimización implícita de un objetivo diferente al que se evalúa en el despliegue. Este desajuste puede conducir a gradientes sesgados, desalineación del objetivo e inestabilidad en el entrenamiento, particularmente para modelos más pequeños con capacidad limitada para absorber el cambio de distribución.

2. Metodología: Off-Context GRPO (OC-GRPO)

El artículo propone OC-GRPO, una variante mínimamente modificada de GRPO que utiliza despliegues guiados para superar el precipicio de aprendizaje, mientras corrige matemáticamente el desajuste de la distribución para asegurar que la actualización apunte al objetivo original no guiado $J(\theta)$.

Mecanismo Central: Corrección de Muestreo de Importancia

En lugar de tratar los despliegos guiados como si hubieran sido generados desde el prompt original, OC-GRPO aplica una corrección de muestreo de importancia (IS) a la razón de la política por token.

• Razón GRPO Estándar: $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
• Razón OC-GRPO: $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

Aquí, el numerador representa la probabilidad de la política actual del token dado el prompt no guiado (el objetivo), mientras que el denominador representa la probabilidad bajo el prompt guiado (la distribución de muestreo real).

Propiedades Teóricas

1. Insesgadez: Se demuestra matemáticamente que la expectativa reponderada bajo la distribución guiada es exactamente equivalente a la expectativa bajo el objetivo original no guiado. Esto asegura que el algoritmo optimice $J(\theta)$, no $J_{guide}(\theta)$.
2. Asignación de Crédito Consciente del Comportamiento: La razón de importancia actúa como un mecanismo dinámico de asignación de crédito:
   • Éxitos: Si una trayectoria correcta es altamente probable bajo el prompt guiado pero poco probable bajo el prompt no guiado (es decir, el modelo dependió fuertemente de la pista), la razón de importancia es $<1$, atenuando el crédito positivo. Esto evita que el modelo simplemente aprenda a "seguir pistas" en lugar de resolver el problema.
   • Fallos: Si una trayectoria falla a pesar de la guía, la razón es $>1$, amplificando la penalización. Esto refuerza que el modelo falló al resolver el problema incluso con ayuda.
3. Control de Varianza: La varianza del término de corrección escala con la longitud del prefijo de la guía, no con el despliegue completo. Esto motiva el principio de diseño de utilizar la guía más corta posible necesaria para romper el precipicio de aprendizaje.

Variantes de Implementación

• OC-GRPO-Fixed: Identifica el nivel mínimo de guía requerido para cada problema difícil utilizando un modelo base antes del entrenamiento. Este conjunto de datos aumentado es fijo y la política nunca vuelve a seleccionar la guía. Esto se recomienda como el predeterminado debido a menores costos de inferencia y un rendimiento competitivo.
• OC-GRPO-Adaptive: Ajusta dinámicamente los niveles de guía durante el entrenamiento basándose en el rendimiento de la política actual. Aunque es teóricamente flexible, incurre en mayores costos de inferencia y mostró un rendimiento ligeramente inferior en los experimentos.

3. Contribuciones Clave

1. Formalización del Problema del Contexto Ajeno: Los autores definen formalmente el desajuste en los métodos de RLVR guiados existentes, mostrando que optimizan implícitamente un objetivo diferente al objetivo de despliegue.
2. Algoritmo OC-GRPO: Una modificación mínima de GRPO utilizando muestreo de importancia para corregir el muestreo de contexto ajeno, proporcionando una insesgadez demostrable para el objetivo original.
3. Asignación de Crédito Teórica: Prueba de que la corrección de importancia induce un mecanismo consciente del comportamiento que descuenta automáticamente los éxitos que dependen fuertemente de la guía y amplifica las penalizaciones por los fallos que persisten a pesar de la guía, sin requerir un modelado de recompensa adicional.
4. Validación Empírica: Demostración de que OC-GRPO logra ganancias consistentes sobre el GRPO vanilla y las líneas base guiadas a través de múltiples escalas de modelos (1.5B, 3B, 7B) y pruebas matemáticas.

4. Resultados Experimentales

Los autores evaluaron OC-GRPO en el conjunto de datos MATH (Niveles 3–5) utilizando modelos Qwen2.5 (1.5B, 3B, 7B) con adaptadores LoRA.

• Ganancias de Rendimiento: En el modelo 7B, OC-GRPO-Fixed logró una ganancia relativa del 13.8% (mejora absoluta del 3.9%) en el promedio de Pass@1 sobre el GRPO vanilla en los benchmarks AIME, Gaokao2023 y OmniMath.
• Comparación con Líneas Base:
  • OC-GRPO superó a otros métodos guiados (POPE, PrefixRL, BREAD) que optimizan el objetivo desalineado $J_{guide}$.
  • Dependencia de la Escala: Un hallazgo crítico es que las líneas base guiadas que optimizan el objetivo desalineado a menudo degradan por debajo del GRPO vanilla en escalas de modelos más pequeñas (por ejemplo, 1.5B y 3B). En contraste, OC-GRPO mantuvo ganancias consistentes en todas las escalas. Esto sugiere que los modelos más pequeños no pueden absorber el desajuste del objetivo, haciendo que la corrección de importancia sea crítica para ellos.
• Estabilidad: Los experimentos mostraron que el entrenamiento guiado no corregido (Masked no-IC) conduce al colapso de la recompensa, picos en la norma del gradiente y una ampliación de las brechas de log-probabilidad, mientras que OC-GRPO permanece estable.

5. Significado y Reivindicaciones

El artículo afirma que la información privilegiada puede guiar la exploración, pero la actualización debe tener en cuenta la distribución de la que proviene.

• Resolviendo el Precipicio: OC-GRPO proporciona una forma fundamentada de escapar del precipio de aprendizaje en problemas difíciles sin recurrir al ajuste fino supervisado (SFT) o a objetivos híbridos complejos que distorsionan el estilo de razonamiento nativo del modelo.
• Alineación: Asegura que el entrenamiento en contextos privilegiados (que no existen en la inferencia) no desvíe la política de su verdadero objetivo de despliegue.
• Escalabilidad: El método es particularmente vital para modelos más pequeños donde la suposición de "retro-generalización" de otros métodos falla.
• Generalidad: Aunque se demostró en el razonamiento matemático con prefijos de solución, el marco es agnóstico al mecanismo y aplicable a cualquier forma de señal privilegiada (por ejemplo, resultados de llamadas a herramientas, estados intermedios) en entornos de RLVR de agentes.

Los autores concluyen que OC-GRPO representa una corrección necesaria para la próxima generación de algoritmos de RLVR, permitiendo un razonamiento robusto en problemas difíciles manteniendo la alineación con la definición original de la tarea.