Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

Resumen Técnico: El Aprendizaje Fuera de Política para Razonamiento Funciona Porque Es Más Pesimista de lo que Piensas

Enunciado del Problema

El aprendizaje por refuerzo (RL) se ha convertido en una herramienta central para mejorar las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLM) en tareas como matemáticas, programación y resolución de problemas de múltiples pasos. Sin embargo, a la escala requerida para los LLM modernos, el pipeline de entrenamiento es inherentemente fuera de política. Debido al alto costo de generar trayectorias (rollouts), los datos de entrenamiento a menudo son producidos por trabajadores de inferencia retrasados o checkpoints de modelos más antiguos en lugar de la política que se está optimizando actualmente.

Los métodos existentes, como PPO y GRPO, intentan manejar esta discrepancia tratando el entrenamiento como aproximadamente dentro de política, utilizando pesos de importancia, recorte o filtrado para corregir los desplazamientos de distribución. Aunque son efectivos en configuraciones cercanas a la política actual, estas correcciones introducen una alta varianza y pueden desestabilizar la optimización cuando el retraso de la política es significativo. Por el contrario, los enfoques recientes sin razón (e.g., $A^\star$-PO, OAPL) eliminan los pesos de importancia y entrenan directamente con datos de la política de comportamiento. Aunque estos métodos muestran éxito empírico, sus fundamentos teóricos no se comprenden completamente. Específicamente, las derivaciones nominales de estos objetivos sugieren una distribución objetivo que difiere de lo que realmente logran las implementaciones prácticas (que a menudo desacoplan las temperaturas para el cálculo de la ventaja y la regularización). El artículo busca explicar por qué funcionan estos métodos sin razón y cómo estabilizarlos aún más.

Metodología y Análisis Teórico

Los autores analizan una clase de objetivos fuera de política sin razón que regresan la relación logarítmica de la política aprendida hacia una ventaja objetivo, sin utilizar pesos de importancia. Se centran en objetivos de la forma:
$$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$$
donde $\hat{A}_i$ es una ventaja relativa al grupo y $\beta$ es un parámetro de regularización.

Insight Teórico Clave: Objetivos Templados por Lambert
Al analizar el punto estacionario de este objetivo, los autores derivan que la política objetivo inducida no es la distribución exponencial estándar (regularizada por KL), sino una política templada por Lambert:
$$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$$
donde $W_0$ es la rama principal de la función W de Lambert, y $\tau_s$ es un multiplicador de normalización determinado por la línea base de la ventaja.

El comportamiento de la política objetivo depende críticamente del signo y la magnitud de $\tau_s$, lo cual es controlado por cómo se normaliza la ventaja:

1. Régimen Pesimista ($\tau_s > 0$): El objetivo es más conservador que la actualización exponencial. La función de Lambert crece logarítmicamente para ventajas grandes, evitando que la política se comprometa exponencialmente con unas pocas muestras de alta recompensa. Esto mitiga el colapso de la entropía.
2. Límite Exponencial ($\tau_s = 0$): El objetivo recupera el sesgado exponencial estándar. Este régimen es frágil; pequeños errores en la línea base de la ventaja pueden desplazar el objetivo hacia regímenes inestables.
3. Régimen Inestable ($\tau_s < 0$): El objetivo se vuelve más agresivo que la actualización exponencial, amplificando las respuestas de alta ventaja y aumentando la susceptibilidad al colapso de la entropía.

Análisis de Métodos Existentes (OAPL/$A^\star$-PO)
El artículo demuestra que el estimador de ventaja nominal utilizado en OAPL (ventaja centrada en log-sum-exp) induce un objetivo en el régimen inestable ($\tau_s \le 0$) a nivel de población debido al sesgo de la desigualdad de Jensen en tamaños de grupo finitos. La estabilidad empírica observada en las implementaciones de OAPL se atribuye a una "desacoplamiento heurístico de temperatura" (usar una temperatura mayor para el cálculo de la ventaja que para la regularización), lo que desplaza implícitamente la ventaja hacia un régimen más conservador.

Modificación Propuesta
Para lograr estabilidad sin depender del desacoplamiento heurístico de temperatura, los autores proponen una ventaja media desplazada por $\beta$:
$$\hat{A}_i = r_i - \bar{r} + \beta$$
Este simple desplazamiento asegura que el multiplicador de Lambert inducido satisfaga $\tau_s \ge 1$, garantizando que la política objetivo permanezca en el régimen pesimista de Lambert por construcción.

Contribuciones Clave

1. Caracterización de Objetivos Sin Razón: Los autores demuestran que los objetivos fuera de política sin razón inducen políticas objetivo templadas por Lambert, donde el grado de conservadurismo está controlado por la normalización de la ventaja.
2. Explicación de Mecanismos de Estabilidad: Explican que el éxito de métodos como OAPL depende del pesimismo implícito inducido por elecciones de implementación práctica (desacoplamiento de temperatura), mientras que sus derivaciones teóricas nominales en realidad sugieren objetivos inestables.
3. Estabilización Principiada: Proponen una ventaja media desplazada por $\beta$ que garantiza que el objetivo se encuentre en el régimen de Lambert estable y pesimista, eliminando la necesidad de un desacoplamiento de temperatura pesado en hiperparámetros.

Resultados Experimentales

Los autores evaluaron su método frente a OAPL utilizando el modelo Qwen3-8B en el conjunto de datos DeepScaleR, con evaluación en benchmarks de matemáticas (Minerva, AIME2025, AMC23, BRUMO).

• Sensibilidad a la Regularización ($\beta$): Bajo fuerzas de regularización pequeñas (pequeño $\beta$), OAPL exhibió un rápido colapso de entropía y recompensas degradadas, mientras que el método Lambert propuesto permaneció estable y continuó mejorando.
• Robustez al Retraso de la Política: A medida que aumentaba el retraso de la política (trayectorias obsoletas) (de 32 a 256 pasos), OAPL se volvió altamente sensible, mostrando ya sea colapso de entropía o crecimiento de entropía inestable. El método Lambert mantuvo una entropía más alta y convergió a recompensas más altas en todas las configuraciones de retraso.
• Conclusión: La modificación propuesta mejora la robustez tanto a la regularización agresiva como a grandes retrasos de política, validando la hipótesis de que apuntar al régimen pesimista de Lambert estabiliza el aprendizaje fuera de política.

Significado y Afirmaciones

El artículo afirma que la efectividad del aprendizaje fuera de política en el razonamiento de LLM no se debe meramente a ignorar la discrepancia de distribución, sino porque normalizaciones específicas de la ventaja inducen una forma de pesimismo implícito. Este pesimismo evita que la política se optimice en exceso sobre muestras obsoletas de alta recompensa, lo cual es crucial cuando las trayectorias son generadas por políticas más antiguas.

Los autores posicionan su trabajo como una comprensión principista de por qué ciertas elecciones de implementación en algoritmos fuera de política recientes funcionan, avanzando más allá de las heurísticas de "región de confianza" hacia un marco basado en objetivos templados por Lambert. Argumentan que apuntar explícitamente al régimen pesimista mediante una ventaja de media desplazada ofrece una alternativa más estable y confiable a los métodos existentes, particularmente en el escenario desafiante del entrenamiento asíncrono de LLM a gran escala. El artículo concluye sugiriendo que las variantes a nivel de token de esta teoría representan una dirección prometedora para hacer que los algoritmos de razonamiento fuera de política sean más principistas.