Resumen Técnico: El espejismo de la optimización de políticas de entrenamiento (MIPU)

1. Declaración del problema: Desalineación de objetivos en el RL de LLM

El Aprendizaje por Refuerzo (RL) se ha convertido en un paradigma crítico para el post-entrenamiento de Grandes Modelos de Lenguaje (LLMs), particularmente para mejorar las capacidades de razonamiento y de seguimiento de instrucciones. Sin embargo, los pipelines modernos de RL para LLMs suelen sufrir de un desajuste entre entrenamiento e inferencia (training-inference mismatch). En la práctica, los LLMs utilizan motores separados para la generación (inferencia, ej. vLLM, SGLang) y el cálculo de gradientes (entrenamiento, ej. FSDP, Megatron). Incluso con parámetros de modelo sincronizados, las diferencias en precisión (ej. FP8 frente a FP16), las implementaciones de decodificación y los backends de servicio provocan que la política de entrenamiento ($\pi$) y la política de inferencia ($\mu$) asignen probabilidades distintas a las mismas trayectorias.

Los trabajos existentes intentan mitigar este desajuste corrigiendo las proporciones del lado del muestreador (sampler-side ratios), filtrando muestras inestables o decayendo las tasas de aprendizaje. Sin embargo, los autores argumentan que estos enfoques abordan el síntoma en lugar de la causa raíz: la desalineación de objetivos. Los algoritmos de RL estándar optimizan la política de entrenamiento ($\pi$), asumiendo que una mejora en $\pi$ ($J(\pi_{k+1}) - J(\pi_k) \ge 0$) garantiza una mejora en la política de inferencia desplegada ($\mu$). El artículo demuestra que, bajo condiciones de desajuste, esta implicación no se cumple:
$$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$$
Consecuentemente, una actualización sincronizada que parece beneficiosa en el lado del entrenamiento puede, de hecho, degradar el rendimiento de la política de inferencia utilizada en el despliegue.

2. Metodología: Actualización de la Política de Inferencia Monotónica (MIPU)

Para abordar esto, los autores proponen un nuevo principio de optimización, la Mejora de la Política de Inferencia Monotónica (MIPI), que desplaza el objetivo de mejorar la política de entrenamiento hacia asegurar la mejora monotónica de la política de inferencia ($J(\mu_{k+1}) - J(\mu_k) \ge 0$). Realizan este principio a través de un marco de dos pasos llamado Actualización de la Política de Inferencia Monotónica (MIPU).

El núcleo de MIPU es la descomposición de la mejora de la política de inferencia en tres términos:
$$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{Término 1: Brecha de inferencia post-actualización}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{Término 2: Actualización del lado del entrenamiento}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{Término 3: Brecha de inferencia pre-actualización}}$$

Paso 1: Actualización de la política referenciada por el muestreador (Sampler-Referenced Policy Update)

Este paso optimiza los Términos 2 y 3 combinados ($J(\pi_{k+1}) - J(\mu_k)$).

• Mecanismo: En lugar de utilizar la política de entrenamiento estándar $\pi_k$ como referencia para el objetivo de sustitución (como en GRPO/PPO estándar), MIPU utiliza la política de inferencia $\mu_k$ (el muestreador) como referencia.
• Implementación: Los autores adoptan un enfoque de Muestreo de Importancia Truncado (TIS). Calculan un peso de corrección $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ para dar cuenta del desajuste pre-actualización. Para prevenir una alta varianza, este peso se trunca. La restricción de recorte (clipping constraint) se aplica entonces solo a la relación de actualización actual $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$.
• Objetivo: Esto genera una política de entrenamiento candidata $\pi_{k+1}$ que está teóricamente alineada con el muestreador $\mu_k$, asegurando la "monotonía intermedia" $J(\pi_{k+1}) - J(\mu_k) \ge 0$.

Paso 2: Aceptación de la actualización consciente de la brecha de inferencia (Inference-Gap-Aware Update Acceptance)

Este paso valida el Término 1 ($J(\mu_{k+1}) - J(\pi_{k+1})$), que representa la brecha entre la política de entrenamiento candidata y su realización de inferencia sincronizada.

• Mecanismo: Tras sincronizar $\pi_{k+1}$ al motor de inferencia para crear $\mu_{k+1}$, el sistema evalúa la brecha de inferencia post-actualización.
• Estimación por Proxy: Dado que la ventaja exacta bajo $\pi_{k+1}$ no está disponible, MIPU utiliza una identidad inversa para estimar la brecha utilizando rollouts de validación desde $\mu_{k+1}$. Calcula un proxy $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$, donde $\rho_i$ es un peso de importancia normalizado por longitud que corrige el cambio de distribución de $\mu_{k+1}$ a $\pi_{k+1}$.
• Criterio de Aceptación: La actualización se acepta solo si $\hat{T}_{post} \ge -c$, donde $c$ es un parámetro de tolerancia. Si la brecha es demasiado negativa (indicando que la política de inferencia rinde por debajo de la candidata de entrenamiento), la actualización se rechaza y el sistema vuelve al checkpoint anterior.

3. Contribuciones Clave

1. Principio MIPI: El artículo identifica y formaliza la desalineación de objetivos en el RL de LLMs, proponiendo que el objetivo de optimización debe ser la trayectoria de la política de inferencia, no el sustituto de entrenamiento.
2. Marco MIPU: Un nuevo marco de RL de dos pasos que desacopla la construcción de candidatos (Paso 1) de la validación de la brecha de inferencia (Paso 2). Permite una implementación flexible de actualizaciones referenciadas por el muestreador y aceptación consciente de la inferencia.
3. Validación Empírica: Demuestra que MIPU mejora tanto el rendimiento de razonamiento como la estabilidad del entrenamiento en entornos de alto desajuste (específicamente en rollouts cuantizados en FP8) en comparación con GRPO estándar y otros baselines de estabilización.

4. Resultados Experimentales

Los autores evaluaron MIPU en modelos Qwen3-1.7B y Qwen3-4B utilizando rollouts cuantizados en FP8 para inducir un desajuste significativo entre entrenamiento e inferencia. El entrenamiento se realizó en conjuntos de datos de razonamiento matemático (DAPO-Math-17, DeepMath-103K) y se evaluó en cinco benchmarks (MATH-500, AIME24, AMC23, Minerva, OlympiadBench).

• Rendimiento: MIPU alcanzó la mayor precisión promedio en ambas escalas de modelos (66.71% en Qwen3-4B y 53.97% en Qwen3-1.7B), superando a baselines como GRPO estándar, MIS (filtrado de desajuste) y LR-decay.
• Estabilidad: Mientras que los baselines a menudo exhibieron una degradación abrupta de rendimiento o colapso tras alcanzar picos intermedios, MIPU mantuvo una dinámica de entrenamiento estable durante todo el proceso.
• Estudios de Ablación:
  • Solo Paso 1: Mejoró la calidad de los candidatos pero falló en prevenir la acumulación de errores de desajuste, lo que llevó a la inestabilidad.
  • Solo Paso 2: Previno el colapso al rechazar actualizaciones malas, pero no pudo mejorar el rendimiento si los candidatos base subyacentes estaban sesgados.
  • MIPU Completo: La combinación fue necesaria; el Paso 1 corrigió la dirección de la actualización, mientras que el Paso 2 filtró candidatos no fiables, resultando tanto en un mayor rendimiento pico como en una estabilidad a largo plazo.
• Análisis del Paso 2: Los autores verificaron que el éxito del Paso 2 no se debe simplemente a rechazar más actualizaciones (un control de "rollback aleatorio" falló a pesar de rechazar más actualizaciones). En cambio, su efectividad proviene del uso de la señal de la brecha de inferencia para distinguir entre candidatos sincronizados dañinos y benignos.

5. Significado y Reivindicaciones

El artículo sostiene que el desajuste entre entrenamiento e inferencia no debe verse únicamente como una discrepancia de bajo nivel del sistema a minimizar, sino como un cambio fundamental en el objetivo de la mejora de la política. Al desplazar el enfoque de la política de entrenamiento hacia la política de inferencia, MIPU aborda el "espejismo" donde las mejoras en el lado del entrenamiento no se traducen en ganancias de despliegue.

Los autores señalan modestamente que sus experimentos están actualmente limitados a modelos de escala moderada debido a restricciones computacionales y que el Paso 2 representa un espacio de diseño flexible en lugar de una implementación fija. Sugieren que trabajos futuros podrían explorar estimadores más eficientes para la brecha post-actualización y aplicar estos principios a modelos más grandes y diversos sistemas de RL. La contribución central es un cambio de paradigma: asegurar que la política utilizada para el despliegue sea la que se está optimizando, en lugar de asumir que la optimización del lado del entrenamiento es suficiente.