Resumen Técnico: Una Buena SFT Optimiza para SFT, una Mejor SFT Prepara para el Aprendizaje por Refuerzo

1. Declaración del Problema

El post-entrenamiento de Modelos de Lenguaje Grande (LLM) de razonamiento típicamente sigue un paradigma de dos etapas: una etapa de Ajuste Fino Supervisado (SFT) fuera de línea para producir un punto de control inicial, seguida de una etapa de Aprendizaje por Refuerzo (RL) en línea para mejorar aún más el rendimiento. Una suposición predominante en las pipelines actuales es que optimizar la etapa de SFT para obtener la máxima precisión fuera de línea (por ejemplo, maximizando la probabilidad del siguiente token o minimizando la pérdida en la distribución de entrenamiento) generará naturalmente una inicialización más sólida para el RL posterior.

Sin embargo, los autores demuestran que esta suposición es errónea. Observan que los modelos inicializados a partir de puntos de control de SFT "más fuertes" (aquellos con un rendimiento fuera de línea superior) pueden tener un rendimiento significativamente inferior al de aquellos inicializados a partir de puntos de control "más débiles" después de someterse a un entrenamiento de RL idéntico. Este fenómeno se atribuye a una discrepancia de distribución entre las etapas fuera de línea y en línea:

• SFT fuera de línea: El modelo aprende de datos muestreados de una política de comportamiento ($\pi_\beta$), a menudo un modelo diferente o un conjunto de datos estático.
• RL en línea: El modelo aprende de despliegues generados por su propia política objetivo en evolución ($\pi_\theta$).

El SFT estándar aplica una supervisión uniforme a nivel de token basada en la distribución de la política de comportamiento. En tareas de razonamiento de horizonte largo, esto puede reforzar patrones de transición (por ejemplo, continuaciones sin salida) que son altamente probables bajo la política de comportamiento pero implausibles bajo la política objetivo. En consecuencia, el modelo aprende a asociar prefijos con continuaciones que rara vez revisará durante el RL en línea, lo que conduce a una inicialización subóptima que obstaculiza el aprendizaje aguas abajo.

2. Metodología: PEAR

Para abordar esta discrepancia, los autores proponen PEAR (Algoritmo inspirado en la Evaluación de Políticas para la Reponderación de Pérdidas de Aprendizaje fuera de Línea). PEAR es un método de la etapa de SFT que repondera la pérdida de entrenamiento para alinear mejor el objetivo fuera de línea con la distribución de la política objetivo, preparando efectivamente al modelo para la fase de RL en línea.

Mecanismo Central

PEAR utiliza muestreo por importancia para corregir el desplazamiento de distribución entre la política de comportamiento ($\pi_\beta$) y la política objetivo ($\pi_\theta$). En lugar de tratar todos los tokens en el conjunto de datos fuera de línea por igual, PEAR repondera la pérdida de cada token basándose en la relación de verosimilitud entre la política objetivo y la política de comportamiento.

La función objetivo se modifica de la siguiente manera:
$$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$$
Donde:

• $\ell_\theta$ es la pérdida estándar por token (por ejemplo, NLL o divergencia KL).
• $\text{sg}[\cdot]$ denota un operador de detención del gradiente, tratando el peso como un coeficiente fijo.
• $\hat{G}_t$ es el peso de importancia numéricamente estabilizado para el token $t$.

Variantes de Ponderación

PEAR ofrece tres granularidades para calcular los pesos $\hat{G}_t$:

1. Ponderación a Nivel de Secuencia: Aplica una única relación de importancia global ($w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$) a todos los tokens en una trayectoria. Esto asume que la plausibilidad de toda la secuencia bajo la política objetivo es uniforme.
2. Ponderación a Nivel de Token (Basada en Sufijos): Calcula los pesos basándose en la relación de importancia de sufijos. Para un token $y_t$, el peso se determina por la probabilidad de la continuación restante ($y_{>t}$) bajo la política objetivo en relación con la política de comportamiento:
   $$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$$
   Esto reduce el peso de los tokens que conducen a continuaciones que la política objetivo es poco probable que genere, centrándose en el aprendizaje de prefijos compatibles con el comportamiento futuro de la política objetivo.
3. Ponderación a Nivel de Bloque: Para mitigar la alta varianza inherente a los pesos de importancia multiplicativos de horizonte largo, la secuencia se divide en bloques. Los pesos se calculan y aplican uniformemente dentro de cada bloque, intercambiando algo de granularidad por estabilidad.

Características Adicionales

• Ejemplos Negativos: PEAR puede incorporar trayectorias de fallo verificadas aplicando un término repulsivo, alejando al modelo de continuaciones negativas mientras mantiene la consistencia de la política.
• Adaptación de Caja Negra: Cuando la política de comportamiento exacta $\pi_\beta$ no está disponible (por ejemplo, datos de código cerrado), PEAR puede utilizar un modelo proxy o un conjunto de proxies para aproximar las log-probabilidades de la política de comportamiento.
• Estabilización Numérica: El método emplea cálculo en espacio logarítmico y recorte de relaciones logarítmicas para prevenir la inestabilidad numérica durante el cálculo de secuencias de productos largos.

3. Contribuciones Clave

• Demostración Empírica de la Desacoplamiento Fuera de Línea/En Línea: El artículo proporciona experimentos controlados que muestran que el rendimiento fuera de línea es un proxy poco fiable para el rendimiento post-RL. Objetivos de SFT más fuertes pueden conducir a resultados finales de RL más débiles debido a la discrepancia de distribución.
• Algoritmo PEAR: La introducción de un esquema de reponderación práctico y plug-in que utiliza principios de evaluación fuera de política (OPE) para alinear el SFT fuera de línea con los objetivos del RL en línea.
• Evaluación Exhaustiva: Pruebas extensas en múltiples familias de modelos (Qwen2.5, Qwen3, DeepSeek-distilled) y tamaños (de 0.6B a 8B) en tareas de razonamiento verificables (juegos de lógica, benchmarks matemáticos).
• Análisis de Deriva de Parámetros: Los autores muestran que los modelos inicializados con PEAR experimentan menos deriva de parámetros durante el entrenamiento de RL posterior, lo que sugiere que PEAR reduce la necesidad de que la fase de RL corrija desalineaciones fuera de línea/en línea.

4. Resultados Experimentales

Los autores realizaron experimentos en acertijos de lógica sintéticos (SynLogic, Enigmata) y benchmarks de razonamiento matemático (AIME-2024/2025, AMC-2023, MATH-500).

• Mejoras de Rendimiento: PEAR supera consistentemente al SFT canónico y a otras líneas base (incluyendo SFT regularizado con KL, TALR y varios objetivos basados en probabilidad) después del RL.
  • En AIME-2025, los modelos inicializados con PEAR lograron ganancias de Pass@8 de hasta 30 puntos porcentuales en comparación con el SFT estándar (por ejemplo, aumentando del 5% al 35% en DeepSeek-Distill-Qwen-1.5B).
  • En juegos de lógica SynLogic, PEAR mostró mejoras de Pass@1 de hasta +25 puntos porcentuales (por ejemplo, del 13.1% al 38.3% en Qwen3-1.7B-Base).
• Generalización: Los beneficios de PEAR se transfieren a través de diferentes distribuciones de tareas de RL (por ejemplo, entrenar en SynLogic y RL en Enigmata) y diferentes algoritmos de RL (GRPO y DAPO).
• Robustez de Caja Negra: Incluso al utilizar modelos proxy para aproximar la política de comportamiento, PEAR supera significativamente al SFT estándar, con proxies fuertes igualando el rendimiento de caja blanca.
• Estabilidad: Los modelos inicializados con PEAR exhiben una menor deriva de parámetros (medida por el Desplazamiento de Espectro Normalizado) durante la fase de RL en línea en comparación con los modelos inicializados con SFT estándar, lo que indica una trayectoria de aprendizaje más eficiente.

5. Significado y Afirmaciones

El artículo argumenta que el objetivo de la etapa de SFT fuera de línea no debe ser simplemente maximizar la precisión fuera de línea, sino preparar la política para el RL en línea posterior.

• Post-Entrenamiento Holístico: Los autores afirman que diseñar objetivos de SFT pensando en el RL aguas abajo es crucial. Optimizar para métricas fuera de línea de forma aislada puede ser contraproducente, ya que puede reforzar comportamientos incompatibles con la exploración y las dinámicas de optimización de la política objetivo.
• Corrección de la Discrepancia: PEAR sirve como una instancia concreta del principio de que el entrenamiento fuera de línea debe corregir la discrepancia de ocupación entre comportamiento y objetivo. Al reducir el peso de las continuaciones implausibles y aumentar el peso de aquellas compatibles con la política objetivo, PEAR crea una inicialización más efectiva.
• Impacto Práctico: Los resultados sugieren que estrategias simples de reponderación basadas en la evaluación fuera de política pueden producir mejoras sustanciales en las capacidades de razonamiento sin requerir cambios arquitectónicos complejos ni recopilación adicional de datos, siempre que las probabilidades de la política de comportamiento sean accesibles (o aproximadas).

Los autores concluyen que "una buena etapa fuera de línea no debe optimizar para la precisión fuera de línea, sino preparar la política para el RL que sigue", posicionando a PEAR como un paso hacia pipelines de post-entrenamiento de LLM más holísticos.