Resumen Técnico: Repensando la Utilización de Trayectorias de Expertos en el Post-entrenamiento de LLM para el Razonamiento Matemático

Declaración del Problema

El post-entrenamiento de Modelos de Lenguaje Grandes (LLM) para el razonamiento matemático está actualmente dominado por dos paradigmas: el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL). Mientras que el SFT depende en gran medida de trayectorias de expertos (pares de prompt-solución) para instilar priores de razonamiento mediante imitación, los métodos de RL (por ejemplo, GRPO, DAPO) suelen aprovechar señales de recompensa para explorar rutas de razonamiento sin una utilización directa de trayectorias de expertos.

A pesar del consenso de que ambos son necesarios, el mecanismo óptimo para utilizar las trayectorias de expertos y maximizar el techo de rendimiento final permanece sin resolver. El campo enfrenta un "dilema de paradigma":

1. Enfoques Sincronizados (Syn-SFT-RL): Los métodos recientes (por ejemplo, UPT, SRFT, LUFFY) integran la pérdida de imitación directamente en el bucle de RL, reclamando una eficiencia superior. Sin embargo, estos a menudo están limitados por escalas de datos SFT reducidas (por ejemplo, ~46K muestras) y carecen de una comparación rigurosa frente a líneas base entrenadas en conjuntos de datos significativamente más grandes.
2. Enfoques Secuenciales (SFT-luego-RL): El estándar de la industria implica una tubería secuencial. Sin embargo, los principios que gobiernan este enfoque son en gran medida empíricos. Preguntas críticas permanecen sin respuesta respecto al momento óptimo para cambiar de SFT a RL, el impacto de la escala de datos versus la dificultad, y si la hipótesis de "Menos es Más" (usar datos mínimos de alta calidad) se cumple para maximizar el techo de razonamiento último.

Metodología: El Marco de Plasticidad-Techo

Para abordar estas brechas, los autores proponen el Marco de Plasticidad-Techo, un enfoque analítico unificado que descompone el techo de rendimiento teórico del post-entrenamiento ($A_{post}$) en dos componentes medibles:

1. Rendimiento SFT ($P_{sft}$): El rendimiento realizado logrado después de la fase SFT dada una asignación específica de cómputo ($x_{sft}$).
2. Plasticidad RL ($P_{L_{rl}}$): La mejora potencial máxima alcanzable mediante RL subsiguiente, definida como la diferencia entre el techo asintótico y la línea base SFT ($A_{post} - P_{sft}$).

El marco modela el rendimiento del post-entrenamiento como una función del cómputo de RL utilizando una ley sigmoidea, permitiendo la descomposición cuantitativa del techo final. Esto permite a los autores evaluar sistemáticamente cómo las propiedades de los datos SFT (escala y dificultad) y las dinámicas de entrenamiento influyen tanto en la base ($P_{sft}$) como en el margen para la mejora ($P_{L_{rl}}$).

Configuración Experimental

El estudio realiza benchmarks extensos en Qwen2.5-7B y Llama3.2-3B a través de seis benchmarks matemáticos (GSM8K, OlympiadBench, Minerva, MATH, AIME24/25) y tareas fuera de dominio (OOD) (GPQA-Diamond, ARC-C).

• Conjuntos de Datos: Los autores curan conjuntos de datos SFT que van desde 1K hasta 889K muestras únicas, derivados de salidas destiladas de DeepSeek-R1. Estos incluyen variantes de escala (S1K, Uniform102K, SFT889K) y variantes de dificultad (Easy102K, Uniform102K, Hard102K).
• Líneas Base: El estudio compara SFT-Puro, RL-Puro (GRPO, DAPO), Syn-SFT-RL (LUFFY, SRFT, UPT, Prefix-RFT) y la tubería secuencial SFT-luego-RL.
• Métricas: El rendimiento se mide mediante la precisión pass@1, con costos de cómputo normalizados a FLOPs (exaFLOPs).

Resultados Clave

1. Selección de Paradigma: Dominancia Secuencial

La tubería secuencial SFT-luego-RL se establece como el estándar superior.

• Limitaciones de Syn-SFT-RL: Los métodos sincronizados exhiben inestabilidad en el entrenamiento y convergencia prematura. Son altamente sensibles a los priores del modelo y no escalan efectivamente en comparación con las líneas base secuenciales optimizadas en conjuntos de datos más grandes.
• La Ventaja de "Lento pero Alto": El SFT-Puro demuestra una mejora continua con un entrenamiento extenso, alcanzando un pico significativamente más alto que los techos de los métodos RL-Puro o Syn-SFT-RL. Crucialmente, la transición a RL después de la saturación SFT desbloquea ganancias adicionales, logrando la frontera de rendimiento más alta (por ejemplo, 78.1 puntos en Qwen2.5-7B frente a 74.3 para RL-Puro).

2. Momento Óptimo de Transición: Saturación SFT

La estrategia óptima para cambiar de SFT a RL es esperar hasta el Régimen Estable o el Régimen de Sobreajuste Leve de la pérdida de validación SFT.

• Cambio Prematuro: Cambiar durante el Régimen Adaptativo (subajuste) produce techos subóptimos porque el modelo carece de la competencia fundamental requerida para que RL se recupere.
• Sobreajuste Severo: Continuar SFT en el Régimen de Sobreajuste Severo causa un colapso en la plasticidad de RL, perjudicial para el techo final.
• Generalización: Entrenar SFT hasta la saturación establece una base robusta para la generalización Fuera de Dominio (OOD), contradiciendo las afirmaciones de que un SFT intensivo degrada la generalización.

3. Propiedades de los Datos: Escala y Dificultad

El estudio refuta la hipótesis de "Menos es Más" en el contexto de la escalabilidad SFT-luego-RL.

• La Escala Domina: La escala de datos es el determinante principal del techo de rendimiento final. Mientras que los conjuntos de datos pequeños (por ejemplo, S1K) logran ganancias iniciales rápidas, se saturan prematuramente. Los conjuntos de datos a gran escala (por ejemplo, SFT889K) proporcionan tanto un rendimiento SFT realizado más alto como una mayor plasticidad de RL preservada, lo que lleva a un techo significativamente más alto.
• La Dificultad como Multiplicador: La dificultad de la trayectoria actúa como un multiplicador de rendimiento. Datos más difíciles (Hard102K) producen un rendimiento SFT más alto y mantienen una plasticidad comparable a los datos más fáciles, convirtiéndolos en la opción superior cuando la escala está fija.
• Indicador Predictivo: La Pérdida Mínima de Validación de la fase SFT sirve como un indicador fiable y robusto para el techo final del post-entrenamiento, correlacionándose fuertemente con el rendimiento último ($A_{post}$).

Significado y Contribuciones

El artículo afirma transformar la optimización de trayectorias de expertos de conjeturas empíricas en un proceso sistemático y predecible. Sus contribuciones principales son:

1. El Marco de Plasticidad-Techo: Un mecanismo teórico que descompone el rendimiento del post-entrenamiento en ganancias SFT realizadas y plasticidad RL subsiguiente, proporcionando una visión unificada para la selección de paradigmas.
2. Evaluación Comparativa Rigurosa: Establecer la tubería secuencial SFT-luego-RL como el estándar riguroso para estabilidad y rendimiento, superando a los enfoques sincronizados y a los métodos puros.
3. Directrices de Escalabilidad Accionables:
   • Momento: Iniciar RL en la saturación SFT (Régimen Estable).
   • Estrategia de Datos: Priorizar la escala de datos sobre la dificultad para maximizar el techo; usar la dificultad para optimizar dentro de restricciones de escala limitadas.
   • Monitoreo: Utilizar la Pérdida Mínima de Validación como proxy para el techo de rendimiento final.

Los autores concluyen que estos hallazgos proporcionan directrices accionables para extraer el máximo valor de las trayectorias de expertos, específicamente para tareas de razonamiento matemático utilizando trayectorias estilo R1. Reconocen limitaciones respecto a la generalización a tareas no verificables (por ejemplo, escritura creativa) o estilos de trayectoria alternativos, dejando estos como preguntas abiertas para trabajos futuros.