Resumen Técnico: Fusión de Ajuste Fino Supervisado y por Refuerzo con Muestreo de Prefijos

1. Declaración del Problema

El post-entrenamiento de Modelos de Lenguaje Grande (LLM) está actualmente dominado por dos paradigmas distintos: Ajuste Fino Supervisado (SFT) y Ajuste Fino por Refuerzo (RFT). Cada enfoque presenta limitaciones específicas:

• SFT destaca en imitar datos de demostración, pero funciona como clonación de comportamiento, lo que a menudo conduce a problemas de generalización y robustez. Proporciona supervisión densa, pero puede alinearse mal con el rendimiento en tareas posteriores.
• RFT (por ejemplo, PPO, GRPO) mejora el rendimiento mediante exploración y optimización orientada a objetivos, pero sufre de señales de recompensa escasas, sensibilidad a la política inicial y el riesgo de aprender comportamientos inesperados (por ejemplo, mezcla de idiomas). La literatura reciente cuestiona si RFT puede realmente elevar el techo de capacidad intrínseca de un modelo o simplemente refinar el conocimiento existente del pre-entrenamiento.

La pregunta de investigación central abordada es cómo integrar formalmente la supervisión de procesos del SFT con la optimización orientada a objetivos del RFT para aprovechar sus fortalezas complementarias: SFT para expandir los límites del conocimiento y RFT para dirigir hacia la resolución robusta de problemas.

2. Metodología: Prefix-RFT

Los autores proponen Prefix-RFT, un enfoque híbrido de post-entrenamiento que unifica SFT y RFT dentro de un único marco de optimización.

Visión Unificada

El artículo establece que SFT y RFT comparten una estructura de optimización consistente. Ambos actualizan la probabilidad logarítmica de secuencias, diferenciándose principalmente en la fuente de la secuencia (experto vs. en política) y el mecanismo de ponderación (fijo vs. ponderado por ventaja).

Mecanismo Central

Prefix-RFT incorpora conjuntos de datos de demostración fuera de línea en el bucle de entrenamiento de RFT mediante Muestreo de Prefijos:

1. Construcción de Trayectorias Híbridas: Para un prompt dado $x$ y una demostración $y^*$, la política $\pi_{\theta}$ genera $N-1$ despliegues estándar en política. Para la $N$-ésima secuencia, se muestrea un prefijo $y^*_{<L}$ de la demostración. La política luego genera una continuación $y_{\ge L}$, creando una trayectoria híbrida $y^{(N)} = (y^*_{<L}, y_{\ge L})$.
2. Actualización Unificada de Gradientes: La trayectoria híbrida se trata junto con los despliegues estándar. La actualización del gradiente combina el aprendizaje de la exploración (tokens en política) y la imitación (tokens de prefijo).
   • Tokens de Prefijo ($t < L$): Se tratan como "imitación" pero ponderados por la ventaja $\hat{A}_t$ estimada desde toda la trayectoria híbrida. Si la trayectoria híbrida produce una recompensa alta, el prefijo se refuerza; de lo contrario, su influencia se atenúa.
   • Tokens de Continuación ($t \ge L$): Se tratan como tokens estándar de "exploración".
3. Recorte Basado en Entropía: Para evitar que los tokens de demostración fuera de política dominen el gradiente (debido a desplazamientos distribucionales que causan grandes gradientes de verosimilitud logarítmica), el método actualiza solo el top-$k\%$ (por ejemplo, 20%) de los tokens de prefijo con la entropía más alta. Los tokens de baja entropía ya están coincidentes por el modelo o representan desacuerdos confiables que podrían causar sobrescrituras agudas y desestabilizadoras.
4. Programador de Decaimiento Coseno: Para mitigar el sesgo posicional (donde los modelos rara vez ven el final de las secuencias) e implementar el aprendizaje curricular, la longitud del prefijo $L$ se controla mediante un programador. La longitud del prefijo comienza larga (alta guía) y decae a corta (más autonomía) durante todo el entrenamiento, imitando una transición de SFT a RFT.

3. Contribuciones Clave

• Marco Unificado: El artículo proporciona una unificación teórica de SFT y RFT, demostrando que pueden fusionarse mediante un objetivo híbrido en lugar de tratarse como etapas consecutivas.
• Algoritmo Prefix-RFT: Introduce un método simple pero efectivo para inyectar demostraciones fuera de línea en RFT sin restringir rígidamente al modelo, permitiéndole explorar continuaciones superiores mientras se guía mediante prefijos expertos.
• Ponderación Dinámica y Recorte: Propone el uso de ventajas a nivel de trayectoria para ponderar dinámicamente las actualizaciones de prefijo y emplea recorte basado en entropía para estabilizar el entrenamiento frente a desplazamientos distribucionales fuera de política.
• Validación Empírica: Demuestra que Prefix-RFT supera a las líneas base de SFT independiente, RFT independiente y SFT seguido de RFT en secuencia, así como a métodos híbridos paralelos recientes (por ejemplo, UFT, LUFFY, ReLIFT).

4. Resultados Experimentales

Los experimentos se realizaron principalmente en tareas de razonamiento matemático (AIME, AMC, MATH-500, etc.) utilizando modelos como Qwen2.5-Math (1.5B, 7B) y LLaMA-3.1-8B.

• Rendimiento: Prefix-RFT superó consistentemente a todas las líneas base en seis benchmarks de razonamiento matemático y tres tareas de razonamiento de dominio general. Por ejemplo, en Qwen2.5-Math-7B, logró una puntuación Pass@1 de 31.8 en AIME 2024 y 26.4 en AIME 2025, superando a la mejor línea base (LUFFY) y al enfoque secuencial SFT+RFT.
• Límites de Razonamiento (Pass@k): Crucialmente, Prefix-RFT fue el único método que elevó significativamente el límite superior de rendimiento del modelo. En AIME 2025, alcanzó un Pass@2048 del 76.7%, comparado con el 70.0% del modelo base y RFT, lo que indica que expande las capacidades de razonamiento del modelo en lugar de simplemente aumentar la probabilidad de soluciones conocidas.
• Robustez: El método mostró una fuerte robustez a través de diferentes escalas de modelos y fue efectivo incluso con cantidades reducidas de demostraciones (hasta el 1% de los datos) y calidad variable de generadores de demostraciones (desde modelos de 1.5B hasta 32B).
• Generalización: Resultados preliminares en generación de código (MBPP+, HumanEval+) confirmaron la aplicabilidad del método más allá del razonamiento matemático.

5. Análisis y Significado

El análisis del artículo destaca la naturaleza complementaria de SFT y RFT:

• Cerrando la Brecha: Prefix-RFT sintetiza efectivamente los paradigmas de entrenamiento distintos. Permite que el modelo aprenda de demostraciones (similar a SFT) mientras mantiene el objetivo orientado a objetivos de RFT.
• Transición Dinámica: El método induce una transición dinámica donde el modelo depende heavily de los prefijos al inicio del entrenamiento (alta ventaja, prefijos largos) y cambia gradualmente hacia la exploración autónoma a medida que mejoran sus capacidades (ventaja decreciente, prefijos más cortos).
• Aprendizaje Dirigido: El modelo aprende más intensamente de las demostraciones en problemas desafiantes (donde lucha) y depende más de la auto-exploración para problemas más fáciles, validando la naturaleza adaptativa del enfoque.

Significado:
Los autores afirman que Prefix-RFT ofrece un "punto dulce" entre la estabilidad de SFT y el poder exploratorio de RFT. Al integrar formalmente estos paradigmas, el método aborda las limitaciones de la clonación de comportamiento (SFT) y la inestabilidad del aprendizaje por refuerzo puro (RFT). El trabajo sugiere que tratar SFT y RFT como etapas distintas y consecutivas es subóptimo, y que un enfoque integrado puede armonizarlos efectivamente para empujar los límites de las capacidades de razonamiento de los LLM.

Limitaciones:
Los autores señalan que sus experimentos se centran en entornos de razonamiento verificables con recompensas de resultado fiables. Si bien los resultados de generación de código sugieren transferibilidad, la generación abierta más amplia y los entornos con recompensas ruidosas permanecen como trabajo futuro. Además, el método depende de demostraciones externas, y la selección sistemática de múltiples demostraciones candidatas queda para futuros estudios.