Resumen Técnico: RASFT (Fine-Tuning Supervisado Adaptativo al Rollout para el Razonamiento)

1. Planteamiento del Problema

El Ajuste Fino Supervisado (SFT, por sus siglas en inglés) es el enfoque estándar para adaptar Modelos de Lenguaje de Gran Escala (LLMs) a tareas de razonamiento mediante la imitación de demostraciones de expertos fuera de línea (offline). Sin embargo, los autores identifican una limitación crítica en este paradigma: el razonamiento no es una simple tarea de imitación de rutas. Un solo problema a menudo admite múltiples caminos de solución válidos, pero el SFT estándar trata una única trayectoria de experto fuera de línea como el comportamiento objetivo rígido.

Esta imitación rígida puede conducir a dos problemas:

1. Sobreajuste a Formas Superficiales: El modelo puede memorizar la demostración específica en lugar de aprender la distribución de razonamiento subyacente.
2. Supresión de la Capacidad Latente: Los LLMs preentrenados suelen poseer distribuciones de razonamiento latentes y ricas. La sobreimitación de un único camino de experto puede sobrescribir estos priors, debilitando la propia capacidad del modelo para generar trayectorias de razonamiento diversas y correctas.

Las variantes existentes de SFT (por ejemplo, DFT, ASFT, ProFiT) intentan mitigar esto reescalando las señales de aprendizaje o anclándose a modelos de referencia, pero siguen siendo mayoritariamente "internas a la demostración"; es decir, optimizan basándose en señales dentro de la trayectoria fuera de línea en lugar de calibrar la supervisión basándose en la capacidad real de la política actual para resolver el problema.

2. Metodología: RASFT

Los autores proponen el Ajuste Fino Supervisado Adaptativo al Rollout (RASFT), un marco de trabajo consciente de la política que equilibra dinámicamente la guía del experto con el razonamiento autogenerado basado en el rendimiento actual del modelo.

Componentes Principales

1. Construcción del Pool de Candidatos Locales:
   Para cada prompt de problema $x_i$, RASFT construye un pool $G_i$ que contiene:

   • La trayectoria del experto fuera de línea ($y^e_i$).
   • Trayectorias correctas verificadas generadas por la política actual ($\pi_\theta$) mediante rollouts on-policy.
   • Nota: Los rollouts incorrectos se filtran de los objetivos de optimización, pero se utilizan para estimar la dificultad.

2. Estimación de Solubilidad a Nivel de Problema ($\zeta_i$):
   El modelo genera $K$ rollouts para un prompt dado. Un verificador específico de la tarea (por ejemplo, coincidencia de respuesta final para matemáticas, pruebas de aserción para código) determina la corrección. El índice de solubilidad se calcula como la tasa de éxito:
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   donde $c_{i,k} \in \{0, 1\}$ indica la corrección. Esta puntuación refleja qué tan bien la política actual puede resolver el problema.

3. Ponderación Adaptativa:
   RASFT asigna pesos a las trayectorias en el pool de candidatos basándose en $\zeta_i$:

   • Peso de la Trayectoria del Experto ($W_e$): Ajustado dinámicamente. Cuando $\zeta_i$ es bajo (el modelo tiene dificultades), la trayectoria del experto recibe un peso mayor para proporcionar una guía correctiva fuerte. Cuando $\zeta_i$ es alto (el modelo es fiable), el peso se atenúa para evitar el ajuste rígido y permitir que el propio razonamiento del modelo predomine.
   • Peso de la Trayectoria Autogenerada ($W_r$): Fijo para los rollouts verificados como correctos.

4. Objetivo Regularizado por la Política:
   Para evitar un desplazamiento excesivo de la distribución preentrenada, RASFT introduce una relación inversa recortada (clipped inverse ratio) entre un modelo de referencia congelado ($\pi_{ref}$) y la política actual ($\pi_\theta$). La función de pérdida final combina:

   • Pesos de trayectoria normalizados ($\bar{W}_{i,j}$).
   • La relación inversa recortada ($Clip(r_{i,j}(\theta))$).
   • Confianza a nivel de token ($p_{\theta}$).

   El objetivo minimiza una pérdida de secuencia a secuencia ponderada:
   $$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
   donde $\omega_{i,j,t}$ es el peso compuesto.

3. Contribuciones Clave

El artículo resume sus contribuciones de la siguiente manera:

• Identificación de la Limitación: Destaca que las variantes existentes de SFT carecen de conciencia de la política, fallando al no distinguir cuándo la imitación del experto es necesaria frente a cuándo se convierte en un ajuste de ruta rígido.
• Propuesta de Marco de Trabajo: Se introduce RASFT como un marco de SFT adaptativo al rollout que utiliza rollouts on-policy verificados para estimar la solubilidad del problema, equilibrando dinámicamente la guía del experto con las trayectorias correctas autogeneradas.
• Validación Empírica: Experimentos extensos demuestran que RASFT supera al SFT estándar, a las variantes de SFT (DFT, ASFT, ProFiT) y a métodos representativos de Aprendizaje por Refuerzo (RL) (GRPO, LUFFY) en tareas de razonamiento matemático y de código.

4. Resultados Experimentales

Los experimentos se realizaron en seis benchmarks de razonamiento matemático (MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023) y dos benchmarks de razonamiento de código (HumanEval, MBPP) utilizando modelos de las familias Qwen2.5 y Llama-3.2.

• Ganancias de Rendimiento: RASFT alcanzó consistentemente el mejor rendimiento promedio.
  • Matemáticas: En Qwen2.5-Math-1.5B, logró una ganancia relativa del 10.9% (25.00 $\to$ 27.72) sobre el mejor baseline.
  • Código: En Llama-3.2-3B, logró una ganancia del 26.9% (24.93 $\to$ 31.63).
  • Comparación con RL: RASFT mejoró la precisión matemática promedio en un 15.9% (20.25 $\to$ 23.47) en comparación con GRPO.
• Estudios de Ablación:
  • Adaptabilidad de la Dificultad: Eliminar la ponderación adaptativa causó una caída en el puntaje promedio de 27.72 a 25.53, confirmando que el equilibrio estático es subóptimo.
  • Rollouts On-Policy: Eliminar los rollouts (revirtiendo a pesos de experto estáticos) provocó una degradación uniforme, resaltando la necesidad de la retroalimentación en línea (online).
  • Relación Inversa: Eliminar la relación inversa redujo el rendimiento, confirmando su papel en la prevención del sobreajuste a los datos fuera de línea y la preservación de los priors preentrenados.
  • Transferibilidad: RASFT mejoró el rendimiento cuando se integró con SFT estándar y ProFiT, lo que sugiere que es complementario a los métodos de reescalado a nivel de token.
• Dinámica de Entrenamiento: RASFT mantuvo objetivos de entrenamiento estables y una menor densidad de actualización de parámetros en las etapas finales en comparación con otros métodos, lo que indica una mejor preservación de los priors de razonamiento preentrenados.

5. Significancia y Reivindicaciones

El artículo afirma que RASFT representa un cambio del ajuste de demostración estática al ajuste supervisado adaptativo a la política. Su significancia radica en:

1. Puente entre SFT y RL: Incorpora los beneficios de la exploración en línea (rollouts) y la ponderación adaptativa típicas de los métodos de RL, pero mantiene la estabilidad y simplicidad del marco de trabajo SFT.
2. Calibración Dinámica: Calibra con éxito la fuerza de la supervisión del experto basándose en la capacidad real del modelo para resolver un problema específico, evitando la supresión de la propia distribución de razonamiento del modelo.
3. Robustez: El método es robusto a través de diferentes escalas de modelos y dominios de tareas, mostrando ganancias significativas particularmente en benchmarks difíciles (ej. AIME, OlympiadBench) donde la imitación rígida falla.

Limitaciones Reconocidas por los Autores:

• Costo Computacional: RASFT es más costoso que el SFT estándar debido a la generación y verificación periódica de los rollouts on-policy.
• Dependencia de la Verificación: El método depende de señales de verificación automática fiables (ej. respuestas finales para matemáticas, casos de prueba para código). Extenderlo a tareas de razonamiento de lenguaje abierto sin señales claras de corrección sigue siendo un desafío.