Resumen Técnico: PriFT (Ajuste Fino Guiado por el Soporte Previo)

Planteamiento del Problema

El Ajuste Fino Supervisado (SFT, por sus siglas en inglés) es un método estándar y computacionalmente eficiente para adaptar Modelos de Lenguaje de Gran Escala (LLMs) a tareas de descenso, sirviendo frecuentemente como la inicialización para el Aprendizaje por Refuerzo (RL). Sin embargo, el SFT sufre de una brecha de generalización en comparación con el RL. Como método off-policy, el SFT ajusta datos de demostración fijos token por token. Cuando los tokens objetivo en las demostraciones están mal alineados con la distribución preentrenada del modelo, este proceso puede conducir al sobreajuste y a la distorsión del conocimiento preentrenado.

Enfoques recientes intentan mitigar esto asignando pesos de entrenamiento no uniformes a los tokens basándose en su alineación con la distribución predictiva del modelo (por ejemplo, usando la probabilidad del token objetivo o la entropía). Sin embargo, estos métodos típicamente computan estos pesos utilizando el modelo online que se está ajustando actualmente. El artículo argumenta que esto crea un fallo crítico: la distribución predictiva del modelo online deriva rápidamente de la distribución preentrenada durante el entrenamiento. Consecuentemente, la señal de ponderación se entrelaza con la trayectoria de optimización, induciendo una dinámica de autorrefuerzo donde el modelo concentra las señales de aprendizaje en los tokens que inicialmente prefería, mientras suprime otros. Esto reduce la diversidad de muestreo y limita la capacidad del modelo para una posterior optimización on-policy (RL).

Metodología: PriFT

Para abordar la inestabilidad de la reponderación online, los autores proponen PriFT (Ajuste Fino Guiado por el Soporte Previo). La idea central es que los pesos de los tokens deben derivarse de un modelo de referencia preentrenado congelado en lugar del modelo online en evolución. Esto proporciona una estimación estable del "soporte previo": el grado en que un token objetivo está respaldado por el conocimiento del modelo antes de la adaptación específica a la tarea.

Marco de Trabajo (Framework)

PriFT modifica el objetivo estándar de SFT introduciendo pesos de token $m_t$ derivados del modelo preentrenado congelado $\pi_{\theta_{pt}}$:
$$L_{PriFT}(\theta_{on}) = -\sum_{t=1}^{T} u(\pi_{\theta_{pt}}(\cdot | x, y_{<t}), y_t) \log \pi_{\theta_{on}}(y_t | x, y_{<t})$$
donde $u(\cdot)$ es una función de utilidad de token. Al computar los pesos desde la referencia congelada, PriFT desacopla la estimación de la ponderación de la trayectoria de optimización, evitando el sesgo de autorrefuerzo observado en los métodos online.

Instanciaciones

El artículo introduce dos instanciaciones específicas de la función de utilidad $u$:

1. PriFT-prob: Utiliza directamente la probabilidad del token objetivo preentrenado.
   $$m_t = \pi_{\theta_{pt}}(y_t | x, y_{<t})$$
   Esto escala la magnitud del gradiente basándose en qué tan plausible era el token bajo la distribución preentrenada. Preserva la dirección de actualización estándar de SFT pero reduce el peso de los tokens con bajo soporte previo.

2. PriFT-mass: Utiliza la masa de probabilidad acumulada bajo la distribución preentrenada para reducir el sesgo hacia tokens "fáciles" con distribuciones agudas.
   $$m_t = \mathbb{I}[u^{(MASS)}_t \geq 0.5]$$
   donde $u^{(MASS)}_t = \sum_{v: \pi_{\theta_{pt}}(v) \leq \pi_{\theta_{pt}}(y_t)} \pi_{\theta_{pt}}(v)$.
   Esta métrica mide la fracción de la masa de probabilidad asignada a tokens menos probables que el objetivo. Un umbral de 0.5 selecciona tokens respaldados por al menos la mitad de la masa de probabilidad preentrenada. A diferencia de PriFT-prob, esto resulta en una máscara de selección binaria donde todos los tokens seleccionados reciben un peso igual, evitando el énfasis excesivo en tokens de alta confianza triviales (por ejemplo, palabras funcionales) mientras retiene tokens informativos de contextos más difíciles.

Sobrecarga Computacional

PriFT requiere una única pasada hacia adelante (forward pass) del modelo preentrenado congelado para precomputar los pesos o máscaras de los tokens. Esto añade una sobrecarga relativa de aproximadamente $1/(3E)$ (donde $E$ es el número de épocas), la cual puede realizarse offline. A diferencia de los métodos de regularización KL que requieren acceso a la distribución de referencia durante cada paso de optimización, PriFT solo requiere almacenar pesos escalares o máscaras binarias, evitando una sobrecarga de memoria significativa.

Contribuciones Clave

1. Identificación de la Deriva de la Señal: Los autores demuestran que las estadísticas de los tokens online derivan rápidamente de la distribución preentrenada, creando un bucle de autorrefuerzo que concentra el aprendizaje en los tokens inicialmente preferidos y degrada la generalización.
2. Reponderación Estable mediante Referencia Congelada: Demuestran que derivar los pesos de los tokens de un modelo preentrenado congelado supera consistentemente el uso del modelo online en diversas reglas de reponderación (basadas en probabilidad y en entropía).
3. Marco PriFT: La propuesta de un marco simple y general que precomputa los pesos desde una referencia congelada, desacoplando la señal de reponderación de la trayectoria de optimización.
4. el Validación Empírica: Experimentos extensos que muestran que PriFT logra resultados de vanguardia entre las líneas base de SFT y proporciona una inicialización superior para el entrenamiento posterior de RL.

Resultados Experimentales

Los autores evaluaron PriFT en razonamiento matemático, generación de código y respuestas a preguntas médicas utilizando modelos como Qwen2.5-Math, Qwen3 y LLaMA-2.

• Razonamiento Matemático: En Qwen2.5-Math-7B, PriFT-mass logró un promedio de precisión (Avg@16) de 40.67 y un Pass@16 de 69.60, superando a la línea base más fuerte (TALR) por 3.97 y 8.75 puntos, respectivamente. Notablemente, mientras que los métodos de reponderación online (como DFT) a menudo mejoraban el Avg@16 a costa del Pass@16, PriFT mejoró ambos métricas simultáneamente.
• Generación de Código: En Qwen3-4B-Instruct, las variantes de PriFT superaron al SFT estándar y a otras líneas base de reponderación de tokens, particularmente en las divisiones desafiantes de LiveCodeBench. PriFT-mass mostró la menor degradación de rendimiento en HumanEval+ en comparación con el checkpoint original, lo que sugiere una mejor preservación de las capacidades existentes.
• QA Médica: PriFT-mass logró el mejor rendimiento general en los benchmarks MMLU-Medical y MedMCQA, superando a otros métodos de reponderación de tokens.
• Inicialización de RL: Los modelos inicializados con PriFT mostraron un rendimiento más fuerte tras el entrenamiento de RL subsiguiente (DAPO) en comparación con aquellos inicializados con SFT estándar o reponderación online (DFT). Por ejemplo, en Qwen3-8B-Base, PriFT-mass produjo una mejora de 9.57 puntos en Avg@16 después de RL comparado con la inicialización de la línea base de SFT.

Significado y Reivindicaciones

El artículo afirma que PriFT aborda una limitación fundamental en el SFT con reponderación de tokens: el entrelazamiento de la señal de ponderación con la trayectoria de optimización. Al utilizar el modelo preentrenado como una fuente estable de "soporte previo", PriFT:

• Preserva la Diversidad de Muestreo: Evita la concentración de autorrefuerzo de la masa de probabilidad en un conjunto estrecho de rutas de razonamiento, manteniendo distribuciones de entropía más amplias y un mejor rendimiento de Pass@k.
• Reduce el Desplazamiento de Distribución: Minimiza la divergencia KL del modelo preentrenado durante el ajuste fino en comparación con los métodos de reponderación online.
• Mejora la Preparación para RL: Proporciona una inicialización más fuerte para RL al preservar la capacidad del modelo para la optimación on-policy posterior, sugiriendo que un "buen SFT" no se trata solo del rendimiento inmediato, sino de mantener la diversidad requerida para el aprendizaje futuro.

Los autores señalan las limitaciones, incluyendo el enfoque en modelos abiertos de tamaño moderado y dominios de tareas específicos, dejando la exploración de modelos más grandes y funciones de utilidad más amplias para trabajos futuros. No pretenden que PriFT resuelva todos los problemas de generalización, sino que lo posicionan como una mejora robusta y generalizable al paradigma de SFT.