Resumen Técnico: Proximal Supervised Fine-Tuning (PSFT)

1. El Problema

El Fine-Tuning Supervisado (SFT) es una etapa crucial en el entrenamiento posterior (post-training) de modelos de lenguaje fundamentales (LLMs), a menudo utilizada como una alternativa eficiente a la Aprendizaje por Refuerzo (RL). Sin embargo, el SFT estándar presenta limitaciones críticas:

• Mala Generalización: Los modelos SFT tienden a sufrir de "clonación de comportamiento", lo que resulta en un rendimiento débil en tareas fuera de dominio (OOD) cuando el conjunto de datos de ajuste fino no está perfectamente alineado con los datos de pre-entrenamiento.
• Colapso de Entropía: El SFT puede provocar una sobre-concentración de la distribución de salida (colapso de entropía), reduciendo la diversidad del modelo y limitando su capacidad de exploración en etapas posteriores de RL.
• Actualizaciones de Política Destructivas: El SFT estándar puede causar actualizaciones de política demasiado grandes, alejando al modelo de sus capacidades generales adquiridas durante el pre-entrenamiento.

2. Metodología: Proximal Supervised Fine-Tuning (PSFT)

Los autores proponen PSFT, un nuevo objetivo de optimización para el SFT inspirado en los algoritmos de optimización de política en el aprendizaje por refuerzo, específicamente Trust Region Policy Optimization (TRPO) y Proximal Policy Optimization (PPO).

Fundamento Teórico

El papel establece una conexión teórica entre el SFT y los métodos de gradiente de política:

• El SFT se ve como un caso especial de gradiente de política donde las ventajas ($\hat{A}_t$) son constantes y positivas (específicamente $\hat{A}_t = 1$) para los tokens de la verdad fundamental (ground-truth).
• En lugar de minimizar simplemente la pérdida de entropía cruzada, PSFT incorpora una restricción de región de confianza (trust-region) para limitar la magnitud de las actualizaciones de la política.

La Función de Pérdida

La función de pérdida de PSFT se deriva del objetivo sustituto recortado (clipped surrogate objective) de PPO:

$$L_{PSFT}(\theta) = \mathbb{E}_{(s_t, a_t) \sim D} \left[ \min \left( r_t(\theta), \text{clip}(r_t(\theta), 1 - \epsilon, 1 + \epsilon) \right) \right]$$

Donde:

• $r_t(\theta) = \frac{\pi_\theta(a_t | s_t)}{\pi_{\theta_{old}}(a_t | s_t)}$ es la razón de muestreo de importancia entre la nueva política y la política antigua.
• $\epsilon$ es un hiperparámetro que define el tamaño de la región de confianza (usualmente 0.2 o 0.28).
• Mecanismo de Recorte: Si la probabilidad de un token cambia demasiado (fuera del rango $[1-\epsilon, 1+\epsilon]$), el gradiente se recorta o se ignora. Esto evita cambios drásticos en la distribución de tokens, preservando la diversidad.

Dinámica de Actualización

• Actualización Dinámica de $\pi_{\theta_{old}}$: A diferencia de métodos que fijan una referencia estática, PSFT actualiza dinámicamente la política antigua ($\pi_{\theta_{old}}$) durante el entrenamiento. Esto permite un aprendizaje gradual y estable, evitando que la optimización quede atrapada en una región de confianza centrada únicamente en el modelo de referencia inicial.
• Fase de Calentamiento (Warm-up): Se introduce una fase opcional de SFT estándar al inicio para alinear mejor la política inicial con el conjunto de datos, mitigando sesgos iniciales en la razón de importancia.

3. Contribuciones Clave

1. Propuesta de PSFT: Un método de optimización SFT novedoso que utiliza un objetivo sustituto recortado para imponer restricciones tipo región de confianza, evitando actualizaciones excesivas de la política.
2. Prevención del Colapso de Entropía: PSFT mitiga eficazmente el colapso de entropía y el sobreajuste durante el SFT, manteniendo una curva de entropía suave y estable.
3. Fundamento para RL: Al preservar la capacidad de exploración y las habilidades generales, PSFT proporciona un punto de partida ("cold start") superior para etapas posteriores de optimización por Refuerzo (RL) o DPO.
4. Validación Extensiva: Demostración de la eficacia del método en múltiples dominios (razonamiento matemático, alineación de valores humanos y modelos de lenguaje visuales) y diferentes arquitecturas de modelos base.

4. Resultados Experimentales

Los experimentos se realizaron utilizando modelos como Qwen2.5-7B, Llama3.1-8B y Qwen3, evaluados en tareas de razonamiento matemático, alineación y multimodalidad.

Rendimiento en Fase SFT

• Rendimiento In-Domain: PSFT logra un rendimiento comparable o superior al SFT estándar en tareas objetivo (ej. AIME, MATH-500).
• Generalización Out-of-Domain: PSFT supera significativamente al SFT estándar en tareas fuera de dominio (ej. GPQA, ARC-C, TruthfulQA), demostrando una mejor capacidad de transferencia.
• Estabilidad de Entropía: Mientras que el SFT estándar muestra una caída marcada en la entropía (indicando sobreajuste), PSFT mantiene una entropía más alta y estable, lo que preserva la diversidad del modelo.

Rendimiento en Fase RL (Post-SFT)

• Potencial de Optimización: Los modelos iniciados con PSFT muestran un mayor potencial de mejora durante el entrenamiento con RL (ej. GRPO).
• Mejora en RL: En comparación con modelos iniciados con SFT estándar, los modelos PSFT + RL alcanzan puntuaciones más altas tanto en tareas dentro como fuera de dominio. El SFT estándar a menudo limita el RL posterior debido a la falta de exploración (entropía baja).

Alineación Humana y VLMs

• Alineación: En tareas de alineación (usando DPO), PSFT reduce la "tasa de alineación" (alignment tax), manteniendo mejor las capacidades generales mientras aprende preferencias humanas.
• Modelos Visuales (VLM): Al aplicar PSFT a modelos de lenguaje visuales (VLM) con datos de razonamiento puramente textual, el modelo mejora su capacidad de razonamiento sin degradar significativamente su comprensión multimodal, a diferencia del SFT estándar que suele dañar estas capacidades.

5. Significado e Impacto

El trabajo de Proximal Supervised Fine-Tuning es significativo porque:

• Cierra la brecha entre SFT y RL: Demuestra que los beneficios de las restricciones de región de confianza (típicamente de RL) pueden y deben aplicarse en la etapa de SFT.
• Soluciona el dilema Generalización-Estabilidad: Ofrece una solución práctica para mejorar el rendimiento en tareas específicas sin sacrificar las capacidades generales del modelo ni la capacidad de exploración futura.
• Escalabilidad: Al ser compatible con frameworks de RL existentes (como verl) y requerir solo modificaciones mínimas en el código (sustituyendo la generación de trayectorias por demostraciones SFT), es fácil de implementar y escalar en la industria.

En conclusión, PSFT se presenta como una alternativa robusta y superior al SFT tradicional, estableciendo un nuevo estándar para el fine-tuning de modelos de lenguaje que busca maximizar tanto el rendimiento inmediato como el potencial de optimización a largo plazo.