Resumen Técnico: Estabilización del Ajuste Fino Supervisado de Modelos de Lenguaje Grandes mediante Control Distribucional Explícito

1. Enunciado del Problema

El ajuste posterior de Modelos de Lenguaje Grandes (LLM) para adaptarse a nuevos objetivos mediante Ajuste Fino Supervisado (SFT) induce frecuentemente un olvido catastrófico, donde las mejoras en una tarea objetivo degradan las capacidades generales previamente adquiridas. Estudios empíricos y teóricos recientes sugieren que este fenómeno es impulsado principalmente por una deriva distribucional excesiva durante la optimización.

Si bien los métodos de Aprendizaje por Refuerzo (RL) (particularmente el RL en política) restringen implícitamente esta deriva y preservan mejor las capacidades anteriores que el SFT, dependen de una costosa recolección de datos y pipelines de optimización complejos. Por el contrario, el SFT estándar carece de mecanismos explícitos para regular la magnitud o la dirección de los cambios distribucionales, lo que a menudo conduce a cambios abruptos en el comportamiento. Las estrategias de mitigación existentes, como la regularización KL estática o la destilación de un profesor fijo, ofrecen solo un control indirecto o sintonizado globalmente que no se alinea con la geometría local de las distribuciones del modelo, dando como resultado con frecuencia conflictos de gradiente persistentes entre ajustar la nueva tarea y preservar el modelo base.

El desafío central abordado es: ¿Puede un mecanismo simple y explícito permitir un control estable de las actualizaciones distribucionales en un entorno de SFT puramente offline, combinando la eficiencia del SFT con la estabilidad del RL en política?

2. Metodología: Aprendizaje Anclado

Los autores proponen el Aprendizaje Anclado, un marco que controla explícitamente las actualizaciones distribucionales durante el ajuste fino offline utilizando un ancla móvil dinámicamente evolutiva.

Mecanismo Central

En lugar de emparejar una distribución de referencia fija (por ejemplo, el modelo base $p_{base}$), el Aprendizaje Anclado construye una distribución objetivo intermedia $q^{(t)}$ en cada iteración $t$ mediante interpolación entre:

1. El modelo entrenable actual $p_{\theta}^{(t)}$.
2. Un modelo de referencia SFT congelado $p_{sft}$ (entrenado una vez sobre los datos objetivo y mantenido fijo).

El marco opera en dos bucles:

• Bucle Externo (Selección del Ancla): En la iteración $t$, se construye una distribución ancla $q^{(t)}$ mediante un operador de interpolación $I_\alpha$:
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  El ancla se desconecta del grafo de computación, sirviendo como un objetivo fijo para el bucle interno.
• Bucle Interno (Ajuste del Ancla): Los parámetros del modelo se actualizan para aproximar este ancla minimizando un objetivo de destilación (divergencia KL) sobre el conjunto de datos objetivo $D$:
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

Instanciaciones

El operador de interpolación $I_\alpha$ se instancia en dos espacios:

1. Espacio de Logits: Interpolación lineal de los logits previos al softmax, seguida de normalización softmax. Esto corresponde a una media geométrica de distribuciones (comportamiento de búsqueda de modos).
2. Espacio de Probabilidades: Interpolación lineal de las distribuciones predictivas directamente. Esto corresponde a una media aritmética (comportamiento de cobertura de modos).

Garantías Teóricas

El artículo proporciona pruebas teóricas de que esta actualización basada en ancla admite un límite superior lineal de la divergencia KL por iteración.

• Espacio de Probabilidades: La divergencia KL entre el ancla y el modelo actual está acotada por $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$.
• Espacio de Logits: La divergencia está acotada por $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$.

Estos límites aseguran que el modelo transite entre distribuciones de manera estable y controlada, transformando efectivamente el ajuste fino global en una secuencia de actualizaciones locales de región de confianza. El análisis teórico indica que, bajo una proyección exacta, el modelo converge geométricamente hacia la referencia SFT mientras mantiene una desviación paso a paso acotada.

3. Contribuciones Clave

1. Propuesta de Marco: Introducción del Aprendizaje Anclado, un marco simple que impone control local sobre las actualizaciones distribucionales en el ajuste fino offline mediante un ancla móvil, evitando la necesidad de interacción en línea o pipelines complejos de RL.
2. Estabilidad Teórica: Derivación de límites explícitos de divergencia KL por iteración tanto para el anclaje en espacio de probabilidades como en espacio de logits, proporcionando garantías formales sobre la estabilidad distribucional.
3. Validación Empírica: Demostración de que el método logra una compensación superior entre ganancias de rendimiento y estabilidad en múltiples puntos de referencia, situándose consistentemente en la frontera de Pareto en comparación con líneas base sólidas.

4. Resultados Experimentales

El método fue evaluado en tres tareas objetivo (iGSM, MedCalc, IFEval) utilizando modelos Qwen2.5 (1.5B–14B) y Llama-3.2-3B. El rendimiento se midió frente al SFT estándar y diversas líneas base de mitigación del olvido (por ejemplo, Low-SFT, KL-SFT, Self-SFT, Iter-SFT).

• Compensación Ganancia-Estabilidad: El SFT estándar logró un alto rendimiento en el dominio pero sufrió una degradación severa en las capacidades generales (por ejemplo, >53% de caída de rendimiento en iGSM y MedCalc). El Aprendizaje Anclado redujo esta degradación a menos del 5% mientras mantenía ganancias casi óptimas (por ejemplo, 75.2% en iGSM).
• Optimalidad de Pareto: En todos los tamaños de modelo y tareas, el Aprendizaje Anclado se posicionó consistentemente cerca de la frontera de Pareto, superando a las líneas base que sacrificaron el rendimiento del dominio por estabilidad (por ejemplo, Low-SFT) o que no lograron prevenir el olvido (por ejemplo, SFT Estándar).
• Escalado: Los beneficios del Aprendizaje Anclado fueron robustos a través de las escalas de modelos (de 1.5B a 7B), preservando capacidades generales significativamente más altas que Low-SFT sin sacrificar la precisión del dominio.
• Sensibilidad a Hiperparámetros:
  • Coeficiente de Interpolación ($\alpha$): Un rango intermedio de $\alpha$ proporcionó la mejor compensación.
  • Programa de Actualización: El estudio destacó que el rendimiento general exhibe una degradación no monótona con iteraciones de entrenamiento aumentadas, incluso cuando la precisión objetivo se satura. Esto sugiere que "más entrenamiento" no garantiza estabilidad, reforzando la necesidad de un control explícito de la trayectoria.
  • Espacio de Interpolación: La interpolación en espacio de logits (media geométrica) favoreció la estabilidad y la retención de capacidades generales, mientras que la interpolación en espacio de probabilidades (media aritmética) favoreció la plasticidad y la adaptación al dominio.

5. Significado y Afirmaciones

El artículo afirma que el Aprendizaje Anclado ofrece una alternativa práctica a los mecanismos de estabilidad implícitos encontrados en el RL en política. Al dar forma explícita a las distribuciones objetivo intermedias, transforma la optimización global en una secuencia de actualizaciones locales conservadoras.

Los autores enfatizan que su enfoque:

• Opera en un entorno puramente offline, sin necesidad de acceso a datos de dominio general para replay o entrenamiento conjunto.
• Proporciona garantías teóricas sobre la estabilidad distribucional, abordando la causa raíz del olvido (deriva excesiva) en lugar de solo los síntomas.
• Logra un rendimiento casi óptimo en tareas objetivo mientras reduce sustancialmente el olvido catastrófico, superando a los métodos existentes de regularización estática y destilación.

Limitaciones: Los autores reconocen que el Aprendizaje Anclado incurre en una sobrecarga computacional adicional (aproximadamente 1.5×–2× de latencia de entrenamiento y uso de memoria) en comparación con el SFT estándar debido a la necesidad de construir anclas y pasadas forward adicionales para la destilación. Sin embargo, señalan que esto es sustancialmente menor que el costo del RL en política.