Resumen Técnico: Ajuste Fino Supervisado que Preserva la Rotación (RPSFT)

1. Enunciado del Problema

El Ajuste Fino Supervisado (SFT) es una etapa estándar de post-entrenamiento para Modelos de Lenguaje Grandes (LLM) utilizada para adaptar los modelos a tareas específicas. Sin embargo, trabajos previos indican que el SFT puede degradar la generalización fuera de dominio (OOD), un fenómeno a menudo atribuido al "olvido catastrófico". Estudios recientes sugieren que esta degradación está vinculada a una deriva geométrica en las matrices de pesos preentrenados, específicamente a la rotación excesiva de los subespacios singulares dominantes. Estas direcciones dominantes están asociadas con estructuras de alta varianza y alta curvatura que codifican capacidades de propósito general.

Identificar y preservar directamente las direcciones sensibles a la pérdida utilizando información de Hessian o Fisher es computacionalmente prohibitivo a la escala de los LLM modernos. En consecuencia, existe la necesidad de un método de regularización eficiente que limite la deriva geométrica innecesaria durante el SFT mientras retiene la capacidad de adaptarse a la tarea objetivo, mejorando así el equilibrio entre el rendimiento dentro de dominio (ID) y la retención OOD.

2. Metodología: Ajuste Fino Supervisado que Preserva la Rotación (RPSFT)

Los autores proponen el Ajuste Fino Supervisado que Preserva la Rotación (RPSFT), una técnica de regularización que ancla los subespacios singulares dominantes de las matrices de pesos preentrenados.

Mecanismo Central

RPSFT opera bajo la hipótesis de que los $k$ vectores singulares superiores de las matrices de pesos preentrenados se superponen significativamente con las direcciones sensibles a Fisher (direcciones donde las actualizaciones causan grandes aumentos en la pérdida OOD). En lugar de congelar parámetros o proyectar gradientes (lo cual puede ser rígido o costoso), RPSFT añade un término de penalización a la función de pérdida estándar de SFT.

Para una matriz de pesos seleccionada $W$ con inicialización preentrenada $W_0$, el método precalcula las bases de los vectores singulares izquierdos y derechos superiores, $U^{(k)}_0$ y $V^{(k)}_0$, mediante Descomposición en Valores Singulares (SVD). El término de regularización penaliza el cambio en el bloque proyectado de la matriz de pesos dentro de esta base:

$$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$$

Donde:

• $\mathcal{L}_{SFT}$ es la pérdida estándar de verosimilitud negativa.
• $\lambda$ es la fuerza de regularización.
• El término $\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$ mide la deriva de la matriz de pesos dentro del subespacio singular superior-$k$.
• $\mathcal{M}$ es el conjunto de capas seleccionadas (típicamente todas las capas en el ajuste fino de parámetros completos).

Justificación del Diseño

• Protección Parcial: A diferencia del anclaje de rango completo (equivalente a la regularización $L_2$ alrededor de los pesos iniciales), RPSFT solo ancla el bloque superior-$k$. Las direcciones complementarias permanecen libres para adaptarse, permitiendo el aprendizaje específico de la tarea.
• Eficiencia Computacional: El método requiere precalcular y almacenar en caché las bases singulares ($O((m+n)k + k^2)$ de memoria por capa) y calcular el bloque proyectado durante el entrenamiento ($O(mnk)$ FLOPs por evaluación). Los autores señalan que esto añade una sobrecarga mínima en comparación con el SFT estándar, especialmente cuando la proyección se calcula cada $s$ pasos.
• Justificación Teórica: Los autores analizan la expansión de segundo orden local de la pérdida. Argumentan que, mientras el término de primer orden impulsa la adaptación, el término de segundo orden (curvatura) impulsa el olvido. Dado que la información de Fisher (un proxy para la curvatura) es costosa de calcular, demuestran empíricamente que los bloques singulares superiores de los pesos preentrenados capturan una parte significativa (aprox. 20%) de la energía del gradiente proyectado en Fisher, convirtiéndolos en un proxy estructural válido y de bajo costo para las direcciones sensibles a la pérdida.

3. Configuración Experimental

Los autores evaluaron RPSFT en tres familias y escalas de modelos: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct y Qwen2.5-3B-Instruct.

• Datos de Entrenamiento: El ajuste fino supervisado se realizó sobre OpenR1-Math (datos de razonamiento matemático).
• Líneas Base: Las comparaciones se realizaron contra SFT estándar de parámetros completos, Ajuste Fino Dinámico (DFT), SFT ponderado por importancia (IW) y anclaje de inicialización $L_2$.
• Evaluación:
  • Dentro de Dominio (ID): Puntos de referencia matemáticos (AIME, AMC, MATH-500, etc.).
  • Fuera de Dominio (OOD): Puntos de referencia de razonamiento general, seguridad y conocimiento (GPQA, MMLU-Pro, TruthfulQA, etc.).
  • RL Descendente: Los puntos de control de SFT sirvieron como inicializaciones para el Ajuste Fino con Aprendizaje por Refuerzo (RLFT) utilizando DAPO (una variante de GRPO).

4. Resultados Clave

Equilibrio Dentro de Dominio y Fuera de Dominio

• RPSFT mejora consistentemente el equilibrio ID/OOD. En todos los tamaños de modelo, RPSFT logró el mejor rendimiento ID (Avg@k y Pass@k) o uno competitivo, mientras reducía significativamente el olvido OOD en comparación con el SFT estándar.
• Comparación con Líneas Base: Aunque DFT e IW mostraron cierta retención OOD, a menudo sufrieron de subajuste en la tarea ID. RPSFT mantuvo una fuerte adaptación ID mientras preservaba mejor las capacidades OOD que el SFT estándar. Por ejemplo, en Llama-8B, RPSFT mejoró el Avg@k OOD en +1.83% sobre el modelo base, mientras que el SFT estándar lo mejoró en +1.73% pero con menos robustez en otras métricas.
• Sensibilidad al Rango: Los experimentos que variaron el rango protegido $k$ mostraron que los rangos intermedios (por ejemplo, $k=768$) ofrecen el mejor equilibrio. Rangos excesivamente grandes (acercándose al anclaje de rango completo) obstaculizaron la adaptación a la tarea, mientras que $k=0$ revertió al SFT estándar.

Rendimiento en RL Descendente

• Inicializaciones Más Fuertes: Los puntos de control de RPSFT sirvieron como inicializaciones superiores para el RLFT descendente. Los modelos inicializados con RPSFT lograron un rendimiento final de RL más alto tanto en puntos de referencia ID como OOD en comparación con aquellos inicializados con SFT estándar u otras líneas base.
• Preservación de Capacidades: Las mejoras en la retención OOD en la etapa de SFT no se diluyeron en la etapa subsiguiente de RL; por el contrario, se trasladaron, lo que llevó a puntuaciones finales consistentemente más altas.

Análisis Geométrico y de Representación

• Rotación Reducida: El análisis de la deriva en el espacio de pesos mostró que RPSFT redujo significativamente la rotación de los subespacios singulares izquierdos dominantes en comparación con el SFT estándar, DFT e IW.
• Estabilidad del Estado Oculto: RPSFT preservó mejor la geometría de las representaciones ocultas. Los centroides de los estados ocultos para los modelos ajustados con RPSFT permanecieron más cerca de los centroides del modelo base en diversos puntos de referencia, mientras que el SFT estándar y DFT exhibieron derivas mayores. Esto sugiere que restringir la rotación en el espacio de pesos se traduce directamente en la preservación del espacio de representación interno del modelo.

5. Significado y Afirmaciones

El artículo afirma que RPSFT proporciona un regularizador simple y computacionalmente eficiente que mitiga eficazmente el olvido de capacidades de propósito general durante el ajuste fino supervisado.

• Mecanismo: El trabajo proporciona evidencia empírica y teórica de que preservar los subespacios singulares preentrenados dominantes reduce la rotación geométrica, protege las representaciones del estado oculto y mejora el equilibrio entre olvido y adaptación.
• Practicidad: A diferencia de los métodos que requieren estimación de Hessiano o proyecciones de gradiente complejas, RPSFT se integra directamente en las tuberías estándar de SFT de parámetros completos sin requerir datos adicionales ni límites de tarea.
• Generalidad: El método demuestra mejoras consistentes en diferentes arquitecturas de modelos (Llama y Qwen) y escalas (de 3B a 8B parámetros).

Los autores concluyen que controlar la deriva en los subespacios singulares preentrenados es una estrategia práctica y efectiva para mantener la generalización OOD mientras se habilita una adaptación rápida a tareas, ofreciendo una base más sólida para las etapas subsiguientes de aprendizaje por refuerzo.

6. Limitaciones

Los autores reconocen que RPSFT aplica actualmente una regla de rango protegido uniforme en todas las matrices de pesos. Sugieren que trabajos futuros podrían investigar la regularización selectiva por capas (por ejemplo, enfocándose en las primeras capas de atención automática) para reducir aún más la sobrecarga. Además, los experimentos actuales se centran en conjuntos de datos de entrenamiento matemático y modelos en el rango de 3B–8B; extender esto a datos no matemáticos y escalas de modelos más grandes se identifica como una dirección para futuras investigaciones.