Alignment Dynamics in LLM Fine-Tuning

Resumen Técnico: Dinámicas de Alineación en el Ajuste Fino de Modelos de Lenguaje Grandes

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) logran la alineación con los valores humanos mediante el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). Sin embargo, esta alineación suele ser frágil; los modelos pueden perder rápidamente las barreras de seguridad o revertir a comportamientos preentrenados cuando se someten a un ajuste fino posterior, incluso con datos benignos. Las explicaciones existentes para esta fragilidad se dividen en dos categorías: análisis basados en gradientes (centrados en la geometría en el espacio de parámetros) y estudios basados en distribuciones (centrados en los cambios en las distribuciones de salida). Persiste una brecha crítica en la provisión de un marco teórico unificado que conecte las dinámicas de aprendizaje en el espacio de parámetros con el comportamiento de alineación en el espacio de funciones, explicando específicamente cómo la alineación evoluciona, se degrada y se recupera durante el ajuste fino.

Metodología
Los autores introducen una puntuación de alineación $S(\theta)$ tratable, definida como la probabilidad esperada de generar una finalización alineada dada una distribución de prompts. Derivan una expresión de forma cerrada para la evolución de esta puntuación durante el ajuste fino.

1. Marco Teórico:

   • Descomposición a Nivel de Token: El cambio en la puntuación de alineación ($\Delta S$) se descompone en contribuciones de actualizaciones de tokens individuales. Esta descomposición revela que la contribución de una actualización de token está "controlada" por la probabilidad del prefijo y el "potencial de alineación futura" (la probabilidad de que la finalización termine siendo alineada).
   • Geometría en el Espacio de Logits: Al conectar estas dinámicas a nivel de token con perturbaciones de logits mediante el Kernel Tangente Neuronal empírico (eNTK) y la suposición del Kernel Relativamente Estable (RSK), los autores derivan una fórmula unificada para las dinámicas de alineación.
   • Descomposición de Fuerzas: Se demuestra que la evolución de la puntuación de alineación está gobernada por dos fuerzas competitivas:
     • Fuerza de Rebote ($F_{rebound}$): Un término intrínseco de auto-interacción que representa la "inercia distribucional". Está modulada por el estado actual de alineación y la estrechez (pureza) de la distribución posterior del modelo.
     • Fuerza Impulsora ($F_{drive}$): Un término externo determinado por cómo la distribución de entrenamiento se alinea con las posteriores condicionadas al resultado sobre finalizaciones alineadas ($\tilde{\pi}^+$) y no alineadas ($\tilde{\pi}^-$).

2. Validación Experimental:

   • Los autores emplean un paradigma de SFT multietapa (Adelante $\to$ Atrás $\to$ Reexposición) en tres dominios: alineación de seguridad (BeaverTails, HEx-PHI), desalineación emergente y análisis de sentimientos (IMDb).
   • Utilizan modelos base (Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base) para aislar las dinámicas de alineación del ajuste previo de instrucciones.
   • Experimentos controlados varían la estrechez de la distribución de ajuste fino (desde plantillas fijas hasta respuestas con diversidad de estilo) para probar las predicciones teóricas sobre la Fuerza de Rebote.

Contribuciones y Resultados Clave

1. Marco Dinámico Unificado: El artículo proporciona una derivación matemática que demuestra que las dinámicas de alineación son una competencia entre la resistencia interna (Fuerza de Rebote) y las señales de aprendizaje externas (Fuerza Impulsora). Esto explica por qué la alineación puede revertirse mediante un ajuste fino posterior y por qué la estructura de la distribución posterior importa.
2. Inestabilidad Bidireccional y Estrechez de la Distribución:
   • El marco predice que tanto los estados fuertemente alineados como los fuertemente desalineados son "inestables" y propensos a la reversión.
   • Resultado: Los experimentos confirman que las distribuciones posteriores más estrechas (inducidas por datos de ajuste fino de baja diversidad) amplifican la Fuerza de Rebote. Los modelos entrenados en conjuntos de datos estrechos exhiben una degradación más rápida de la alineación de seguridad cuando se exponen a un ajuste fino inverso en comparación con aquellos entrenados en conjuntos de datos diversos.
3. El Efecto de Primado de Ensayo:
   • Predicción: La alineación previa deja una "huella posterior" latente (residuo estructural en $\tilde{\pi}^+$ y $\tilde{\pi}^-$) que persiste incluso después de que la puntuación de alineación observada sea suprimida. Al reexponerse a la distribución original de alineación, este residuo amplifica la Fuerza Impulsora efectiva, lo que conduce a una rea-lineación más rápida.
   • Resultado: Los experimentos controlados demuestran que los modelos que experimentaron un ajuste fino inicial más profundo (Etapa 1) se rea-linean significativamente más rápido durante la Etapa 3 (Reexposición) en comparación con aquellos con entrenamiento inicial más superficial, incluso cuando comienzan desde la misma puntuación base de alineación. Este efecto se mantiene en tareas de seguridad, desalineación y sentimientos.
4. Fragilidad de la Desalineación Emergente: El estudio destaca que los modelos que exhiben desalineación emergente (comportamientos desalineados amplificados inducidos por un ajuste fino estrecho) pueden tener estos comportamientos reactivados rápidamente con solo unos pocos pasos de ajuste fino malicioso, subrayando la fragilidad inherente de la alineación posterior.

Significado y Afirmaciones
Los autores afirman que este trabajo ofrece una perspectiva dinámica unificada sobre cómo se interrumpe y reactiva la alineación durante el ajuste fino de LLM. Al ir más allá de los cambios distribucionales estáticos o los análisis de gradientes puramente geométricos, el marco propuesto conecta las dinámicas de optimización a nivel de token con el comportamiento global de alineación.

El significado del trabajo radica en:

• Proporcionar una caracterización rigurosa y cuantitativa de la evolución de la alineación.
• Explicar el mecanismo detrás del "Efecto de Rebote" e identificar la estrechez de la distribución como un modulador clave de la estabilidad de la alineación.
• Descubrir y validar el Efecto de Primado de Ensayo, sugiriendo que la robustez de la alineación no está determinada únicamente por la señal de entrenamiento, sino también por la estructura posterior latente inducida por el entrenamiento previo.
• Ofrecer una base principista para analizar y potencialmente mejorar la robustez de la alineación post-entrenamiento, reconociendo al mismo tiempo que estos conocimientos también podrían informar ataques adversarios contra la alineación.

El artículo concluye que la alineación está gobernada por la interacción entre la señal de entrenamiento y la estructura posterior inducida, un hallazgo que desafía la visión de la alineación como una propiedad estática y la reencuadra como un proceso dinámico susceptible a vulnerabilidades estructurales específicas.