A Gravitational Interpretation of Fine-Tuning Reversion

Resumen Técnico: Una Interpretación Gravitacional de la Reversión por Ajuste Fino

Planteamiento del Problema
El artículo aborda el fenómeno en el que el ajuste fino (fine-tuning) de grandes modelos de lenguaje (LLM) con datos benignos e inocuos puede deshacer parcialmente los comportamientos de seguridad adquiridos durante fases de entrenamiento anteriores. Esta "erosión de la seguridad" se manifiesta como la reemergencia de capacidades dañinas, la transferencia de rasgos latentes a través de supervisión no relacionada y la fragilidad en entornos generativos más allá del estándar de seguridad texto-a-texto. Mientras que la literatura existente establece que el alineamiento de seguridad ocupa un subespacio de bajo rango y superficial, y que los modelos permanecen seguros solo dentro de cuencas locales limitadas, existe una falta de explicación mecánica unificada sobre por qué los ajustes finos benignos posteriores producen tan frecuentemente estos efectos de revisión en diferentes configuraciones. Los autores argumentan en contra de la visión de que estos son simplemente comportamientos recién adquiridos que entran en conflicto con otros antiguos, proponiendo en su lugar que representan un retorno a regiones de comportamiento anteriores y dominantes.

Metodología
Los autores proponen una "interpretación gravitacional" de la reversión por ajuste fino, fundamentada en la asimetría geométrica de la historia de entrenamiento. Nota: La terminología "gravitacional" es una metáfora geométrica y de optimización que describe un sesgo inducido por la historia del entrenamiento, y no una ley dinámica física literal. La hipótesis central es que las fases de entrenamiento iniciales extensas (preentrenamiento, ajuste fino de utilidad general) crean variedades (manifolds) de comportamiento dominantes, mientras que las fases posteriores de alineamiento o especialización actúan como desplazamientos superficiales de estas variedades. Se hipotetiza que el ajuste fino benigno subsiguiente hereda un "componente de reversión" persistente que apunta de regreso hacia la región dominante anterior.

Para operacionalizar esto, el artículo define objetos específicos en el espacio de activación:

1. Dirección de Reversión Definida por Testigo ($v_{rev}$): En lugar de observar la variedad latente directamente, los autores construyen "testigos de utilidad exclusiva" ($\theta_H$). Estos son puntos de control derivados del modelo base mediante etapas cortas de ajuste fino de utilidad exclusiva. El vector $v_{rev}$ se define como el desplazamiento en el espacio de activación desde el modelo de partida alineado por seguridad ($\theta_S$) hacia un testigo de utilidad ($\theta_H$).
2. Descomposición de la Trayectoria: Los autores hipotetizan que el gradiente de un objetivo benigno se descompone en un componente de tarea ($g_{task}$) y un componente de reversión ($g_{rev}$) alineado con $v_{rev}$.
3. Configuración Experimental:
   • Modelos: Los experimentos principales utilizan Llama-3.1-8B; las ejecuciones de apoyo utilizan Llama-3.2-3B y Qwen2.5-3B.
   • Sondas: Un conjunto fijo de 16 prompts de AdvBench sirve como la familia de sondas para medir los desplazamientos en el espacio de activación.
   • Ajuste Fino: El ajuste fino benigno se realiza sobre Alpaca (instrucciones), HumanEvalPack (código) y GSM8K (matemáticas) utilizando tanto LoRA como ajuste fino completo (full fine-tuning).
   • Intervención: Los autores introducen una pérdida auxiliar durante el ajuste fino benigno para bloquear o amplificar selectivamente el movimiento a lo largo de $v_{rev}$, probando la relevancia causal de esta dirección.

Cómo lo Evaluaron

1. Emergencia Direccional: En la configuración principal de 8B, el alineamiento entre la trayectoria de ajuste fino y $v_{rev}$ aumenta rápidamente. La similitud de coseno aumenta de $0.429 \pm 0.052$ tras la primera actualización a $0.647 \pm 0.021$ en el paso 20. Este alineamiento es estadísticamente significativo, superando el $p_{99}$ de un nulo isotrópico en el espacio de activación en cada par de pasos de ejecución observados.
2. Estabilidad y Convergencia: La dirección $v_{rev}$ es estable a través de diferentes construcciones de testigos de utilidad exclusiva (LoRA y ajuste fino completo con múltiples semillas). Además, distintas tareas benignas (por ejemplo, código frente a matemáticas) que inducen actualizaciones de pesos casi ortogonales convergen en desplazos altamente alineados en el espacio de activación a lo largo del eje $v_{rev}$ (media de similitud de coseno de par $\approx 0.82$).
3. Acoplamiento de Comportamiento: En las ejecuciones de línea base, el crecimiento del alineamiento con $v_{rev}$ coevoluciona con la deriva de peligrosidad. El alineamiento geométrico predice la degradación posterior con una correlación de Spearman de $r = 0.877$. Por ejemplo, el ajuste fino completo sobre Alpaca conduce a una tasa de peligrosidad del $19.0\% \pm 4.0\%$ en el paso 100, mientras que las actualizaciones de LoRA muestran varianza dependiente de la tarea.
4. Intervención Causal: Bloquear selectivamente el movimiento a lo largo de $v_{rev}$ durante el ajuste fino benigno altera significativamente los resultados. En la configuración de 8B, bloquear $v_{rev}$ reduce la peligrosidad del $19.0\% \pm 4.0\%$ (línea base) al $8.5\% \pm 1.5\%$ en el paso 100, manteniendo la estabilidad del rendimiento de la tarea (la perplejidad permanece estable). Por el contrario, presionar a lo largo de $v_{rev}$ aumenta la peligrosidad al $59.0\%$. Los controles de dirección aleatoria no reproducen este efecto, confirmando la especificidad de $v_{rev}$.
5. Generalización: La dirección de reversión persiste incluso cuando el punto de partida es desplazado por una especialización no relacionada con la seguridad (por ejemplo, modelos especializados en código), lo que sugiere que el fenómeno es impulsado por la asimetría de la historia de entrenamiento en lugar de ser único del alineamiento de seguridad.

Significado y Reivindicaciones
El artículo afirma proporcionar una lente mecánica unificada para comprender la fragilidad post-alineamiento. Sus contribuciones primordiales son:

• Reencuadre: Postula que la degradación de la seguridad no es meramente un modo de fallo estrecho, sino un caso de un fenómeno de reversión más amplio y dependiente de la historia, donde la optimización naturalmente sigue un camino de regreso hacia regiones de comportamiento anteriores y dominantes.
• Identificación de un Mediador Causal: Identifica una dirección concreta, definida por la historia ($v_{rev}$), que el ajuste fino subsiguiente sigue naturalmente. Crucialmente, el artículo demuestra que manipular esta dirección cambia causalmente los resultados de seguridad posteriores.
• Validez Operacional: Los autores declaran explícitamente que no pretenden observar la variedad dominante directamente, ni aseguran que $v_{rev}$ sea la única dirección de seguridad. Más bien, identifican una dirección robusta, definida por un testigo, que explica y controla parcialmente la dinámica de reversión temprana.

El artículo concluye que el sesgo "gravitacional" (entendido como metáfora geométrica) inducido por historias de entrenamiento desiguales (fases iniciales grandes frente a fases posteriores superficiales) es una consecuencia estructural que debe abordarse en las estrategias de alineamiento, ya que las correcciones superficiales simples pueden ser insuficientes para contrarrestar el componente de reversión persistente.