Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

Resumen Técnico: SKIN-DEEP: Un Diagnóstico Geométrico para la Fragilidad del Alineamiento

Planteamiento del Problema
El ajuste de alineamiento en los Modelos de Lenguaje Extensos (LLMs) está diseñado para garantizar un rechazo robusto de solicitudes perjudiciales. Sin embargo, este comportamiento de seguridad suele ser frágil: un modelo que supera las pruebas de rechazo al momento de su lanzamiento puede perder sus capacidades de rechazo tras someterse a intervenciones de bajo costo en etapas posteriores, como el ajuste fino (fine-tuning) sobre ejemplos de apariencia benigna o el entrenamiento de adaptadores de bajo rango (LoRA). Si bien trabajos previos han demostrado que tales intervenciones pueden eludir la seguridad, los estudios existentes generalmente solo detectan esta fragilidad después de que se ha ejecutado un ataque o una intervención de ajuste fino. Actualmente, no existe un método para detectar esta fragilidad directamente desde las representaciones internas de un modelo alineado antes de que ocurran dichas intervenciones.

Metodología: SKIN-DEEP
Los autores presentan SKIN-DEEP, un marco de diagnóstico geométrico que mide la fragilidad del alineamiento utilizando las activaciones de los estados ocultos de un modelo alineado antes de cualquier intervención. El método opera a través de los siguientes pasos:

1. Búsqueda de Subespacios: El marco compara las activaciones del flujo residual de un modelo alineado ($M$) contra su contraparte base ($M_0$) utilizando conjuntos emparejados de prompts de solicitudes perjudiciales e instrucciones benignas. Mediante el uso de PCA contrastivo (cPCA), identifica direcciones candidatas ($v_\ell$) en cada capa $\ell$ que separan mejor las solicitudes perjudiciales de las instrucciones benignas.
2. Validación: Para asegurar que estas direcciones representan una geometría de seguridad genuina y no artefactos (por ejemplo, la magnitud de la activación o plantillas de prompts), los autores emplean:
   • $d$ de Cohen: Para medir la magnitud de la separación a lo largo de la dirección candidata.
   • Pruebas de espacio completo: Utilizando PERMANOVA y MMD con kernel RBF para verificar que la división existe en el espacio de activación completo, no solo en la proyección 1D.
   • Controles de norma: Verificando que los resultados se mantienen en activaciones normalizadas a la unidad.
   • Comparación de Dirección de Arditi: Midiendo la similitud de coseno con la conocida "dirección de Arditi" (la diferencia entre las medias de las activaciones perjudiciales e inocuas) para asegurar que la geometría recuperada es distinta o está relacionada con los ejes de rechazo conocidos.
3. Verificación Causal (Ablación de Dirección): El marco prueba la relevancia conductual de estas direcciones eliminando (ablando/ablando) la dirección candidata durante la generación. Si la tasa de rechazo del modelo disminuye significativamente en comparación con los controles de dirección aleatorios o de referencia, la geometría está vinculada causalmente al comportamiento de rechazo.
4. Puntuación de Fragilidad Geométrica (GFS): Las mediciones por capa se comprimen en una métrica escalar única, la Puntuación de Fragilidad Geométrica (GFS). La fórmula agrega la fuerza de separación ponderada ($|d_\ell|$), enfatizando las capas posteriores ($w_\ell \propto \ell/L$), y penalizando las direcciones que se alinean demasiado cerca del eje de rechazo canónico de Arditi:
   $$GFS(M) = \sum_{\ell=1}^{L} w_\ell \cdot |d_\ell| \cdot (1 - |\cos(v_\ell, v^{Arditi}_\ell)|)$$
   Un GFS alto indica una geometría de seguridad fuerte y de aparición tardía que no se concentra únicamente en el eje de rechazo canónico.

Contribuciones Clave y Resultados
El artículo evalúa SKIN-DEEP en un grupo de 21 modelos ajustados por instrucciones (de 3B a 32B de parámetros) a través de seis recetas de alineamiento (SFT, RLHF+SFT, DPO, ORPO, RLAIF, C-RLFT). Los resultados respaldan cuatro afirmaciones principales:

• Existencia de un Subespacio de Seguridad de Bajo Rango: Las solicitudes perjudiciales y las instrucciones benignas se separan a lo largo de un pequeño conjunto de direcciones en los estados ocultos. Esta separación persiste en el espacio de activación completo y es robusta ante el formato de los prompts (plantillas de chat) y las variaciones de la norma de activación.
• Vínculo Causal con el Rechazo: Eliminar direcciones específicas identificadas por la búsqueda cPCA debilita el rechazo de solicitudes perjudiciales en modelos donde la disminución es medible. Esto confirma que la geometría recuperada subyace al comportamiento de rechazo, no solo a la clasificación de prompts. La dirección específica que "cambia el rechazo" varía según el modelo, lo que sugiere un subespacio de bajo rango compartido que contiene vectores específicos del modelo en lugar de un único vector de rechazo universal.
• Recurrencia entre Familias: Diferentes familias de modelos (por ejemplo, Llama, Qwen, Mistral, Gemma) preservan relaciones de activación de prompt-a-prompt similares dentro de este subespacio de seguridad, aunque la capa donde la separación es más fuerte varía según el modelo.
• Utilidad Diagnóstica (GFS): El GFS predice con éxito qué modelos inicialmente seguros retendrán la mayor parte del rechazo tras un ajuste fino de LoRA a pequeña escala. En los experimentos, Gemma-2-9B recibió el GFS más bajo y fue el único modelo que retuvo un rechazo sustancial tras actualizaciones agresivas de LoRA benignas, mientras que otros modelos (Lpias, Qwen, Mistral) perdieron rápidamente sus capacidades de rechazo. Los autores atribuyen la resiliencia de Gemma a que sus direcciones de seguridad permanecen más cerca del eje de rechazo canónico de Arditi, el cual el GFS penaliza, señalando correctamente a Gemma como menos "frágil" en el contexto de perturbaciones de bajo rango.

Significancia y Reivindicaciones
El artículo establece el GFS como un diagnóstico práctico previo al despliegue. Su principal significancia radica en la capacidad de señalar la fragilidad del alineamiento sin necesidad de ejecutar un ataque o una intervención de ajuste fino. Al inspeccionar la firma geométrica del rechazo en el flujo residual, los desarrolladores pueden identificar modelos que dependen de mecanismos de seguridad frágiles antes de su lanzamiento.

Los autores posicionan este trabajo como una herramienta para la utilidad defensiva:

• Ayuda a señalar checkpoints sub-alineados.
• Ayuda a priorizar el ajuste fino de seguridad o las sondas de interpretabilidad.
• Asiste en la clasificación de presupuestos de red-teaming.

El artículo señala explícitamente las limitaciones, incluyendo el alcance de los tamaños de los modelos (hasta 32B), el uso exclusivo de prompts en inglés y el hecho de que el ranking del GFS para las recetas de alineamiento (por ejemplo, que los modelos DPO parecen más robustos) es una hipótesis que requiere mayor validación en poblaciones más grandes. Los autores también enfatizan un riesgo de doble uso: aunque el flujo de diagnóstico se publica, se retienen artefactos específicos listos para el ataque (como los ganchos de ablación por capa y los pesos del adaptador) para evitar la explotación inmediata, aunque reconocen que adversarios decididos podrían reconstruir flujos similares utilizando datos públicos.