Resumen Técnico: Una Auditoría de Rango Efectivo de Desplazamientos de Activación Inducidos por Alineación

Enunciado del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) ajustados por instrucciones exhiben una vulnerabilidad estructural en la que los comportamientos de seguridad (específicamente, los rechazos a solicitudes dañinas) están mediados por un subespacio de baja dimensión dentro de las activaciones del flujo residual. Basándose en la observación empírica de Arditi et al. (2024) de que una sola dirección puede mediar el rechazo, este trabajo formaliza las consecuencias estructurales de este fenómeno. El problema central es cuantificar la "separabilidad" de los desplazamientos de alineación —específicamente, qué tan concentrada está la modificación entre las activaciones preentrenadas y alineadas en entradas relevantes para la seguridad— y determinar si esta estructura de bajo rango implica fragilidad conductual o susceptibilidad a una alineación engañosa (falsificación).

El artículo aborda tres brechas específicas:

1. Control de Confusores: Las mediciones anteriores a menudo confunden los desplazamientos de alineación con artefactos de formato de plantillas de chat.
2. Calibración: No está claro si aumentar el rango efectivo del desplazamiento de alineación (mediante regularización) mejora estructuralmente la robustez o simplemente infla una métrica.
3. Límites de los Diagnósticos: Se desconoce si el bajo rango es una firma específica de seguridad o una propiedad genérica del post-entrenamiento, y si existe una cota inferior correspondiente para el "costo de la falsificación" (es decir, si un alto rango garantiza resistencia a la conmutación de modos).

Metodología

El Índice de Separabilidad ($\rho_\epsilon$)

El artículo define la matriz de modificación de alineación $M_D$ en una capa dada como la colección de diferencias de activación entre modelos alineados y preentrenados en una distribución relevante para la seguridad $D_s$:
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
El índice de separabilidad es el rango efectivo de esta matriz, normalizado por la dimensión de la representación $d$:
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
donde $\text{rank}_\epsilon$ es el número de valores singulares necesarios para capturar $(1-\epsilon)$ de la varianza total (con $\epsilon=0.05$).

Descomposición de Cuatro Variantes

Para aislar la señal real de alineación de los confusores, los autores descomponen la matriz de modificación en cuatro variantes:

1. $M_{naive}$: Diferencia ingenua ($h_{align}(x_{chat}) - h_{pre}(x_{raw})$), susceptible a confusores de plantilla.
2. $M_{template}$: Controla el formato de la plantilla de chat aplicando la plantilla a ambos puntos de control.
3. $M_{aligned}$: Mide el desplazamiento dentro del propio modelo alineado.
4. $M_{DiD}$ (Diferencia en Diferencias): Resta la media de la columna de control de $M_{template}$ para recuperar la dirección de rechazo intra-alineada.

Pruebas Diagnósticas

El artículo emplea tres pruebas para evaluar la alineación:

• Prueba 1 (Rango): Calcula $\rho_\epsilon$ en $M_{template}$.
• Prueba 2 (Ablación Causal): Proyecta fuera los $k$ componentes principales superiores de $M_{template}$ y mide el cambio en las tasas de rechazo en comparación con un nulo aleatorio de rango $k$.
• Prueba 3 (Alineación Principal): Mide la similitud del coseno entre el vector singular principal $u_1$ y la dirección media de desplazamiento $\bar{\Delta}$.

Calibración y Verificación

• Calibración MLP: Se entrena una MLP de 3 capas con diferentes intensidades de regularización ($\lambda$) para manipular $\rho_\epsilon$ mientras se observa la compensación entre la inflación del rango y la robustez de la ablación.
• Auditoría LLM: El diagnóstico se aplica a tres modelos de pesos abiertos: Llama-3.1-8B-Instruct, Gemma-2-9B-it y Qwen-2.5-7B-Instruct.
• Cotas Teóricas: El artículo investiga la "ruta Mirsky" para derivar una cota inferior sobre la huella representacional de una política engañosa (falsificación), poniendo a prueba la hipótesis del hueco espectral requerida para dicha cota.

Resultados Clave

1. Medición con Control de Confusores

• Concentración del Rango: En entradas relevantes para la seguridad, el desplazamiento de alineación está altamente concentrado. Para Llama, Gemma y Qwen, el rango efectivo centrado es de $\sim 12$–$18$ de un total de $d \in \{3584, 4096\}$, lo que da como resultado $\rho_\epsilon \in \{0.0029, 0.0048, 0.0044\}$.
• Confusor de Plantilla: El rango no centrado está dominado por una única dirección media (el desplazamiento de la plantilla de chat). Restar la media (centrado) aumenta el rango residual en 4–7$\times$, confirmando que el rango principal está impulsado por el formato y no por una lógica de seguridad compleja.
• Recuperación de la Dirección de Rechazo: En la $M_{DiD}$ centrada, el vector singular principal se alinea con la dirección de rechazo de Arditi con alta similitud del coseno ($| \cos | \in \{0.77, 0.86, 0.50\}$ para Llama/Gemma/Qwen). Esto confirma que el "colapso de rango-1" se mantiene para Llama y Gemma, pero es menos dominante en Qwen.

2. Calibración Constructiva: Punto Óptimo vs. Frágil

• Inflación del Rango $\neq$ Robustez: En la calibración MLP, aumentar $\rho_\epsilon$ mediante una regularización leve ($\lambda=5$) resultó en una alta robustez de ablación (cumplimiento $\ge 0.97$ incluso después de proyectar el 62.5% de la representación). Sin embargo, una regularización fuerte ($\lambda=50$) con el mismo $\rho_\epsilon$ nominal resultó en una fragilidad extrema (el cumplimiento cayó a 0.10).
• Valor Diagnóstico: $\rho_\epsilon$ sirve como un diagnóstico de fragilidad, pero no es un objetivo cuya inflación mecánica garantice robustez. La consecuencia estructural de un bajo $\rho_\epsilon$ es la fragilidad por proyección lineal (Prop. 3.1) y un límite de alcanzabilidad de $O(\rho_\epsilon d)$ para la falsificación (Prop. 3.5).

3. Límites de los Diagnósticos Basados en Rango

• No Específico de Seguridad: Una línea base que utiliza conceptos lineales arbitrarios (LRH) produce un $\rho_\epsilon \approx 0.008$–$0.010$, solo 2–3$\times$ el valor de seguridad. El bajo rango es una propiedad genérica de los desplazamientos de post-entrenamiento; el vínculo con el comportamiento de seguridad se establece únicamente mediante ablación causal (Prueba 2).
• SVD vs. Ordenamiento Causal: El ordenamiento de los valores singulares por varianza no garantiza un ordenamiento causal. En Llama, el segundo vector singular ($u_2$) tiene un efecto causal casi nulo en el rechazo a pesar de ocupar el segundo lugar por varianza. La ablación acumulativa no es monótona (por ejemplo, el rechazo aumenta en $k=5$ antes de caer), lo que indica que el espectro SVD por sí solo no puede predecir la fragilidad conductual.
• Fallo de la Hipótesis del Hueco Espectral: El artículo intenta probar una cota inferior correspondiente ($\Omega(\rho_\epsilon d)$) para el costo de la falsificación utilizando un argumento al estilo Mirsky que requiere un hueco espectral ($\kappa > 8$). Empíricamente, este hueco falla ($\kappa_{emp} < 8$) en 89/90 pares de referencia de capa para Llama y en 0/36 en la MLP. Estructuralmente, el Lema 8.1 demuestra que para cualquier $\epsilon r > 1/4$, la condición de hueco no puede cumplirse, lo que hace que la ruta Mirsky sea insuficiente para una cota inferior general.

Significado y Afirmaciones

El artículo afirma proporcionar una cuantificación formal y continua de las propiedades estructurales de la alineación, yendo más allá de la observación binaria de "rango-1" de trabajos anteriores.

1. Formalización de la Fragilidad: Establece que un bajo rango efectivo ($\rho_\epsilon \ll 1$) implica incondicionalmente vulnerabilidad a ataques de proyección lineal (Prop. 3.1) y permite una falsificación representacional de bajo costo (Prop. 3.5).
2. Rigor Metodológico: Introduce una descomposición de cuatro variantes para separar rigurosamente los artefactos de plantillas de chat de los desplazamientos de alineación genuinos, un paso necesario para una auditoría precisa.
3. Diagnóstico vs. Optimización: El artículo argumenta que $\rho_\epsilon$ es una herramienta diagnóstica para identificar fragilidad, no un objetivo de optimización. La inflación mecánica del rango no compra robustez estructural.
4. Problemas Abiertos: El artículo identifica explícitamente la cota inferior correspondiente para la falsificación como un problema abierto. Si bien demuestra la alcanzabilidad de la falsificación de bajo costo (cota superior), demuestra que el enfoque natural del hueco espectral para probar una cota inferior (que un alto rango fuerce un alto costo) falla tanto empíricamente como estructuralmente.

Los autores enfatizan que su trabajo se limita a ataques de flujo residual (proyección, dirección) y no afirma abordar la presión adversaria arbitraria sobre el mecanismo interno, el ajuste fino LoRA o los escapes de prompt. El diagnóstico es computable por un verificador estrictamente más débil que el sistema que se audita, siempre que el verificador tenga acceso de caja blanca a los pares de puntos de control y a una distribución de seguridad fija.