Resumen Técnico: Ataques en el Espacio Latente para la Evasión de la Denegación en Modelos de Lenguaje

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) alineados con la seguridad están entrenados para rechazar solicitudes dañinas. Sin embargo, la literatura reciente demuestra que este comportamiento de rechazo puede ser suprimido mediante la dirección de las representaciones internas del modelo. Los métodos existentes, como los de Arditi et al. [5], logran esto "ablacionando" una dirección específica de rechazo (calculada como la diferencia de medias, o DiM, entre las activaciones dañinas e inofensivas) del flujo residual del modelo. Aunque empíricamente exitosos, estos métodos carecen de una explicación teórica fundamentada sobre la transformación en el espacio latente que inducen. Específicamente, sigue sin estar claro por qué la ablación es la intervención óptima, si es suficiente para suprimir el rechazo y cómo puede mejorarse sistemáticamente. El problema central abordado es la falta de un marco riguroso que explique los mecanismos de la supresión del rechazo y las limitaciones de los enfoques actuales basados en ablación.

Metodología

Los autores reformulan el problema de la supresión del rechazo como un ataque de evasión en el espacio latente contra sondas lineales entrenadas para separar las solicitudes rechazadas (dañinas) de las respondidas (inofensivas).

Reformulación Teórica

1. Oráculo Sustituto: Los autores reemplazan el oráculo de rechazo intratable y de caja negra (por ejemplo, un LLM como juez) con una función sustituta tratable $\phi$. Este sustituto es un conjunto de sondas lineales por capa (específicamente SVMs lineales) entrenadas sobre las activaciones de los tokens posteriores a la instrucción para predecir el rechazo.
2. Reinterpretación del Trabajo Previo: Bajo este marco, la ablación estándar DiM se identifica como un ataque de evasión de confianza mínima. La dirección DiM corresponde al vector de pesos de una sonda lineal, y la ablación (proyectar las activaciones sobre el hiperplano ortogonal a DiM) es matemáticamente equivalente a proyectar las activaciones exactamente sobre el límite de decisión de la sonda. Esta es la perturbación más débil posible que invierte una decisión lineal (análogo al ataque DeepFool [9]).
3. Limitación Identificada: Dado que la evasión de confianza mínima se detiene exactamente en el límite de decisión, deja al modelo en un estado de máxima incertidumbre. Los autores argumentan que para suprimir robustamente el rechazo, las representaciones deben empujarse más allá del límite hacia la región de cumplimiento con un margen de confianza explícito.

Solución Propuesta: Evasión Controlada en el Espacio Latente (CLE)

Los autores proponen la Evasión Controlada en el Espacio Latente (CLE), un mecanismo que perturba las activaciones para evadir sondas lineales con un margen de confianza optimizado. La intervención se parametriza mediante:

• Selección de Capas ($\lambda_l$): Una máscara binaria que determina qué capas se dirigen activamente.
• Margen ($m_l$): Un escalar no negativo que controla qué tan lejos más allá del límite de decisión se proyecta la activación.

El tamaño del paso para la perturbación se define como $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$, donde $\phi_l$ es el logit de la sonda. Esta formulación permite que el ataque mueva las activaciones más profundamente hacia el semiespacio de cumplimiento en lugar de solo tocar el límite.

CLE se implementa en dos variantes:

1. CLE-P (Proyectiva): Vuelve a proyectar la activación de cada token durante la generación sobre un hiperplano desplazado definido por el margen $m_l$. Esto generaliza los métodos de ablación previos pero impone una confianza objetivo.
2. CLE-A (Aditiva): Calcula la perturbación una vez en el token posterior a la instrucción y la añade uniformemente a todas las activaciones de los tokens subsiguientes. Esto prueba si la reproyección continua es necesaria.

Optimización

Las ventanas óptimas de capas ($\lambda_l$) y márgenes ($m_l$) se seleccionan mediante Optimización Bayesiana (BO) en un conjunto de validación retenido. La búsqueda de BO minimiza la tasa de rechazo esperada (maximizando el éxito del ataque) encontrando la configuración que mejor evade el conjunto de sondas.

Contribuciones Clave

1. Reencuadre Teórico: El artículo proporciona un reencuadre fundamentado de la supresión del rechazo como un ataque de evasión en el espacio latente, demostrando que los métodos de ablación previos son equivalentes a ataques de confianza mínima que se detienen en el límite de decisión.
2. Marco de Evasión Controlada: Los autores introducen CLE, que optimiza explícitamente un margen de confianza, empujando las representaciones más lejos hacia la región de cumplimiento.
3. Análisis Aditivo vs. Proyectivo: El trabajo introduce y evalúa CLE-A, mostrando que una única perturbación aditiva calculada en el token posterior a la instrucción es suficiente para mantener la evasión durante toda la generación, a menudo superando la reproyección por token (CLE-P).
4. Validación Empírica: Los métodos se evalúan en 15 modelos diversos, incluyendo arquitecturas ajustadas con instrucciones, de razonamiento y multimodales.

Resultados

Los autores reportan tasas de éxito de ataque (ASR) de vanguardia en todos los modelos probados:

• Rendimiento: CLE-A logra un ASR promedio del 87.29% en 15 modelos, superando significativamente a las líneas base existentes de ablación de rechazo (DiM, RDO, PS, MD) y a los ataques de jailbreak a nivel de prompt (GCG, SAA).
  • En LLaMA2-7B, CLE-A eleva el ASR del 1.80% (DiM) al 94.96%.
  • En Mistral-7B-RR (un modelo con defensas de Redirección de Representación), CLE-A logra un ASR del 83.02%, en comparación con el 8.80% de DiM.
• Perspectivas Mecanísticas:
  • Control de Confianza: El éxito del ataque se correlaciona monótonamente con el margen de confianza de cumplimiento; un margen cero (proyección en el límite) produce un éxito cercano a cero, mientras que márgenes más grandes producen un alto éxito.
  • Selección de Capas: La optimización bayesiana selecciona consistentemente capas intermedias (por ejemplo, capas 9–30 en Phi-4-15B) para la intervención, evitando las capas tempranas donde las distribuciones dañinas/inofensivas se superponen y las capas tardías donde la trayectoria ya está determinada.
  • Eficiencia Aditiva: CLE-A demuestra que la reproyección continua es subóptima; una única perturbación fija mantiene la trayectoria de cumplimiento de manera efectiva.
• Coherencia del Modelo: Los estudios de ablación en los benchmarks MMLU, ARC y TruthfulQA indican que las intervenciones CLE suprimen el rechazo sin degradar sustancialmente las capacidades generales del modelo ni su coherencia.

Significado y Afirmaciones

El artículo afirma que su principal significado radica en proporcionar una explicación fundamentada de por qué funciona la supresión del rechazo y cómo puede mejorarse. Al identificar la limitación de la ablación de "confianza mínima", los autores motivan la necesidad de una evasión de "confianza controlada".

Los autores posicionan este trabajo como un estudio de doble uso:

• Valor Defensivo: Aclara la vulnerabilidad de los mecanismos de alineación actuales ante la separabilidad lineal en el espacio latente, motivando el desarrollo de mecanismos de seguridad menos dependientes de características lineales de rechazo (por ejemplo, distribuir las representaciones de rechazo a través de variedades no triviales).
• Capacidad Ofensiva: Demuestra que las alineaciones de seguridad existentes pueden eludirse de manera más efectiva de lo que se pensaba anteriormente simplemente empujando las representaciones más lejos hacia la región de cumplimiento con márgenes optimizados.

El artículo concluye que, aunque el enfoque actual depende de la separabilidad lineal del rechazo y el cumplimiento (lo cual se mantiene en los modelos probados), los procedimientos de alineación futuros podrían mitigar tales ataques desalentando activamente esta separabilidad lineal. Los autores no afirman haber roto todos los mecanismos de seguridad, sino haber expuesto una debilidad específica y sistemática en cómo se representa e interviene el rechazo en los LLMs actuales.