Resumen Técnico: La Geometría de la Negativa: Inestabilidad Lineal en LLMs con Alineación de Seguridad

Planteamiento del Problema

A pesar de la adopción generalizada de técnicas de alineación de seguridad, como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), la base mecánica de cómo los Modelos de Lenguaje de Gran Tamaño (LLMs) rechazan consultas dañinas sigue siendo opaca. Una cuestión abierta crítica es si el cumplimiento de la seguridad representa una comprensión semántica profunda del daño o simplemente un rasgo lineal superficial y manipulable. Los ataques adversarios actuales suelen depender de la optimización computacionalmente costosa (por ejemplo, GCG) o la búsqueda iterativa, que pueden fallar contra la moderna formación de seguridad. Este trabajo investiga si la seguridad está codificada como un rasgo geométrico lineal en el espacio de activación del modelo que puede ser eludido o reforzado mediante la intervención aritmética directa en los logits de salida.

Metodología: Dirección de Logits Contrastiva (CLS)

Los autores introducen la Dirección de Logits Contrastiva (CLS), un marco de optimización cero que opera directamente sobre la distribución de salida del modelo (logits) en lugar de las activaciones ocultas internas.

Mecanismo Central

1. Prompting Contrastivo: Para una consulta de usuario $q$ dada, el modelo realiza tres pasadas hacia adelante paralelas utilizando distintos prompts de sistema:
   • Base ($s_{base}$): Una instrucción neutral (por ejemplo, "Eres un asistente útil").
   • Sin Restricciones ($s_{+}$): Una instrucción adversaria que elimina las salvaguardas de seguridad.
   • Restringida ($s_{-}$): Una instrucción restrictiva que impone una seguridad extrema.
2. Aislamiento de Vectores: En cada paso de decodificación $t$, el método calcula un Vector de Dirección instantáneo $v_t$ mediante la resta de los logits del flujo restringido de los logits del flujo sin restricciones:
   $$v_t = z^+_t - z^-_t$$
   Este vector aísla la "Dirección de Negativa": el sentido geométrico específico en el espacio de los logits que codifica la distinción binaria entre el cumplimiento y la negativa.
3. Intervención de Logits: Los logits base del modelo se modulan añadiendo el vector de dirección escalado:
   $$\tilde{z}_t = z^{base}_t + \alpha \cdot v_t$$
   • Jailbreaking ($\alpha > 0$): Inyecta el comportamiento "sin restricciones", suprimiendo los tokens de seguridad.
   • Endurecimiento ($\alpha < 0$): Resta el comportamiento sin restricciones, induciendo artificialmente la seguridad.
4. Inyección de Prefijo: Para eludir el reflejo de negativa inicial del modelo (donde los modelos suelen emitir "No puedo" inmediatamente), el método fuerza los primeros $k$ tokens a un prefijo afirmativo (por ejemplo, "Claro") antes de aplicar el vector de dirección a los tokens subsiguientes.

Mecanismo de Detección

El marco también utiliza la separabilidad geométrica de la negativa para la detección de cero disparos (zero-shot). Al calcular un Vector de Negativa Global a partir de la diferencia en los estados ocultos de la última capa entre consultas ancla dañinas y benignas, el sistema puede clasificar nuevas consultas basándose en la similitud de coseno sin necesidad de entrenar un clasificador separado.

Principales Contribuciones

1. CLS como Sonda de Diagnóstico: El artículo proporciona un marco de dirección de nivel de logits de cero disparos que ofrece evidencia mecánica de que la seguridad en arquitecturas como Llama actúa como un "envoltorio" superficial en lugar de una restricción semántica profunda.
2. Topología de la Negativa: A través del análisis de divergencia KL a través de la profundidad de la red, los autores identifican dos topologías de seguridad distintas:
   • Modelos de "Decisión Tardía" (ej. Llama-3.1): Estos modelos procesan las consultas dañinas y benignas de forma idéntica durante ~95% de sus capas, divergiendo solo en la cabeza de salida final. Esto los hace altamente vulnerables a la dirección de logits.
   • Modelos de "Divergencia Temprana" (ej. Qwen-2.5): Estos modelos integran la seguridad a mitad de la computación (~40% de profundidad), lo que los hace significativamente más robustos a la dirección lineal, ya que el mecanismo de negativa está entrelazado con el razonamiento.
3. Líneas Base Empíricas: El trabajo proporciona comparaciones directas contra métodos establecidos de dirección de activación (Arditi et al., 2024) y ataques basados en optimización (GCG), demostrando que la intervención a nivel de logit expone una mayor fragilidad de la alineación.
4. Control Bidireccional: El método permite tanto el ataque (jailbreaking) como la defensa (endurecimiento de seguridad) mediante un único vector. Se demostró que invertir el vector de dirección ($\alpha < 0$) "endurecía" los modelos contra los jailbreaks y, contraintuitivamente, mejoraba la coherencia de la respuesta al reducir la ambigüedad.

Resultados Experimentales

Los autores evaluaron CLS a través de siete familias de modelos (Gemma-3, Llama-3.1/3.2/3.3, Qwen-2.5) utilizando conjuntos de datos que incluyen AdvBench, JailbreakBench y HarmBench.

• Tasa de Éxito de Ataque (ASR) vs. GCG: En Llama-3.1-8B, GCG logró solo un 5% de ASR tras 100 pasos de optimización, mientras que CLS logró un 95% de ASR en aproximadamente un segundo (una aceleración de ~900x). En Qwen-2.5-7B, CLS logró un 90% de ASR frente al 45% de GCG.
• Comparación con la Dirección de Activación: Al compararse con Arditi et al. (2024), CLS logró un ASR sustancialmente mayor en Llama 2 (73% vs. 22.6%) y Qwen 7B (91% vs. 79.2%). Los autores atribuyen la mayor brecha en Llama a la topología de "Decisión Tardía", donde la señal de negativa se concentra en la capa de salida, haciendo que la intervención a nivel de logit sea más efectiva que la ablación del estado oculto.
• Endurecimiento de Seguridad: La dirección negativa ($\alpha = -1.0$) redujo las tasas de éxito de ataque a dígitos únicos (por ejemplo, Llama-3.3-70B cayó de 68.8% a 9.4% de ASR).
• Detección de Cero Disparos: Utilizando el Vector de Negativa Global, el método logró una puntuación F1 de 0.92 en JailbreakBench para distinguir entre prompts maliciosos y benignos sin entrenar un modelo separado.

Significado y Reivindicaciones

El artículo argumenta que las técnicas de alineación actuales crean un "eje de seguridad" direccionable que sirve tanto como una vulnerabilidad crítica como un primitivo preciso para la defensa.

• Perspectiva Mecanicista: Los hallazgos sugieren que para muchos modelos, el RLHF no "desaprende" el conocimiento dañino, sino que aplica una característica de supresión lineal en la capa de salida. El "Vector de Negativa" captura no solo el cumplimiento de la seguridad, sino también la vacilación y la ambigüedad; eliminarlo puede, paradójicamente, mejorar la coherencia.
• Determinismo Arquitectónico: La disparidad en la vulnerabilidad entre Llama (Decisión Tardía) y Qwen (Divergencia Temprana) implica que la profundidad de integración de la seguridad es un factor determinante en la direccionabilidad, probablemente moldeado tanto por la arquitectura como por las intervenciones de entrenamiento.
• Implicación de Defensa: Los autores sostienen que, mientras la seguridad se implemente como un subespacio lineal separable, seguirá siendo vulnerable a la intervención geométrica. Proponen que los futuros paradigmas de alineación deben entrelazar la seguridad con la capacidad general para hacer que la negativa sea una propiedad semántica profunda en lugar de una característica superficial eliminable.

El trabajo concluye que CLS proporciona un primitivo en tiempo real para auditar capacidades suprimidas y endurecer dinámicamente los modelos, resaltando la fragilidad de las implementaciones de seguridad actuales.