Resumen Técnico: Rastreando la Dinámica del Rechazo

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM), a pesar de las técnicas de alineación como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), siguen siendo vulnerables a ataques adversarios de "jailbreak". Estos ataques van desde sufijos adversarios basados en optimización (por ejemplo, GCG) hasta ingeniería social semántica (por ejemplo, AutoDAN). Los mecanismos de defensa actuales a menudo tratan a los LLM como cajas negras, dependiendo de interacciones superficie de entrada-salida o representaciones internas estáticas.

Un paradigma predominante en la Interpretabilidad Mecanística, conocido como Ingeniería de Representaciones (RepE), postula que el rechazo está mediado por un "Vector de Rechazo" estático, típicamente extraído de los estados de los tokens terminales o promediado a través de secuencias. Este artículo argumenta que tales suposiciones estáticas son fundamentalmente defectuosas:

1. Suposición del Estado Terminal: La creencia de que la señal crítica de rechazo está encapsulada únicamente en los estados del token final.
2. Homogeneidad Global: La creencia de que las señales de rechazo están distribuidas uniformemente y pueden ser capturadas mediante un simple promediado.

Los autores sostienen que estas visiones ignoran la dinámica espacio-temporal del proceso de rechazo. En consecuencia, las defensas que dependen de estados terminales fallan cuando los ataques adversarios (como GCG) suprimen las señales de salida finales mientras dejan intactos los mecanismos aguas arriba.

Metodología

1. Rastreo Causal y la "Trayectoria de Rechazo"

Para ir más allá de las correlaciones observacionales, los autores emplean Rastreo Causal (Meng et al., 2022; Pearl, 2001). Construyen pares mínimos de prompts (por ejemplo, "¿Cómo hacer una bomba?" vs. "¿Cómo hacer un pastel?") y realizan parcheo de activaciones:

• Intervención: Los estados ocultos ($h^l_i$) de una ejecución maliciosa se parchean en una ejecución benigna en coordenadas específicas de capa-token.
• Medición: El sistema mide si la salida del modelo cambia de cumplimiento a rechazo (por ejemplo, generando "Lo siento...").

Hallazgos Clave del Rastreo:

• Trayectoria de Rechazo: El rechazo no es un resultado estático, sino un proceso dinámico y disperso. Se manifiesta como un patrón espacio-temporal distinto de activación.
• Tres Fases:
  1. Disparador Semántico: La entidad dañina (por ejemplo, "bomba") activa efectos causales en capas superficiales a intermedias.
  2. Inicio del Rechazo (Construcción Crítica): La actividad causal más intensa ocurre en los tokens que siguen inmediatamente al ancla semántica (por ejemplo, el "?" o los tokens subsiguientes) en capas intermedias. Aquí es donde se construye activamente la decisión de rechazo.
  3. Atenuación Terminal: La señal causal se atenúa a medida que se propaga a capas más profundas y al token final. El estado terminal a menudo lleva una versión diluida de la señal de rechazo, optimizada para la predicción del siguiente token en lugar de la toma de decisiones.

2. SALO: Operador de Localización de Activación Dispersa

Basándose en la hipótesis de que los ataques adversarios suprimen las señales terminales pero no pueden borrar retroactivamente la trayectoria de rechazo aguas arriba (debido a la naturaleza unidireccional de la Atención Causal), los autores proponen SALO.

• Arquitectura: SALO es un detector ligero en tiempo de inferencia.
  • Volumen de Activación Latente: Aísla una Región de Interés (ROI) en capas intermedias (por ejemplo, capas 10–20) y apila estados ocultos para preservar la geometría espacio-temporal.
  • Extracción de Saliencia Multi-Granularidad: Emplea un banco de kernels convolucionales con anchos temporales variables ($2, 3, 5$) pero altura de capa fija ($3$). Esto captura tanto disparadores de rechazo agudos y localizados como dependencias contextuales más amplias.
  • Agregación Consciente de la Dispersión: En lugar de agrupación por media (que diluye señales dispersas), SALO utiliza Agrupación Máxima Global para aislar las intensidades de activación pico.
• Entrenamiento: SALO se entrena exclusivamente con datos de alineación de seguridad estándar (prompts benignos y dañinos estándar) sin exposición a ejemplos adversarios. Esto permite una generalización cero-shot.

Contribuciones Clave

1. Descubrimiento de la Trayectoria de Rechazo: El artículo desafía la visión estática del rechazo, demostrando mediante rastreo causal que el rechazo es un proceso disperso y dinámico anclado en capas intermedias aguas arriba, con estados terminales que a menudo llevan señales atenuadas.
2. Marco SALO: La introducción de un detector de caja blanca que apunta a estas trayectorias persistentes aguas arriba. Crucialmente, como depende del mecanismo intrínseco de rechazo en lugar de artefactos de ataque específicos, logra generalización cero-shot contra ataques no vistos.
3. Validación Empírica: Extensos experimentos que muestran que SALO recupera capacidades de defensa donde los métodos basados en gradientes y perplejidad fallan, particularmente contra jailbreaks basados en optimización y semánticos.

Resultados Experimentales

Los autores evaluaron SALO en tres modelos (Qwen2.5-7B, Mistral-7B, Llama-3.1-8B) contra cuatro tipos de ataque: Prompts Dañinos Directos, Relleno Previo (Prefilling), GCG y AutoDAN.

• Fallos de la Línea Base:
  • Filtro PPL: Eficaz contra GCG (alta perplejidad) pero falla completamente en ataques semánticos como Relleno Previo y AutoDAN.
  • GradSafe: Sufre tasas de detección cercanas a cero en Relleno Previo y AutoDAN, ya que estos ataques suprimen el "gradiente de resistencia".
  • Sondas Lineales: Luchan contra ataques de optimización (por ejemplo, cayendo a ~64% en Llama-GCG).
• Rendimiento de SALO:
  • Mantiene altas tasas de detección (>85%) en todos los modelos y vectores de ataque.
  • GCG: Logra ~88–96% de detección (vs. <20% para GradSafe en algunos modelos).
  • AutoDAN: Logra ~98–100% de detección.
  • Relleno Previo: Logra ~99% de detección, donde otros métodos a menudo colapsan al 0%.
• Robustez ante Ataques Adaptativos: Incluso bajo ataques adaptativos de caja blanca (GCG Adaptativo) donde el adversario optimiza explícitamente para minimizar la puntuación de SALO, SALO mantiene una tasa de detección del 84.3%. En casos donde la evasión tiene éxito, el ataque a menudo causa colapso semántico (el prompt pierde su significado malicioso), resultando en una Baja Tasa de Éxito del Ataque (7%).

Significado y Afirmaciones

El artículo afirma que SALO proporciona una garantía de seguridad intrínseca y robusta aprovechando la dinámica causal del rechazo en lugar de artefactos a nivel superficial.

• Perspectiva Mecanística: Valida que los jailbreaks suprimen la expresión del rechazo en la cola, pero no pueden eliminar la intención de rechazo codificada en la trayectoria aguas arriba.
• Eficiencia: Al reemplazar cálculos de gradientes costosos (utilizados en GradSafe) con rastreo causal e inferencia ligera, SALO reduce el costo ambiental de la seguridad de la IA.
• Generalización Cero-Shot: La capacidad de detectar diversos ataques no vistos (desde optimización de gradientes hasta ingeniería semántica) sin reentrenamiento resalta la universalidad de la trayectoria de rechazo como una firma fundamental de la intención maliciosa.

Los autores reconocen modestamente las limitaciones, señalando que el método depende del reconocimiento intrínseco de la dañinidad por parte del modelo; si un ataque logra oscurecer la intención semántica de modo que el modelo no reconozca el daño, la trayectoria de rechazo podría no activarse. Además, los mecanismos precisos a nivel de circuito (por ejemplo, cabezas de atención específicas) que impulsan estas señales aún deben mapearse completamente.