Resumen Técnico: Rechazo Antes de la Decodificación

Declaración del Problema

El artículo aborda la opacidad de los mecanismos de rechazo de los Modelos de Lenguaje Grande (LLM). Las técnicas actuales de alineación, como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y el Ajuste Fino Supervisado (SFT), entrenan eficazmente a los modelos para rechazar solicitudes dañinas, pero ofrecen una visión limitada de cómo se representa internamente el rechazo. Esta falta de transparencia dificulta la capacidad de auditar, depurar o controlar el comportamiento de rechazo, contribuyendo a un ciclo adversario donde los ataques de jailbreak eluden la alineación sin una comprensión fundamentada de los mecanismos subyacentes.

La pregunta central de investigación es si la información relevante para el rechazo está codificada en las activaciones intermedias de un LLM (específicamente en el flujo residual) antes de que el modelo genere su token de salida final, y si esta información no solo es decodificable, sino accionable para guiar la optimización de prompts adversarios.

Metodología

Los autores proponen un marco para detectar y explotar señales de rechazo utilizando sondas lineales y un algoritmo genético modificado.

1. Detección mediante Sondas Lineales

Los autores hipotetizan que el rechazo es un concepto linealmente decodificable a partir de las activaciones intermedias del flujo residual.

• Construcción de Datos: Se crea un conjunto de datos binario de prompts etiquetados como "rechazables" o "cumplidores". Para mitigar el sesgo de estilo, se utiliza una augmentación contrafáctica donde un LLM externo reescribe los prompts para coincidir con el estilo de la clase opuesta.
• Entrenamiento de la Sonda: Para cada bloque de transformador $l$, se entrena un clasificador lineal (Regresión Logística) y un Perceptrón Multicapa (MLP) superficial sobre las activaciones del flujo residual del token final del prompt ($h^{(l)}_T$). El objetivo es predecir la etiqueta de rechazo $c_r(x)$.
• Objetivo: Determinar en qué capa la información de rechazo se vuelve linealmente separable y si esta señal existe mucho antes de la capa final.

2. AutoDAN Mecanístico

Para probar si la señal detectada es accionable, los autores introducen AutoDAN Mecanístico, una variante guiada por sonda del ataque de jailbreak AutoDAN.

• AutoDAN Estándar: Utiliza un algoritmo genético para evolucionar una población de prompts. La aptitud se evalúa ejecutando el paso hacia adelante completo del modelo y midiendo la probabilidad logarítmica de una respuesta afirmativa objetivo (por ejemplo, "Claro, aquí está cómo...").
• AutoDAN Mecanístico: Reemplaza la evaluación de aptitud del modelo completo con un paso hacia adelante parcial.
  • Los candidatos se pasan solo a través de las primeras $N$ capas del modelo.
  • La activación residual en la capa $N$ se introduce en la sonda entrenada.
  • Puntuación de Aptitud: Definida como $F^{(l)}(x_i) = -P(c_r(x_i) = 1 | h^{(l)}(x_i))$. Los prompts predichos para tener una menor probabilidad de rechazo reciben una puntuación de aptitud más alta.
  • El algoritmo genético optimiza los prompts para maximizar esta puntuación basada en la sonda, evitando el costo computacional de los pasos hacia adelante completos durante el bucle de búsqueda.

3. Configuración Experimental

• Modelos: Evaluados en Llama-3.2-3B-Instruct, Qwen3Guard-Gen-4B y Qwen-3.6-27B.
• Métricas: Tasa de Éxito del Ataque (ASR) y tiempo promedio de búsqueda por iteración.
• Ablaciones:
  • Dirección Opuesta: Optimizar prompts predichos para aumentar el rechazo para probar si la señal de la sonda dirige genuinamente la búsqueda o si el éxito se debe a la sustitución de sinónimos.
  • Transferibilidad: Probar si los prompts optimizados en un modelo fuente de caja blanca se transfieren eficazmente a modelos objetivo de caja negra.

Resultados Clave

1. El Rechazo es Decodificable Antes de la Decodificación

Las sondas lineales alcanzan una alta precisión (a menudo >99%) en la predicción del comportamiento de rechazo a partir de activaciones intermedias, mucho antes de la capa final.

• Llama-3B: Mejor precisión en el Bloque 10/11.
• Qwen-4B: Mejor precisión en el Bloque 17.
• Qwen-27B: Mejor precisión en el Bloque 29/32.
  Esto confirma que el rechazo no es meramente un fenómeno a nivel de salida, sino que se representa como una señal estructurada en las capas intermedias.

2. Eficiencia y Éxito del Ataque

AutoDAN Mecanístico logra Tasas de Éxito del Ataque (ASR) competitivas en comparación con AutoDAN estándar, mientras reduce significativamente el tiempo de búsqueda.

• Modelos Pequeños (3B/4B): Los ataques guiados por sonda igualan o superan el ASR de AutoDAN estándar (por ejemplo, 1.00 vs 1.00 en Llama-3B) mientras reducen el tiempo de búsqueda en aproximadamente 50% (por ejemplo, 0.36s vs 0.69s por iteración).
• Modelos Grandes (27B): Las sondas de capas tempranas (Bloque 1) fallan en guiar la búsqueda eficazmente (ASR ~0.32). Sin embargo, las sondas intermedias (Bloque 10) recuperan la mayor parte del rendimiento (ASR ~0.79–0.82 vs 0.89) mientras reducen el tiempo de búsqueda en un 60–72%.

3. Transferibilidad

Los prompts optimizados utilizando la guía de sondas en un modelo fuente se transfieren a modelos objetivo. En varias configuraciones, AutoDAN Mecanístico iguala o supera la transferibilidad entre modelos de AutoDAN estándar, particularmente al utilizar activaciones intermedias (por ejemplo, Bloque 10) en lugar de las capas más tempranas o más tardías.

4. Escala y Saturación de la Búsqueda

Un hallazgo crítico es la relación entre la escala del modelo y la utilidad de la sonda:

• Modelos Pequeños: El espacio de búsqueda parece "saturado". Incluso con optimización "opuesta" (guiando hacia el rechazo), el ASR se mantiene alto, lo que sugiere que la sustitución de sinónimos y el procedimiento de búsqueda genética impulsan el éxito más que la señal de la sonda.
• Modelos Grandes: El problema de búsqueda está menos saturado. Aquí, la señal de la sonda se convierte en una guía significativa; las sondas tempranas fallan, pero las sondas intermedias dirigen con éxito la búsqueda, demostrando que la señal de rechazo se vuelve operativamente útil a medida que aumenta la robustez del modelo.

Significado y Afirmaciones

El artículo afirma que el comportamiento de rechazo en los LLM está codificado como una señal estructurada y accionable en las activaciones intermedias, no solo observable a nivel de salida.

• Valor Diagnóstico: El rechazo puede predecirse linealmente a partir de los flujos residuales mucho antes del paso final de decodificación.
• Valor Accionable: Esta señal puede ser explotada para guiar la búsqueda discreta de prompts (jailbreaking) de manera más eficiente que la evaluación del modelo completo.
• Efecto de Escala: La utilidad de las señales de rechazo intermedias para la búsqueda adversaria aumenta con la escala del modelo. En modelos más grandes y robustos, la sonda proporciona una guía necesaria que está ausente en modelos más pequeños, donde la búsqueda se satura fácilmente con perturbaciones aleatorias.

Los autores concluyen que estos hallazgos destacan la naturaleza de doble uso de la interpretabilidad mecanística: comprender las señales internas de rechazo puede acelerar los ataques, pero también ofrece una vía para estrategias de detección más eficientes y de alineación defensiva. El trabajo no afirma resolver el problema del jailbreak, sino demuestra que las representaciones internas contienen información accionable sobre comportamientos de seguridad.