Resumen Técnico: Mitigación de Ataques Adaptativos contra Modelos de Razonamiento con Entrenamiento de Consistencia de Activaciones

Declaración del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) adoptan el razonamiento extendido de cadena de pensamiento (CoT), el panorama de seguridad ha cambiado. Aunque el CoT impulsa ganancias de capacidad, introduce una nueva fragilidad: los modelos pueden "convencerse a sí mismos de cumplir", identificando inicialmente una solicitud como dañina pero reformulándola progresivamente como benigna durante el razonamiento. Además, los ataques externos (por ejemplo, H-CoT, CoT-Hijacking) explotan este canal para eludir los filtros de seguridad.

Las defensas existentes enfrentan dos desafíos principales en este contexto:

1. Complejidad del Razonamiento: Métodos como la Alineación Deliberativa dependen de que el modelo razone sobre la seguridad, pero la evidencia sugiere que esto es insuficiente contra ataques sofisticados.
2. Escalabilidad del Entrenamiento: Las defensas basadas en entrenamiento para inyección de prompts (por ejemplo, StruQ, SecAlign) generalmente requieren supervisar la distribución completa de salida del modelo. Para los modelos de razonamiento, esto significa supervisar cientos o miles de tokens de CoT por ejemplo, lo cual es computacionalmente costoso y difícil de escalar a medida que crecen las longitudes de las trazas.

El artículo pregunta si los modelos de razonamiento pueden entrenarse para ignorar contextos dañinos sin requerir supervisión sobre toda la traza de pensamiento, larga y completa.

Metodología

Los autores investigan el Entrenamiento de Consistencia, un marco auto-supervisado que impone un comportamiento idéntico en un prompt limpio ($p_{clean}$) y un prompt "envuelto" reescrito de forma adversaria ($p_{wrapped}$). Comparan dos variantes:

1. Entrenamiento de Consistencia con Aumento de Sesgo (BCT): Un enfoque a nivel de salida. El modelo se ajusta fino mediante entropía cruzada para reproducir la finalización del modelo base con prompt limpio (incluyendo el CoT completo y la respuesta) cuando se le proporciona la entrada envuelta.
2. Entrenamiento de Consistencia de Activaciones (ACT): Un enfoque a nivel de activación. En lugar de supervisar las salidas, ACT impone un acuerdo sobre los estados ocultos internos del modelo. Específicamente, minimiza la distancia L2 al cuadrado entre los estados ocultos del prompt envuelto y el prompt limpio en posiciones de sufijo compartidas (típicamente el límite de la plantilla de chat y el inicio del turno del asistente) a través de todas las capas del transformador.

Detalles Técnicos Clave

• Extracción de Sufijo Compartido: El método identifica la secuencia de tokens coincidente más larga entre los prompts limpio y envuelto después de la plantilla de chat. En entornos adversarios, esto usualmente comprende solo ~6 tokens (marcadores de fin de usuario, iniciador de turno de asistente y tokens iniciales del canal de pensamiento), independientemente de la longitud del razonamiento.
• Función de Pérdida: Para un modelo base congelado $\theta_{init}$ y un modelo adaptado con LoRA $\theta$, la pérdida es:
  $$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$$
  donde $\text{sg}$ denota gradiente detenido (stop-gradient).
• Regularización Benigna: Para evitar la degradación de la utilidad, se añade un término de pérdida en prompts benignos ($L_{benign}$) con un factor de ponderación $\lambda$.
• Datos de Entrenamiento: Ambos métodos utilizan pares idénticos de $(p_{clean}, p_{wrapped})$. Para BCT, la finalización del modelo base en $p_{clean}$ sirve como objetivo; para ACT, solo se requieren los prompts.

Contribuciones Clave

1. ACT como Defensa contra Inyección de Prompts: Los autores formulan ACT como una defensa contra la inyección de prompts. En tres puntos de referencia (OPI, AlpacaFarm, SEP) y cinco modelos de razonamiento, ACT iguala o supera a BCT. Crucialmente, ACT no requiere etiquetas fijas ni supervisión sobre todo el CoT.
2. Generalización a Ataques Adaptativos: El estudio evalúa defensas contra atacantes adaptativos entrenados mediante Aprendizaje por Refuerzo (GRPO) directamente sobre el modelo defendido. ACT demuestra una robustez superior contra estos ataques adaptativos en comparación con BCT en casi todos los objetivos tanto en configuraciones de jailbreak como de inyección de prompts, manteniendo una utilidad del modelo comparable.
3. Perspectiva Mecanística: El artículo proporciona evidencia de que la defensa de ACT se codifica como un desplazamiento aproximadamente lineal en el espacio de activaciones en el límite del turno del asistente.
   • Dirección Lineal: Se puede recuperar una única dirección de dirección ($d_{ACT}$). Añadir esta dirección a un modelo base induce rechazo en jailbreaks, mientras que restarla de un modelo defendido con ACT restaura el cumplimiento.
   • Robustez ante Manipulación de CoT: En experimentos donde el CoT del modelo se reemplaza con una traza cumplida de un modelo base no defendido, ACT continúa rechazando la solicitud, mientras que BCT a menudo sigue la trayectoria de razonamiento cumplida. Esto sugiere que ACT codifica el rechazo antes de que comience la traza de razonamiento.

Resultados

• Inyección de Prompts: En puntos de referencia estáticos, tanto ACT como BCT reducen significativamente las Tasas de Éxito del Ataque (ASR). Sin embargo, bajo ataques adaptativos, ACT supera consistentemente a BCT. Por ejemplo, en GPT-OSS-20B, BCT tuvo un ASR del 57.4% bajo ataque adaptativo, mientras que ACT se mantuvo en 37.0%.
• Defensa contra Jailbreak: ACT logra tasas de victoria de defensa cercanas al 100% contra ataques tanto estáticos como adaptativos en la mayoría de los modelos (por ejemplo, Qwen3-8B, Phi-4). La robustez de BCT se degrada sustancialmente bajo ataques adaptativos.
• Utilidad: Ambos métodos generalmente preservan la utilidad de la línea base no defendida en tareas como MMLU y precisión de prompts limpios, con la excepción notable de BCT en Phi-4-reasoning, donde la utilidad colapsó.
• Validación Mecanística: Los experimentos de dirección confirmaron que $d_{ACT}$ actúa bidireccionalmente: puede inducir rechazo en modelos base y eliminar el rechazo en modelos defendidos. La dirección mostró selectividad, causando mínimos rechazos falsos en entradas benignas con fuerzas de dirección moderadas.

Significado y Afirmaciones

El artículo afirma que supervisar las representaciones internas (ACT) es un enfoque sorprendentemente efectivo e interpretable para el entrenamiento de seguridad en modelos de razonamiento.

• Eficiencia: ACT evita la carga computacional de supervisar miles de tokens de CoT requeridos por métodos a nivel de salida como BCT.
• Robustez: Al anclar la supervisión en el límite del turno del asistente (antes de que comience el razonamiento), ACT crea una defensa que es robusta incluso cuando la propia traza de razonamiento es manipulada o reemplazada.
• Interpretabilidad: El descubrimiento de una dirección lineal de rechazo sugiere que los mecanismos de seguridad en los modelos de razonamiento pueden controlarse mediante una dirección de activación simple, ofreciendo una vía potencial para defensas sin entrenamiento o una comprensión mecanística más profunda.

Los autores reconocen limitaciones, incluida la necesidad de crear conjuntos de datos limpios/envueltos, la vulnerabilidad potencial a ataques de caja blanca con acceso directo al gradiente, y el hecho de que ninguna defensa logra un 100% de seguridad. Posicionan a ACT como un enfoque complementario que aborda la fragilidad específica introducida por el razonamiento extendido de cadena de pensamiento.