Resumen Técnico: HARC – Acoplamiento de las Direcciones de Dañosidad y Rechazo para un Alineamiento de Seguridad Robusto

1. Planteamiento del Problema

A pesar de los esfuerzos de alineamiento, los modelos de lenguaje de gran tamaño (LLM) siguen siendo vulnerables a ataques de jailbreak adversarios (por ejemplo, sufijos adversarios, reescrituras basadas en persuasión, ofuscación). Aunque el trabajo previo de interpretabilidad estableció que los LLM alineados codifican la dañosidad ($v_{harm}$) y el rechazo ($v_{ref}$) como direcciones lineales separables en el flujo residual en las posiciones de los tokens del lado del prompt, los mecanismos internos que explican por qué ciertos jailbreaks tienen éxito siguen sin estar claros. Además, las intervenciones de seguridad existentes suelen incurrir en un compromiso entre robustez, capacidad general y sobre-rechazo (rechazar innecesariamente peticiones benignas). El problema central abordado es la disociación entre el reconocimiento de contenido dañino por parte del modelo y su compromiso de rechazarlo, lo cual los atacantes explotan para eludir los filtros de seguridad.

2. Metodología

2.1 Análisis de la Representación Interna

Los autores extienden el análisis previo del lado del prompt a las posiciones de los tokens de respuesta (durante la generación). Extraen cuatro vectores direccionales distintos:

1. Dañosidad del lado del prompt ($v_{harm}$): Extraída en el último token de instrucción ($t_{inst}$).
2. Rechazo del lado del prompt ($v_{ref}$): Extraída en el token post-instrucción ($t_{post-inst}$).
3. Dañosidad del lado de la respuesta ($v^{resp}_{harm}$): Extraída de los residuos de pooling medio de los primeros 32 tokens de respuesta.
4. Rechazo del lado de la respuesta ($v^{resp}_{ref}$): Extraída de manera similar de los tokens de respuesta.

Hallazgos clave sobre la representación:

• Desacoplamiento: En las capas tardías del modelo, $v_{harm}$ y $v_{ref}$ se vuelven casi ortogonales. Esto permite al modelo activar un concepto sin el otro.
• Mecanismos de ataque: Los jailbreaks exitosos explotan este desacoplamiento suprimiendo direcciones específicas durante la codificación del prompt:
  • DAN (Enmarcado de personalidad/Persona framing): Suprime $v_{ref}$ mientras mantiene activa $v_{harm}$.
  • PAIR (Reescritura semántica): Suprime $v_{harm}$ (llevándola a valores negativos) mientras mantiene activa $v_{ref}$.
  • CodeAttack (Ofuscación): Suprime ambas direcciones, agrupándose con prompts benignos.
• Persistencia del reconocimiento: Crucialmente, incluso cuando el rechazo del lado del prompt falla (por ejemplo, en ataques DAN o PAIR), el modelo a menudo vuelve a reconocer el contenido dañino ($v^{resp}_{harm}$ se activa) durante la generación. Sin embargo, este reconocimiento llega demasiado tarde para alterar la trayectoria de la generación, ya que la señal de rechazo del lado del prompt ya había sido suprimida.

2.2 HARC: Acoplamiento de Dañosidad y Rechazo

Motivados por el hallazgo de que el reconocimiento de la dañosidad persiste incluso cuando el rechazo es suprimido, los autores proponen HARC, un método de ajuste fino utilizando Low-Rank Adaptation (LoRA).

Mecanismo Central:
HARC acopla las direcciones de dañosidad y rechazo tanto en las posiciones del prompt como de la respuesta. El objetivo es asegurar que la activación a lo largo de cualquiera de las dos direcciones desencadene de forma fiable el rechazo, evitando que los ataques supriman una dirección mientras la otra permanece activa.

Función de Pérdida:
La pérdida total ($L_{total}$) combina cuatro términos:

1. Acoplamiento del lado del prompt ($L^{prompt}_{couple}$): Una pérdida de margen tipo hinge sobre las proyecciones de coseno de $v_{harm}$ y $v_{ref}$ en el límite del prompt. Fuerza que, en entradas dañinas, ambas direcciones deben activarse (proyección $\ge m$).
2. Acoplamiento del lado de la respuesta ($L^{response}_{couple}$): Una pérdida de margen similar aplicada a los residuos de pooling medio de los primeros 32 tokens de respuesta, acoplando $v^{resp}_{harm}$ y $v^{resp}_{ref}$.
3. Divergencia KL ($L_{kl}$): Ancla el modelo ajustado con LoRA a la distribución base en entradas benignas para preservar la capacidad general y evitar el sobre-rechazo.
4. Entropía Cruzada ($L_{ce}$): Supervisa el texto de rechazo explícito en entradas dañinas.

Dinámica de Entrenamiento:

• Selección de Capas: El método se dirige a las capas donde la estructura de cuatro direcciones es más clara (las direcciones de prompt y respuesta están desacopladas, pero los pares de mismo concepto entre posiciones están alineados). Una función de puntuación selecciona las top-$K$ capas, aumentando $K$ de 2 a 4 durante los primeros 1,000 pasos.
• Recálculo de Direcciones: Cada 200 pasos, los vectores direccionales se re-extraen del modelo actual adaptado con LoRA y se mezclan mediante un Promedio Móvil Exponencial (EMA) para adaptarse a la evolución de la geometría residual.

3. Contribuciones Clave

1. Descubrimiento de la Representación del Lado de la Respuesta: El artículo demuestra que la dañosidad y el rechazo son conceptos distintos en las posiciones de los tokens de respuesta, no solo en las del prompt. Muestra que los modelos reconocen el contenido dañino durante la generación incluso cuando el rechazo del lado del prompt ha sido evadido, revelando una señal de seguridad de "disparo tardío".
2. Análisis Mecanicista de Jailbreaks: Los autores caracterizan cómo distintas clases de ataques (DAN, PAIR, CodeAttack) ocupan regiones separables en el plano dañosidad-rechazo mediante la supresión de direcciones específicas durante la codificación del prompt.
3. Método HARC: Un método de ajuste fino a nivel de representación que acopla las direcciones de dañosidad y rechazo en las posiciones tanto del prompt como de la respuesta. A diferencia de las intervenciones de seguridad más amplias, HARC confina su intervención a un subespacio de dos dimensiones, dejando intacto el resto del flujo residual.

4. Resultados Experimentales

El método fue evaluado en LLAMA-3.1-8B/70B y QWEN-2.5-7B/72B contra seis líneas base (SFT, DPO, Circuit Breakers, RepBend, CAST y Base).

• Robustez: HARC reduce significativamente las Tasas de Éxito de Ataque (ASR).
  • En LLAMA-3.1-8B, HARC redujo el ASR en 4.67× en comparación con el modelo base.
  • En QWEN-2.5-7B, redujo el ASR en 4.75×.
  • Logró la mayor robustez entre todas las líneas base, incluyendo la configuración "Ours+DPO", que alcanzó un ASR cercano a cero en PAIR, PAP y DeepInception para el modelo 8B.
• Capacidad y Sobre-rechazo:
  • HARC preserva la capacidad general (MMLU, GSM8K, HumanEval, IFEval, MT-Bench) esencialmente sin cambios respecto al modelo base.
  • Minimiza el sobre-rechazo (rechazo de prompts benignos), logrando tasas comparables o inferiores a las del modelo base (por ejemplo, 0.035 en XSTest para Llama-8B), superando a métodos como RepBend que causaron un sobre-rechazo masivo.
• Escalabilidad: El método se transfiere a modelos más grandes (70B/72B) sin necesidad de ajustes específicos de arquitectura, manteniendo la robustez y la capacidad.
• Limitaciones: CodeAttack sigue siendo el ataque más resiliente, ya que suprime ambas direcciones en el límite del prompt, ofreciendo poca señal para que la pérdida de acoplamiento la amplifique. Además, HARC es vulnerable al ajuste fino adversario si el atacante tiene acceso a los pesos, colapsando tras ~160 ejemplos dañinos.

5. Significado y Reivindicaciones

El artículo afirma que HARC logra el mejor compromiso entre robustez-capacidad-usabilidad entre los métodos de seguridad actuales. Al acoplar la dañosidad y el rechazo tanto en las posiciones del prompt como de la respuesta, el método aborda la vulnerabilidad específica donde los jailbreaks suprimen la señal de rechazo antes de que comience la generación.

Los autores enfatizan que la estructura de cuatro direcciones (dañosidad/rechazo en prompt/respuesta) es una propiedad de los LLM alineados y no un artefacto arquitectónico, ya que se replica en cinco familias de modelos distintas. Argumentan que su intervención evita el "impuesto de alineación" (degradación de la capacidad) y el sobre-rechazo comunes en los métodos de ajuste fino más amplios porque opera estrictamente dentro de un subespacio dirigido de baja dimensión.

El artículo concluye que, si bien HARC mejora significamente la robustez contra jailbreaks estáticos, la observación del lado de la respuesta sugiere que el reconocimiento de la dañosidad persiste incluso durante la generación conforme, ofreciendo una nueva señal para el alineamiento de seguridad. No obstante, los autores señalan modestamente que el método asume que el modelo base ya posee una señal de dañosidad utilizable y no evalúa contra ataques adaptativos diseñados específicamente para atacar las direcciones acopladas.