Resumen Técnico: Revisando JBShield: Rompiendo y Reconstruyendo Defensas de Jailbreak a Nivel de Representación

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) alineados mediante ajuste fino de seguridad (por ejemplo, RLHF) siguen siendo vulnerables a ataques de jailbreak, particularmente los adaptativos donde los adversarios atacan explícitamente los mecanismos de defensa. Aunque existen defensas externas, muchas sufren limitaciones estructurales:

• Defensas a nivel superficial (por ejemplo, modelos guardianes, filtrado de entrada) fallan frente a sufijos adversarios semánticamente sin sentido pero efectivos a nivel de comportamiento.
• Defensas a nivel de representación a menudo colapsan el cálculo multicapa del modelo en un único punto de decisión (por ejemplo, una sola capa, una sola dirección de concepto o una puntuación escalar), haciéndolas susceptibles a optimización dirigida.

El artículo se centra en JBShield, una defensa reciente a nivel de representación que afirma una Tasa de Éxito del Ataque (ASR) del 0% frente a ataques de Gradiente de Coordenada Greedy (GCG). JBShield opera detectando dos señales de concepto —un "concepto tóxico" y un "concepto de jailbreak"— en una única capa congelada. Marca una solicitud solo si ambas puntuaciones de concepto superan sus respectivos umbrales (lógica de puerta AND). Los autores hipotetizan que esta estructura es vulnerable a ataques adaptativos que pueden manipular los estados ocultos del modelo para evadir un concepto mientras mantienen el otro.

2. Metodología

2.1 Ataque Adaptativo: JB-GCG

Los autores diseñan JB-GCG, un ataque adaptativo que modifica el objetivo estándar de GCG para suprimir simultáneamente el comportamiento de rechazo del modelo y evadir la detección de JBShield.

• Mecanismo: El ataque optimiza un sufijo adversario $x$ añadido a una consulta dañina. La función objetivo combina dos términos:
  1. Supresión de la dirección de rechazo: Minimizar la similitud del coseno entre el estado oculto y la dirección de rechazo (derivada de la diferencia de medias entre solicitudes dañinas e inofensivas).
  2. Regularización del concepto tóxico: Penalizar la alineación con la dirección del concepto tóxico de JBShield.
• Estrategia: El ataque explota la estructura de puerta AND de JBShield. Impulsa la puntuación del concepto tóxico por debajo del umbral de detección mientras deja intencionadamente activa la puntuación del concepto de jailbreak. Dado que JBShield requiere que ambas sean altas para activar una alerta, suprimir una es suficiente para la evasión.
• Optimización: El ataque utiliza un entorno de caja blanca con acceso completo a los pesos del modelo, activaciones y parámetros de calibración de la defensa (direcciones de concepto, umbrales).

2.2 Nueva Defensa: Verificación de Trayectoria de Representación (RTV)

Motivados por la observación de que JB-GCG crea una firma distintiva e inconsistente a través de las capas, los autores proponen RTV.

• Construcción de Huella Dactilar: En lugar de inspeccionar una sola capa, RTV construye una huella dactilar de 15 dimensiones calculando la similitud del coseno entre el estado oculto y la dirección de rechazo a través de 3 capas (18, 25, 32) y 5 posiciones de token (los últimos 5 tokens).
• Lógica de Detección: RTV trata la huella dactilar como un vector de características y aplica la distancia de Mahalanobis para detectar valores atípicos. Calcula la distancia de la huella dactilar de una solicitud de prueba a las distribuciones de los conjuntos de calibración inofensivos y dañinos. Una solicitud se marca si su distancia mínima a cualquiera de los dos clústeres supera un umbral.
• Calibración: RTV requiere únicamente solicitudes inofensivas y dañinas para la calibración; no requiere ejemplos de jailbreak.

3. Contribuciones Clave

1. Análisis de Vulnerabilidad Estructural: El artículo demuestra que la puerta AND de JBShield y la extracción de conceptos en una sola capa crean una vulnerabilidad estructural. Un atacante adaptativo puede eludir la defensa suprimiendo selectivamente el concepto tóxico mientras deja activo el concepto de jailbreak.
2. Ataque JB-GCG: Introducción de un ataque adaptativo que logra hasta un 53.4% de ASR contra JBShield-D y un 30.7% de ASR contra la tubería completa JBShield-M en Llama-3-8B, en configuraciones donde JBShield reportaba previamente un 0% de ASR. El ataque permanece efectivo a través de diferentes tamaños de calibración ($N=10$ a $50$).
3. Caracterización de Firma Multicapa: Los autores identifican que los jailbreaks exitosos ocupan una "zona distintiva" en el espacio de huellas dactilares de la dirección de rechazo (alineación cercana a cero en la capa de ataque, amplificándose hacia la alineación dañina en capas más profundas) que está ausente tanto en solicitudes inofensivas como dañinas.
4. Defensa RTV: Propuesta de una defensa basada en la verificación de trayectoria multicapa y la detección de valores atípicos de Mahalanobis. RTV logra un AUROC de 0.99 contra JB-GCG sin requerir ejemplos de jailbreak para la calibración.
5. Evaluación de Robustez: Evaluación de RTV bajo una fuerte amenaza adaptativa de caja blanca. Incluso con conocimiento completo de la defensa, el mejor ataque adaptativo logra solo un 7% de ASR con un costo computacional 13× mayor, demostrando que la defensa impone una tensión fundamental entre suprimir el rechazo e imitar huellas dactilares inofensivas.

4. Resultados Experimentales

4.1 Rendimiento del Ataque (JB-GCG vs. JBShield)

• Contra JBShield-D: JB-GCG logró un ASR promedio del 46.2% en cinco configuraciones en Llama-3-8B, alcanzando un 53.4% en la configuración más fuerte.
• Contra JBShield-M: El ataque permaneció efectivo contra el componente de mitigación, logrando hasta un 30.7% de ASR.
• Mecanismo: En todos los casos exitosos, la puntuación del concepto tóxico fue suprimida por debajo del umbral (0% de detección), mientras que el concepto de jailbreak permaneció activo (100% de detección), confirmando la explotación de la lógica de puerta AND.
• Sensibilidad de Calibración: El ataque persistió a través de recalibraciones con tamaños de conjunto de calibración variables ($N=10$ a $50$), confirmando que la vulnerabilidad es estructural y no específica de la calibración.

4.2 Rendimiento de la Defensa (RTV)

• Contra JB-GCG: RTV detectó el 100% de las 164 solicitudes adversarias de JB-GCG (ASR 0.0%) con una Tasa de Falsos Positivos (FPR) del 5%, con un AUROC de 0.9946.
• Generalización: RTV fue probado contra nueve ataques de jailbreak estándar (por ejemplo, GCG, PAIR, AutoDAN). Logró una detección perfecta o casi perfecta en cinco ataques y igualó o superó a JBShield-D en la mayoría. Tuvo dificultades con PAIR (58% de detección), que genera solicitudes naturalistas cercanas a la distribución inofensiva, una limitación compartida por JBShield.
• Robustez Adaptativa: Bajo un ataque adaptativo completo de caja blanca (ML-GCG) dirigido a RTV:
  • El mejor ataque logró solo un 7.0% de ASR.
  • Esto requirió un 13× más de costo computacional (promedio de 514.5 iteraciones frente a 39.6 para la línea base).
  • El ataque falló al encontrar soluciones para la mayoría de las solicitudes porque los objetivos de "suprimir el rechazo" (requerido para el jailbreak) y "hacer coincidir la huella dactilar inofensiva" (requerido para la evasión) son fundamentalmente conflictivos.

5. Significado y Afirmaciones

El artículo argumenta que una detección fuerte no adaptativa no implica robustez bajo modelos de amenaza adaptativa. El significado principal radica en cambiar el paradigma de la defensa a nivel de representación desde la inspección de un solo concepto en una sola capa hacia la consistencia de representación multicapa.

• Defensa Estructural: Los autores afirman que la robustez de RTV deriva de la "tensión de la huella dactilar" —la imposibilidad para un atacante de suprimir simultáneamente la dirección de rechazo (para hacer jailbreak) y mantener la alineación positiva característica de las entradas inofensivas a través de múltiples capas.
• Limitaciones: Los autores reconocen modestamente que:
  • Los experimentos se limitan a Llama-3-8B; la generalización a otras arquitecturas requiere recalibración.
  • Los ataques naturalistas como PAIR siguen siendo desafiantes para los detectores a nivel de representación.
  • Persiste un ASR adaptativo no nulo (7%), lo que sugiere que, aunque la defensa es robusta, no es perfecta.
  • La defensa depende de una calibración estática y puede requerir actualizaciones periódicas para cambios de distribución.

El artículo concluye que la consistencia de representación multicapa ofrece una base más fiable para la detección de jailbreaks que la similitud de conceptos en una sola capa, siempre que la defensa sea evaluada frente a adversarios adaptativos.