Resumen Técnico: Detección de Jailbreaks mediante la Dinámica de la Entropía en Capas Intermedias

1. Planteamiento del Problema

Los ataques de jailbreak explotan a los Modelos de Lenguaje Extensos (LLMs) para eludir el entrenamiento de seguridad, provocando respuestas que violan las políticas a pesar de los esfuerzos de alineación. Mientras que las defensas existentes operan a nivel de prompt (filtros), de salida (inspección de respuestas) o mediante clasificadores supervisados, la codificación interna de la intención dañina permanece insuficientemente comprendida. Específicamente, no está claro cómo se representa la intención adversaria dentro del espacio latente del modelo, cómo evoluciona esta señal a través de las posiciones de los tokens y en qué profundidad dentro de la arquitectura transformer esta información es más distinguible de las entradas benignas.

Los métodos actuales que dependen de estadísticas agregadas estáticas (por ejemplo, la perplejidad media o la entropía) a menudo no logran capturar las interacciones matizadas y localizadas entre los tokens y el estado interno del modelo que caracterizan los intentos de jailbreak. Este artículo postula que el comportamiento de jailbreak no es meramente un cambio en los niveles generales de incertidumbre, sino que induce dinámicas estructuradas en cómo evoluciona la entropía predictiva a medida que un prompt se desarrolla.

2. Metodología

Los autores proponen un marco de trabajo libre de entrenamiento (training-free framework) que analiza las trayectorias de la entropía predictiva a nivel de token dentro de las capas intermedias de un LLM congelado. El enfoque se basa en los siguientes componentes:

2.1 Extracción de la Entropía de la Capa Intermedia (Logit Lens)

En lugar de esperar a la salida final, el método proyecta los estados ocultos intermedios ($h_t^{(\ell)}$) en capas específicas $\ell$ directamente al espacio del vocabulario utilizando la matriz de unembedding final del modelo ($W_U$). Esta técnica de "lente de logits" (logit lens) genera una distribución de probabilidad $p^{(\ell}(\cdot | x_{<t})$ para el siguiente token en cada paso intermedio.
La entropía de Shannon $H_t^{(\ell)}$ se calcula entonces para cada posición de token $t$ en estas capas de sondeo, creando una trayectoria de entropía $H^{(\ell)} = (H_1^{(\ell)}, \dots, H_{T-1}^{(\ell)})$.

2.2 Construcción de Características

El marco distingue entre dos familias de características derivadas de estas trayectorias:

• Características Estáticas (de Nivel): Estadísticas agregadas que resumen la magnitud de la incertidumbre a lo largo del prompt, tales como la media, el máximo, la desviación estándar y el mínimo.
• Características Dinámicas (de Tendencia): Métricas que capturan la evolución direccional de la incertidumbre a través de las posiciones de los tokens. Las características clave incluyen:
  • $\tau$ de Kendall: Correlación de rango entre los valores de entropía y las posiciones de los tokens.
  • $\rho$ de Spearman: Correlación de Pearson de la entropía transformada por rango y las posiciones de los tokens.
  • Monotonicidad: La fracción de pares de tokens consecutivos donde la entropía se mueve en una dirección "dañina" específica ($d$), la cual se determina empíricamente por modelo (por ejemplo, descendente para Llama/Qwen, ascendente para Gemma).

2.3 Protocolo de Evaluación

El estudio evalúa estas características en un modelo congelado utilizando una única pasada hacia adelante (forward pass). El rendimiento de la detección se mide mediante el AUROC direccional, calculado en la dirección dañina natural del modelo. La evaluación abarca tres modelos de código abierto (Llama-3.1-8B, Qwen3-8B, Gemma-7b) y múltiples bancos de pruebas adversarios (AdvBench, HarmBench, StrongREJECT) frente a conjuntos de datos benignos (UltraChat, WildJailbreak, JailbreakBench).

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Análisis Libre de Entrenamiento: Introduce un método para detectar señales de jailbreak utilizando únicamente activaciones de capas intermedias sin necesidad de ajustar clasificadores ni analizar las salidas generadas.
2. Señal Dinámica vs. Estática: Demuestra que el poder discriminativo reside principalmente en las características de trayectoria dinámica (monotonicidad, tendencias basadas en rangos) más que en las estadísticas de entropía agregadas estáticas.
3. Localización Dependiente de la Profundidad: Identifica que la señal de jailbreak se concentra en las capas intermedias (aproximadamente del 50 al 85% de la profundidad de la red) y se degrada significativamente en la capa final, lo que sugiere que la intención dañina se codifica en representaciones semánticas de la mitad de la red antes de ser transformada por el procesamiento específico de la salida.

4. Resultados Empíricos

4.1 Las Características Dinámicas Superan a los Agregados Estáticos

En todos los modelos, las características de tendencia dinámica separaron consistentemente los prompts de jailbreak de los benignos, mientras que las características estáticas (entropía media, máxima) mostraron una alta varianza y una pobre generalización entre modelos.

• La Monotonicidad logró el AUROC medio más alto en Llama (0.941) y Qwen (0.941).
• El $\tau$ de Kendall y el $\rho$ de Spearman proporcionaron una separación robusta y consistente con la arquitectura (AUROC medio $\approx$ 0.78–0.80) con una varianza casi nula entre modelos, lo que indica que la estructura de la evolución de la entropía es una señal transferible independientemente de la escala absoluta de la entropía.

4.2 Concentración de la Señal en Capas Intermedias

La señal discriminativa no es uniforme a través de la profundidad.

• Pico Intermedio: Características como la monotonicidad y el $\tau$ de Kendall alcanzaron su punto máximo en las capas intermedias (por ejemplo, la capa 22 de 32 para Llama, la capa 25 de 36 para Qwen).
• Degradación en la Capa Final: El rendimiento cayó abruptamente en la capa final. Para Gemma, el $\tau$ de Kendall descendió de 0.796 en la capa intermedia a 0.458 en la capa final. Esto sugiere que la capa final suprime activamente o reorganiza la estructura adversaria presente en las representaciones anteriores.
• Contraste con Características Estáticas: Las características estáticas (como la entropía media) mostraron la tendencia opuesta, funcionando a menudo mejor en la capa final, lo que confirma que capturan propiedades computacionales diferentes a las tendencias dinámicas.

4.3 Generalización y Control Adversario

• Consistencia entre Modelos: Las características basadas en rangos se generalizaron bien en Llama, Qwen y Gemma, a pesar de las diferencias en sus procesos de entrenamiento y conteo de capas.
• Control Adversario (Benigno de JailbreakBench): Cuando el conjunto benigno consistió en prompts "benignos de JailbreakBench" (diseñados intencionalmente para imitar la estructura de las solicitudes dañinas sin tener una intención dañina), el AUROC colapsó (cayendo a ~0.35). Esto indica que la señal detecta la composición estructural del prompt en lugar de la malicia semántica. Cuando las entradas benignas se asemejan estructuralmente a los jailbreaks, las dinámicas internas se vuelven indistinguibles.

5. Significado y Reivindicaciones

El artículo sostiene que el comportamiento de jailbreak en los LLM alineados se refleja en dinámicas de incertidumbre estructural en las capas intermedias. Específicamente:

• Interpretabilidad: Los hallazgos aclaran dónde (capas intermedias) y cómo (tendencias de entropía monotónicas) se codifica la intención dañina, ofreciendo una lente diagnóstica hacia el interior del modelo.
• Consistencia de la Arquitectura: La señal es una propiedad emergente de las representaciones de la mitad de la red que persiste a través de diferentes familias de modelos (Llama, Qwen, Gemma) sin entrenamiento adicional.
• Limitaciones y Alcance: Los autores enmarcan modestamente esto como una caracterización diagnóstica en lugar de un detector terminado y listo para su despliegue. Reconocen que el método requiere acceso de caja blanca a las activaciones intermedias y que su efectividad depende de la distribución de los prompts benignos. Si los prompts benignos imitan estructuralmente a los jailbreaks, la señal se degrada. Además, el método depende de las proyecciones de la lente de logits, que pueden introducir distorsiones debido al desalineamiento de la representación.

En conclusión, el estudio establece que el monitoreo de la evolución de la entropía predictiva a nivel de token en las capas intermedias proporciona una señal robusta y libre de entrenamiento para identificar los patrones estructurales asociados con los intentos de jailbreak, distintos de los niveles de incertidumbre estática utilizados en la detección tradicional basada en la perplejidad.