Resumen Técnico: Detección de Prompts Adversarios Basados en Optimización Fluida mediante Cambios de Entropía Secuencial

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) siguen siendo vulnerables a sufijos adversarios basados en optimización. A diferencia de las jailbreaks creadas por humanos, estos ataques (por ejemplo, GCG, AutoDAN, AdvPrompter) se generan automáticamente para coaccionar a modelos alineados a violar políticas de seguridad mientras mantienen una alta fluidez.

Las defensas existentes enfrentan dos limitaciones principales:

1. Detectores Estadísticos (Basados en Perplejidad): Los métodos que dependen de la perplejidad global (PP) o de la perplejidad en ventanas (WPP) asumen que los tokens adversarios son estadísticamente improbables o poco fluidos. Sin embargo, los ataques modernos optimizan explícitamente para lograr baja perplejidad y naturalidad, manteniendo a menudo la PP global dentro del rango de los prompts benignos, lo que vuelve ineficaces a estos detectores.
2. Clasificadores de Seguridad (Modelos Guardianes): Modelos como LLaMA Guard ofrecen una detección semántica robusta pero introducen una latencia significativa, sobrecarga de memoria y complejidad en el servicio. Además, operan a nivel de prompt y no pueden localizar dónde comienza un sufijo adversario dentro del flujo de entrada.

El desafío central es detectar y localizar estos sufijos fluidos basados en optimización en tiempo real sin depender de umbrales de perplejidad estáticos ni de modelos auxiliares costosos.

2. Metodología: CPD Online

Los autores proponen CPD Online, un detector ligero y sin entrenamiento que enmarca la detección de sufijos adversarios como un problema de detección de puntos de cambio en línea (CPD) sobre el flujo de entropía de tokens siguiente a nivel de token.

Mecanismo Central

El método opera sobre la observación de que, mientras las entradas de usuario benignas comparten una distribución de entropía similar a la del prompt del sistema, los sufijos adversarios basados en optimización inducen un desplazamiento persistente en el flujo de entropía de tokens, incluso cuando la perplejidad global permanece inconspicua.

La tubería de detección consta de tres pasos:

1. Estimación Robusta de la Línea Base:
   • El prompt del sistema fijo se utiliza para establecer una línea base de entropía específica de la implementación.
   • Se calculan la mediana ($\hat{\mu}_0$) y la Desviación Absoluta Mediana ($\hat{\sigma}_0$) de las entropías de tokens del prompt del sistema para definir una ubicación y escala robustas.
2. Estandarización:
   • Las entropías de tokens del usuario ($H^{usr}_t$) se estandarizan contra la línea base: $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$.
   • Bajo condiciones benignas, $Z_t$ fluctúa cerca de cero. Un sufijo adversario induce un desplazamiento positivo sostenido en la media de $Z_t$.
3. Prueba CUSUM de Page Unilateral:
   • Se aplica una estadística clásica unilateral de Page CUSUM ($W^+_t$) al flujo estandarizado para detectar desplazamientos persistentes de la media:
     $$W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$$
     donde $k \ge 0$ es un parámetro de "holgura" (configuración canónica $k=0$).
   • Se levanta una alarma en el tiempo de parada $\tau$ cuando $W^+_t$ supera un umbral $h$.
   • Localización: El inicio del sufijo ($\hat{\nu}$) se estima mediante retroceso hasta el último punto de reinicio donde $W^+_t = 0$ antes de la alarma.

Características Operativas

• Agnóstico al Modelo: Requiere solo acceso a las probabilidades del siguiente token a nivel de token (o logits) del modelo base.
• Sin Entrenamiento: No se requiere entrenamiento adicional ni redes auxiliares.
• En Línea y Bajo Costo: Se ejecuta secuencialmente durante el paso hacia adelante con complejidad $O(1)$ por token y una huella de memoria insignificante.
• Puerta Híbrida: Puede actuar como una puerta ligera para filtrar tráfico benigno antes de invocar clasificadores de seguridad costosos como LLaMA Guard.

3. Contribuciones Clave

1. Formulación: El artículo formula la detección de sufijos adversarios como un problema de detección de puntos de cambio en línea sobre flujos de entropía a nivel de token, demostrando que los desplazamientos de entropía son una señal más robusta que la perplejidad estática para ataques fluidos.
2. Algoritmo: La instanciación de CPD Online como un detector unilateral de Page-CUSUM utilizando estadísticas MAD fundamentadas en el prompt del sistema. Es ligero, no requiere entrenamiento y utiliza cantidades disponibles en los pasos hacia adelante estándar.
3. Rendimiento Empírico: En una evaluación de 1.012 ataques basados en optimización (a través de GCG, AutoDAN, AdvPrompter, BEAST, AutoDAN-HGA) y 1.012 prompts benignos coincidentes en perplejidad, CPD Online supera consistentemente a las líneas base más fuertes de perplejidad en ventanas (WPP) en seis modelos de chat de pesos abiertos (LLaMA-2, Vicuna, Qwen2.5).
4. Localización: A diferencia de WPP, que a menudo se activa en ventanas que cruzan el límite del sufijo, CPD concentra el 79,6% de sus activaciones dentro del sufijo adversario, proporcionando una localización precisa a nivel de token.
5. Eficiencia: Cuando se utiliza como puerta para LLaMA Guard, CPD reduce las llamadas al guardián en un 17–22% (hasta un 42,2% en pruebas de estrés de alto volumen) mientras preserva la calidad de detección.

4. Resultados Experimentales

La evaluación se realizó en seis LLM base (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) utilizando una evaluación coincidente en perplejidad ($\alpha=1$) donde los prompts benignos se muestrean para coincidir con la distribución de perplejidad de los ataques optimizados para fluidez.

• Precisión de Detección (F1): CPD Online logró las puntuaciones F1 más altas en los seis modelos.
  • Ejemplo (LLaMA-2-7B): CPD alcanzó un F1 de 0,82 y un AUROC de 0,88, en comparación con la mejor línea base WPP (WPP15) con un F1 de 0,74 y un AUROC de 0,77. La perplejidad global (PP) tuvo un rendimiento cercano al azar (AUROC ~0,46).
• Precisión de Localización:
  • CPD se activó dentro del sufijo el 79,6% de las veces.
  • Las líneas base WPP se activaron dentro del sufijo solo el 17–46% de las veces, con un significativo "desenfoque de límites" (activaciones en la categoría before+in) y una alta fuga hacia regiones benignas (in-benign).
• Robustez ante Desplazamientos de Perplejidad: En pruebas de estrés donde los prompts benignos se desplazaron a una perplejidad más alta ($\alpha=2, 3$), CPD mantuvo o mejoró su rendimiento, mientras que WPP se degradó significativamente (el AUROC bajó de 0,81 a 0,67 en $\alpha=3$).
• Puerta Híbrida: En un escenario de implementación con 17.297 prompts (mayormente benignos), la puerta CPD redujo las llamadas a LLaMA Guard en un 42,2% (para LG1) y un 33,8% (para LG2) mientras mantenía la puntuación F1 híbrida.

5. Significado y Afirmaciones

El artículo afirma ser el primer trabajo en aplicar la detección de puntos de cambio en línea dentro de una sola solicitud (flujo de tokens del sistema + usuario) a nivel de token para detectar y localizar sufijos adversarios en LLM desplegados.

Significado:

• Más allá de Heurísticas Estáticas: Demuestra que la dinámica de entropía secuencial, en lugar de los valores absolutos de perplejidad, es la característica distintiva de los ataques basados en optimización.
• Implementación Práctica: Al ser sin entrenamiento y agnóstico al modelo, ofrece una solución viable para la monitorización en tiempo real sin el costo computacional de ejecutar un segundo LLM (Guardián) en cada solicitud.
• Precisión: La capacidad de localizar el inicio exacto de un ataque permite estrategias de mitigación dirigidas en lugar del rechazo contundente de todo el prompt.

Limitaciones Reconocidas:

• El método depende de probabilidades a nivel de token, que pueden no estar disponibles en entornos de API cerrados.
• Asume un prompt del sistema fijo para la calibración de la línea base; fuertes desplazamientos de distribución en el tráfico benigno podrían requerir recalibración.
• El modelo de amenazas está actualmente restringido a sufijos basados en optimización añadidos a prompts de usuario, no a ataques de prefijo o inyección indirecta de prompts.

Los autores concluyen que este trabajo alienta una mayor exploración de herramientas estadísticas secuenciales y dinámicas de incertidumbre interna como señales ricas para la seguridad de los LLM.