Resumen Técnico: Más Allá de la Tasa de Éxito del Ataque: Observabilidad Temporal de Logits para Fallos de Seguridad en LLM

Declaración del Problema

La evaluación actual de seguridad para Modelos de Lenguaje Grandes (LLM) alineados depende predominantemente de la Tasa de Éxito del Ataque (ASR). La ASR proporciona un juicio binario, a nivel de resultado (éxito/fracaso), calculado al final de la generación. Aunque operativamente atractiva, esta métrica trata el proceso de decodificación como una caja negra, descartando la trayectoria a nivel de token por la cual un modelo llega a su respuesta final.

El artículo argumenta que la ASR está estructuralmente limitada: ataques distintos contra el mismo prompt dañino pueden producir respuestas finales idénticas (y por tanto etiquetas ASR idénticas) a pesar de seguir procesos internos fundamentalmente diferentes. Por ejemplo, una negativa podría activarse brevemente y suprimirse, emerger demasiado tarde para prevenir el daño, o nunca activarse en absoluto. Dado que la ASR colapsa estas dinámicas temporales distintas en un solo número, no logra distinguir entre pares modelo-ataque que requieren estrategias defensivas diferentes. Además, los métodos existentes para recuperar esta estructura oculta (por ejemplo, sondas de estado oculto) requieren acceso a las activaciones del modelo, lo cual a menudo no está disponible en escenarios de auditoría del mundo real.

Metodología: Observabilidad Temporal de Logits (TLO)

Los autores proponen la Observabilidad Temporal de Logits (TLO), un protocolo de diagnóstico sin entrenamiento que reconstruye las dinámicas temporales de los fallos de seguridad utilizando únicamente logits, sin acceso a estados ocultos ni pesos del modelo.

Componentes Principales

1. Puntuación de Margen de Logits (LMS):
   TLO mide el equilibrio entre cumplimiento y negativa en cada paso de decodificación $t$ utilizando un léxico fijo en inglés de tokens de cumplimiento ($L_{cmp}$) y tokens de negativa ($L_{ref}$).
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   Donde $\mu$ representa la puntuación media de logits de los tokens superiores-$k$ dentro del léxico respectivo. Un $S_t$ positivo indica dominio de cumplimiento; un $S_t$ negativo indica dominio de negativa.

2. Resúmenes Temporales:
   El protocolo extrae dos observaciones principales de la trayectoria LMS $S_{0:T}$:

   • Pre-generación ($S_0$): El margen de logits en la posición final del prompt antes de que se genere cualquier token de respuesta.
   • Tiempo de generación ($\bar{S}$): El margen de logits medio sobre la secuencia generada (con variantes para ventanas tempranas, por ejemplo, $\bar{S}_{1:5}$).
   • Momento de Activación ($t_{cross}$): El primer paso donde la trayectoria cruza hacia el dominio de negativa ($S_t < 0$).

3. Calibración de Posición Relativa (RP):
   Para hacer las observaciones comparables entre diferentes modelos, ataques y formatos de prompt, TLO calibra las señales de logits brutas contra distribuciones de referencia.
   $$RP(M) = \frac{M_{success} - M_{harmful}}{M_{benign} - M_{harmful}}$$
   Donde $M$ representa la media de la métrica (por ejemplo, $S_0$ o $\bar{S}$) sobre ataques exitosos, todas las muestras dañinas y referencias benignas formateadas como ataques.

   • $RP = 0$ indica un comportamiento similar al ancla dañina.
   • $RP = 1$ indica un comportamiento similar al ancla benigna.
   • Los valores fuera de $[0, 1]$ se reportan como inversiones observadas.

4. El Plano RP:
   Cada condición modelo-ataque se mapea a una coordenada 2D $c = (RPA, RPB)$, donde $RPA$ es la posición pre-generación calibrada y $RPB$ es la posición en tiempo de generación calibrada. La distancia euclidiana entre condiciones ($D_{RP}$) cuantifica la separación temporal de los fallos de seguridad.

Contribuciones Clave

1. Coordenadas Temporales Calibradas desde Logits: El artículo introduce el sistema de coordenadas del plano RP, que resume la trayectoria LMS en un espacio 2D calibrado. Este diseño es complementario a la ASR: el desplazamiento RP está acotado por $(1-ASR)$, lo que significa que porta la señal principal en condiciones de ASR media, donde la ASR por sí sola es menos informativa sobre por qué tuvo éxito un ataque.
2. Recuperación de Interacciones Invisibles: TLO revela que condiciones con ASR casi idéntica ocupan ubicaciones distintas en el plano RP. La misma familia de ataques produce firmas temporales diferentes entre modelos, y el mismo modelo maneja diferentes ataques mediante mecanismos temporales distintos.
3. Alineación con Estados Ocultos: La trayectoria basada en logits se alinea con las direcciones de negativa de los estados ocultos en 10 de 12 condiciones modelo-ataque probadas, validando que las señales de logits observables portan información relevante para la seguridad a pesar de carecer de acceso a activaciones.
4. Intervención en Tiempo de Decodificación: Una regla simple de parada temprana derivada de la señal temporal (detener la generación si $t_{cross} > 5$) reduce la ASR agregada del 39.6% al 13.1% sin generar falsas alarmas en consultas benignas simples.

Resultados Experimentales

Los autores evaluaron TLO en una cuadrícula de cuatro LLM alineados (Llama, Mistral, Qwen, Gemma) y tres paradigmas de jailbreak (MCM, GCG, DeepInception) utilizando 60 prompts dañinos por condición.

• Diferenciación de Vecinos ASR: Ataques con ASR casi idéntica (por ejemplo, Llama+DI al 55.0% frente a Qwen+DI al 58.3%) se separaron por una distancia calibrada de $D_{RP} = 0.572$. Aún más notablemente, Llama+DI (55.0%) y Mistral+GCG (56.7%) se separaron por $D_{RP} = 1.014$, demostrando que el plano RP captura diferencias estructurales invisibles para la ASR.
• Separación Temporal: Los jailbreaks exitosos típicamente retrasaron o evitaron la transición al dominio de negativa, mientras que los jailbreaks fallidos cruzaron hacia el dominio de negativa temprano (a menudo dentro de los primeros 5 tokens). La trayectoria separó los resultados con una $d$ de Cohen > 1.0 y un ROC-AUC de 0.771–0.784.
• Alineación con Estados Ocultos: La correlación entre el margen de logits ($S_t$) y las proyecciones de negativa de estado oculto fue fuerte para Llama ($|\rho| \ge 0.70$) y moderada para Mistral y Gemma. Qwen mostró un límite específico del modelo donde el signo esperado se invirtió para algunos ataques, destacando los límites de un enfoque de léxico fijo para ciertas arquitecturas.
• Eficacia de la Intervención: Aplicar una regla uniforme de parada temprana basada en $t_{cross}$ redujo la ASR agregada en 26.5 puntos porcentuales. La intervención fue más efectiva en condiciones de "Sesgo de Generación Nula" (NGB) (donde la geometría RP es inintencionalmente no informativa), lo que sugiere que cuando las señales temporales son débiles, la señal ASR bruta domina y la parada uniforme es efectiva.
• Robustez: Los resultados permanecieron estables ante aleatoriedad de decodificación, perturbaciones del léxico y criterios de cruce más estrictos. El método requirió logits completos o log-probabilidades de tokens léxicos dirigidos; las salidas estándar top-$k$ (por ejemplo, $k=20$) fueron insuficientes.

Significado y Afirmaciones

El artículo posiciona a TLO no como un reemplazo de la ASR, sino como una capa de diagnóstico necesaria que hace observable el "cuándo y cómo" de los fallos de seguridad.

• Brecha de Observabilidad: Los autores afirman que la evaluación de seguridad debería reportar el desarrollo de un fallo, no solo su ocurrencia. TLO proporciona el primer método para observar estas dinámicas temporales utilizando únicamente logits estándar, una capacidad previamente restringida a quienes tienen acceso a estados ocultos.
• Complementariedad: El plano RP está diseñado para ser más informativo exactamente donde la ASR es menos informativa (condiciones de ASR media). Expone la heterogeneidad de las interacciones modelo-ataque que las métricas de resultado colapsan.
• Monitoreo Accionable: El estudio demuestra que la geometría de logits calibrada puede impulsar un monitoreo efectivo en tiempo de decodificación (parada temprana) sin ajuste específico para el ataque, reduciendo significativamente los jailbreaks exitosos mientras mantiene cero falsos positivos en consultas benignas sin formato.
• Limitaciones: Los autores notan explícitamente que TLO es observacional, no causal; identifica cuándo aparece la evidencia de seguridad pero no identifica los circuitos neuronales subyacentes. El método es actualmente más aplicable a la auditoría en inglés de pesos abiertos, ya que depende de un léxico fijo en inglés y acceso completo a logits, lo cual puede no estar disponible en entornos restringidos por API.