Resumen Técnico: El Gran Farsante: Un Problema de Estocasticidad en la Jailbreak de LLM

1. Declaración del Problema

El estándar actual para evaluar la seguridad de los Modelos de Lenguaje Grande (LLM), la Tasa de Éxito del Ataque (ASR), es fundamentalmente defectuoso porque trata la ASR como una propiedad fija de un ataque. Los autores argumentan que la ASR es en realidad una variable aleatoria fuertemente influenciada por dos fuentes independientes de estocasticidad que son ampliamente ignoradas en la literatura existente:

1. Estocasticidad de Generación: La mayoría de los ataques de jailbreak (por ejemplo, Best-of-N, Crescendo) son estocásticos por diseño. Generan múltiples prompts candidatos y seleccionan uno basado en un solo intento exitoso. Una sola ejecución produce un conjunto diferente de candidatos dependiendo de la semilla aleatoria, lo que conduce a resultados variables de ASR.
2. Estocasticidad de Evaluación: Los jueces automatizados (por ejemplo, Llama-Guard) utilizados para clasificar las respuestas como "dañinas" o "seguras" son en sí mismos estocásticos cuando operan con una temperatura $T > 0$. La misma respuesta del modelo puede ser etiquetada como dañina en una evaluación y benigna en otra.

En consecuencia, los números de ASR reportados están sistemáticamente inflados y son incomparables entre artículos. Un prompt que tiene éxito 1 de cada 10 intentos a menudo se trata idénticamente a uno que tiene éxito 10 de cada 10, enmascarando el hecho de que el primero puede ser un "suerte de la suerte" en lugar de una vulnerabilidad genuina.

2. Metodología

El artículo propone un estudio empírico sistemático para cuantificar el impacto de estos factores estocásticos.

Configuración Experimental

• Ataques: Se evaluaron cuatro ataques de caja negra: Best-of-N (BoN), PAIR, TAP y Crescendo.
• Modelos Objetivo: Cinco modelos ajustados con instrucciones que van desde 1B hasta 70B parámetros en tres familias (Meta Llama-3, Google Gemma-3, IBM Granite).
• Jueces: Dos jueces basados en LLM (Llama-Guard-3-1B y Llama-Guard-3-8B).
• Parámetros: El estudio varía seis parámetros de estocasticidad a través de las tuberías de generación y evaluación:
  • Temperaturas: Generación del modelo objetivo ($T_{gen}$), evaluación del modelo objetivo ($T_{eval}$), generación del juez ($\theta_{gen}$) y evaluación del juez ($\theta_{eval}$).
  • Umbral de Consistencia: El número de evaluaciones exitosas consecutivas requeridas ($k_{gen}$ para generación, $k_{eval}$ para evaluación).
  • Semillas: Múltiples semillas aleatorias independientes ($S=5$) para medir la varianza.

Marcos Propuestos

Para abordar la inestabilidad de la ASR, los autores introducen la Consistencia para el Éxito del Ataque (CAS) y dos marcos asociados:

1. Métrica CAS: Un indicador binario por prompt. Un jailbreak se cuenta como exitoso solo si todas las $k$ evaluaciones independientes devuelven un veredicto dañino.

   • La ASR estándar corresponde a $k=1$.
   • La métrica a nivel de conjunto de datos es $ASR(k_{eval})$, la fracción de prompts donde $CAS(r, k_{eval}) = 1$.

2. CAS-gen (Marco de Generación de Ataques):

   • En lugar de aceptar un prompt de jailbreak después de un solo intento exitoso ($k_{gen}=1$), el ataque debe elicitar una respuesta dañina consistentemente a través de $k_{gen}$ ejecuciones independientes.
   • Esto filtra los "éxitos por azar" en la fuente, asegurando que el conjunto de datos de ataques contenga solo prompts robustos.

3. CAS-eval (Marco de Evaluación de Ataques):

   • Un prompt de jailbreak fijo se evalúa $k_{eval}$ veces. Se clasifica como un jailbreak consistente solo si todas las $k_{eval}$ llamadas al juez devuelven un veredicto dañino.
   • Esto suprime los falsos positivos causados por la no determinación del juez.

3. Resultados Clave

La evaluación revela que los parámetros de estocasticidad pueden desplazar la ASR reportada en márgenes masivos (hasta 54 puntos porcentuales), haciendo inválidas las comparaciones entre artículos sin estandarización.

• Impacto del Umbral de Evaluación ($k_{eval}$): Pasar de $k_{eval}=1$ a $k_{eval}=10$ reduce la ASR en 12 a 24 puntos porcentuales en todas las configuraciones. Esto indica que la evaluación estándar de un solo tiro exagera significativamente el éxito del ataque.
• Impacto de la Temperatura del Juez ($\theta_{eval}$): Este es el parámetro más volátil. Aumentar $\theta_{eval}$ de 0.0 a 1.0 puede colapsar la ASR en hasta 54 puntos porcentuales (por ejemplo, Crescendo cayendo del 86% al 32%). En $\theta_{eval}=0$, la ASR se vuelve perfectamente estable.
• Impacto del Presupuesto de Generación ($k_{gen}$): Aumentar $k_{gen}$ de 1 a 10 eleva la ASR reportada en 12 a 30 puntos porcentuales. Un filtro laxo ($k_{gen}=1$) admite prompts limítrofes que se degradan bruscamente bajo evaluación repetida.
• Impacto de la Temperatura del Modelo Objetivo ($T_{eval}$): Desplazar $T_{eval}$ de 0.0 a 1.0 cambia la ASR en un máximo de 18 puntos porcentuales sin dirección sistemática; no afecta las clasificaciones relativas de los ataques.
• Impacto de la Semilla del Ataque: La dispersión entre semillas es moderada (hasta 20 puntos porcentuales) pero puede ser mayor para configuraciones específicas (por ejemplo, 50 puntos para BoN con LG-8B en $k_{eval}=10$).

4. Contribuciones y Significado

El artículo realiza tres contribuciones principales:

1. Estudio Empírico Sistemático: El primer análisis integral tanto de la estocasticidad de generación como de evaluación a través de múltiples ataques, modelos y jueces, identificando parámetros específicos que impulsan la varianza de la ASR.
2. Nueva Métrica y Marcos: La introducción de CAS (Consistencia para el Éxito del Ataque) y los marcos CAS-gen/CAS-eval. Estas herramientas permiten a los investigadores filtrar sorteos afortunados y ruido de los jueces, produciendo estimaciones de ASR más fiables y reproducibles.
3. Estándar Mínimo de Reporte: Los autores proponen una lista de verificación para investigaciones futuras para asegurar la comparabilidad. Como mínimo, los artículos deben divulgar:
   • $k_{gen}$ (umbral de consistencia de generación)
   • $k_{eval}$ (umbral de consistencia de evaluación)
   • $\theta_{eval}$ (temperatura de evaluación del juez)
   • (Para ataques BoN) $\theta_{gen}$ (temperatura de búsqueda del juez)

Significado:
El artículo argumenta que la práctica actual de reportar la ASR como una estimación puntual sin controlar la estocasticidad es "fundamentalmente defectuosa". Al ignorar estas variables, la comunidad crea un escenario de "Gran Farsante" donde las puntuaciones altas de ASR son a menudo artefactos de semillas aleatorias y ruido de los jueces en lugar de vulnerabilidades genuinas. Los marcos propuestos y los estándares de reporte buscan restaurar el rigor estadístico en la evaluación de seguridad de LLM, asegurando que las tasas de éxito reportadas reflejen la efectividad genuina y reproducible de los ataques. Los autores señalan que sus hallazgos se basan en modelos de pesos abiertos y que extender este análisis a modelos propietarios fuertemente alineados con RLHF sigue siendo una pregunta empírica abierta debido a las restricciones de API y la falta de transparencia.