When Scanners Lie: Evaluator Instability in LLM Red-Teaming

Resumen Técnico: Inestabilidad del Evaluador en la Evaluación de Vulnerabilidades de LLM

1. El Problema: La Falta de Validez en las Métricas de Seguridad

Los escáneros de vulnerabilidades automatizados para Grandes Modelos de Lenguaje (LLM) son herramientas fundamentales para evaluar la seguridad de los sistemas de IA, utilizando principalmente la Tasa de Éxito del Ataque (ASR, por sus siglas en inglés) como métrica clave. La ASR mide el porcentaje de intentos de ataque que se consideran exitosos.

Sin embargo, el artículo identifica un problema crítico y a menudo ignorado: la validez de la ASR depende enteramente del componente "evaluador" que determina si un ataque tuvo éxito o no.

• Inestabilidad de Medición: Cambiar el evaluador (por ejemplo, de uno basado en reglas estáticas a uno basado en otro LLM) manteniendo constantes los ataques y las respuestas del modelo objetivo, puede alterar drásticamente la ASR reportada.
• Riesgo Metodológico: La comunidad asume erróneamente que la ASR es una característica intrínseca del modelo. En realidad, es una función del evaluador utilizado. Esto lleva a conclusiones engañosas sobre la robustez de los sistemas de IA, donde las métricas pueden inflarse o suprimirse artificialmente dependiendo del diseño del evaluador.

2. Metodología: Marco de Evaluación Consciente de la Fiabilidad

Los autores proponen un marco de trabajo de dos fases diseñado para diagnosticar y mitigar esta inestabilidad sin requerir anotación humana masiva.

Fase I: Diagnóstico (Análisis de Desacuerdo)

• Objetivo: Cuantificar la inestabilidad dependiente del evaluador.
• Procedimiento: Se aplican dos evaluadores diferentes ($E_1$ y $E_2$) al mismo conjunto de pares "prompt-respuesta".
• Métrica: Se calcula la tasa de desacuerdo ($D$) entre los dos evaluadores.
  $$D = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}\{E_1(x_i, y_i) \neq E_2(x_i, y_i)\}$$
• Umbral: Se establece un umbral de fiabilidad ($\tau$). Las categorías de ataque con $D > \tau$ se marcan como inestables y requieren intervención.

Fase II: Remediación (Evaluación con Verificación)

• Objetivo: Mejorar la fiabilidad de las categorías inestables identificadas en la Fase I.
• Procedimiento: Se introduce un verificador independiente (un LLM con capacidades de razonamiento) que reevalúa las respuestas utilizando un prompt de verificación estructurado.
• Mecanismo: El verificador actúa como una señal de referencia independiente para estimar la precisión de los evaluadores originales. Esto permite:
  1. Identificar qué evaluador (estático o dinámico) es más preciso para cada categoría de ataque.
  2. Permitir el despliegue selectivo: reemplazar solo los evaluadores problemáticos por evaluadores dinámicos más costosos, equilibrando precisión y costo computacional.

3. Contribuciones Clave

1. Efecto de Inestabilidad Dependiente del Evaluador: Demostración empírica de que las métricas de vulnerabilidad (ASR) no son invariantes, sino que fluctúan significativamente según el diseño del evaluador.
2. Técnica de Diagnóstico de Desacuerdo: Un método para identificar automáticamente categorías de ataque donde la métrica de éxito es poco fiable, guiando mejoras dirigidas en los escáneros.
3. Estimación de Fiabilidad Basada en Verificación: Un mecanismo escalable que utiliza un verificador LLM para corregir resultados y estimar la incertidumbre, evitando la necesidad de costosa anotación humana a gran escala.

4. Resultados Experimentales

El marco se aplicó al escáner de código abierto Garak (v0.13.2) evaluando 25 categorías de ataque contra tres modelos objetivo (Mistral-Small, CommandA y GPT-5-mini).

• Alta Inestabilidad: De las 25 categorías de ataque, 22 (88%) mostraron un desacuerdo significativo entre evaluadores ($D > 0.05$). En 6 categorías, el desacuerdo superó el 50%, lo que implica que la ASR reportada estaba determinada casi aleatoriamente por el evaluador elegido.
• Mejora en Precisión:
  • El evaluador estático (predeterminado en Garak) tuvo una precisión del 72% frente al verificador.
  • El evaluador dinámico (basado en LLM) alcanzó una precisión del 89%.
• Incertidumbre en la ASR: La elección del evaluador puede variar la puntuación de vulnerabilidad reportada en un rango de $\pm 33\%$.
• Compromiso Costo-Fiabilidad:
  • Reemplazar selectivamente solo los evaluadores de alto impacto (los primeros 17) aumentó la precisión del escáner del 72% al 89.8% con un sobrecosto computacional mínimo ($1.66 por escaneo).
  • Reemplazar todos los evaluadores por dinámicos redujo ligeramente la precisión global (a 89.3%) y aumentó drásticamente el costo, demostrando que la estrategia selectiva es superior a la sustitución total.

5. Significado e Implicaciones

• Revisión de la Práctica Actual: Las métricas de seguridad de IA actuales (como la ASR) no deben interpretarse como verdades absolutas sobre la robustez del modelo, sino como estimaciones condicionadas al mecanismo de evaluación utilizado.
• Diseño de Escáneres: Los desarrolladores de herramientas de seguridad deben adoptar enfoques "conscientes del evaluador". No existe un evaluador universalmente óptimo; la estrategia debe ser híbrida y adaptativa.
• Validación de Métricas: El marco proporciona una vía práctica para cuantificar la incertidumbre en las evaluaciones automatizadas, permitiendo a los profesionales de seguridad tomar decisiones de despliegue más informadas y evitar falsos positivos/negativos derivados de evaluadores deficientes.

En conclusión, el artículo establece que la fiabilidad de las evaluaciones de seguridad automatizadas depende tanto de la calidad del evaluador como del modelo evaluado, y propone un marco sistemático para detectar y corregir estas inconsistencias.