How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

Resumen Técnico: Calibración y Robustez Adversaria de la Puntuación Automatizada de ASR

Planteamiento del Problema
El campo de la seguridad de los Modelos de Lenguaje de Gran Escala (LLM) depende en gran medida de la Tasa de Éxito de Ataque (ASR) para cuantificar la eficacia de los jailbreaks y las defensiones. Sin embargo, la determinación de si la respuesta de un modelo es "dañina" es realizada casi exclusivamente por jueces automatizados en lugar de anotadores humanos. Estos jueces se dividen en dos categorías principales: clasificadores de seguridad dedicados (ej. el clasificador de HarmBench, Llama-Guard) y modelos de instrucción general ajustados para actuar como evaluadores (LLM-as-judge). El artículo argumenta que esta dependencia no está justificada; si estos jueces están mal calibrados o son fácilmente manipulables, los valores de ASR reportados están inflados o deflactados, y pueden ser alterados artificialmente por atacantes o autores sin cambiar la salida real del modelo. El problema central es la falta de verificación respecto a la fiabilidad y robustez de estos jueces automatizados.

Metodología
Los autores evalúan la fiabilidad de estos jueces utilizando el conjunto de validación del clasificador HarmBench, que contiene 596 pares de peticiones dañinas y respuestas de modelos etiquetadas por tres anotadores humanos (utilizando la votación por mayoría como verdad de terreno).

1. Jueces Evaluados:
   • Clasificador Dedicado: cais/HarmBench-Llama-2-13b-cls.
   • LLM-as-Judges: Tres modelos de instrucción de pesos abiertos: Qwen2.5-7B-Instruct, Phi-3.5-mini-instruct y Qwen2.5-3B-Instruct.
2. Calibración: Las salidas de los jueces se compararon con las etiquetas de mayoría humana para calcular precisión, exhaustividad (recall), F1 y exactitud (accuracy).
3. Robustez Adversaria (Ataques de Superficie): Los autores probaron "envoltorios de preservación de contenido" (content-preserving wrappers) en los verdaderos positivos de los jueces. Estos ataques añadieron un marco benigno (ej. una frase de rechazo, un preámbulo/posámbulo, un marco educativo o un diálogo ficticio) sin alterar el núcleo dañino de la respuesta. La métrica utilizada fue la "tasa de inversión" (flip rate): el porcentaje de casos donde el juez cambió su veredicto de "dañino" a "no dañino".
4. Robustez Adversaria (Ataques de Caja Blanca): Para el clasificador dedicado, los autores aplicaron un ataque basado en gradientes (GCG) sobre sus pesos abiertos. Esto implicó optimizar un sufijo adversario de 20 tokens para minimizar la brecha de logit entre "Sí" (dañino) y "No" (no dañino), manteniendo el cuerpo dañino de forma literal.
5. Auditoría Humana: Para asegurar que una "inversión" representara que el juez fue engañado y no que el daño fue eliminado, dos anotadores independientes revisaron una muestra aleatoria de 80 respuestas invertidas.

Contribuciones Clave

1. Comparación Anclada en Humanos: Una comparación directa de clasificadores dedicados y LLM-as-jueces frente a etiquetas humanas bajo un protocolo de ataque unificado.
2. Evidencia de Fragilidad: Demostración de que los envoltorios de preservación de contenido pueden engañar a todos los jueces LLM probados, mientras que un clasificador dedicado resiste estos ataques de superficie.
3. Vulnerabilidad de Caja Blanca: Un ataque basado en gradientes que logra romper un clasificador dedicado que resiste los envoltorios de superficie, mostrando que los jueces de pesos abiertos son vulnerables a la optimización directa.
4. Verificación Humana: Una auditoría independiente que confirma que las inversiones adversarias retuvieron el contenido dañino, probando que los jueces fueron engañados en lugar de que el daño fuera mitigado.

Resultos

• Discrepancias de Calibración: Las dos familias de jueces fallan de formas opuestas.
  • El clasificador dedicado exhibe una alta exhaustividad (0.974) pero una menor precisión (0.835), lo que significa que rara vez pierde el daño, pero frecuentemente etiqueta contenido benigno como dañino (inflando el ASR).
  • Los LLM-jueces mantienen una alta precisión (0.81–0.94) pero sufren de una exhaustividad errática y baja (0.06–0.65), lo que significa que omiten grandes fracciones de daño real.
• Vulnerabilidad a Ataques de Superficie:
  • LLM-jueces: Altamente frágiles. Una sola frase de rechazo colocada antes del contenido dañino invirtió el veredicto para el 39% al 88% de los casos. La tasa de cualquier envoltorio que invirtiera un veredicto osciló entre el 57% y el 100% entre los tres LLM-jueces.
  • Clasificador Dedicado: Altamente resistente a los ataques de superficie, con una tasa de inversión por cualquier envoltorio de solo 3.4%.
• Vulnerabilidad a Ataques de Caja Blanca:
  • A pesar de resistir los envoltorios de superficie, el clasificador dedicado fue vulnerable a un ataque de caja blanca (GCG). En 30 verdaderos positivos con confianza, el ataque invirtió 21 casos (7a tasa de éxito del 70%) con un pequeño presupuesto de optimización (50 pasos).
• Auditoría Humana: Todas las 80 respuestas invertidas muestreadas retuvieron el contenido dañino, confirmando que los ataques engañaron con éxito a los jueces sin eliminar el daño subyacente.

Significado y Recomendaciones
El artículo concluye que ningún tipo de juez debe ser confiable sin verificación empírica. La elección del juez altera fundamentalmente los valores de ASR reportados. Los autores argumentan que la prevalencia actual de los LLM-as-jueces significa que muchas métricas de seguridad reportadas son poco fiables tanto en promedio como bajo presión deliberada.

Los autores proponen cuatro prácticas específicas para investigaciones futuras:

1. Reportar Métricas: Los artículos deben declarar qué juez se utiliza y reportar su precisión y exhaustividad en una porción de datos etiquetada por humanos.
2. Corregir el ASR: Reportar el ASR corregido por la precisión del juez (ej. $ASR_{corregido} \approx ASR_{reportado} \times precisión$) para dar cuenta de los falsos positivos.
3. Chequeo Adversario: Incluir un chequeo adversario del juez (ej. envoltorios de preservación de contenido) y reportar la tasa de inversión.
4. Selección de Juez: Preferir clasificadores dedicados sobre LLM-jueces para la puntuación, reconociendo al mismo tiempo que los clasificadores de pesos abiertos siguen siendo vulnerables a los ataques de gradiente.

El trabajo enfatiza que los procedimientos de evaluación de seguridad mismos deben ser probados adversariamente, en lugar de ser tratados como oráculos de verdad absoluta.