Resumen Técnico: Erróneamente Confiados: Calibración Sensible a la Severidad de los Detectores de Inyección de Prompts bajo Desplazamiento de Ataque

1. Declaración del Problema

Los detectores de inyección de prompts (modelos de guardia) se despliegan para puntuar entradas no confiables y determinar si deben ser confiadas o bloqueadas basándose en un puntaje de confianza. Un supuesto crítico en este flujo de trabajo es que el detector está calibrado: un puntaje de baja probabilidad de ataque debería corresponder a una posibilidad genuinamente baja de ataque.

El artículo identifica un modo de falla específico que las métricas estándar pasan por alto: falsos negativos de alta confianza. Esto ocurre cuando un detector asigna a un ataque real un puntaje de baja probabilidad con una certeza casi absoluta. Debido a que los sistemas descendentes interpretan los puntajes bajos como evidencia sólida de seguridad, estos "errores confiados" son más peligrosos que los errores inciertos, ya que se aceptan implícitamente como verdades.

El problema central es el desplazamiento de la distribución (distribution shift). Los detectores suelen estar calibrados en benchmarks limpios e in-distribución (por ejemplo, prompts independientes). Sin embargo, en el despliegue, los ataques se desplazan hacia formas indirectas (embebidos en documentos, salidas de herramientas) y nuevos estilos (secuestro de comportamiento). El artículo investiga si la confianza de estos detectores sigue siendo válida cuando la distribución de ataque se aleja del benchmark de origen, mientras el umbral operativo permanece congelado.

2. Metodología

2.1 Configuración Experimental

El estudio evalúa tres detectores lanzados sin reentrenamiento:

1. ProtectAI-v2: Un clasificador de secuencias DeBERTa-v3-base.
2. Prompt-Guard-2 (86M): Un checkpoint basado en Llama.
3. Prompt-Guard-2 (22M): Un checkpoint basado en Llama más pequeño (4 veces menos parámetros).

2.2 Protocolo de Transporte de Umbral Congelado

Para aislar el efecto del desplazamiento de distribución, los autores emplean un protocolo de transporte de umbral congelado:

• Calibración: Se establece un único punto operativo (umbral $t$) para cada detector en un benchmark directo y limpio (deepset/prompt-injections) para apuntar a una tasa de falsos positivos del 1%.
• Transporte: Este umbral se mantiene congelado y se aplica sin cambios a través de cinco desplazamientos de distribución distintos:
  1. Directo: Línea base in-distribución.
  2. Indirecto-Perjudicial (Indirect-Harmful): Estafas, fraude y desinformación embebidos en documentos.
  3. Indirecto-Secuestro (Indirect-Hijack): Instrucciones embebidas en documentos que anulan el comportamiento del modelo (ej. codificación, traducción) sin contenido perjudicial.
  4. Jailbreak: Prompts de rol/jailbreak independientes (prueba de estrés cercana a la in-distribución).
  5. Sobre-defensa (Over-defense): Prompts benignos que contienen palabras de activación (trigger words).

2.3 Familia de Métricas

El artículo introduce una nueva métrica, Severidad ($S$), junto con las métricas estándar:

• Tasa de Falsos Negativos (FNR): Visión de precisión estándar.
• Severidad ($S$): El valor medio de $(1 - p)$ a través de los ataques fallidos. $S \approx 1.0$ indica que el detector está casi seguro de que el ataque fallido es seguro. Esta métrica es condicional al ataque e invariante a las tasas base benignas.
• Error de Calibración Condicional al Ataque ($ECE_{atk}$): El error de calibración esperado restringido únicamente a los ataques reales.
• Error de Calibración Agregado ($ECE_{pooled}$): La métrica estándar calculada sobre ataques y benignos.

2.4 Validación y Experimentos de Mecanismo

• Validación Descendente: Los inyecciones fallidas se ejecutan contra modelos objetivo en vivo (Qwen2.5-7B/3B) para verificar si realmente tienen éxito como exploits.
• Experimento de Contenido vs. Estructura: Un experimento controlado 2x2 que varía el payload (perjudicial vs. secuestro benigno) y la estructura (independiente vs. embebido) para determinar si los detectores se centran en el contenido o en la estructura de la inyección.
• Juez Generativo: Un LLM (Qwen2.5-7B) con un prompt para detectar inyecciones es probado para ver si los hallazgos se generalizan más allá de los clasificadores de codificador (encoder).
• Ataque Adversario: Un reescritor de caja negra intenta parafrasear inyecciones genuinas en prosa inocua para maximizar la confianza de seguridad del detector (maximización de la severidad).

3. Resultados Clave

3.1 El Fenómeno "Erróneamente Confiado"

En todos los detectores y desplazamientos, la Severidad ($S$) se mantiene entre 0.99 y 1.00 cuando los detectores fallan en detectar un ataque.

• Mientras que la Tasa de Falsos Negativos (FNR) varía significamente (de 0.01 a 0.97 dependiendo del desplazamiento y el detector), la confianza de los fallos no lo hace.
• Cuando estos detectores fallan, fallan con una certeza casi absoluta, proporcionando un veredicto de "seguridad" al sistema descendente.

3.2 El Punto Ciego: Secuestro de Comportamiento Indirecto

Todos los tres detectores (y el juez generativo) exhiben un punto ciego unánime ante las inyecciones de secuestro de comportamiento indirecto (ej. codificación base, sustitución de emojis, sobrescritura de traducción).

• Las FNR para esta categoría oscilan entre 0.69 y 0.97.
• La Severidad permanece cerca de 1.0.
• Este fallo es estructural: los detectores no reconocen una instrucción embebida en un documento benigno si el payload en sí no es "perjudicial" en un sentido semántico.

3.3 Fallo de las Métricas de Calibración Estándar

El artículo demuestra que el Error de Calibración Agregado ($ECE_{pooled}$) no logra acotar este riesgo.

• Proposición: A medida que la tasa base benigna aumenta, los falsos negativos confiados se diluyen en contenedores dominados por benignos en el cálculo del error agregado.
• Evidencia: Prompt-Guard-2 (86M) en inyección indirecta perjudicial tiene un error agregado de 0.062 (pareciendo bien calibrado), pero un error condicional al ataque de 0.907 (severamente mal calibrado). La métrica agregada promedia y oculta el peligro específico de los ataques fallidos.

3.4 Mecanismo: Enfoque en el Contenido, No en la Estructura

Los experimentos controlados revelan que los detectores se centran en el contenido superficial dañino en lugar del hecho estructural de una inyección.

• ProtectAI-v2: Los puntajes caen significamente (de ~0.52 a ~0.07) cuando una instrucción de secuestro benigno se embebe en un documento coherente, sugiriendo que el contexto benigno "lava" el ataque.
• Prompt-Guard-2: Los puntajes permanecen cerca de cero independientemente del embebido, indicando que es ciego a los payloads benignos por completo.
• Juez Generativo: Comparte el mismo punto ciego (FNR 0.805 en secuestro) y severidad (1.0), probando que el problema no es exclusivo de las arquitecturas de codificador. Sin embargo, el juez es susceptible a "meta-instrucciones" que le dicen que el contenido es seguro, mientras que los codificadores no lo son.

3.5 Explotabilidad Descendente

• Exploits Reales: Los ataques fallidos con confianza no son teóricos; tienen éxito contra modelos en vivo a tasas comparables con los ataques que los detectores sí captan (tasa de éxito de aprox. 40%).
• Fallos Manufacturados: Un parafraseador débil de caja negra puede reescribir inyecciones genuinas en prosa inocua. Esto eleva las tasas de fallo de los detectores cerca de 1.0 y aumenta la "tasa de fallos confiados manufacturados" (ataques que son tanto pasados con confianza como exitosos descendente) a aproximadamente 15-17%, con mayor éxito en la categoría más peligrosa (Sustitución de Emojis, ~69%).

3.6 Fallo de Transporte de Umbral

Re-ajustar el umbral en la distribución de destino de los datos benignos (el umbral "oráculo") no soluciona el problema para los desplazamientos indirectos.

• Para los desplazamientos indirectos, los documentos benignos mismos puntúan alto, forzando el umbral hacia el techo para mantener una baja tasa de falsos positivos.
• Consecuentemente, incluso un umbral oráculo resulta en FNRs de 0.98–0.99 para algunos detectores. Esto indica un fallo de discriminación (solapamiento de distribuciones de puntaje) más que solo un fallo de calibración.

4. Contribuciones y Reivindicaciones

El artículo reivindica seis contribuciones específicas:

1. Métrica de Severidad ($S$): Una métrica condicional al ataque y asimétrica para la seguridad que mide la confianza de los falsos negativos, invariante a las tasas base benignas.
2. Panel de Transporte de Umbral Congelado: Un marco de evaluación riguroso que fija un punto operativo por detector y mide el rendimiento a través de cinco desplazamientos con intervalos de confianza de bootstrap.
3. Proposición sobre el Error Agregado: Una prueba formal de que el error de calibración agregado estándar no puede acotar el riesgo de los falsos negativos confiados porque se diluyen con la mayoría benigna a medida que la tasa base cae.
4. Validación Descendente: Evidencia empírica de que las inyecciones falladas con confianza son exploits funcionales contra modelos en vivo.
5. Identificación del Mecanismo: Experimentos controlados que muestran que los detectores se centran en el contenido del payload en lugar de la estructura de la inyección, explicando el punto ciego ante inyecciones de secuestro benigno.
6. Demostración Adversaria: Un adversario de caja negra que explota el enfoque en el contenido para manufacturar fallos confiados, particularmente en categorías de ataque de alta potencia.

5. Significado y Limitaciones

Significado:
El artículo argumenta que la magnitud de un puntaje de guardia no debe leerse como una confianza calibrada de seguridad una vez que la distribución de ataque se desplaza. El riesgo principal no es solo que los detectores fallen, sino que fallen con confianza, lo que lleva a los sistemas descendentes a confiar en exploits funcionales. La práctica estándar de reportar solo la precisión o el error de calibración agregado oculta este modo de falla específico y de alto riesgo.

Reivindicaciones Modestas:

• Los autores no afirman ser los primeros en estudiar la calibración de los modelos de guardia o en observar informalmente que el error agregado falla en acotar el riesgo.
• Reivindican ser los primeros en formalizar este fallo mediante una proposición, aplicar una lente de severidad a través de un panel de umbral congelado, validar los exploits descendente, identificar el mecanismo estructural (enfoque en el contenido) y demostrar un adversario que maximiza la severidad.
• El estudio se limita a los checkpoints lanzados tal como fueron publicados; no pretende describir el mejor rendimiento alcanzable de tales modelos.
• El ataque de "fallo manufacturado" utiliza un parafraseador de caja negra fijo y débil; las tasas reportadas son límites inferiores de lo que es alcanzable.

Conclusión:
El artículo concluye que cerrar esta brecha requiere más que modelos más grandes. Requiere señales de entrenamiento para la inyección estructural independiente de la noción de daño del payload, así como objetivos de calibración que penalicen los falsos negativos confiados en lugar del error agregado. Hasta entonces, los detectores deben evaluarse con métricas de severidad y de calibración condicional al ataque para hacer visibles los fallos de confianza antes del despliegue.