Resumen Técnico: PromptSentinel – Desajuste de Distribución en la Clasificación de Seguridad de Prompts

Declaración del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) en aplicaciones de consumo requiere clasificadores de seguridad de prompts automatizados para detectar solicitudes dañinas o que violen las políticas. Mientras que los clasificadores existentes suelen reportar un alto rendimiento en benchmarks sintéticos, este documento investiga si estas métricas se generalizan a entradas redactadas por humanos. Los autores postulan una hipótesis de desajuste de distribución: los benchmarks actuales, a menudo construidos mediante transformaciones adversarias y plantillas de ataque curadas, no logran capturar la diversidad de la interacción humana natural (por ejemplo, juegos de rol, escritura creativa, solicitudes conversacionales). En consecuencia, el rendimiento medido en datos sintéticos puede sobreestimar sustancialmente la fiabilidad en el mundo real, particularmente en lo que respecta a la clase "segura" de los prompts.

Metodología

El estudio, titulado PromptSentinel, emplea un diseño experimental controlado para aislar los efectos de la distribución de los datos en el rendimiento del clasificador.

Construcción del Conjunto de Datos

Los autores construyeron un corpus de entrenamiento de 110.060 prompts mediante la fusión de cuatro conjuntos de datos públicos para asegurar la diversidad de fuentes y el equilibrio de clases:

1. TrustAIRLab In-the-Wild Jailbreak Prompt: Utilizado exclusivamente como conjunto de prueba retenido (6.387 prompts, incluyendo 666 jailbreaks escritos por humanos).
2. ToxicChat: 4.981 conversaciones reales de usuarios (chatbot Vicuna) anotadas por toxicidad.
3. Qualifire Prompt Injection Benchmark: Un conjunto de datos casi equilibrado que aborda el desequilibrio de clases.
4. WildJailbreak: El mayor dataset público de jailbreaks, que proporciona tanto variantes sintéticas (transformaciones automatizadas) como variantes escritas por humanos.

El corpus de entrenamiento final fue equilibrado (54,3% seguro, 45,7% inseguro) a través de la diversidad de fuentes en lugar del sobremuestreo.

Diseño Experimental

Los autores evaluaron un clasificador de vectorización TF-IDF combinado con una Regresión Logística (con pesos de clase equilibrados) a través de cuatro preguntas de investigación (RQs):

• RQ1 (Generalización de Tipo de Ataque): Probó si el entrenamiento en prompts dañinos directos se generaliza a prompts adversarios (estilo jailbreak) y viceversa, utilizando subconjuntos del dataset WildJailbreak.
• RQ2 (Detección de Jailbreaks Escritos por Humanos): Evaluó el clasificador entrenado con el corpus diverso frente al conjunto de prueba retenido de TrustAIRLab. Esto incluyó la estratificación por longitud de prompt y una comparación entre TF-IDF y embeddings de oraciones MiniLM (tanto de prompt completo como fragmentados/chunked).
• RQ3 (LLM-as-Judge): Investigó si un juez basado en LLM zero-shot (Llama-3.1-8B) podía corregir los errores del clasificador (falsos positivos) sin sacrificar la detección de verdaderos positivos.
• RQ4 (Análisis de Distribución de Cuatro Cubetas): Aisló el efecto del origen del prompt evaluando el rendimiento a través de cuatro cubetas distintas:
  • Sintético Seguro (WildJailbreak benigno)
  • Sintético Inseguro (WildJailbreak adversarial)
  • Humano Seguro (WildChat)
  • Humano Inseguro (TrustAIRLab jailbreaks)

Resultados Clave

1. Degradación Significativa del Rendimiento en Datos Humanos

El hallazgo más crítico es la brecha sustancial entre los datos sintéticos y los redactados por humanos:

• Tasa de Falsos Positivos (FPR): En prompts benignos sintéticos, la FPR fue del 1,0%. En prompts seguros de autoría humana, la FPR aumentó al 32,0%.
• Recall (Detección de Daño): En prompts adversarios sintéticos, el recall fue del 98,0%. En jailbreaks escritos por humanos, el recall cayó al 65,4%.

2. Tipo de Ataque vs. Origen de la Fuente

Dentro del dataset sintético WildJailbreak, el clasificador funcionó consistentemente bien independientemente de si fue entrenado con prompts directos o adversarios (Recall ~0,978–0,981). Esto sugiere que la brecha de rendimiento no es impulsada por el tipo específico de ataque (directo vs. adversario), sino por la fuente de los datos (sintético vs. humano).

3. Limitaciones de la Complejidad del Modelo

• Embeddings: Reemplazar TF-IDF con embeddings de oraciones MiniLM no resolvió la brecha. De hecho, los embeddings de prompt completo funcionaron peor (Recall 0,580, Precisión 0,105). Los embeddings fragmentados (chunked) mejoraron el recall en prompts largos pero causaron tasas de falsos positivos catastróficas (hasta 97,0%) en prompts benignos largos.
• Longitud del Prompt: Contrario a la expectativa de que los prompts cortos son más difíciles de detectar, el recall en realidad aumentó para los prompts más largos (alcanzando ~0,72 para >200 palabras), lo que sugiere que la longitud por sí sola no explica la degradación.

4. Compromisos de LLM-as-Judge

Aplicar un juez LLM como un segundo filtro recuperó con éxito el 94,6% de los falsos positivos (mejorando la precisión de 0,286 a 0,640). Sin embargo, esto tuvo un costo severo: el sistema retuvo solo el 24,0% de los verdaderos positivos (el recall cayó de 1,000 a 0,240). El análisis cualitativo sugirió que muchos de los jailbreaks omitidos dependían de un encuadre de "sobreposición de personalidad" (persona-override), que el juez tuvo dificultades para distinguir de un juego de rol legítimo.

Significado y Reivindicaciones

El documento argumenta que el desajuste de distribución, específicamente la falta de diversidad en la clase "segura" de los datos de entrenamiento, es un contribuyente primario al fallo de los clasificadores en escenarios del mundo real.

• Validez de los Benchmarks: Los autores afirman que los benchmarks sintéticos actuales pueden proporcionar una medida incompleta y excesivamente optimista del rendimiento desplegable. Un alto recall en datos sintéticos no garantiza una baja tasa de falsos positivos en entradas humanas.
• Límites Arquitectónicos: El estudio demuestra que aumentar la complejidad del modelo (por ejemplo, pasar de TF-IDF a embeddings) o añadir jueces LLM es insuficiente para eliminar la brecha de rendimiento. El problema parece estar arraigado en la distribución de los datos más que en la arquitectura del modelo.
• Dirección Futura: El documento concluye que los benchmarks de seguridad de prompts deben poner un mayor énfasis en prompts benignos diversos redactados por humanos. Los autores sugieren que el trabajo futuro debe manipular directamente la diversidad de la clase segura durante el entrenamiento para establecer un vínculo causal entre la composición de los datos y la robustez en el mundo real.

Los autores mantienen sus afirmaciones con modestia, señalando que la hipótesis del desajuste de distribución es actualmente correlacional. Reconocen que factores más allá de la diversidad de la clase segura (como el estilo lingüístico, la estructura conversacional y la distribución de temas) también pueden contribuir a la brecha observada, lo que requiere intervenciones controladas adicionales.