SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses

Resumen Técnico: SoK: Sistematización de la Seguridad de Prompts en LLM

Declaración del Problema
El despliegue rápido de los Modelos de Lenguaje Extensos (LLM) como interfaces para información y servicios ha convertido la seguridad a nivel de prompt en una preocupación crítica. Si bien el campo ha experimentado avances rápidos en ataques de jailbreak, envoltorios defensivos (defensive wrappers), políticas de seguridad, conjuntos de datos y jueces automatizados, la comunidad enfrenta un problema de fragmentación significativo. El trabajo previo suele depender de modelos de amenazas, supuestos de acceso, presupuestos de costo, conjuntos de datos y criterios de éxito incompatibles. Esta falta de estandarización hace que las Tasas de Éxito de Ataque (ASR) reportadas o las ganancias en defensa sean difíciles de comparar. En consecuencia, a menudo no está claro si el progreso observado proviene de un método más fuerte, un modelo objetivo más débil, reglas de juicio diferentes o simplemente un mayor presupuesto de consultas. El desafío central es determinar si las afirmaciones de seguridad pueden compararse bajo condiciones unificadas y auditables.

Metodología
Los autores proponen un enfoque sistemático para la evaluación de la seguridad de prompts en LLM, pasando de demostraciones específicas de cada artículo a mediciones reproducibles y fundamentadas en taxonomías. La metodología consta de cuatro componentes principales:

1. Tres Taxonomías Vinculadas: El artículo establece un marco conceptual que separa los mecanismos técnicos de las capacidades del atacante/defensor:

   • Taxonomía I (Ataques de Jailbreak): Clasifica los ataques por modelo de amenaza (Caja Negra vs. Caja Blanca) y metodología técnica (por ejemplo, Modificación de Prompts, Optimización de Caja Negra, Técnicas Asistidas por LLM, Técnicas de Múltiples Turnos y Aprovechamiento de Vulnerabilidades del Modelo). Trata los ataques como composicionales, permitiendo que un solo método instancie múltiples unidades técnicas atómicas.
   • Taxonomía II (Defensas): Agrupa las defensas por objetivo (Detección vs. Mitigación) e intervención por capa (Nivel de Entrada, Nivel de Salida, Estado Interno, Entrenamiento del Modelo, Modificación del Modelo, Procesamiento de Salida).
   • Taxonomía III (Vulnerabilidades de LLM): Categoriza los modos de falla intrínsecos del modelo explotados por los ataques, tales como la Explotación de Formato, la Dependencia Excesiva de Instrucciones del Usuario, la Manipulación Psicológica y la Ambigüedad Contextual.

2. Protocolo de Evaluación Auditable: Los autores formalizan los supuestos de amenaza, acceso y costo como metadatos explícitos. Definen un experimento como una tupla $\langle M, A, D, S, J \rangle$, que representa Modelo, Ataque, Defensa, Conjunto de Datos y Juez. Este protocolo exige que las comparaciones solo sean válidas cuando las identidades de los componentes y sus configuraciones (por ejemplo, LLMs asistentes, parámetros de decodificación, presupuestos de consulta, composición de la defensa) coincidan.

3. Plataforma PROMPTSECURITY: Se introduce una plataforma de evaluación modular para operacionalizar el protocolo. Representa cada experimento como una tupla configurada, permitiendo comparaciones compatibles con el acceso y auditables. La plataforma registra identificadores de muestras, salidas, configuraciones, recuentos de consultas y configuraciones del juez para garantizar la reproducibilidad.

4. Conjuntos de Datos Unificados: Los autores lanzan JAILBREAKDB, un corpus curado que contiene 445,752 pares de prompt de usuario-sistema de jailbreak de 48 fuentes y 1,094,122 prompts benignos de 14 fuentes. También lanzan PROMPTSECURITY-EVAL, que contiene 166,200 registros de salida de consultas dañinas y 9,200 registros de salida de utilidad benigna generados bajo el protocolo principal.

Contribuciones Clave

• Taxonomías a Nivel de Mecanismo: El artículo sistematiza el campo a través de tres taxonomías vinculadas que admiten mapeos de subcategorías multietiqueta, permitiendo realizar afirmaciones empíricas al nivel de la subcategoría de la taxonomía en lugar de solo al nivel del método.
• Plataforma de Evaluación Unificada: La introducción de PROMPTSECURITY, que trata la compatibilidad de acceso, el uso de LLM asistente y las rúbricas de juicio como partes auditables de la afirmación de seguridad, permitiendo estudios de ablación controlados a través de un espacio de diseño compartido.
• Perspectivas Empíricas: La plataforma se utilizó para evaluar 11 modelos objetivo, 21 configuraciones de ataque, 10 estados de defensa y tres jueces bajo configuraciones coincidentes.
• Conjuntos de Datos y Tabla de Clasificación: El lanzamiento de JAILBREAKDB y PROMPTSECURITY-EVAL, junto con una tabla de clasificación interactiva para navegar por las mediciones compatibles del protocolo principal.

Resultados y Hallazgos Empíricos
La evaluación arroja varios hallazgos a nivel de taxonomía:

• Acceso y Capacidad del Modelo: Los modelos de frontera de caja negra están más expuestos a ataques de transformación de prompts y ofuscación que ayudan al modelo objetivo a recuperar la intención dañina concebida. Por el contrario, los modelos de caja blanca más débiles suelen suprimir prompts transformados complejos no debido a una mayor robustez, sino porque fallan al ejecutar la tarea del ataque (por ejemplo, al fallar en el parseo de prompts de estilo de código).
• Mecanismos de Ataque: En modelos de caja negra, las transformaciones de prompts de bajo costo suelen superar a los jailbreaks de lenguaje natural generados por asistentes. En modelos de caja blanca, este orden cambia, donde la búsqueda y el refinamiento asistidos por LLM muestran una mayor persistencia.
• Efectividad de la Defensa: La efectividad de la defensa depende del mecanismo. La detección y el enrutamiento de entrada/salida dominan la mitigación promedio. Sin embargo, el acceso de caja blanca por sí solo no garantiza una defensa fuerte; por ejemplo, el filtrado de gradientes y la optimización de prompts de seguridad proporcionaron poca o incluso una mitigación promedio negativa en algunos casos.
• Efecto Contraproducente de la Defensa: Las defensas pueden introducir nuevos comportamientos dañinos. El ajuste de prompts de seguridad (safety-prompt tuning), por ejemplo, aumentó el ASR promedio de salidas dañinas porque el direccionamiento añadido a veces convertía prompts previamente seguros en completaciones dañinas.
• Sensibilidad del Juez: La elección del juez afecta materialmente las conclusiones de seguridad. Los chequeos de prefijo (instrumentos de formato de rechazo) pueden sobrecontar salidas benignas de no-rechazo y omitir salidas dañinas ocultas tras aperturas de tipo rechazo. Los jueces condicionados por comportamiento son altamente sensibles a la descripción de comportamiento específica proporcionada, lo que conduce a una varianza significativa en las mediciones de ASR.

Significancia
El artículo argumenta que la seguridad de los prompts de LLM debe evaluarse al nivel de los grupos de mecanismos bajo un control de configuración justo. La significancia de este trabajo radica en su cambio de demostraciones específicas de artículos hacia una evaluación reproducible, consciente del costo y fundamentada en taxonomías. El objetivo no es simplemente identificar qué método tiene un ASR más alto, sino aclarar qué mecanismo, elección de configuración o regla de juicio explica el comportamiento de seguridad reportado. Al proporcionar una base de taxonomías vinculadas, un protocolo ejecutable, una plataforma modular y conjuntos de datos unificados, los autores pretenden permitir evaluaciones futuras que puedan distinguir entre el progreso metodológico genuino y los artefactos del diseño experimental.