Resumen Técnico: Compensaciones entre Seguridad y Fidelidad en la Defensa contra la Inyección de Prompts

1. Planteamiento del Problema

Las defensas actuales contra la inyección de prompts indirecta en Modelos de Lenguaje Extensos (LLM) sufren un punto ciego crítico: evalúan la seguridad basándose únicamente en si se ejecutó una instrucción inyectada (secuestro). Esta métrica no logra distinguir entre dos comportamientos cualitativamente diferentes que ambos resultan en la "no ejecución":

1. Procesamiento Fiel: El modelo trata correctamente el texto inyectado como datos no confiables para ser procesados según la tarea (por ejemplo, traducir el texto, extraer entidades de él).
2. Supresión: El modelo ignora o suprime el texto inyectado por completo, tratándolo como ruido para ser descartado.

Si bien ambos comportamientos previenen al modelo de seguir comandos maliciosos, la supresión constituye un fallo de fidelidad para tareas que requieren la preservación o transformación del contenido de entrada (por ejemplo, traducción, edición de documentos o resumen). Los benchmarks existentes no pueden detectar esta distinción porque carecen de "separabilidad conductual": la capacidad de producir salidas distinguibles para la ejecución, el procesamiento y el ignorar. En consecuencia, una defensa que logra una alta seguridad mediante la supresión agresiva de contenido que parece instructivo pero es benigno puede parecer robusta mientras corrompe de hecho la utilidad de la aplicación.

2. Metodología: El Benchmark SECFID

Para abordar esta brecha, los autores introducen SECFID, un benchmark diseñado para hacer que la fidelidad sea medible junto con la seguridad.

Principio de Diseño Central: Separabilidad Conductual

SECFID construye instancias donde tres comportamientos distintos del modelo producen salidas observables y distinguibles:

• EJECUTADO (EXECUTED): El modelo sigue la instrucción inyectada (por ejemplo, respondiendo directamente a una pregunta de sondeo).
• PROCESADO (PROCESSED): El modelo trata el texto inyectado como datos e incorpora el contenido en el resultado de la tarea (por ejemplo, traduciendo el sondeo o incluyendo una entidad introducida por el sondeo en una lista).
• IGNORADO (IGNORED): El modelo suprime el texto inyectado, produciendo una salida idéntica a la entrada limpia sin el sondeo.

Familias de Tareas

El benchmark utiliza dos familias de tareas para asegurar esta separabilidad:

1. Tareas de Texto Completo (Traducción, Edición): Estas requieren preservar o transformar la totalidad de la entrada. Si un sondeo es ignorado, la salida exhibe una omisión mensurable en comparación con la referencia procesada.
2. Tareas de Texto Parcial (Extracción de Entidades, Conteo): Estas requieren agregar elementos específicos. Los sondeos se construyen para introducir nuevas entidades o alterar conteos. Si se procesan, la salida incluye estos nuevos elementos; si se ignoran, no los incluye.

Métricas de Evaluación

Los autores definen dos métricas primarias derivadas de las etiquetas conductuales:

• Seguridad: $1 - \text{Tasa de Ejecución}$. Mide la robustez contra el secuestro de instrucciones.
• Fidelidad: $1 - \text{Tasa de Ignorado}$. Mide la capacidad del modelo para evitar la supresión de contenido relevante para la tarea.
• Procesamiento Seguro: La intersección de ser procesado y no ejecutado ($\text{PROCESSED} \land \neg \text{EXECUTED}$), que representa el comportamiento robusto ideal.

El benchmark comprende 1,168 instancias a través de 48 configuraciones de modelos (incluyendo modelos de API cerrados como Claude, Gemini, GPT, y modelos de pesos abiertos como Llama, Gemma, Qwen) y cuatro mecanismos de defensa (ASIDE, DefensiveTokens, ISE, SECALIGN).

3. Resultados Clave

La Frontera Seguridad–Fidelidad

Los experimentos revelan un compromiso fundamental: ningún modelo o configuración de defensa logra simultáneamente alta seguridad y alta fidelidad.

• Modelos de Alta Fidelidad: Los modelos de pesos abiertos sin defensas (por ejemplo, Llama 3.3 70B) logran una alta fidelidad (96.5%) pero una baja seguridad (47.8%), ejecutando a menudo las inyecciones.
• Defensas de Alta Seguridad: Los modelos defendidos (por ejemplo, variantes de SECALIGN) logran una seguridad casi perfecta (99.3%) pero sufren caídas significativas de fidelidad (71.0%–73.9%).
• La Frontera: Los modelos y las defensas se distribuyen a lo largo de una frontera donde las ganancias en seguridad están inversamente correlacionadas con las pérdidas en fidelidad. Escalar el tamaño del modelo desplaza el punto de operación a lo largo de esta frontera, pero no elimina el compromiso.

Mecanismo de Defensa: Reparación vs. Supresión

El artículo demuestra que las defensas con puntuaciones de seguridad idénticas las logran a través de diferentes mecanismos:

• Reparación: Algunas defensas (notablemente SECALIGN) convierten las entradas secuestradas en un procesamiento fiel. Reducen la ejecución enseñando al modelo a tratar la inyección como datos.
• Supresión: Otras defensas (notablemente DefensiveTokens) logran la seguridad principalmente mediante la supresión del contenido inyectado. Convierten los secuestros en salidas ignoradas, lo que conduce a mayores fallos de fidelidad.
• Brecha Cuantitativa: En Llama 3.1 8B, SECALIGN repara el 54.0% de los secuestros del modelo base, mientras que DefensiveTokens suprime el 60.3% de ellos.

Impacto del Razonamiento

Aumentar las capacidades de razonamiento (por ejemplo, modos de "pensamiento") generalmente mejora la seguridad al reducir las tasas de ejecución, pero no mejora la fidelidad de manera fiable. En muchos casos, niveles de razonamiento más altos disminuyen ligeramente la fidelidad, lo que sugiere que el razonamiento es una herramienta para reducir los secuestros más que un mecanismo para preservar la integridad de los datos.

Extensión Agéntica

El compromiso persiste en entornos agénticos (uso de herramientas). Aunque las API de frontera y las variantes de SECALIGN muestran una alta seguridad (94–100%) en escenarios de uso de herramientas, su fidelidad varía ampliamente (31.7% a 72.6%), confirmando que el compromiso se generaliza más allá de la generación de texto.

4. Contribuciones

1. Identificación de la Ambigüedad: El artículo establece que la "no ejecución" es ambigua y no puede distinguir entre la separación robusta de instrucción-dato y la supresión dañina de datos.
2. Benchmark SECFID: Introducción de un benchmark que descompone el comportamiento en seguridad y fidelidad, haciendo medible el costo oculto de la supresión.
3. Mapeo de la Frontera Empírica: Demostración de una estricta frontera de seguridad–fidelidad a través de 48 configuraciones, mostrando que las defensas actuales a menudo intercambian fidelidad por seguridad.
4. Análisis de Mecanismos de Defensa: Revelación de que las defensas con tasas de secuestro similares difieren drástamente en si "reparan" los secuestros (procesamiento fiel) o "suprimen" el contenido.
5. Optimidad Dependiente del Despliegue: Un análisis de teoría de decisión que muestra que la política de defensa óptima no es universal, sino que depende de la relación de costos de un despliegue específico entre una brecha de seguridad (secuestro) y una pérdida de fidelidad (segmento omitido).

5. Significado y Reivindicaciones

El artículo argumenta que la seguridad por sí sola mide solo la mitad de la robustez. Reportar métricas de seguridad sin fidelidad oculta el precio al que se compró la robustez.

• No hay una Política Universal: Los autores afirman que ninguna política de defensa fija es óptima en todas partes. El comportamiento correcto (procesar vs. filtrar) depende del contexto de despliegue. En tareas de alta fidelidad (por ejemplo, traducción), suprimir contenido es inaceptable; en tareas de alta seguridad (por ejemplo, agentes financieros), suprimir segmentos sospechosos es preferible.
• De lo Diagnóstico a lo Prescriptivo: Aunque es principalmente diagnóstico, el artículo demuestra que SECFID puede utilizarse para mejorar las defensas. Al aplicar la Optimización de Preferencia Directa (DPO) con un orden de preferencia de $\text{PROCESADO} \succ \text{IGNORADO} \succ \text{EJECUTADO}$, lograron desplazar un modelo defendido desde la supresión hacia el procesamiento fiel, recuperando la fidelidad mientras mantenían la seguridad.
• Implicación Social: El trabajo destaca el riesgo de los "fallos silenciosos", donde las defensas fijas y agnósticas a la tarea corrompen la integridad de los datos sin previo aviso. Aboga por defensas ajustables y transparentes que se alineen con la tolerancia al riesgo específica del despliegue, en lugar de puntuaciones de seguridad de "talla única".

El artículo concluye que la defensa contra la inyección de prompts debe reportarse como un punto de operación consciente de la tarea en lugar de una única puntuación de seguridad, y que las evaluaciones futuras deben medir explícitamente la fidelidad para evitar enmascarar la degradación de la utilidad del modelo.