Resumen Técnico: La Detección de Inyección de Prompts es Dependiente del Régimen

1. Declaración del Problema

La integración rápida de Modelos de Lenguaje Grande (LLM) en flujos de trabajo de producción ha introducido una vulnerabilidad crítica: la inyección de prompts. A diferencia de las vulnerabilidades tradicionales de software, la inyección de prompts explota la ventana de contexto compartida de los LLM, donde la distinción entre instrucciones confiables y datos no confiables se vuelve borrosa. Esto permite que entradas adversarias anulen los prompts del sistema, redefinan roles o manipulen el uso de herramientas.

Aunque los enfoques defensivos existentes a menudo se basan en estrategias de "defensa en profundidad" (combinando la alineación del modelo con filtros externos), las evaluaciones académicas actuales frecuentemente sufren de una brecha entre el rendimiento en benchmarks y el despliegue en el mundo real. Métricas estándar como macro-F1 o ROC-AUC a menudo no logran capturar las restricciones operativas, particularmente la necesidad de mantener tasas de falsos positivos (FPR) extremadamente bajas para evitar bloquear el tráfico legítimo de usuarios. Además, muchas evaluaciones dependen de divisiones dentro de la distribución (ID) que no reflejan la diversidad de regímenes de ataque fuera de la distribución (OOD) encontrados en producción.

Este artículo argumenta que la detección de inyección de prompts no es un problema de clasificación estático, sino una tarea dependiente del régimen. La efectividad de un detector varía significativamente según la naturaleza del ataque (léxico vs. semántico vs. estructural), la distribución de los datos y las restricciones específicas de despliegue (por ejemplo, umbrales estrictos de FPR).

2. Metodología

2.1. Marco Experimental

Los autores desarrollaron un marco de evaluación consciente del despliegue diseñado para probar detectores bajo restricciones operativas realistas, en lugar de solo el rendimiento de clasificación agregada.

• Conjuntos de Datos: El estudio utiliza benchmarks públicos para asegurar la comparabilidad y reducir el sesgo del investigador.
  • Dentro de la Distribución (ID): Un conjunto combinado de AdvBench, JailbreakBench y el conjunto de datos de inyección de prompts de Deepset.
  • Fuera de la Distribución (OOD): Se utilizaron tres regímenes fijos para probar la generalización:
    1. OOD Principal: HarmBench (dañino) + Alpaca (inofensivo) para probar cambios semánticos amplios.
    2. OOD de Inyección de Negativos Difíciles: r1char9 (inyección) + NotInject (prompts inofensivos con redacción que parece adversaria) para probar comportamientos sobre-defensivos.
    3. OOD de Inyección Estándar: Benchmark Qualifire para una evaluación más grande y equilibrada específica de inyección.
• Repetibilidad: Para mitigar la dependencia de la división, los experimentos se ejecutaron en tres divisiones ID re-muestreadas (A, B, C).

2.2. Familias de Características y Modelos

El estudio compara cuatro familias de señales distintas:

1. Modelos Léxicos: Características TF-IDF dispersas (unigramas/bigramas) aumentadas con banderas binarias diseñadas a mano para señales explícitas de ataque (por ejemplo, "ignorar instrucciones", "prompt del sistema").
2. Modelos Semánticos: Incrustaciones congeladas de SentenceTransformer (BAAI/bge-small-en-v1.5) pasadas a un clasificador de regresión logística para aislar el valor del significado contextual.
3. Codificadores Transformer: Modelos RoBERTa-base y DeBERTa-base ajustados finamente que sirven como líneas base contextuales de alta capacidad.
4. Señales Estructurales (IBVS): La contribución metodológica central es la Puntuación de Violación de Límites de Instrucción (IBVS). Este es un marco interpretable basado en reglas que descompone la inyección de prompts en mecanismos estructurales específicos:
   • Anulación de Jerarquía: Intentos de ignorar o reemplazar instrucciones anteriores.
   • Suplantación del Sistema: Imitación de canales privilegiados (por ejemplo, system:, developer:).
   • Redefinición de Roles: Instrucciones como "actuar como" o "a partir de ahora".
   • Evasión: Codificación, ofuscación o intentos de eludir filtros.
   • Reglas de Interacción: Combinaciones ponderadas de señales (por ejemplo, daño + evasión) y reglas de supresión para contextos inofensivos (por ejemplo, discusiones educativas).
   • IBVS genera una puntuación escalar, un vector estructurado de activaciones de componentes y una bandera binaria de "alarma" para patrones de alta especificidad.

2.3. Arquitecturas Híbridas

El estudio evalúa enfoques híbridos para determinar si las señales estructurales proporcionan valor complementario a las líneas base neuronales fuertes:

• Fusión Tardía: Combinación de probabilidades de Transformer congeladas con características IBVS mediante una capa de regresión logística superficial.
• Predicción Selectiva: Enrutamiento de casos inciertos (basados en puntuaciones semánticas) a expertos de respaldo o su re-puntuación con evidencia estructural.

2.4. Métricas de Evaluación

La evaluación prioriza la efectividad de despliegue sobre la clasificación global:

• Sin Umbral: ROC-AUC y AUC-PR.
• Con Umbral (Despliegue): Macro-F1 para la selección de umbrales y, crucialmente, Tasa de Verdaderos Positivos (TPR) en FPR fijos bajos (1%, 5%, 10%). Esto refleja la realidad operativa donde incluso tasas de falsos positivos pequeñas pueden hacer que una salvaguarda sea inutilizable.
• Línea Base Externa: El escáner PromptInjection de LLM Guard se evaluó como referencia lista para usar.

3. Resultados Clave

3.1. Dependencia del Régimen

Ninguna familia de modelos dominó en todos los entornos. El "mejor" detector cambió dependiendo del régimen de evaluación:

• Dentro de la Distribución (ID): Los Transformers ajustados finamente (RoBERTa, DeBERTa) lograron el macro-F1 más alto (~0.95).
• OOD Principal (Cambio Semántico): DeBERTa logró el macro-F1 más alto, pero RoBERTa + fusión tardía de IBVS demostró una sensibilidad superior en puntos operativos estrictos de bajo FPR (por ejemplo, mayor TPR en 1% de FPR).
• OOD de Inyección de Negativos Difíciles: Sorprendentemente, la línea base TF-IDF dispersa superó a los modelos semánticos y transformer en macro-F1. Esto sugiere que en regímenes con regularidades léxicas altamente diagnósticas, las señales superficiales simples son suficientes, y los modelos complejos pueden sufrir de sobre-defensividad o mala calibración frente a prompts "parecidos" inofensivos.
• OOD de Inyección Estándar: Los híbridos basados en semántica funcionaron mejor en macro-F1, pero la ventaja disminuyó bajo restricciones estrictas de bajo FPR.

3.2. La Brecha entre Clasificación y Despliegue

Un hallazgo consistente fue que las métricas de clasificación altas (ROC-AUC) no se traducían de manera confiable en utilidad de despliegue. Varios modelos que funcionaron bien en métricas agregadas colapsaron en umbrales estrictos de FPR (por ejemplo, la TPR@1% FPR cayó a casi cero para algunos híbridos semánticos en regímenes de negativos difíciles). Esto indica que la calibración es un cuello de botella crítico; los modelos pueden aprender límites de decisión correctos pero asignar probabilidades que no están alineadas con umbrales operativos conservadores.

3.3. Contribución de las Señales Estructurales (IBVS)

IBVS proporcionó mejoras modestas pero consistentes en escenarios específicos:

• Mejoró el comportamiento de bajo FPR cuando se emparejó con codificadores fuertes (por ejemplo, RoBERTa + IBVS superó a RoBERTa solo en 1% de FPR en el régimen OOD Principal).
• Ofreció interpretabilidad, permitiendo a los operadores ver por qué se marcó un prompt (por ejemplo, anulación específica de jerarquía o reglas de suplantación del sistema).
• Sin embargo, IBVS no superó universalmente a las líneas base léxicas. En el régimen de negativos difíciles, donde las señales léxicas superficiales ya eran altamente diagnósticas, agregar abstracción estructural ofreció poco valor predictivo complementario.

3.4. Rendimiento de la Línea Base Externa

La línea base externa de LLM Guard exhibió la misma dependencia del régimen. Funcionó competitivamente en benchmarks estándar de inyección, pero se degradó significativamente en los regímenes OOD Principal y de Negativos Difíciles, confirmando que la dependencia del régimen es un problema sistémico que afecta tanto a salvaguardas personalizadas como a soluciones listas para usar.

4. Significado y Afirmaciones

El artículo afirma que la detección de inyección de prompts es inherentemente dependiente del régimen y debe evaluarse con respecto al contexto de despliegue, no solo al rendimiento del benchmark.

• Reencuadre del Problema: Los autores argumentan que la selección del detector no puede separarse del contexto operativo (régimen de ataque, presupuesto de falsos positivos y modo de intervención). Un modelo optimizado para un régimen (por ejemplo, jailbreaks amplios) puede fallar en otro (por ejemplo, inyección a través de documentos recuperados).
• Calibración como Cuello de Botella: El estudio destaca que un alto rendimiento de clasificación no garantiza un comportamiento de despliegue confiable. La desalineación entre representaciones aprendidas y puntuación desplegable (calibración) es un factor crítico a menudo pasado por alto en favor de métricas agregadas.
• Rol de las Señales Estructurales: Las señales estructurales como IBVS no son potenciadores universales de rendimiento, sino que sirven como aumentos dirigidos e interpretables. Son más valiosas cuando los ataques manipulan explícitamente los límites de instrucción (jerarquía, rol, contexto del sistema) y proporcionan transparencia forense, en lugar de cuando reemplazan representaciones semánticas aprendidas.
• Estándares de Evaluación: El artículo aboga por un cambio en los estándares de evaluación, enfatizando el análisis a nivel de segmento (por ejemplo, prompts cortos, entradas inofensivas con muchos disparadores) y puntos operativos de bajo FPR sobre las puntuaciones globales de macro-F1 para evaluar con precisión la efectividad de las salvaguardas en el mundo real.

En conclusión, el trabajo demuestra que no existe un detector "para todo". Una defensa efectiva requiere un enfoque de múltiples señales adaptado a los regímenes de ataque específicos y las restricciones operativas del entorno de despliegue.