Resumen Técnico: Un Marco de Seguridad por Capas contra la Inyección de Prompts en Chatbots Basados en RAG

1. Declaración del Problema

La inyección de prompts se identifica como la vulnerabilidad más crítica en los despliegues de Modelos de Lenguaje Extensos (LLM), particularmente dentro de las arquitecturas de Generación Aumentada por Recuperación (RAG). A diferencia de los ataques de inyección de software tradicionales que explotan errores de análisis (parsing), la inyección de prompts explota la propiedad arquitectónica fundamental de los LLM: la incapacidad de distinguir entre instrucciones de confianza (prompts del sistema) y datos no confiables (entradas de usuario o documentos recuperados) dentro de un único flujo de tokens.

Las defensas existentes son insuficientes porque operan en etapas aisladas del pipeline de inferencia:

• Los filtros de entrada no pueden inspeccionar los documentos recuperados, lo que deja a los sistemas vulnerables a la inyección de prompts indirecta (donde las cargas útiles maliciosas están incrustadas en los documentos de la base de conocimientos).
• Los monitores de salida no pueden evitar que las cargas útiles maliciosas lleguen al modelo en primer lugar.
• Los enfoques de jerarquía de instrucciones a menudo requieren el ajuste fino (fine-tuning) del modelo o dependen de señales estructurales que los modelos pueden no respetar de manera fiable.

En consecuencia, los chatbots basados en RAG siguen siendo vulnerables tanto a la inyección directa (vía entrada de usuario) como a la inyección indirecta (vía documentos de la base de conocimientos envenenados), lo que conlleva riesgos como el secuestro de la personalidad (persona hijacking), el bypass de políticas, la exfiltración de datos y la generación de contenido dañino.

2. Metodología: El Marco de Tres Capas

Los autores proponen un marco de defensa agnóstico al modelo, de tres capas, diseñado para interceptar ataques en distintos puntos del pipeline de inferencia sin modificar el LLM subyacente. El sistema opera como un middleware.

Capa 1: Cribado de Entrada (Input Screening)

Esta capa opera sobre la entrada bruta del usuario antes de la recuperación o el ensamblaje del contexto. Emplea dos mecanismos complementarios:

• Detección Basada en Patrones: Un motor de reglas coteja la entrada normalizada contra una biblioteca curada de firmas de inyección (por ejemplo, "ignora las instrucciones anteriores", "repite el prompt del sistema"). Maneja técnicas de ofuscación como la codificación Base64 y la codificación URL.
• Detección de Anomalías Semánticas: Un clasificador semántico ajustado (utilizando un backbone de sentence-transformer) califica las entradas según su intención adversarial. Esto captura frases novedosas y ataques parafraseados que evaden las firmas basadas en reglas.
• Disposición: Las entradas son permitidas (con una bandera de anomalía), saneadas (reemplazando segmentos coincidentes) o bloqueadas.

Capa 2: Ensamblaje de Contexto con Privilegios Restringidos

Esta capa aborda la causa raíz de la inyección: la ventana de contexto plana. Fuerza una jerarquía de instrucciones explícita durante el ensamblaje del contexto, antes de la inferencia del LLM:

• Niveles de Privilegio:
  1. Nivel Operador (Más alto): Instrucciones del prompt del sistema.
  2. Nivel de Recuperación (Intermedio): Documentos recuperados (tratados como datos de referencia, no como instrucciones ejecutables).
  3. Nivel de Usuario (Más bajo): Consultas de usuario.
• Mecanismo: Los segmentos de contexto se anotan con etiquetas de procedencia ([SYS], [RET], [USR]). Se antepone una meta-instrucción al prompt, instruyendo al modelo para que rechace directivas de fuentes de niveles inferiores que entren en conflicto con las instrucciones de niveles superiores.
• Escaneo: Los fragmentos de los documentos recuperados se escanean en busca de patrones de anulación explícitos antes de ser admitidos en el contexto.

Capa 3: Auditoría de Salida

Esta capa sirve como la red de seguridad final, auditando la respuesta del modelo antes de su entrega:

• Motor de Reglas de Política: Comprueba la salida contra predicados específicos, incluyendo:
  • Similitud con el Prompt del Sistema: Verificaciones de similitud de coseno para detectar la exfiltración de datos (filtración del prompt del sistema).
  • Detección de Roles/Tokens: Identificación de tokens de jailbreak (por ejemplo, "DAN").
  • Contenido Dañino: Uso de un clasificador (Llama Guard 2) para detectar salidas inseguras.
• Detección de Deriva Semántica: Mide la distancia de coseno entre la respuesta en vivo y una respuesta de referencia conforme a la personalidad para detectar la manipulación del comportamiento.
• Escalada: Las respuestas que activan predicados de alto riesgo son bloqueadas o escaladas para revisión humana.

Bucle de Auditoría Continua

Un componente transversal que agrega logs estructurados de todas las capas. Soporta:

• Alertas: Detección de sondeos adversariales sostenidos o campañas coordinadas.
• Reentrenamiento: Alimentación de los verdaderos positivos y falsos positivos confirmados de vuelta al clasificador semántico de la Capa 1 para adaptarse a patrones de ataque emergentes.

3. Principales Contribuciones

1. Modelo de Amenaza Formal: Define un modelo de adversario de caja negra para chatbots RAG, cubriendo vectores de inyección directa e indirecta y tres objetivos específicos del atacante: Anulación de Instrucciones (IO), Exfiltración de Datos (DE) y Manipulación de Comportamiento (BM).
2. Arquitectura de Defensa de Tres Capas: Un marco coordinado que combina el cribado de entrada, el ensamblaje de contexto con privilegios restringidos y la auditoría de salida. Es el primero en evaluar las contribuciones combinadas e individuales de estos mecanismos contra inyecciones directas e indirectas.
3. Evaluación Controlada: Una evaluación exhaustiva sobre 5,080 muestras (benignas y adversariales) a través de tres LLM diversos (GPT-4o, Llama 3 8B, Mistral 7B).
4. Ablación y Análisis de Errores: Cuantifica la contribución marginal de cada capa e identifica mecanismos de bypass residuales, proporcionando una hoja de ruta para futuras mejoras.

4. Resultados Experimentales

El marco fue evaluado contra una línea base sin defensa, líneas base de una sola capa y un sistema de guardrails publicado (NeMo Guardrails).

• Reducción de la Tasa de Éxito de Ataque (ASR): El marco completo de tres capas redujo el ASR promedio macro del 71.4% (sin defensa) al 11.3%.
  • Esto representa una reducción de 60.1 puntos porcentuales respecto a la línea base.
  • Superó a la mejor línea base de una sola capa (Capa 3 solamente, 38.6%) por 27.3 puntos porcentuales.
  • Superó a NeMo Guardrails (35.1%) por 23.8 puntos porcentuales.
• Tasa de Falsos Positivos (FPR): El marco mantuvo un FPR del 4.8%, que es inferior al de NeMo Guardrails (8.4%) y comparable al de la Capa 1 por sí sola (5.1%).
• Sobrecarga de Latencia: La latencia de extremo a extremo mediana fue de 61.2 ms, dominada por las operaciones de codificación semántica. Esto está dentro del presupuesto operativo para chatbots interactivos.
• Insights de Ablación:
  • El efecto combinado de las tres capas excedió la suma de las contribuciones individuales.
  • Se encontró que la Capa 2 (Privilegios Restringidos) suprime los falsos positivos en las capas descendentes (Capa 3) al filtrar inyecciones antes de que lleguen al auditor de salida.
  • Ningún subconjunto de dos capas proporcionó una cobertura equivalente al marco completo.

5. Significado y Reivindicaciones

El artículo afirma que la inyección de prompts es una vulnerabilidad estructural que no puede resolverse únicamente con actualizaciones de modelos; los modelos más fuertes (por ejemplo, GPT-4o) mostraron solo una resistencia marginalmente mejor que los modelos más pequeños cuando no tienen defensa, ya que la capacidad de seguimiento de instrucciones se correlaciona con la susceptibilidad a las instrucciones inyectadas.

El principal significado del trabajo es la demostración de que la defensa debe distribuirse a lo largo de todo el pipeline de inferencia:

• La estratificación es necesaria, no solo beneficiosa: Las inyecciones directas e indirectas entran en diferentes puntos, lo que requiere defensas posicionadas en esos puntos de entrada específicos.
• La agnosticidad al modelo es crítica: El marco funciona sin modificar los pesos del LLM, lo que lo hace desplegable en diversas familias de modelos.
• Protección Complementaria: La interacción entre las capas (por ejemplo, la Capa 2 reduciendo la carga en la Capa 3) crea una postura de seguridad que es mayor que la suma de sus partes.

Los autores reconocen limitaciones, incluyendo el modelo de atacante de caja negra estático, el enfoque en consultas de un solo turno (los ataques de múltiples turnos siguen siendo un riesgo residual) y la sensibilidad de los umbrales a los cambios de distribución. Posicionan el marco como una base práctica para asegurar sistemas RAG, señalando que se necesita trabajo futuro para abordar la acumulación en múltiples turnos y las instrucciones implícitas en los documentos recuperados.