Detecting RAG Extraction Attack via Dual-Path Runtime Integrity Game

1. El Problema: Fugas de la Base de Conocimiento en RAG

Los sistemas de Generación Aumentada por Recuperación (RAG) combinan Modelos de Lenguaje Grande (LLM) con bases de conocimiento externas para mejorar la precisión y reducir las alucinaciones. Sin embargo, esto introduce una vulnerabilidad crítica de seguridad: la fuga de la base de conocimiento.

• Naturaleza del ataque: Los atacantes pueden utilizar prompts adversarios (instrucciones manipuladas) para inducir al modelo a revelar, reconstruir o extraer el contenido propietario recuperado de la base de conocimiento.
• Evolución de las amenazas: Investigaciones recientes muestran que los atacantes emplean estrategias adaptativas e iterativas (como Pirates o RAG-Thief) para reconstruir corpus enteros de conocimiento de manera progresiva, sin necesidad de acceso al código fuente o índices de recuperación.
• Limitaciones de las defensas actuales:
  • Las defensas existentes son principalmente pasivas (intentan aumentar el costo de reconstrucción) y no detectan proactivamente al atacante.
  • Suelen requerir modificaciones intrusivas en la tubería de RAG (reentrenamiento, reindexación, cambios en el recuperador).
  • Son vulnerables a ataques adaptativos que pueden eludir la detección basada en similitud semántica o léxica.

2. Metodología: CanaryRAG

El artículo propone CanaryRAG, un mecanismo de defensa en tiempo de ejecución (runtime) inspirado en los "canarios de pila" (stack canaries) utilizados en seguridad de software para detectar desbordamientos de búfer.

Concepto Central: Integridad de Ejecución

En lugar de intentar distinguir entre una respuesta legítima y una fuga basándose en el significado semántico (lo cual es difícil), CanaryRAG reformula el problema como una violación de la integridad de ejecución.

• Idea: Si el modelo reproduce contenido recuperado que no debería ser visible en la salida (como tokens de prueba), se considera una violación de la integridad del sistema.

Componentes Clave:

1. Inyección de Tokens "Canario":

   • Se inyectan cadenas de texto no semánticas, de alta entropía y aleatorias (los "canarios") en los fragmentos (chunks) recuperados antes de que se envíen al LLM.
   • Estos tokens no tienen función en la tarea normal y, por lo tanto, nunca deberían aparecer en una respuesta legítima de un usuario benigno.

2. Juego de Integridad de Doble Ruta (Dual-Path Runtime Integrity Game):
   CanaryRAG ejecuta dos rutas de generación concurrentes para detectar tanto ataques directos como evasiones adaptativas:

   • Ruta Objetivo (Target Path): Atiende la consulta original del usuario.
     • Expectativa de Integridad: No debe emitir ningún token canario.
     • Detección: Si aparecen canarios, se detecta una fuga directa.
   • Ruta Oráculo (Oracle Path): Ejecuta una tarea modificada en paralelo diseñada para forzar la reproducción del contexto (incluyendo los canarios).
     • Expectativa de Integridad: Debe emitir los tokens canarios.
     • Detección: Si el modelo no emite los canarios en esta ruta, indica que el atacante está utilizando instrucciones para suprimir o enmascarar la emisión de canarios (comportamiento evasivo adaptativo).

3. Detección en Flujo (Streaming):
   El sistema monitorea la salida token a token. Si se detecta una violación en cualquiera de las dos rutas (emisión no deseada en la ruta objetivo o supresión no deseada en la ruta oráculo), la generación se detiene inmediatamente.

3. Contribuciones Clave

• Nuevo Paradigma de Detección: Es el primer trabajo que aborda la extracción de RAG desde la perspectiva de la integridad de ejecución en tiempo de ejecución, desplazando el enfoque de la coincidencia semántica a la monitorización de comportamientos.
• Solución Plug-and-Play: CanaryRAG es agnóstico al modelo y no requiere reentrenamiento del LLM, modificación de la base de conocimientos, ni cambios en la arquitectura de recuperación. Se integra fácilmente en cualquier tubería RAG existente.
• Robustez Adaptativa: A diferencia de las defensas anteriores, CanaryRAG es capaz de detectar ataques donde el adversario es consciente de la defensa y trata activamente de suprimir o enmascarar los tokens de prueba.
• Bajo Costo: Introduce una sobrecarga computacional y de latencia mínima.

4. Resultados Experimentales

Los autores evaluaron CanaryRAG contra ataques de última generación (Pirates, RAG-Thief) en tres agentes RAG diferentes (ChatDoctor, Mini-Wikipedia, Mini-BioASQ).

• Efectividad (Tasa de Recuperación de Fragmentos - CRR):
  • CanaryRAG redujo la tasa de recuperación de fragmentos a niveles cercanos a cero (~1.6% a 0.4%), en comparación con las líneas base sin defensa (>70%) o defensas existentes como RAGFort (50%) o Summarization (76%).
  • Logró una reducción relativa media del 96% en comparación con no tener defensa.
• Impacto en la Experiencia del Usuario:
  • Calidad de Respuesta: La puntuación BERTScore (calidad de respuesta) se mantuvo casi idéntica a la de un sistema sin defensa, demostrando que no degrada la utilidad para usuarios legítimos.
  • Falsos Positivos (FPR): La tasa de falsos positivos es extremadamente baja (máximo 0.15%), lo que significa que rara vez interrumpe a usuarios benignos.
• Latencia:
  • La distribución de latencia es casi idéntica a la del sistema sin defensa, confirmando que la verificación de doble ruta tiene una sobrecarga insignificante.
• Robustez ante Ataques Adaptativos:
  • Incluso cuando los atacantes intentan suprimir los canarios o enmascarar la salida, CanaryRAG (con la ruta Oráculo activada) mantiene una tasa de detección verdadera (TPR) superior al 94%. Sin la ruta Oráculo, la detección cae drásticamente, validando la importancia del diseño de doble ruta.

5. Significado e Impacto

El trabajo de CanaryRAG representa un avance significativo en la seguridad de los sistemas RAG por varias razones:

1. Cambio de Paradigma: Pasa de intentar "prevenir" la fuga mediante filtrado (que a menudo falla o degrada el servicio) a detectar y detener la fuga en tiempo real mediante la monitorización de la integridad.
2. Viabilidad Práctica: Al ser una solución plug-and-play sin necesidad de reentrenamiento, es altamente escalable y aplicable a sistemas RAG comerciales existentes que manejan datos sensibles (empresariales, médicos, legales).
3. Resiliencia: Demuestra que es posible defenderse contra adversarios sofisticados que conocen los mecanismos de defensa, algo que las defensas pasivas actuales no logran.
4. Equilibrio Privacidad-Utilidad: Logra un equilibrio óptimo (Pareto), proporcionando la máxima protección contra la extracción de conocimiento sin sacrificar la calidad de las respuestas ni la velocidad de inferencia.

En conclusión, CanaryRAG ofrece un mecanismo de defensa robusto, eficiente y práctico para proteger la propiedad intelectual y los datos confidenciales en la era de los agentes de IA aumentados por recuperación.