Resumen Técnico: LeakDojo: Descifrando las Amenazas de Fuga en Sistemas RAG

Declaración del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) mejoran los Modelos de Lenguaje Grandes (LLM) con conocimiento externo, pero introducen vulnerabilidades de seguridad significativas. Si bien la construcción y el mantenimiento de bases de datos de conocimiento RAG de alta calidad son costosos y requieren experiencia especializada, extraer los fragmentos de conocimiento recuperados expuestos a los LLM durante la inferencia es relativamente fácil. Esta asimetría crea una superficie de ataque donde los adversarios pueden extraer maliciosamente conocimiento propietario a través de la interfaz RAG.

Los estudios existentes sobre ataques de fuga en RAG enfrentan tres limitaciones principales:

1. Falta de Evaluación Sistemática: La investigación actual a menudo se dirige a sistemas RAG ad hoc con estructuras variables, lo que dificulta la comparación directa.
2. Complejidad Evolutiva: Las arquitecturas RAG modernas incorporan cada vez más módulos de mejora (por ejemplo, reordenadores, reescritores, resumidores) y mecanismos de defensa, los cuales los estudios existentes no logran evaluar sistemáticamente en el contexto de los riesgos de fuga.
3. Capacidades de Modelos en Evolución: Los nuevos LLM exhiben capacidades más fuertes de seguimiento de instrucciones, pero la correlación entre estas capacidades y el riesgo de fuga sigue siendo poco explorada.

Metodología: El Marco de Trabajo LeakDojo

Para abordar estas brechas, los autores proponen LeakDojo, un marco configurable y modular diseñado para la evaluación controlada de los riesgos de fuga en RAG. Inspirado en principios de diseño modular, LeakDojo descompone el ecosistema RAG en tres componentes configurables de forma independiente:

1. Sistemas RAG Configurables: El marco modela las tuberías RAG como una secuencia de módulos, incluidos recuperadores, reordenadores, reescritores y resumidores. Esto permite a los investigadores aislar el impacto de elecciones arquitectónicas específicas (por ejemplo, añadir un reordenador) sobre los riesgos de fuga.
2. Estrategias de Ataque Configurables: Los ataques se modelan como una combinación de dos componentes desacoplados:
   • Generador de Consultas: Responsable de crear "consultas ancla" ($A_i$) que pueden operar estáticamente o refinar adaptativamente basándose en la retroalimentación del sistema.
   • Instrucción Adversarial: Una instrucción constante ($I$) diseñada para inducir al LLM a repetir los fragmentos recuperados de forma literal.
   • La consulta adversarial final se forma como $Q^i_{adv} = A_i \oplus I$. Esta formulación permite el análisis independiente de la efectividad de la generación de consultas y la susceptibilidad al seguimiento de instrucciones.
3. Mecanismos de Defensa Configurables: El marco soporta defensas en etapa de entrada (detectores de intención) y defensas en etapa de salida (detectores de contenido) que pueden activarse o desactivarse para probar su eficacia contra vectores de ataque específicos.

Configuración Experimental:
Los autores realizaron experimentos extensos utilizando LeakDojo en:

• 14 LLMs: Incluyendo arquitecturas diversas (Densa, MoE) y escalas (de 7B a 235B parámetros), como Qwen-3, DeepSeek-V3, Gemini y variantes de GPT.
• 4 Conjuntos de Datos: Que abarcan dominios científicos (SCIFACT), médicos (NFCORPUS), corporativos (ENRON EMAIL) y financieros (FIQA).
• 6 Ataques Existentes: Evaluando TGTB, PIDE, DGEA, RAG-Thief, PoR e IKEA.
• Métricas: El estudio utilizó cuatro métricas: Fuga Cumulativa de Fragmentos (CCL), Disparador de Fuga Exitosa (SLT), Cobertura de Recuperación Adversarial (ARC) y Tasa de Recuperación de Fragmentos (CRR).

Hallazgos Clave

1. Contribuciones Independientes de los Componentes del Ataque

El estudio revela que la fuga es impulsada por dos factores independientes: la capacidad del generador de consultas para recuperar fragmentos diversos (ARC) y la capacidad de la instrucción adversarial para provocar que el modelo los filtre (SLT). La fuga general (CCL) se aproxima bien mediante el producto de estos dos componentes ($CCL \approx ARC \times SLT$). Esto sugiere que mejorar un componente sin el otro produce rendimientos decrecientes.

2. La Capacidad de Seguimiento de Instrucciones se Correlaciona con el Riesgo

Se encontró una correlación positiva significativa entre la capacidad de seguimiento de instrucciones de un LLM (medida por puntuaciones IFEval) y su riesgo de fuga. Los modelos más fuertes, que son mejores para adherirse a las instrucciones del usuario, son inadvertidamente más vulnerables a instrucciones adversarias que exigen la repetición del contexto recuperado. Como se muestra en la Figura 1 del artículo, los modelos con puntuaciones IFEval más altas exhibieron mayores probabilidades de fuga.

3. La Compensación entre Fidelidad y Seguridad

La investigación identifica una compensación fundamental entre la fidelidad de RAG (la precisión de la respuesta generada en relación con el contexto recuperado) y la seguridad. Se observó que las mejoras que mejoran la fidelidad, como el uso de reescritores para ampliar el alcance de la recuperación, aumentaban los riesgos de fuga. Por el contrario, módulos como los resumidores que reducen la fuga al interrumpir la integridad del contexto a menudo degradan la fidelidad y la utilidad del sistema RAG.

4. Inestabilidad de los Ataques Existentes

Los ataques de fuga actuales demuestran un rendimiento inestable a través de diferentes configuraciones RAG y LLM. Un ataque que es altamente efectivo contra un par modelo-conjunto de datos puede rendir mal contra otro, destacando una falta de universalidad en las estrategias de ataque existentes.

Significado y Contribuciones

El artículo hace tres contribuciones principales:

1. Marco LeakDojo: Los autores proporcionan un kit de herramientas de evaluación reproducible y modular que permite experimentos controlados sobre la fuga en RAG. Esto permite aislar variables (modelo, arquitectura, estrategia de ataque) para comprender sus contribuciones específicas al riesgo.
2. Evaluación Comparativa Exhaustiva: Al evaluar seis ataques existentes a través de diversos LLM y conjuntos de datos, el estudio proporciona una línea base estandarizada para comprender el estado actual de la seguridad RAG, revelando la falta de universalidad en los métodos de ataque actuales.
3. Perspectivas Accionables: Los hallazgos ofrecen orientación práctica para los profesionales. Específicamente, la identificación de la correlación "seguimiento de instrucciones vs. fuga" sugiere que desplegar LLM más fuertes sin contramedidas específicas puede aumentar la vulnerabilidad. Además, la compensación observada entre fidelidad y seguridad implica que optimizar RAG para la utilidad puede comprometer inadvertidamente la privacidad de los datos.

Los autores concluyen que LeakDojo facilita el desarrollo de ataques más fuertes y defensas más robustas, con el objetivo de acelerar la investigación futura en la protección de los sistemas RAG contra la fuga de datos. El código fuente se publica públicamente para apoyar este objetivo.