Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems

1. El Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) mejoran los Modelos de Lenguaje Grande (LLM) con conocimiento externo, pero introducen una superficie de ataque crítica: el mecanismo de recuperación.

• Ataque de Envenenamiento (Poisoning): Un adversario puede inyectar documentos maliciosos en la base de conocimientos. Estos documentos permanecen inactivos ("dormidos") ante consultas benignas pero se activan para consultas objetivo específicas, manipulando la salida del LLM sin modificar sus pesos ni sus prompts del sistema.
• Brecha de Investigación: Aunque se han estudiado ataques y defensas, falta una comprensión sistemática de cómo la composición del corpus (el dominio y tipo de documentos) afecta la viabilidad del ataque y la dificultad de detección. Las estrategias defensivas que funcionan en un dominio (ej. enciclopédico) pueden fallar en otro (ej. documentación técnica de seguridad).

2. Metodología

El estudio emplea una evaluación a gran escala utilizando dos corpus principales y múltiples configuraciones de modelos y recuperación.

• Corpus Utilizados:
  • Security Stack Exchange (Técnico): 67,941 documentos con vocabulario especializado.
  • FEVER Wikipedia (General): 96,561 artículos enciclopédicos con vocabulario amplio.
  • Estudio de Caso de Producción: 156,777 documentos de un proveedor de seguridad de redes.
• Técnicas de Ataque:
  • Envenenamiento Dual (Sleeper-Trigger): Se utilizan dos documentos coordinados. El "Sleeper" establece un puente semántico y mantiene el sigilo; el "Trigger" entrega la carga maliciosa.
  • Optimización: Se utiliza GCG (Greedy Coordinate Gradient) para optimizar los tokens de los documentos, maximizando la similitud coseno en el espacio de embeddings para consultas objetivo y minimizándola para consultas benignas.
  • Escenarios: Bypass de autenticación, exfiltración de datos e inyección de prompts.
• Defensas Evaluadas:
  • Recuperación pura por vectores (Dense).
  • Recuperación Híbrida: Combinación de BM25 (búsqueda esparcida/palabras clave) y vectores densos, con pesos de mezcla ($\alpha$) variables.
  • Detección: Análisis de desviación semántica, anomalías de palabras clave y QPD (Query Pattern Differential), que mide la asimetría en la frecuencia de recuperación entre consultas sensibles y benignas.
• Evaluación de Modelos: Se probaron 5 familias de LLM (GPT-5.3, GPT-4o, GPT-4o-mini, Claude Sonnet 4.6, Llama 4) para medir la propagación del ataque desde la recuperación hasta la generación.

3. Contribuciones Clave

1. Defensa Arquitectónica Híbrida: Demostración de que un recuperador híbrido simple (BM25 + Vector) puede eliminar completamente los ataques de envenenamiento guiados por gradientes en ciertos contextos.
2. Evaluación Multi-Modelo: Análisis exhaustivo de cómo la madurez en la seguridad de los LLM afecta la resistencia al envenenamiento, revelando diferencias drásticas entre proveedores.
3. Caracterización Dependiente del Corpus: Evidencia exploratoria de que el dominio del corpus es una variable de seguridad crítica. Los corpus técnicos permiten ataques más sigilosos pero dificultan la recuperación, mientras que los corpus generales exponen los ataques pero no los detienen por sí mismos.
4. Estudio de Caso a Escala de Producción: Validación preliminar de que los ataques no son transferibles entre corpus diferentes sin adaptación específica.

4. Resultados Principales

A. Efectividad del Ataque y Dependencia del Corpus

• Trade-off Sigilo vs. Recuperación:
  • En Security SE (Técnico): Los ataques logran un alto sigilo (66.7%) pero baja recuperación conjunta (44.4%), resultando en un éxito general bajo (11.1%). El vocabulario técnico "absorbe" los términos de ataque, haciéndolos parecer normales.
  • En FEVER (General): Los ataques logran recuperación perfecta (100%) pero cero sigilo (0%). Los términos de seguridad son tan anómalos en un corpus general que los documentos maliciosos se recuperan indiscriminadamente en consultas benignas, fallando el criterio de sigilo.
• Conclusión: El corpus actúa como una defensa natural en dominios generales, pero es vulnerable en dominios técnicos si no se usan otras defensas.

B. Eficacia de la Recuperación Híbrida

• Contra ataques de gradiente puro: La recuperación híbrida redujo el éxito de los ataques de 38% a 0% en el corpus de Security Stack Exchange (n=50). El componente BM25 reordena los documentos basándose en la coincidencia exacta de palabras clave, eliminando documentos envenenados que son semánticamente similares pero carecen de las palabras clave exactas.
• Contra optimización conjunta (Sparse + Dense): Si el atacante optimiza simultáneamente para vectores y BM25 (inyectando palabras clave), la defensa híbrida se evade parcialmente, logrando un éxito del 20% al 44%. Sin embargo, esto sigue siendo significativamente mejor que la recuperación pura por vectores.
• Recomendación: Usar recuperación híbrida con $\alpha \leq 0.5$ (peso mayor o igual en BM25) como primera línea de defensa.

C. Evaluación de Modelos LLM

La seguridad a nivel de modelo es necesaria pero insuficiente:

• Llama 4: Extremadamente vulnerable (93.3% de éxito de ataque, 93.3% de violaciones de seguridad).
• Claude Sonnet 4.6: Robustez moderada (60% de éxito de ataque, pero solo 6.7% de violaciones de seguridad). Claude reconoce el contenido recuperado pero se niega a ejecutar instrucciones maliciosas.
• GPT-5.3: Mejora respecto a generaciones anteriores (46.7% éxito, 33% violaciones), pero sigue siendo vulnerable a casi la mitad de los ataques.
• Hallazgo: Ningún modelo es inmune; la defensa a nivel de recuperación es crítica independientemente del LLM elegido.

D. Detección

• QPD (Query Pattern Differential): Es el método de detección más robusto y consistente entre corpus (brecha de 3.7x), ya que mide el comportamiento dinámico del documento en lugar de propiedades estáticas.
• Anomalía de Palabras Clave: Funciona muy bien en corpus generales (FEVER) pero falla en corpus técnicos (Security SE) debido al "efecto de camuflaje" donde el vocabulario técnico enmascara los términos de ataque.

5. Significado e Implicaciones

• Arquitectura como Seguridad: El diseño del recuperador (híbrido vs. puro) es un control de seguridad primario más efectivo que las defensas puramente de detección o las actualizaciones de seguridad del LLM.
• Evaluación Realista: Las pruebas de seguridad de RAG no deben limitarse a un solo tipo de corpus. Un sistema seguro en Wikipedia puede ser inseguro en documentación de ciberseguridad.
• Defensa en Profundidad: La estrategia óptima propuesta es:
  1. Primera línea: Recuperación Híbrida ($\alpha \leq 0.5$).
  2. Segunda línea: Monitoreo QPD para detectar patrones de comportamiento anómalos.
  3. Tercera línea: Evaluación de la seguridad del modelo LLM específico, especialmente para modelos de pesos abiertos como Llama.

En resumen, el paper demuestra que el envenenamiento de RAG es un problema complejo donde la interacción entre el dominio de los datos, la arquitectura de recuperación y la seguridad del modelo determina la vulnerabilidad final. La implementación de recuperación híbrida es una defensa inmediata, de bajo costo y altamente efectiva contra los ataques más comunes.