Resumen Técnico: TopoGuard

1. Definición del Problema: Ataques de Conocimiento Dividido (Split-Knowledge Attacks)

El artículo identifica una vulnerabilidad novedosa en los sistemas de Generación Aumentada por Recuperación (RAG) en producción, denominada ataque de conocimiento dividido. A diferencia de los ataques tradicionales donde se inyecta un único documento malicioso para envenenar el corpus de recuperación (por ejemplo, PoisonedRAG), un ataque de conocimiento dividido distribuye una carga útil dañina a través de múltiples documentos que son benignos de forma individual.

• Mecanismo: Un adversario inyecta documentos que son fácticamente correctos y pasan los filtros de contenido estándar cuando se inspeccionan de forma aislada. Sin embargo, cuando se recuperan juntos para una consulta específica, estos documentos forman una asociación semántica falsa que lleva al Modelo de Lenguaje Grande (LLM) a alucinar una conclusión perjudicial.
• Ejemplo: Una consulta sobre un fabricante en Seattle podría recuperar un documento que dice "Las instalaciones de Boeing están en Seattle" y otro que dice "Seattle es un centro de tráfico de drogas". Individualmente, estos son benignos. Combinados, crean una falsa asociación que vincula a Boeing con el tráfico de drogas.
• Fallo de las Defensas Existentes: Los mecanismos de seguridad actuales de RAG (por ejemplo, LlamaGuard, Perspective API, LLM-as-a-Judge) operan sobre una base por documento. Califican cada documento recuperado de forma independiente. Debido a que la señal adversaria existe únicamente en la estructura composicional y las relaciones topológicas entre los documentos —no en el contenido léxico de ningún documento individual—, estos filtros fallan al detectar el ataque, operando a menudo a niveles de azar (AUROC $\approx$ 0.5).

2. Metodología: TopoGuard

Para abordar esta ceguera estructural, los autores proponen TopoGuard, una familia de métodos de defensa basados en la teoría de grafos. La premisa central es que las cadenas de razonamiento multi-salto legítimas forman grafos semánticos densamente conectados, mientras que los ataques de conocimiento dividido crean grafos fragmentados y débilmente conectados.

Algoritmo Central

1. Construcción del Grafo de Similitud Semántica:

   • Dado un conjunto de documentos recuperados $D = \{d_1, ..., d_n\}$ con embeddings $\{x_1, ..., x_n\}$, se construye un grafo $G = (V, E, w)$.
   • Los nodos representan los pasajes recuperados.
   • Existen aristas entre los nodos si están entre sus $k$-vecinos más cercanos.
   • Los pesos de las aristas $w_{ij}$ son la similitud de coseno entre los embeddings (recortados a valores no negativos).

2. Detección Topológica:

   • Consultas Legítimas: Forman una cadena de razonamiento donde los documentos actúan como puentes entre brechas semánticas, resultando en un grafo con alta conductancia (densamente conectado).
   • Ataques de Conocimiento Dividido: Combinan dominios semánticamente no relacionados (ej. Aviación $\cup$ Drogas), lo que resulta en un grafo con baja conductancia (clústeres fragmentados).
   • El método aprovecha la brecha espectral ($\lambda_2$) del Laplaciano normalizado del grafo y la conductancia de Fiedler para cuantificar esta conectividad.

Variantes Propuestas

El artículo introduce cuatro detectores específicos:

• TopoGuard-$\lambda_2$: Utiliza directamente la brecha espectral normalizada.
• TopoGuard-Conductance: Calcula la conductancia de corte utilizando el vector de Fiedler para una medida empírica más ajustada.
• TopoGuard-Modularity: Utiliza la detección de comunidades de Louvain para evaluar la modularidad (un heurístico voraz).
• TopoGuard-$\lambda_2$+Entity: Un enfoque híbrido que combina la brecha espectral con la superposición de Entidades Nombradas (NE) (similitud de Jaccard de las entidades extraídas). Esta variante es la recomendada para producción debido a su equilibrio entre robustez y exhaustividad (recall).

3. Análisis Teórico

Los autores proporcionan garantías teóricas para la capacidad de detección:

• Estabilidad Espectral (Teorema 3.1): La brecha espectral $\lambda_2$ es estable bajo ruido de embedding. Las pequeñas perturbaciones en el espacio de embedding (debido al ruido del codificador) resultan en perturbaciones acotadas en $\lambda_2$, asegurando la robustez.
• Garantías de Detección (Teorema 3.2): Bajo el supuesto de que los grafos legítimos tienen una conductancia $\ge \epsilon$ y los grafos de ataque tienen una conductancia $\le \delta$ (con $\epsilon \ge 2\sqrt{\delta}$), la probabilidad de error de detección disminuye exponencialmente a medida que aumenta el número de pasajes recuperados $n$.
• Complejidad de Muestreo (Corolario 3.1): El artículo deriva el número de unidades recuperadas necesarias para lograr una Tasa de Verdaderos Positivos (TPR) y una Tasa de Falsos Positivos (FPR) específicas.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos de QA multi-salto: HotpotQA y MuSiQue.

Métricas de Rendimiento

• Precisión de Detección: TopoGuard supera significativamente a los filtros por documento.
  • En HotpotQA, TopoGuard-$\lambda_2$+Entity logró un 95.2% de AUROC y un 32.6% de Recall al 1% de FPR.
  • En comparación, LlamaGuard-2-8B logró solo un 1.53% de Recall (AUROC 54.0%), actuando efectivamente de forma no mejor que el azar.
  • TopoGuard detectó 21 veces más ataques que LlamaGuard-2-8B con el mismo FPR.
• Tasa de Falsos Positivos (FPR): TopoGuard mantiene FPRs bajas en consultas multi-salto benignas (ej. 0.49% general en HotpotQA). Sin embargo, el FPR aumenta en las consultas "Q4" (las consultas legítimas con mayor distancia semántica), resaltando un límite fundamental donde el razonamiento legítimo entre dominios estructuralmente se asemeja a los ataques.
• Eficiencia: Las variantes de TopoGuard se ejecutan con una latencia de sub-milisegundos (ej. <0.5 ms para $\lambda_2$), lo que las hace más de 100 veces más rápidas que las defensas basadas en LLM como LlamaGuard-3-8B (~40 ms).
• Robustez:
  • Adversarios Adaptativos: El enfoque híbrido TopoGuard-$\lambda_2$+Entity fue el más robusto contra estrategias de evasión adaptativas (ej. relleno "Best-of-N", "Mimetismo de cadena").
  • Transferibilidad: El método se transfiere bien a través de diferentes densidades de grafo ($k$), pero requiere recalibración cuando cambia la profundidad de recuperación ($R$) o el codificador.
  • Calibración sin Etiquetas: El sistema puede calibrarse para un FPR objetivo utilizando solo puntuaciones de consultas benignas (percentil 99), sin necesidad de datos de ataque etiquetados.

Limitaciones Observadas

• Mimetismo de Misma Comunidad: Si un adversario inyecta contenido malicioso que está alineado semánticamente con el clúster legítimo (alta conductancia), TopoGuard falla (el Recall cae a ~1%). Esta es una limitación fundamental de las defensas topológicas.
• Ataques de Pasaje Único: TopoGuard no está diseñado para ataques de un solo pasaje (como PoisonedRAG) donde la carga útil reside en un solo documento; es complementario a los filtros por documento.

5. Significado y Reivindicaciones

El artículo sostiene las siguientes contribuciones y significados:

1. Primera Definición Formal: Es el primer trabajo que define formalmente los ataques de conocimiento dividido en sistemas RAG y proporciona límites teóricos sobre el rendimiento de la detección espectral.
2. Defensa Estructural: Demuestra que la seguridad en RAG debe ir más allá del filtrado de contenido léxico hacia el análisis topológico del contexto de recuperación.
3. Viabilidad Práctica: TopoGuard ofrece una defensa de alta exhaustividad y baja latencia que es robusta contra adversarios adaptativos y puede desplegarse sin datos de ataque etiquetados.
4. Defensa en Profundidad: Los autores posicionan a TopoGuard no como un reemplazo de los filtros de contenido existentes, sino como una capa complementaria necesaria para capturar ataques composicionales que son invisibles para la puntuación por documento individual.

El trabajo concluye que, si bien TopoGuard no puede resolver todos los vectores de ataque (específicamente aquellos que mimetizan clústeres semánticos legítimos), cierra eficazmente una brecha crítica en la seguridad de RAG donde las defensas existentes son estructuralmente ciegas.