🤖 AI

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

Este artículo presenta Sparse Document Attention RAG (SDAG), un novedoso mecanismo de defensa que emplea atención dispersa por bloques para prevenir interacciones perjudiciales entre documentos en sistemas de Generación Aumentada por Recuperación, mitigando así significativamente los ataques de envenenamiento de conocimiento del corpus y superando a las defensas de vanguardia existentes.

Autores originales: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama moderno de la inteligencia artificial, los grandes modelos de lenguaje actúan como vastos repositorios del conocimiento humano, capaces de responder preguntas y generar texto con una fluidez sorprendente. Sin embargo, estos modelos tienen una limitación: están entrenados con datos que se detienen en un momento determinado en el tiempo, lo que significa que no pueden conocer eventos recientes o hechos específicos y de nicho sin ayuda. Para resolver esto, los investigadores desarrollaron un sistema llamado Generación Aumentada por Recuperación. En esta configuración, cuando un usuario hace una pregunta, el sistema primero busca en una biblioteca masiva de documentos para encontrar información relevante. Luego, introduce tanto la pregunta como estos documentos recuperados en el modelo de lenguaje, el cual los utiliza como guía para elaborar una respuesta precisa. Este método mantiene el conocimiento de la IA actualizado y reduce la posibilidad de que invente cosas, un problema conocido como alucinación. No obstante, esta misma dependencia de documentos externos crea una nueva vulnerabilidad. Debido a que el sistema confía en los documentos que encuentra, un actor malintencionado podría inyectar secretamente información falsa en la biblioteca. Si el sistema recupera estos documentos envenenados, podría ser engañado para ignorar la verdad y entregar una mentira en su lugar.

Investigadores del Technion en Israel han identificado una debilidad específica en la forma en que estos sistemas procesan la información que los hace susceptibles a tal engaño. En los modelos de lenguaje estándar, el mecanismo que permite a la IA enfocarse en diferentes partes de un texto está diseñado para permitir que cada palabra observe hacia atrás a cada palabra anterior en un flujo continuo. Esto funciona bien para escribir una historia o resumir un solo artículo, donde el contexto fluye naturalmente de una oración a la siguiente. Sin embargo, en un sistema de recuperación, la entrada es a menudo una colección de documentos separados y distintos pegados uno tras otro. Los investigadores argumentan que el método estándar de procesar estos documentos permite que las palabras de un documento interactúen con las palabras de otro de una manera que puede ser perjudicial. Cuando un documento malicioso está presente, su contenido engañoso puede influir en la comprensión de la IA sobre los documentos verídicos, envenenando efectivamente toda la respuesta.

Para abordar esto, el equipo introdujo una nueva estrategia de defensa llamada Atención de Documentos Dispersa (Sparse Document Attention). En lugar de permitir que la IA deje que cada palabra del conjunto recuperado mire a todas las demás palabras, este método crea un límite estricto entre los documentos. Fuerza al sistema a tratar cada documento recuperado como una isla aislada. Dentro de un solo documento, las palabras aún pueden referenciarse entre sí para mantener el contexto, pero están completamente bloqueadas para mirar o ser influenciadas por las palabras de cualquiera de los otros documentos recuperados. Este cambio se aplica solo cuando el sistema está generando una respuesta, lo que no requiere el reentrenamiento del modelo de IA subyacente ni adiciones complejas al flujo de software. Es un ajuste simple a las reglas de atención que evita la comunicación cruzada dañina entre un mentiroso y un portador de la verdad.

Los investigadores probaron este enfoque rigurosamente a través de una variedad de escenarios, utilizando diferentes conjuntos de datos de preguntas y respuestas y múltiples tipos de modelos de lenguaje. Simularon ataques donde un adversario inyectó documentos engañosos diseñados para desviar a la IA hacia una respuesta incorrecta específica. En estas pruebas, el sistema estándar, que permitía que los documentos se influyeran entre sí, cayó frecuentemente en la trampa, produciendo a menudo la respuesta falsa deseada por el atacante. En contraste, el sistema que utilizaba el nuevo método de atención dispersa demostró ser mucho más resiliente. Logró ignorar los documentos envenenados en la gran mayoría de los casos, manteniendo la precisión de sus respuestas y reduciendo drásticamente la tasa de éxito de los ataques. La mejora fue tan significativa que el nuevo método superó a las estrategias de defensa existentes y más complejas que se habían desarrollado para detectar estos ataques.

El estudio también exploró cómo la posición de un documento falso afecta el resultado. Encontraron que cuando un documento engañoso es muy similar en contenido a los verídicos, es más difícil para el sistema resistir su influencia. Sin embargo, el nuevo método se mantuvo efectivo incluso en estas situaciones difíciles. Además, los investigadores descubrieron que esta defensa funciona bien incluso cuando se le pide a la IA que resuelva problemas complejos que requieren combinar información de múltiples documentos, como preguntas de razonamiento de varios pasos. Si bien la configuración inicial mostró una ligera caída en el rendimiento en comparación con el método estándar, los investigadores encontraron que un breve periodo de ajuste fino (fine-tuning) del modelo a las nuevas reglas recuperó completamente esta pérdida, resultando en un sistema que era tanto robusto contra ataques como altamente preciso.

Los hallazgos sugieren que la forma en que una IA observa su material de origen es tan importante como el material mismo. Al simplemente evitar que los diferentes documentos hablen entre sí, el sistema se vuelve mucho más difícil de engañar. Este enfoque ofrece una forma práctica y eficiente de asegurar los sistemas de IA basados en recuperación, asegurando que dependan de la verdad en lugar de dejarse llevar por la mentira más persuasiva en la sala. El trabajo establece un nuevo estándar para proteger estos sistemas, mostrando que un cambio fundamental en cómo el modelo procesa la información puede ser más efectivo que añadir capas de herramientas de detección complejas.

Resumen Técnico: Abordando los Ataques de Envenenamiento de Conocimiento del Corpus en RAG mediante Atención Dispersa

Declaración del Problema

La Generación Aumentada por Recuperación (RAG) es un paradigma dominante para actualizar el conocimiento de los Modelos de Lenguaje Grande (LLM) y reducir las alucinaciones. Sin embargo, los sistemas RAG son vulnerables a los ataques de envenenamiento de conocimiento del corpus, donde un adversario inyecta documentos engañosos o maliciosos en el corpus de recuperación para dirigir la salida del LLM hacia una respuesta incorrecta deseada.

Los autores argumentan que una vulnerabilidad fundamental, a menudo pasada por alto, en RAG proviene del mecanismo de atención causal estándar utilizado en los LLM de solo decodificador (decoder-only). En un pipeline RAG estándar, los documentos recuperados se concatenan en un único prompt. Bajo la atención causal, los tokens de un documento recuperado pueden atender a (y ser influenciados por) los tokens de otros documentos recuperados. Cuando el conjunto recuperado contiene información conflictiva —como documentos benignos correctos frente a documentos adversarios inyectados—, esta atención cruzada entre documentos permite que el contenido adversario corrompa los estados ocultos de los documentos benignos, provocando una generación incorrecta.

Metodología: RAG de Atención de Documentos Dispersa (SDAG)

Para mitigar esta vulnerabilidad, los autores proponen RAG de Atención de Documentos Dispersa (SDAG), un mecanismo de defensa que modifica la máscara de atención durante la inferencia sin requerir el ajuste fino (fine-tuning) del modelo ni cambios arquitectónicos.

Mecanismo Central

SDAG impone un patrón de atención de dispersión por bloques sobre los documentos recuperados:

Atención Intra-documento: Los tokens dentro de un mismo documento recuperado pueden atender a los tokens anteriores dentro del mismo documento.
Bloqueo Inter-documento: La atención cruzada entre diferentes documentos recuperados se desactiva explícitamente. Los tokens en el documento $d_i$ no pueden atender a los tokens en el documento $d_j$ (donde $i \neq j$ ).
Contexto Preservado: Los tokens en el bloque de instrucción de la tarea ( $B_T$ ) y el bloque de contexto del generador ( $B_C$ ) conservan la atención causal estándar, lo que les permite atender a todos los tokens precedentes en la secuencia. Del mismo modo, los tokens generados pueden atender a todos los tokens anteriores en la secuencia.

Implementación

Sobrecarga Mínima: El método requiere solo una modificación de la máscara de atención en el momento de la inferencia.
Compatibilidad: Es compatible con cualquier LLM de solo decodificador y puede integrarse con métodos de defensa de pre-generación existentes (por ejemplo, filtrado de documentos o discriminación).
Sin Entrenamiento: A diferencia de muchas estrategias de defensa, SDAG no requiere el ajuste fino del generador ni el entrenamiento de discriminadores adicionales.

Configuración Experimental

Los autores realizaron una evaluación empírica rigurosa a través de múltiples dimensiones:

Datasets: HotpotQA (multi-hop), TriviaQA y Natural Questions (NQ) (single-hop), utilizando el volcado de English Wikipedia como corpus.
Modelos: Tres LLM generadores (Llama-8B, Qwen-7B, Mistral-7B) y varios recuperadores (E5, Contriever, BM25).
Estrategias de Ataque:
- In-Set vs. In-Corpus: Evaluación de escenarios donde los documentos adversarios están garantizados en el conjunto recuperado frente a escenarios donde son inyectados en el corpus y pueden o no ser recuperados.
- Conteo de Documentos: Ataques de un solo documento y ataques de múltiples documentos (2 o 3 documentos adversarios).
- Estrategias Espaciales: Selección aleatoria, "Cerca" (documentos adversarios cercanos a los documentos benignos en el espacio de embeddings) y "Lejos" (distantes en el espacio de embeddings).
- Ataques Adaptativos: Escenarios donde el atacante observa los documentos benignos o las respuestas previas del modelo para refinar el ataque.
Baselines: RAG de Atención Causal Estándar (CARG), RAGDefender (basado en filtrado) y Discern&Answer (basado en discriminador).
Métricas: Precisión (ACC) y Tasa de Éxito del Ataque (ASR).

Resultados Clave

1. Superioridad sobre la Atención Estándar (RQ1)

SDAG supera consistentemente al RAG de Atención Causal Estándar (CARG) en entornos adversarios:

Reducción de ASR: SDAG reduce significativamente la Tasa de Éxito del Ataque en todos los datasets, generadores y recuperadores. Por ejemplo, en ataques de un solo documento en el dataset NQ, SDAG redujo el ASR en más de la mitad comparado con CARG en varias configuraciones.
Mejora de la Precisión: En la mayoría de los casos, SDAG también mejora la precisión de las respuestas generadas en comparación con CARG, lo que indica que bloquear la atención inter-documento preserva la integridad de la información benigna.
Robustez: La defensa se mantiene tanto para preguntas de un salto (single-hop) como de múltiples saltos (multi-hop), demostrando que SDAG no impide la capacidad del modelo para sintetizar información a través de documentos (verificado en configuraciones de oráculo no adversarias).

2. Comparación con Defensas de Vanguardia (RQ2)

Ataques de un Solo Documento: SDAG supera a las defensas de vanguardia existentes (RAGDefender y Discern&Answer) en escenarios de ataque de un solo documento. Este es un hallazgo crítico, ya que muchas defensas existentes dependen de la detección de similitudes entre múltiples documentos adversarios, una premisa que falla cuando solo hay un documento malicioso presente.
Ataques de Múltiples Documentos: Cuando SDAG se integra con defensas existentes (específicamente RAGDefender), el enfoque combinado establece un nuevo estado del arte, logrando mejoras estadísticamente significativas tanto en ASR como en precisión sobre los baselines por sí solos.

3. Análisis de Posicionamiento Espacial (RQ3)

Los autores analizaron la relación entre la distancia geométrica de los documentos adversarios respecto a los documentos benignos en el espacio de embeddings y la efectividad del ataque:

Efecto de Proximidad: Los ataques son más efectivos cuando los documentos adversarios están "Cerca" (cerca del centroide de los documentos benignos) en el espacio de embeddings. Los ataques "Lejos" tienen menos éxito.
Eficacia de la Defensa: La ventaja relativa de rendimiento de SDAG sobre CARG es aún más pronunciada cuando los documentos adversarios están geométricamente distantes del conjunto benigno, lo que sugiere que el mecanismo de dispersión por bloques es particularmente efectivo para aislar distintos clústeres semánticos.

Significancia y Reivindicaciones

El artículo plantea las siguientes contribuciones y significancia:

Identificación de un Fallo Fundamental: Los autores identifican el mecanismo de atención causal estándar como un vector primario para el envenenamiento del corpus, donde las interacciones entre documentos permiten que el contenido adversario corrompa el contexto benigno.
Una Defensa Novedosa y Ligera: SDAG ofrece una defensa práctica que no requiere ajuste fino, no requiere componentes adicionales en el pipeline y requiere cambios mínimos en el tiempo de inferencia (solo modificación de la máscara).
Rendimiento de Vanguardia: SDAG establece un nuevo referente para la robustez de RAG, particularmente en el escenario poco explorado de ataques de un solo documento. Su capacidad para integrarse con otras defensas para crear una defensa compuesta superior resalta su versatilidad.
Perspectiva sobre la Dinámica de Ataque: El análisis del posicionamiento en el espacio de embeddings proporciona nuevas ideas sobre cómo los atacantes optimizan sus inyecciones y cómo las defensas pueden aprovechar la separación geométrica para mejorar la robustez.

Los autores señalan limitaciones, incluyendo la restricción a modelos de código abierto (debido a la necesidad de control sobre la máscara de atención), el enfoque en QA basado en English Wikipedia y el uso de LLMs relativamente pequeños (7B-8B) para la mayoría de los experimentos, aunque señalan que los modelos más grandes (70B) y los modelos con capacidades de razonamiento también se benefician del enfoque.