🤖 AI

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

Este artigo apresenta o Sparse Document Attention RAG (SDAG), um novo mecanismo de defesa que utiliza atenção de esparsidade em blocos para evitar interações prejudiciais entre documentos em sistemas de Geração Aumentada por Recuperação, mitigando significativamente ataques de envenenamento de conhecimento de corpus e superando as defesas de estado da arte existentes.

Autores originais: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário moderno da inteligência artificial, os grandes modelos de linguagem atuam como vastos repositórios do conhecimento humano, capazes de responder perguntas e gerar textos com uma fluência surpreendente. No entanto, esses modelos possuem uma limitação: são treinados em dados que param em um determinado ponto no tempo, o que significa que não podem conhecer eventos recentes ou fatos específicos e de nicho sem ajuda. Para resolver isso, pesquisadores desenvolveram um sistema chamado Geração Aumentada por Recuperação (Retrieval-Augmented Generation). Nesta configuração, quando um usuário faz uma pergunta, o sistema primeiro pesquisa em uma biblioteca massiva de documentos para encontrar informações relevantes. Em seguida, ele alimenta tanto a pergunta quanto esses documentos recuperados no modelo de linguagem, que os utiliza como um guia para elaborar uma resposta precisa. Este método mantém o conhecimento da IA atualizado e reduz a chance de ela inventar coisas, um problema conhecido como alucinação. Contudo, essa própria dependência de documentos externos cria uma nova vulnerabilidade. Como o sistema confia nos documentos que encontra, um ator malicioso poderia secretamente injetar informações falsas na biblioteca. Se o sistema recuperar esses documentos envenenados, poderá ser enganado para ignorar a verdade e entregar uma mentira em vez disso.

Pesquisadores do Technion, em Israel, identificaram uma fraqueza específica na forma como esses sistemas processam informações que os torna suscetíveis a tal decepção. Nos modelos de linguagem padrão, o mecanismo que permite à IA focar em diferentes partes de um texto é projetado para permitir que cada palavra olhe de volta para todas as palavras anteriores em um fluxo contínuo. Isso funciona bem para escrever uma história ou resumir um único artigo, onde o contexto flui naturalmente de uma frase para a próxima. No entanto, em um sistema de recuperação, a entrada é frequentemente uma coleção de documentos separados e distintos colados uns aos outros. Os pesquisadores argumentam que o método padrão de processamento desses documentos permite que palavras de um documento interajam com palavras de outro de uma maneira que pode ser prejudicial. Quando um documento malicioso está presente, seu conteúdo enganoso pode influenciar a compreensão da IA sobre os documentos verdadeiros, envenenando efetivamente toda a resposta.

Para enfrentar isso, a equipe introduziu uma nova estratégia de defesa chamada Atenção de Documentos Esparsa (Sparse Document Attention). Em vez de permitir que a IA deixe cada palavra do conjunto recuperado olhar para todas as outras palavras, este método cria uma fronteira estrita entre os documentos. Ele força o sistema a tratar cada documento recuperado como uma ilha isolada. Dentro de um único documento, as palavras ainda podem referenciar umas às outras para manter o contexto, mas elas são completamente bloqueadas de olhar para ou serem influenciadas por palavras em qualquer um dos outros documentos recuperados. Esta mudança é aplicada apenas quando o sistema está gerando uma resposta, não exigindo o retreinamento do modelo de IA subjacente nem adições complexas ao pipeline de software. É um ajuste simples nas regras de atenção que evita a conversa cruzada prejudicial entre um mentiroso e um portador da verdade.

Os pesquisadores testaram esta abordagem rigorosamente através de uma variedade de cenários, utilizando diferentes conjuntos de dados de perguntas e respostas e múltiplos tipos de modelos de linguagem. Eles simularam ataques onde um adversário injetou documentos enganosos projetados para direcionar a IA para uma resposta incorreta específica. Nestes testes, o sistema padrão, que permitia que os documentos influenciassem uns aos outros, frequentemente caía na armadilha, muitas vezes produzindo a resposta falsa desejada pelo atacante. Em contraste, o sistema utilizando o novo método de atenção esparsa provou ser muito mais resiliente. Ele conseguiu ignorar os documentos envenenados na grande maioria dos casos, mantendo a precisão de suas respostas e reduzindo drasticamente a taxa de sucesso dos ataques. A melhoria foi tão significativa que o novo método superou estratégias de defesa existentes, mais complexas, que haviam sido desenvolvidas para detectar esses ataques.

O estudo também explorou como a posição de um documento falso afeta o resultado. Eles descobriram que, quando um documento enganoso é muito semelhante em conteúdo aos documentos verdadeiros, é mais difícil para o sistema resistir à sua influência. No entanto, o novo método permaneceu eficaz mesmo nestas situações difíceis. Além disso, os pesquisadores descobriram que esta defesa funciona bem mesmo quando a IA é solicitada a resolver problemas complexos que exigem a combinação de informações de múltiplos documentos, como questões de raciocínio de múltiplos passos. Embora a configuração inicial tenha mostrado uma leve queda de desempenho em comparação com o método padrão, os pesquisadores descobriram que um breve período de ajuste fino (fine-tuning) do modelo para as novas regras recuperou completamente essa perda, resultando em um sistema que era tanto robusto contra ataques quanto altamente preciso.

As descobertas sugerem que a maneira como uma IA olha para seu material de origem é tão importante quanto o próprio material. Ao simplesmente impedir que diferentes documentos conversem entre si, o sistema torna-se muito mais difícil de ser enganado. Esta abordagem oferece uma maneira prática e eficiente de proteger sistemas de IA baseados em recuperação, garantindo que eles dependam da verdade em vez de serem influenciados pela mentira mais persuasiva na sala. O trabalho estabelece um novo padrão para proteger esses sistemas, mostrando que uma mudança fundamental na forma como o modelo processa a informação pode ser mais eficaz do que adicionar camadas de ferramentas de detecção complexas.

Resumo Técnico: Abordando Ataques de Envenenamento de Conhecimento de Corpus em RAG Usando Atenção Esparsa

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) é um paradigma dominante para atualizar o conhecimento de Grandes Modelos de Linguagem (LLMs) e reduzir alucinações. No entanto, os sistemas RAG são vulneráveis a ataques de envenenamento de conhecimento de corpus, onde um adversário injeta documentos enganosos ou maliciosos no corpus de recuperação para direcionar a saída do LLM para uma resposta incorreta desejada.

Os autores argumentam que uma vulnerabilidade fundamental, frequentemente negligenciada, nos RAGs advém do mecanismo de atenção causal padrão usado em LLMs apenas decodificadores (decoder-only). Em um pipeline RAG padrão, os documentos recuperados são concatenados em um único prompt. Sob a atenção causal, tokens em um documento recuperado podem atender a (e ser influenciados por) tokens em outros documentos recuperados. Quando o conjunto recuperado contém informações conflitantes — como documentos benignos corretos versus documentos adversários injetados — essa atenção interdocumental permite que o conteúdo adversário corrompa os estados ocultos dos documentos benignos, levando a uma geração incorreta.

Metodologia: RAG de Atenção de Documentos Esparsos (SDAG)

Para mitigar essa vulnerabilidade, os autores propõem o Sparse Document Attention RAG (SDAG), um mecanismo de defesa que modifica a máscara de atenção durante a inferência sem exigir ajuste fino (fine-tuning) do modelo ou mudanças arquitetônicas.

Mecanismo Central

O SDAG impõe um padrão de atenção esparsa em blocos sobre os documentos recuperados:

Atenção Intra-documento: Tokens dentro de um único documento recuperado podem atender a tokens anteriores dentro do mesmo documento.
Bloqueio Inter-documento: A atenção cruzada entre diferentes documentos recuperados é explicitamente desabilitada. Tokens no documento $d_i$ não podem atender a tokens no documento $d_j$ (onde $i \neq j$ ).
Contexto Preservado: Tokens no bloco de instrução da tarefa ( $B_T$ ) e no bloco de contexto do gerador ( $B_C$ ) mantêm a atenção causal padrão, permitindo que atendam a todos os tokens precedentes. Da mesma forma, os tokens gerados podem atender a todos os tokens anteriores na sequência.

Implementação

Sobrecarga Mínima: O método requer apenas uma modificação na máscara de atenção durante a inferência.
Compatibilidade: É compatível com qualquer LLM apenas decodificador e pode ser integrado com métodos de defesa pré-geração existentes (por exemplo, filtragem ou discriminação de documentos).
Sem Treinamento: Ao contrário de muitas estratégias de defesa, o SDAG não exige o ajuste fino do gerador ou o treinamento de discriminadores adicionais.

Configuração Experimental

Os autores conduziram uma avaliação empírica rigorosa através de múltiplas dimensões:

Datasets: HotpotQA (multi-hop), TriviaQA e Natural Questions (NQ) (single-hop), utilizando o despejo (dump) da Wikipedia em inglês como corpus.
Modelos: Três LLMs geradores (Llama-8B, Qwen-7B, Mistral-7B) e vários recuperadores (E5, Contriever, BM25).
Estratégias de Ataque:
- In-Set vs. In-Corpus: Avaliando cenários onde documentos adversários estão garantidos no conjunto recuperado versus cenários onde são injetados no corpus e podem ou não ser recuperados.
- Contagem de Documentos: Ataques de documento único e ataques de múltiplos documentos (2 ou 3 documentos adversários).
- Estratégias Espaciais: Seleção aleatória, "Near" (documentos adversários próximos de documentos benignos no espaço de embedding) e "Far" (distantes no espaço de embedding).
- Ataques Adaptativos: Cenários onde o atacante observa documentos benignos ou respostas anteriores do modelo para refinar o ataque.
Baselines: Causal Attention RAG (CARG) padrão, RAGDefender (baseado em filtragem) e Discern&Answer (baseado em discriminador).
Métricas: Acurácia (ACC) e Taxa de Sucesso do Ataque (ASR).

Principais Resultados

1. Superioridade Sobre a Atenção Padrão (RQ1)

O SDAG supera consistentemente o Causal Attention RAG (CARG) padrão em configurações adversárias:

Redução de ASR: O SDAG reduz significativamente a Taxa de Sucesso do Ataque em todos os datasets, geradores e recuperadores. Por exemplo, em ataques de documento único no dataset NQ, o SDAG reduziu o ASR em mais da metade comparado ao CARG em várias configurações.
Melhoria da Acurácia: Na maioria dos casos, o SDAG também melhora a acurácia das respostas geradas em comparação ao CARG, indicando que o bloqueio da atenção interdocumental preserva a integridade das informações benignas.
Robustez: A defesa se mantém tanto para questões single-hop quanto multi-hop, demonstrando que o SDAG não prejudica a capacidade do modelo de sintetizar informações entre documentos (verificado em configurações de oráculo não-adversárias).

2. Comparação com Defesas de Estado da Arte (RQ2)

Ataques de Documento Único: O SDAG supera as defesas de estado da arte existentes (RAGDefender e Discern&Answer) em cenários de ataque de documento único. Esta é uma descoberta crítica, pois muitas defesas existentes dependem da detecção de similaridades entre múltiplos documentos adversários, uma premissa que falha quando apenas um documento malicioso está presente.
Ataques de Múltiplos Documentos: Quando o SDAG é integrado com as defesas existentes (especificamente o RAGDefender), a abordagem combinada estabelece um novo estado da arte, alcançando melhorias estatisticamente significativas tanto em ASR quanto em acurácia sobre os baselines isolados.

3. Análise de Posicionamento Espacial (RQ3)

Os autores analisaram a relação entre a distância geométrica dos documentos adversários em relação aos documentos benignos no espaço de embedding e a eficácia do ataque:

Efeito de Proximidade: Os ataques são mais eficazes quando os documentos adversários estão "Near" (próximos ao centroide dos documentos benignos) no espaço de embedding. Ataques "Far" são menos bem-sucedidos.
Eficácia da Defesa: A vantagem relativa de desempenho do SDAG sobre o CARG é ainda mais pronunciada quando os documentos adversários estão geometricamente distantes do conjunto benigno, sugerindo que o mecanismo de atenção esparsa em blocos é particularmente eficaz em isolar clusters semânticos distintos.

Significância e Alegações

O artigo reivindica as seguintes contribuições e significâncias:

Identificação de uma Falha Fundamental: Os autores identificam o mecanismo de atenção causal padrão como um vetor primário para o envenenamento de corpus, onde as interações interdocumentais permitem que o conteúdo adversário corrompa o contexto benigno.
Uma Defesa Nova e Leve: O SDAG oferece uma defesa prática que não requer ajuste fino, não exige componentes adicionais de pipeline e requer mudanças mínimas de tempo de inferência (apenas modificação da máscara).
Desempenho de Estado da Arte: O SDAG estabelece um novo marco para a robustez do RAG, particularmente no cenário de ataque de documento único, que é pouco explorado. Sua capacidade de integração com outras defesas para criar uma defesa composta superior destaca sua versatilidade.
Insight sobre a Dinâmica de Ataque: A análise do posicionamento no espaço de embedding fornece novos insights sobre como atacantes otimizam suas injeções e como defesas podem aproveitar a separação geométrica para melhorar a robustez.

Os autores observam limitações, incluindo a restrição a modelos de código aberto (devido à necessidade de controle da máscara de atenção), o foco em QA baseado na Wikipedia em inglês e o uso de LLMs relativamente menores (7B-8B) para a maioria dos experimentos, embora notem que modelos maiores (70B) e modelos capazes de raciocínio também se beneficiam da abordagem.