One Shot Dominance: Knowledge Poisoning Attack on Retrieval-Augmented Generation Systems

Título: One Shot Dominance: Ataque de Envenenamento de Conhecimento em Sistemas de Geração Aumentada por Recuperação (RAG)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) aprimorados com Geração Aumentada por Recuperação (RAG) têm demonstrado melhorias significativas na precisão das respostas ao acessar bases de conhecimento externas. No entanto, essa dependência de fontes externas introduz vulnerabilidades de segurança críticas, especialmente quando essas bases são públicas e modificáveis (como a Wikipédia).

O problema central abordado no artigo é a envenenamento de conhecimento (knowledge poisoning). Ataques anteriores (como PoisonedRAG e HijackRAG) possuem limitações severas:

1. Baixa Furtividade: Requerem a injeção de múltiplos documentos envenenados para serem eficazes, o que é facilmente detectável.
2. Baixa Aplicabilidade: Funcionam apenas em consultas simples, falhando em perguntas complexas de "multi-hop" (que exigem raciocínio sobre múltiplas entidades e relações).
3. Falha em Superar o Conhecimento Interno: Os LLMs tendem a preferir seu conhecimento paramétrico interno ou o consenso entre múltiplos documentos, ignorando um único documento malicioso.

O objetivo deste trabalho é desenvolver um ataque realista que envenene apenas um único documento, mas que seja capaz de manipular o LLM em consultas complexas, superando tanto a preferência por consenso quanto o conhecimento interno do modelo.

2. Metodologia: AuthChain

Os autores propõem o AuthChain, um método de ataque de "um tiro" (one-shot) que constrói um documento malicioso seguindo três princípios fundamentais para garantir que ele seja recuperado, lido e confiável pelo LLM:

• Fase 1: Geração de Conteúdo Baseado em Intenção (Intent-Based Content)

  • Objetivo: Maximizar a visibilidade durante a recuperação.
  • Mecanismo: O sistema extrai a intenção da pergunta, os elementos-chave e as relações lógicas. O conteúdo gerado alinha-se perfeitamente com o objetivo central da pergunta, garantindo que o recuperador (retriever) o classifique no topo e que o LLM foque nele durante o raciocínio.

• Fase 2: Geração de Conteúdo de Cadeia de Evidências (CoE - Chain-of-Evidence)

  • Objetivo: Garantir recuperabilidade e competitividade contra outros documentos.
  • Mecanismo: O documento é estruturado como uma cadeia de evidências autocontida. Ele preserva todos os elementos da pergunta e suas relações lógicas de forma coesa. Isso torna o documento mais convincente do que fragmentos de conhecimento externos que apenas correspondem parcialmente à lógica da pergunta. Um agente "juiz" e um agente "revisor" iteram sobre o conteúdo para garantir a cobertura completa da cadeia de evidências.

• Fase 3: Geração de Conteúdo de Autoridade (Authority Content)

  • Objetivo: Superar o viés do conhecimento interno do LLM.
  • Mecanismo: Inspirado no efeito de autoridade da psicologia social, o documento incorpora sinais de autoridade (como endossos de instituições renomadas) e carimbos de data recentes. Isso posiciona o conteúdo externo como mais atual e confiável do que o conhecimento estático interno do LLM, forçando o modelo a priorizar a informação envenenada.

O documento final é uma integração dessas três camadas, injetado na base de conhecimento.

3. Contribuições Principais

1. Ataque de Único Documento Realista: Demonstra que é possível comprometer sistemas RAG complexos injetando apenas um documento, superando a necessidade de "spam" de múltiplos documentos usada em ataques anteriores.
2. Eficácia em Consultas Multi-hop: O método funciona eficazmente em perguntas que exigem raciocínio sobre múltiplas entidades e relações complexas, um cenário onde métodos anteriores falham.
3. Mecanismo Híbrido (CoE + Autoridade): Introduz a combinação de estrutura lógica (CoE) e sinais de autoridade para contornar simultaneamente a preferência do LLM por consenso e seu conhecimento interno pré-treinado.
4. Avaliação Abrangente: Testado em seis LLMs populares (incluindo GPT-3.5, GPT-4, GPT-4o, Llama3 e DeepSeek) e três conjuntos de dados (HotpotQA, MS-MARCO, Natural Questions).

4. Resultados Experimentais

Os experimentos foram conduzidos comparando o AuthChain com os estados da arte (PoisonedRAG e HijackRAG) e avaliando a eficácia contra mecanismos de defesa (InstructRAG e AstuteRAG).

• Taxa de Sucesso do Ataque (ASR):
  • O AuthChain alcançou taxas de sucesso médias de 87,0% (HotpotQA), 81,5% (MS-MARCO) e 77,8% (NQ).
  • Isso representa uma melhoria de 21,7% a 46,5% em relação aos baselines mais avançados.
• Furtividade e Qualidade:
  • O texto gerado pelo AuthChain possui uma perplexidade (PPL) significativamente menor (média de 33,4) comparado aos baselines (69,9 e 381,1), indicando que o conteúdo é muito mais natural e menos detectável.
  • A taxa de sucesso de recuperação (RSR) permaneceu alta, competindo eficazmente com documentos legítimos.
• Resistência a Defesas:
  • Sob os frameworks de defesa InstructRAG e AstuteRAG, o AuthChain manteve taxas de sucesso superiores, reduzindo a precisão (ACC) das respostas corretas em até 21% mais do que os métodos anteriores.
  • O componente de "Autoridade" provou ser crucial para superar a resistência do LLM a informações que contradizem seu conhecimento interno.
• Robustez:
  • O ataque manteve alta eficácia mesmo quando as consultas do usuário foram parafraseadas ou em cenários de conversas multi-turno.

5. Significado e Implicações

Este trabalho expõe uma vulnerabilidade crítica e subestimada nos sistemas RAG modernos: a capacidade de um único documento bem estruturado e "autoritativo" de manipular o raciocínio de modelos de IA avançados.

• Segurança: Mostra que a segurança de bases de conhecimento públicas não pode ser garantida apenas pela verificação de múltiplas fontes; a estrutura lógica e os sinais de autoridade dentro de um único documento podem ser suficientes para enganar o sistema.
• Defesa: O estudo sugere que as defesas futuras devem focar não apenas na detecção de anomalias estatísticas, mas na verificação rigorosa das evidências e na proveniência das informações, especialmente quando há endossos de autoridade ou datas recentes que contradizem o conhecimento estabelecido.
• Ética: Os autores enfatizam que o objetivo é expor essas falhas para desenvolver defesas mais robustas, recomendando a verificação cruzada automatizada e o monitoramento de padrões anômalos em atualizações de conhecimento.

Em resumo, o AuthChain redefine o estado da arte em ataques de envenenamento de conhecimento, demonstrando que a segurança dos sistemas RAG depende criticamente da integridade e da verificação de cada documento individual, não apenas do volume de dados.