PIDP-Attack: Combining Prompt Injection with Database Poisoning Attacks on Retrieval-Augmented Generation Systems

Título: PIDP-Attack: Combinando Injeção de Prompt com Ataques de Envenenamento de Banco de Dados em Sistemas RAG

1. O Problema

Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam desafios significativos na implantação prática, como conhecimento desatualizado e a tendência de gerar alucinações (conteúdo factualmente incorreto). Para mitigar isso, os sistemas de Geração Aumentada por Recuperação (RAG) foram desenvolvidos, integrando LLMs a fontes de conhecimento externas e atualizadas.

No entanto, a arquitetura RAG introduz novas superfícies de ataque. Ataques existentes focam em duas vetores principais, mas possuem limitações críticas:

• Envenenamento de Dados (Data Poisoning): Ataques como o PoisonedRAG injetam textos maliciosos no banco de dados. A limitação é que eles exigem que o atacante conheça antecipadamente a consulta exata do usuário para criar um texto envenenado correspondente. Isso reduz a flexibilidade em cenários do mundo real, onde as consultas são dinâmicas e imprevisíveis.
• Injeção de Prompt (Prompt Injection): Ataques como GGPP ou GCG inserem instruções maliciosas na consulta do usuário. A limitação é que, sem evidências de suporte no contexto recuperado, o gerador (LLM) frequentemente ignora as instruções injetadas, resultando em taxas de sucesso instáveis.

A Lacuna: Não existe um ataque prático e flexível que possa manipular a resposta de um sistema RAG para qualquer consulta de usuário sem conhecimento prévio da consulta, mantendo alta eficácia e sigilo.

2. Metodologia: PIDP-Attack

Os autores propõem o PIDP-Attack (Prompt Injection and Database Poisoning Attack), uma estratégia de ataque composto (híbrido) que combina a manipulação do caminho da consulta (query-path) com o envenenamento do caminho do corpus (corpus-path).

Mecanismo de Ataque

O ataque opera em duas fases:

1. Fase Offline (Preparação do Banco de Dados):

   • O atacante seleciona uma pergunta alvo (S) e uma resposta alvo incorreta (a⁻).
   • São geradas $n$ passagens envenenadas. Cada passagem começa com a pergunta alvo $S$ (para maximizar a correspondência semântica durante a recuperação) seguida por um corpo adversarial que suporta a resposta incorreta $a⁻$.
   • Essas passagens são injetadas no banco de dados de recuperação. O número $n$ é pequeno (tipicamente igual ao valor $k$ do sistema de recuperação).

2. Fase Online (Ataque em Tempo de Inferência):

   • Para qualquer consulta de vítima $q$ (independente do conteúdo), o atacante anexa um sufixo de injeção leve $\delta(S)$ à consulta.
   • A consulta modificada torna-se $q' = q \oplus \delta(S)$.
   • Dupla Ação:
     • Direcionamento da Recuperação: O sufixo $\delta(S)$ altera a representação vetorial da consulta, fazendo com que o recuperador priorize as passagens envenenadas (que contêm $S$) em relação ao corpus limpo.
     • Direcionamento da Geração: O sufixo contém instruções explícitas para o LLM ignorar o contexto original e responder à pergunta $S$ com a resposta $a⁻$.

Hipótese Central

Ao combinar a injeção de prompt (que força o LLM a seguir uma instrução) com o envenenamento de dados (que fornece "evidência" no contexto recuperado que valida essa instrução), o ataque supera as defesas de modelos que, isoladamente, ignorariam apenas a injeção ou apenas o envenenamento.

3. Contribuições Principais

• Novo Paradigma de Ataque: O PIDP-Attack é o primeiro a combinar injeção de prompt e envenenamento de banco de dados para criar um ataque "agnóstico à consulta" (query-agnostic). O atacante não precisa saber a pergunta do usuário antes de preparar o ataque.
• Eficiência de Recursos: O ataque requer a injeção de um número muito pequeno de textos envenenados ($n$) no banco de dados (geralmente $n \approx k$, onde $k$ é o número de documentos recuperados).
• Superioridade sobre Baselines: Demonstra consistentemente taxas de sucesso superiores a ataques de superfície única (apenas envenenamento ou apenas injeção) em múltiplos conjuntos de dados e modelos.
• Análise de Limites: Identifica que a eficácia depende da interação entre o orçamento de envenenamento ($n$) e o orçamento de contexto ($k$), mostrando que o risco é end-to-end.

4. Resultados Experimentais

Os autores avaliaram o PIDP-Attack em três conjuntos de dados de benchmark (Natural Questions, HotpotQA, MS-MARCO) e oito LLMs de última geração (incluindo famílias Llama, Qwen, GPT e Granite).

• Taxa de Sucesso do Ataque (ASR):

  • O PIDP-Attack alcançou uma ASR média de 98,125%, superando significativamente todas as baselines.
  • Em tarefas de QA de domínio aberto, o método melhorou a taxa de sucesso em 4% a 16% em comparação com o PoisonedRAG (o estado da arte anterior em envenenamento).
  • Em cenários como Natural Questions, o PIDP alcançou 100% de sucesso em vários modelos, enquanto ataques puramente de injeção (GCG) ou puramente de envenenamento (Corpus) falharam quase totalmente (ASR < 1% ou < 50%).

• Análise de Ablação:

  • Injeção Sozinha: Falha em redirecionar o modelo para a resposta incorreta específica sem evidências recuperadas.
  • Envenenamento Sozinho: Funciona bem apenas se a consulta do usuário coincidir com a pergunta alvo, o que é raro em cenários reais.
  • Combinação: A sinergia entre os dois vetores é essencial. O sufixo garante que as passagens envenenadas sejam recuperadas, e as passagens envenenadas dão "peso" à instrução de injeção.

• Sensibilidade a Orçamentos:

  • Orçamento de Envenenamento ($n$): Em conjuntos de dados mais limpos (NQ, HotpotQA), apenas 2 passagens envenenadas são suficientes para saturar o sucesso. Em dados mais ruidosos (MS-MARCO), é necessário um $n$ maior (até 5) para garantir a recuperação das passagens maliciosas.
  • Orçamento de Contexto ($k$): Aumentar $k$ pode diluir o efeito do ataque se houver muitas passagens limpas competindo, mas também aumenta a chance de recuperar o veneno. O comportamento não é monotônico.

5. Significado e Implicações

• Vulnerabilidade Sistêmica: O trabalho revela que a segurança de sistemas RAG não pode ser garantida protegendo apenas o modelo (LLM) ou apenas o banco de dados isoladamente. A integridade deve ser mantida em todo o fluxo: da consulta do usuário, passando pela recuperação, até a geração.
• Ameaça Realista: Ao eliminar a necessidade de conhecer a consulta da vítima antecipadamente, o PIDP-Attack representa uma ameaça muito mais escalável e stealth (furtiva) do que ataques anteriores. Um único esforço de envenenamento pode comprometer o sistema para qualquer consulta futura.
• Defesas Necessárias: Os resultados sugerem que defesas simples (como filtrar sufixos ou limitar $k$) são insuficientes. São necessárias defesas holísticas que incluam:
  • Validação de proveniência para passagens recém-inseridas no corpus.
  • Sanitização de consultas para detectar sufixos de injeção.
  • Mecanismos de auditoria que verifiquem se o contexto recuperado contém instruções não confiáveis semanticamente desconectadas da consulta original.

Em resumo, o PIDP-Attack demonstra que a combinação de manipulação de entrada e corrupção de dados cria uma vulnerabilidade crítica em sistemas RAG modernos, exigindo uma reavaliação fundamental das estratégias de segurança em IA generativa.