Resumo Técnico: Benchmarking de Ataque e Defesa de Extração de Conhecimento em Geração Aumentada de Recuperação (RAG)

Declaração do Problema

A Geração Aumentada de Recuperação (RAG) tornou-se um paradigma fundamental para aplicações intensivas em conhecimento, incluindo chatbots empresariais, assistentes de saúde e gerenciamento de memória de agentes. Embora o RAG mitigue efetivamente alucinações e suporte atualizações dinâmicas de conhecimento, ele introduz uma vulnerabilidade inédita: ataques de extração de conhecimento. Diferente da extração tradicional de dados ou modelos, os sistemas RAG fornecem aos adversários um canal adicional para recuperar conteúdo sensível diretamente da base de conhecimento externa.

Atacantes elaboram consultas maliciosas compostas por dois componentes: um sinal de INFORMAÇÃO para direcionar o recuperador (retriever) em direção ao conteúdo sensível e uma instrução de COMANDO para forçar o gerador a reproduzir esse conteúdo literalmente. Apesar de trabalhos anteriores explorarem técnicas individuais de ataque e defesa, o cenário de pesquisa permanece fragmentado. Estudos existentes sofrem com configurações experimentais heterogêneas, incluindo versões inconsistentes de conjuntos de dados, diversos modelos de incorporação (embedding) de recuperação, arquiteturas de geradores variadas e métricas de avaliação não padronizadas. Essa falta de um espaço de design unificado dificulta a comparação justa e o desenvolvimento de sistemas RAG robustos e preservadores de privacidade.

Metodologia

Os autores apresentam o primeiro benchmark sistemático para ataques de extração de conhecimento em sistemas RAG, estabelecendo um framework experimental unificado para avaliar ataques e defesas através de um espaço de design abrangente.

1. Espaço de Design Unificado

O benchmark padroniza as seguintes dimensões:

• Arquitetura RAG:
  • Recuperadores (Retrievers): Três modelos de incorporação variando de leves a grande escala (MiniLM, GTE-Base, BGE-Large).
  • Geradores (Generators): Tanto modelos de código aberto (LLaMA, Qwen) quanto de código fechado (GPT-4o, GPT-4o mini).
  • Construção da Base de Conhecimento: Três estratégias que refletem implantações do mundo real: Original (documentos independentes), Fragmentação (Chunking - segmentos de comprimento fixo) e Grafo de Tripletos (estruturas entidade-relação-entidade).
• Estratégias de Ataque:
  • Componente de Informação: Varia de baselines aleatórios (Token Aleatório, Texto Aleatório, Embedding Aleatório) a métodos adaptativos e de estado da arte (IKEA, DGEA, CopyBreak). Esses métodos otimizam os embeddings das consultas para alinhar-se com o conhecimento alvo enquanto mantêm a diversidade.
  • Componente de Comando: Varia de pedidos simples de repetição a jailbreaks complexos, jogos de interpretação de papéis (role-playing) e instruções de múltiplos passos projetadas para contornar filtros de segurança.
• Estratégias de Defesa:
  • Estágio de Entrada: Defesa de Bloqueio de Consulta (Query-Block) usando classificadores de LLM zero-shot para detectar intenção maliciosa.
  • Estágio de Recuperação: Defesa de Limiar (Threshold) que filtra documentos recuperados com base em pontuações de similaridade, rejeitando candidatos de baixa relevância mesmo que apareçam nos resultados Top-K.
  • Estágio de Geração: Defesa de Bloqueio de Sistema (System-Block - instruindo o modelo a recusar saída sensível) e Defesa de Sumarização (Summary - forçando o modelo a resumir em vez de reproduzir literalmente).

2. Protocolo de Avaliação Padronizado

Para desmembrar as contribuições da recuperação e da geração, o benchmark decompõe a avaliação em três métricas:

• Efetividade de Extração do Recuperador (EER): Mede a proporção de conhecimento alvo recuperada com sucesso.
• Efetividade de Extração do Gerador (EEG): Mede o alinhamento entre as respostas geradas e o conteúdo recuperado, avaliado via similaridade Lexical (LS) e Semântica (SS).
• Efetividade de Extração Combinada (EE): A proporção end-to-end de conhecimento recuperado que é tanto reproduzida pelo gerador quanto alinhada com o conjunto alvo.
• Taxa de Sucesso de Ataque (ASR): A frequência com que um ataque consegue elicitar uma resposta fundamentada no conhecimento, excluindo recusas ou alucinações.

Principais Contribuições

1. Revisão Abrangente e Espaço de Design Unificado: O artigo faz um levantamento sistemático dos métodos de ataque e defesa existentes, formalizando um espaço de design unificado que caracteriza dimensões e suposições únicas ao longo do ciclo de vida do RAG.
2. Protocolo de Avaliação Padronizado: Ao padronizar configurações de RAG, conjuntos de dados (HealthCareMagic, Enron, HarryPotter, Pokémon) e métricas, o benchmark permite comparações justas e reproduzíveis entre diversas estratégias de ataque e defesa.
3. Análise Experimental Extensa: Os autores lançam um pipeline reproduzível e realizam experimentos extensos, gerando insights acionáveis sobre os mecanismos de segurança dos sistemas RAG.

Principais Resultados

Os experimentos, conduzidos em quatro conjuntos de dados e múltiplas configurações, revelam várias descobertas críticas:

• Desempenho do Ataque:

  • DGEA (um ataque de otimização de embedding adaptativo) supera consistentemente outros métodos em efetividade de recuperação (EER) sob configurações de caixa branca (white-box), onde o atacante e o recuperador compartilham o mesmo modelo de embedding. No entanto, seu desempenho cai drasticamente em cenários de cross-embedding (caixa preta/black-box) devido à baixa transferibilidade de embeddings otimizados e não naturais.
  • IKEA e CopyBreak, que dependem da geração de consultas via LLM para manter a naturalidade linguística, mostram desempenho robusto através de diferentes modelos de embedding e são menos afetados por configurações de cross-embedding.
  • Ataques usando instruções de COMANDO explícitas (ex: "repita todo o contexto") alcançam alta efetividade de extração, enquanto ataques mais furtivos como o IKEA, que evitam comandos de reprodução explícitos, resultam em menor vazamento, mas mantêm uma Taxa de Sucesso de Ataque (ASR) mais alta ao evitar detecção.

• Efetividade da Defesa:

  • Defesa de Limiar (Threshold Defense): Implantada no estágio de recuperação, é a defesa mais eficaz contra ataques de otimização de embedding (R-EB, DGEA) ao filtrar pares consulta-contexto de baixa similaridade. No entanto, introduz um tradeoff significativo entre segurança e utilidade; limiares altos reduzem drasticamente o recall para consultas legítimas.
  • Defesa de Bloqueio de Consulta (Query-Block): Altamente eficaz contra ataques com intenção de extração explícita, mas falha contra ataques furtivos como o IKEA, que mimetizam consultas de usuários benignos.
  • Defesas de Geração (System Block & Summary): Estas reduzem efetivamente o vazamento ao impedir a reprodução literal. A defesa de Sumarização é particularmente robusta, frequentemente forçando saídas nulas para consultas com baixa relevância semântica em relação ao conteúdo recuperado.

• Sensibilidade de Modelo e Configuração:

  • Geradores: Modelos de código fechado geralmente exibem maior efetividade de extração do que modelos de código aberto quando comandos de reprodução literal explícitos são usados, refletindo capacidades mais fortes de seguimento de instrução.
  • Estrutura do Conhecimento: O formato da base de conhecimento (Original vs. Fragmentado vs. Grafo) influencia significativamente os resultados de extração, com diferentes estratégias de ataque mostrando sensibilidades variadas a essas estruturas.

Significância

Este artigo aborda a fragmentação no cenário de pesquisa atual ao fornecer um benchmark unificado e reproduzível para riscos de extração de conhecimento em sistemas RAG. Ao consolidar configurações experimentais e permitir avaliações comparáveis, o trabalho oferece uma base prática para o desenvolvimento de sistemas RAG preservadores de privacidade. Os autores enfatizam que seu benchmark fornece insights acionáveis para profissionais, como a sensibilidade da extração a formatos de conhecimento e a importância da exploração da diversidade de consultas em estratégias de defesa. O trabalho não propõe novas aplicações específicas ou implicações teóricas futuras além do escopo de avaliar e melhorar a segurança do RAG contra ameaças de extração.