Resumo Técnico: ADMIT – Ataques de Envenenamento de Conhecimento Few-Shot em Verificação de Fatos Baseada em RAG

1. Definição do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) aprimoram Modelos de Linguagem de Grande Escala (LLMs) integrando conhecimento externo para mitigar alucinações e limitações de corte de conhecimento. No entanto, esses sistemas são vulneráveis ao envenenamento de conhecimento, onde atacantes injetam conteúdo adversarial em bases de conhecimento para manipular as saídas dos LLMs.

A literatura existente sobre envenenamento de conhecimento frequentemente depende de suposições irreais para cenários de verificação de fatos do mundo real:

1. Domínio de Volume: Assume-se que o conteúdo malicioso domina o contexto recuperado, whereas sistemas do mundo real tipicamente recuperam evidências autoritativas de fontes confiáveis (por exemplo, veículos de notícias, bancos de dados médicos) onde informações credíveis prevalecem.
2. Falta de Justificativa: Assume-se que os LLMs geram respostas incorretas sem exigir justificativas coerentes, ignorando pipelines RAG modernos que empregam raciocínio orientado por agentes para produzir conclusões bem fundamentadas.
3. Acesso ao Sistema: Frequentemente assume-se que o atacante tem acesso ao recuperador ou aos internos do LLM, whereas ataques do mundo real são tipicamente de caixa-preta.

O artigo aborda a questão crítica: Sistemas modernos de RAG baseados em LLMs permanecem robustos quando conteúdo envenenado coexiste com evidências de suporte credíveis no contexto recuperado?

2. Metodologia: ADMIT

Os autores propõem o ADMIT (Técnica de Injeção Múltipla Adversarial), um ataque de envenenamento few-shot e semanticamente alinhado projetado para inverter decisões de verificação de fatos e induzir justificativas enganosas sem acesso aos LLMs alvo, recuperadores ou controle em nível de token.

2.1 Modelo de Ameaça

• Acesso de Caixa-Preta: O atacante não tem acesso ao recuperador ou ao LLM da vítima.
• Injeção Few-Shot: O atacante injeta um número mínimo de passagens adversariais ($m$) na base de conhecimento, onde $m \le k$ (o número de passagens recuperadas). No cenário 1-shot, uma única passagem maliciosa deve sobrepor potencialmente quatro passagens limpas.
• Alinhamento Semântico: O conteúdo injetado não pode ser sem sentido ou conter instruções maliciosas explícitas (por exemplo, "ignore instruções anteriores"). Deve ser uma passagem coerente, legível por humanos, que imite notícias legítimas ou evidências.

2.2 Componentes Principais

O ADMIT opera através de uma configuração de verificação proxy para simular o ambiente alvo:

1. Construção de Passagem Proxy:

   • Baseada em Busca: O atacante utiliza um LLM leve para gerar consultas diversas a partir de uma alegação, recupera documentos de fontes abertas da web e os filtra para encontrar passagens que contradizem a alegação alvo.
   • Baseada em LLM: Para cenários restritos, o atacante solicita a um LLM que gere uma passagem apoiando a posição oposta da alegação alvo.
   • Essas passagens proxy servem como o contexto "limpo" contra o qual a passagem adversarial é otimizada.

2. Injeção Múltipla Adversarial (O Loop de Ataque):

   • Geração de Turno Único: Uma passagem adversarial inicial é gerada com base no contexto proxy.
   • Otimização de Múltiplos Turnos: Se a geração de turno único falhar, o atacante emprega um loop iterativo de feedback. Um LLM atacante ($A$) atualiza a passagem adversarial ($p$) com base no resultado de verificação anterior ($\tilde{V}$) e no contexto proxy ($R_{proxy}$).
   • Limpeza de Memória: Para evitar degradação do contexto, a memória é redefinida a cada $L$ iterações, reinicializando a geração da passagem para explorar novas direções semânticas.
   • Objetivo: O objetivo é encontrar uma passagem $p$ tal que $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$, invertendo efetivamente o veredito enquanto mantém a coerência semântica.

3. Aumento de Prefixo Adversarial:

   • Para garantir que a passagem adversarial seja recuperada apesar da presença de evidências limpas, o atacante antepõe as consultas de busca usadas para construir as passagens proxy ao texto adversarial. Isso explora a tendência do recuperador de corresponder palavras-chave da consulta, aumentando a probabilidade de recuperação do conteúdo malicioso.

3. Contribuições Principais

• Paradigma de Ataque Novel: O ADMIT é o primeiro trabalho a demonstrar envenenamento de conhecimento eficaz em cenários few-shot onde evidências credíveis dominam o pool de recuperação. Desafia a suposição de que injeção em grande escala é necessária para o sucesso.
• Justificativa Enganosa: Diferentemente de ataques anteriores que dependem de instruções explícitas ou geram texto incoerente, o ADMIT produz desinformação semanticamente coerente e legível por humanos que inclui justificativas enganosas para o veredito invertido.
• Aplicabilidade de Caixa-Preta: O método não requer acesso de caixa-branca ao sistema vítima, dependendo exclusivamente de verificadores proxy e motores de busca públicos.
• Avaliação Abrangente: O ataque é avaliado em 4 benchmarks de domínio cruzado (FEVER, SciFact, Climate-FEVER, HealthVer), 11 LLMs (incluindo modelos de código aberto, comerciais e de raciocínio) e 4 recuperadores diferentes.

4. Resultados Experimentais

• Alta Taxa de Sucesso do Ataque (ASR): O ADMIT alcança uma ASR média de 86% em todas as configurações com uma taxa de envenenamento extremamente baixa de $0,93 \times 10^{-6}$.
• Superioridade sobre Baselines: Comparado a métodos state-of-the-art (por exemplo, PoisonedRAG, CorruptRAG, Injeção de Prompt), o ADMIT melhora a ASR em 11,2% em média. Notavelmente, enquanto baselines frequentemente falham em LLMs comerciais (por exemplo, GPT-4o), o ADMIT mantém alta eficácia.
• Robustez a Contra-Evidências: Mesmo quando o contexto recuperado contém forte contra-evidência factual (por exemplo, 4 passagens limpas vs. 1 maliciosa), o ADMIT inverte com sucesso o veredito em 80% dos casos em LLMs de código aberto e 65% em sistemas comerciais.
• Transferibilidade: O ataque transfere-se efetivamente através de recuperadores e LLMs não vistos. Modelos orientados a raciocínio (por exemplo, o1-mini), apesar de seu design para consistência factual, provaram-se vulneráveis, com ASRs atingindo 60–70%.
• Evasão de Defesas: O ADMIT contorna consistentemente defesas existentes, incluindo:
  • Detecção de Notícias Falsas: Classificadores baseados em LLMs falham em distinguir passagens do ADMIT de notícias reais (pontuações AUC próximas ao acaso aleatório).
  • Detecção Estatística: Métricas de perplexidade (PPL) e similaridade ROUGE-N falham em separar passagens adversariais das limpas devido à coerência semântica do conteúdo gerado.
  • Consolidação de Conhecimento: Estratégias como "dividir e votar" ou agrupamento frequentemente amplificam a influência adversarial em vez de mitigá-la.
  • Defesas Baseadas em Agentes: Agentes ReAct, que decompõem tarefas em etapas de busca e reflexão, permanecem altamente vulneráveis, com a ASR subindo para 88–94% à medida que o volume de injeção aumenta.

5. Significado e Alegações

O artigo alega que a robustez factual não decorre automaticamente da escala ou da capacidade de raciocínio de um LLM. A existência do ADMIT expõe fragilidades estruturais significativas em sistemas reais de verificação de fatos baseados em RAG.

• Vulnerabilidade de Sistemas Híbridos: O estudo revela que, mesmo quando sistemas agregam diversas fontes confiáveis, uma única passagem adversarial bem elaborada pode sobrepor evidências autoritativas.
• Limitações das Defesas Atuais: Defesas existentes (filtragem estatística, detecção de notícias falsas e consolidação de conhecimento) são insuficientes contra envenenamento few-shot e semanticamente alinhado.
• Implicações para Segurança de IA: As descobertas destacam a necessidade urgente de defesas que vão além da consistência superficial, como rastreamento de proveniência, avaliação de incerteza e raciocínio além do contexto recuperado.

Os autores enfatizam que seu trabalho é puramente defensivo, visando informar o design de sistemas de verificação de fatos mais robustos ao avaliar sistematicamente vulnerabilidades. Eles observam que, embora o ataque seja eficaz, ele depende de condições específicas (por exemplo, a capacidade de injetar em bases de conhecimento públicas) e não alega quebrar todos os sistemas RAG universalmente, mas sim expor uma superfície de ataque crítica e pouco explorada.