Resumo Técnico: RAGuard

Definição do Problema

Sistemas de Geração Aumentada de Recuperação (RAG) fundamentam Grandes Modelos de Linguagem (LLMs) em corpora externos para fornecer informações atualizadas e verificáveis. No entanto, essa dependência cria uma vulnerabilidade crítica: o envenenamento de corpus (corpus poisoning). Um adversário com acesso de escrita ao corpus de recuperação pode injetar passagens maliciosas contendo fatos fabricados, contradições ou raciocínios corrompidos. Esses documentos envenenados, mesmo em pequenas quantidades (5–30% do corpus), podem ser recuperados e usados pelo gerador para produzir respostas enganosas ou falsas.

As defesas existentes sofrem de lacunas estruturais:

• Filtros baseados em detecção dependem de exemplos de veneno rotulados ou heurísticas, falhando contra novos estilos de ataque.
• O endurecimento do gerador (generator hardening) acarreta altos custos de inferência e degrada quando as passagens envenenadas dominam o contexto.
• Recuperadores treinados adversariamente correm o risco de sobreajuste (overfitting) a tipos específicos de veneno sintético vistos durante o treinamento e não podem garantir a eliminação do sucesso do ataque.

Nenhum mecanismo único cobre atualmente tanto a etapa de recuperação quanto a de geração de forma eficaz sem exigir respostas de verdade fundamental (ground-truth) ou rótulos de veneno.

Metodologia: RAGuard

O RAGuard introduz uma estrutura de defesa de duas camadas projetada para operar sem rótulos de veneno, respostas de verdade fundamental ou acesso aos internos do modelo (caixa-preta).

Camada 1: Recuperador Treinado Adversariamente

A primeira camada foca na defesa proativa na etapa de recuperação.

• Dados de Treinamento: Documentos envenenados sintéticos são gerados usando LLMs para criar três famílias de ataques: fabricação (afirmações alucinadas), contradição (tokens fatuais invertidos) e armadilhas de raciocínio (passos lógicos enganosos).
• Mecanismo: Um recuperador denso (inicializado a partir de all-MiniLM-L6-v2) é ajustado (fine-tuned) usando perda de margem de triplete (triplet margin loss). Ele aprende a distinguir entre passagens de ouro (gold passages) e suas reescritas adversárias específicas, rebaixando o conteúdo malicioso antes que ele chegue ao gerador.
• Limitação: Esta camada é limitada às distribuições de veneno vistas durante o treinamento e pode não generalizar para estilos de ataque ou domínios não vistos.

Camada 2: Patch de Inferência de Conhecimento Zero (ZKIP)

A segunda camada é um filtro reativo e livre de rótulos que opera no tempo de geração. Funciona como uma rede de segurança autorreferencial.

• Mecanismo: Para uma consulta $q$ e os $k$ documentos recuperados $D = \{d_i\}$, o ZKIP realiza uma análise de Deixar Um Fora (Leave-One-Out - LOO):
  1. Gera uma resposta de referência $y_{all}$ usando o contexto completo $D$.
  2. Gera uma resposta contrafactual $y_{-i}$ para cada documento $d_i$ removendo-o do contexto.
• Pontuação: Um documento é sinalizado como anômalo se sua remoção induzir uma mudança semântica significativa na resposta ou uma redução na entropia da saída (incerteza). A pontuação de anomalia $A_i$ é calculada como:
  $$A_i = (1 - s_i) + \lambda [\Delta H_i]_+$$
  Onde $s_i$ é a similaridade de cosseno entre os embeddings das respostas de referência e contrafactual, e $\Delta H_i$ é o diferencial de entropia.
• Ação: Documentos com as maiores pontuações de anomalia são removidos antes da passagem final de geração.
• Propriedade Chave: O ZKIP não compara contra uma resposta de verdade fundamental ou rótulo de veneno; ele depende apenas da estabilidade da própria saída do modelo sob contextos contrafactuais.

Principais Contribuições

1. Filtro de Caixa-Preta e Livre de Rótulos: O ZKIP é o primeiro filtro de tempo de inferência que não requer rótulos de veneno, respostas de verdade fundamental ou internos do modelo. Ele reduz a Taxa de Sucesso de Ataque (ASR) para 0.000 em todas as configurações testadas no conjunto de dados Natural Questions (NQ).
2. Defesa em Camadas com Contribuições Mensuradas: O artigo demonstra que o treinamento do recuperador adversário sozinho reduz, mas não elimina o ASR (deixando um sucesso residual de 0.072 para 10% de envenenamento). O ZKIP sozinho elimina o ASR, mas pode degradar levemente a qualidade da recuperação. A combinação preserva a alta qualidade de classificação do recuperador treinado adversariamente enquanto alcança zero sucesso de ataque.
3. Delineamento do Modelo de Ameaça: O estudo estabelece que venenos que preservam palavras-chave (reescritas de LLM que alteram a semântica mas mantêm as palavras-chave) deixam recuperadores lexicais como o BM25 amplamente inalterados (ASR 0.000 em 5–20% de envenenamento). Isso delineia o limite do modelo de ameaça, mostrando que os ataques exploram especificamente a semântica de embeddings densos.

Resultados Experimentais

Avaliado em variantes envenenadas de Natural Questions (NQ) e BEIR (NFCorpus) com proporções de veneno de 5% a 30%:

• Taxa de Sucesso de Ataque (ASR): O ZKIP leva a ASR medida para 0.000 para cada configuração defendida (tanto para recuperadores limpos quanto adversários treinados) em 10% e 30% de envenenamento no NQ.
• Qualidade de Recuperação: A defesa mantém uma alta qualidade de recuperação. Com 10% de envenenamento, o recuperador adversário defendido atinge um Recall@5 de 0.314, comparado a 0.319 para a versão não defendida (uma queda de apenas 0.005). Isso permanece dentro de 0.03 da linha de base do corpus limpo (0.282).
• Linha de Base BM25: Sem defesa, o BM25 mostra quase zero ASR (0.000 em 5–20% de envenenamento), confirmando que a ameaça é específica para a recuperação densa.
• Estrutura Aprendível: A análise supervisionada confirma que os sinais contrafactuais usados pelo ZKIP (estabilidade da resposta e mudanças de entropia) contêm uma estrutura de veneno aprendível, validando a base teórica da abordagem.

Significância e Alegações

O artigo posiciona o RAGuard como um passo significativo em direção a sistemas RAG robustos ao abordar as "lacunas estruturais" nas defesas existentes. Sua principal significância reside em:

• Segurança Autorreferencial: Ao depender da estabilidade da própria saída do modelo em vez de rótulos externos, o ZKIP é aplicável a tipos de ataques não vistos que contornam simulações de treinamento.
• Modularidade: A estrutura permite que recuperadores, geradores e camadas de defesa sejam trocados independentemente.
• Compromissos Práticos: Os autores reconhecem o custo computacional ($k+1$ passagens do gerador por consulta, ex: overhead de 6× para $k=5$), mas propõem aproximações de lote (batching) e parada antecipada para mitigar a latência.

Limitações e Escopo

O artigo é modesto em suas alegações, declarando explicitamente que:

• Escopo: A defesa visa a resposta a perguntas fatuais sob envenenamento de corpus de recuperação densa. Ela exclui explicitamente manipulação de opinião, sequestro de prompt (prompt hijacking) e ataques de gradiente de caixa-branca.
• Ataques Coordenados: O ZKIP de passagem única é estruturalmente cego a coalizões de múltiplos venenos coordenados onde múltiplos documentos envenenados se reforçam mutuamente; remover um não altera a resposta. Um protocolo de remoção iterativa é proposto, mas não totalmente avaliado.
• Falsos Positivos: O filtro pode sinalizar documentos benignos, mas opinativos ou fora da distribuição, levando a uma ligeira redução no Recall@5.
• Fragilidade de Distribuição: O recuperador treinado adversariamente pode sofrer sobreajuste aos tipos específicos de veneno sintético usados no treinamento e pode não generalizar para domínios não vistos (ex: corpus médico do BEIR) ou ataques otimizados por gradiente.
• Avaliação: O ASR de 0.000 reflete o conjunto específico de ataques e amostras testados, não uma garantia universal. A avaliação depende de reescritas sintéticas de LLM em vez de injeções adversárias otimizadas por gradiente (ex: PoisonedRAG), o que pode subestimar a força do ataque no mundo real.

Os autores concluem que, embora o RAGuard elimine efetivamente o sucesso de ataque medido em seu modelo de ameaça específico, trabalhos futuros devem abordar ataques de múltiplos venenos coordenados, bases de ataque padronizadas (PoisonedRAG, FlippedRAG) e a redução adicional do overhead de inferência.