ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search

Resumo Técnico: ReliabilityRAG

1. O Problema

Os sistemas de Geração Aumentada por Recuperação (RAG) combinam Modelos de Linguagem de Grande Escala (LLMs) com documentos externos para fornecer respostas atualizadas e contextualizadas. No entanto, esses sistemas são vulneráveis a ataques adversariais que corrompem o corpus de recuperação, como:

• Envenenamento de Corpus (Corpus Poisoning): Inserção de fatos falsos ou enganosos no banco de dados de busca.
• Injeção de Prompt (Prompt Injection): Inserção de instruções maliciosas nos documentos recuperados para manipular a geração do LLM.

Defesas existentes (como o RobustRAG) frequentemente falham em cenários práticos porque:

1. Tratam documentos recuperados como um conjunto não ordenado, ignorando sinais de confiabilidade intrínsecos (como a classificação/ranking do motor de busca).
2. Utilizam mecanismos de votação simples (palavras-chave ou probabilidades de tokens) que resultam em perda significativa de informação, especialmente em tarefas de geração longa.
3. Sofrem com baixa utilidade (precisão) em cenários sem ataques (benignos).

O desafio central é desenvolver uma defesa que seja robusta contra ataques, mantenha alta utilidade em cenários benignos e seja escalável para grandes conjuntos de documentos, aproveitando-se dos sinais de confiabilidade (ranking) que os motores de busca já fornecem.

---

2. Metodologia: ReliabilityRAG

O ReliabilityRAG propõe um framework que utiliza explicitamente informações de confiabilidade (ranking ou pontuações de confiança) dos documentos recuperados para filtrar conteúdo malicioso. A abordagem divide-se em dois cenários principais:

A. Cenário de Confiabilidade Ordinal (Baseado apenas em Ranking)
Neste cenário, assume-se que os documentos são recuperados em uma ordem $x_1 \succeq x_2 \succeq \dots \succeq x_k$, onde $x_1$ é o mais confiável.

• Abordagem Baseada em Teoria dos Grafos (MIS):
  1. Resposta Isolada: O LLM gera uma resposta para cada documento individualmente.
  2. Grafo de Contradição: Um modelo de Inferência de Linguagem Natural (NLI) analisa pares de respostas. Se duas respostas são contraditórias, uma aresta é criada entre os nós correspondentes no grafo.
  3. Seleção de Maioria Consistente: O objetivo é encontrar o Conjunto Independente Máximo (MIS) neste grafo. Um conjunto independente representa um subconjunto de documentos que não se contradizem mutuamente.
  4. Priorização por Ranking: Quando existem múltiplos MISs de mesmo tamanho, o algoritmo seleciona aquele com a ordem lexicográfica menor (priorizando documentos com índices menores, ou seja, mais bem classificados e confiáveis).
  5. Geração Final: O LLM gera a resposta final apenas com os documentos selecionados no MIS.

B. Cenário de Confiabilidade Cardinal (Ranking + Pesos)
Para cenários com muitos documentos (ex: $k > 20$), onde calcular o MIS exato é computacionalmente proibitivo ($O(2^k)$), o framework propõe uma estrutura de Amostragem e Agregação Ponderada:

• Amostragem Ponderada: Em vez de usar todos os documentos, o sistema amostra subconjuntos (contextos) de documentos. A probabilidade de um documento ser amostrado é proporcional ao seu peso (confiabilidade). Documentos de alto ranking têm maior chance de serem incluídos.
• Agregação: Gera-se respostas intermediárias para cada contexto amostrado. Essas respostas são então agregadas (usando, por exemplo, o método MIS descrito acima nos contextos amostrados) para produzir a resposta final.
• Vantagem: Esta abordagem escala para centenas de documentos mantendo garantias de robustez probabilística.

---

3. Principais Contribuições

1. Algoritmo de Seleção Baseado em MIS: Introdução de um método que identifica uma "maioria consistente" de documentos, priorizando explicitamente os documentos de maior ranking para quebrar empates.
2. Garantias Teóricas de Robustez: Prova formal de que, sob suposições naturais sobre o desempenho do modelo NLI e limites no número de documentos corrompidos ($k'$), a probabilidade de selecionar um documento malicioso decai exponencialmente com o tamanho do conjunto recuperado. O sistema é provado ser $\lambda$-robusto.
3. Framework Escalável (Amostragem Ponderada): Desenvolvimento de um método que permite aplicar a robustez do MIS a grandes conjuntos de dados sem custo computacional proibitivo, utilizando amostragem baseada em pesos.
4. Desempenho Superior em Tarefas Complexas: Demonstração de que o método não apenas protege contra ataques, mas também supera métodos anteriores em tarefas de geração longa (ex: biografias), onde métodos baseados em votação de palavras-chave falham devido à perda de informação.

---

4. Resultados Empíricos

Os autores avaliaram o ReliabilityRAG em múltiplos datasets (RealtimeQA, Natural Questions, TriviaQA e geração de Biografias) usando diferentes LLMs (Mistral-7B, Llama3.2, GPT-4o-mini).

• Robustez contra Ataques:
  • O método superou consistentemente as linhas de base (Vanilla RAG, RobustRAG, AstuteRAG, InstructRAG) sob ataques de injeção de prompt e envenenamento de corpus.
  • Em ataques direcionados ao documento de maior ranking (Posição 1), o ReliabilityRAG manteve alta precisão, enquanto outros métodos colapsaram.
  • Em ataques direcionados a documentos de baixo ranking (Posição 10 ou 50), o desempenho do ReliabilityRAG foi superior, demonstrando que o sistema consegue "ignorar" documentos menos confiáveis quando necessário.
• Utilidade em Cenários Benignos:
  • Diferente do RobustRAG, que sofre perda de precisão mesmo sem ataques, o ReliabilityRAG manteve ou superou a precisão de sistemas sem defesa.
  • Na tarefa de geração de biografias (long-form), o método obteve pontuações de julgamento significativamente mais altas (ex: 73 vs 56 no RobustRAG com Llama3.2), provando sua eficácia em manter a coerência e riqueza de detalhes.
• Escalabilidade:
  • A abordagem de Sampling + MIS com $k=50$ documentos mostrou-se eficaz, mantendo alta robustez mesmo quando até 40% dos documentos foram corrompidos, enquanto as linhas de base degradavam rapidamente.

---

5. Significado e Impacto

O trabalho ReliabilityRAG representa um avanço significativo na segurança de sistemas RAG ao:

• Integrar Sinais de Confiança: Demonstrar que ignorar o ranking de motores de busca é um erro crítico e que esse sinal pode ser usado como uma defesa fundamental contra ataques.
• Prova de Robustez: Oferecer garantias teóricas matemáticas sobre a capacidade de defesa, algo raro em métodos de segurança de LLMs.
• Viabilidade Prática: Resolver o dilema entre robustez e utilidade, provando que é possível ter um sistema seguro sem sacrificar a qualidade da resposta em cenários normais.
• Aplicabilidade em Busca Web: O framework é especialmente relevante para sistemas como o Google AI Overview ou Bing Chat, onde a defesa contra SEO malicioso e injeção de prompt é crítica para a integridade da informação entregue ao usuário.

Em suma, o ReliabilityRAG estabelece um novo padrão para defesas em RAG, movendo-se de heurísticas simples para uma abordagem fundamentada em teoria dos grafos e sinais de confiabilidade, garantindo sistemas de busca mais confiáveis e resilientes.