Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

Resumo Técnico: Arquitetura Importa: Comparando Sistemas RAG sob Envenenamento de Base de Conhecimento

Declaração do Problema
Sistemas de Geração Aumentada por Recuperação (RAG) são vulneráveis ao envenenamento de base de conhecimento, onde um adversário injeta um documento elaborado para manipular as saídas do sistema. Embora a literatura existente tenha avaliado extensivamente esses ataques contra pipelines "padrão" de recuperação-seguida-de-geração, uma lacuna crítica permanece: arquiteturas explicitamente projetadas para lidar com informações conflitantes — como debate multiagente, recuperação agênica e modelos de linguagem recursivos — nunca foram testadas contra contradições otimizadas adversarialmente. Além disso, avaliações anteriores frequentemente dependem de cenários onde documentos envenenados dominam o contexto de recuperação (por exemplo, $N=5$ documentos envenenados entre $K=5$ recuperados), falhando em testar a capacidade do sistema de raciocinar sobre um único documento adversarial coexistindo com fontes legítimas ($N=1$).

Metodologia
O estudo avalia quatro arquiteturas RAG distintas sob uma ameaça controlada de envenenamento $N=1$ em 921 pares de pergunta-resposta do conjunto de dados Natural Questions (NQ), recuperados de um corpus da Wikipedia com 2,68 milhões de passagens usando o Contriever. Todos os sistemas utilizam o GPT-5-mini como modelo de linguagem fundamental (LLM) para isolar efeitos arquitetônicos de diferenças na capacidade do modelo.

As quatro arquiteturas testadas são:

1. RAG Padrão (Vanilla): Um pipeline padrão de recuperação-seguida-de-geração de passagem única.
2. RAG Agênico: Implementado via PydanticAI, permitindo que um agente pesquise iterativamente, reformule consultas e reúna evidências antes de responder.
3. MADAM-RAG: Um sistema de debate multiagente onde cada documento recuperado é atribuído a um agente independente para deliberação, seguido por um agregador que sintetiza a resposta final.
4. Modelos de Linguagem Recursivos (RLM): Um sistema que processa o contexto tópico completo (recuperando as 100 melhores passagens e expandindo para todas as passagens que compartilham títulos de artigos, tipicamente $\sim$2.600 passagens) por meio de decomposição programática e chamadas sub-recursivas.

Os sistemas são testados sob três condições:

• Linha de Base Limpa: Sem documentos envenenados.
• Injeção Naiva: Uma passagem contraditória escrita naturalmente sem otimização de recuperação.
• CorruptRAG-AK: Um ataque adversarial empregando "enquadramento meta-epistêmico" (por exemplo, "muitas fontes desatualizadas afirmam incorretamente... os dados mais recentes confirmam...") projetado para minar a credibilidade de fontes corretas. Este ataque inclui um componente otimizado para recuperação para garantir que o documento envenenado seja recuperado.

As métricas de avaliação incluem a Taxa de Sucesso do Ataque (ASR), condicionada à precisão limpa para garantir comparação justa entre arquiteturas, e uma taxonomia comportamental de sete categorias (por exemplo, Correto e Confiante, Correto com Detecção, Hesitação, Incorreto e Confiante) avaliada por um juiz LLM.

Principais Contribuições

1. Primeira Avaliação de Arquiteturas Avançadas: O artigo fornece a primeira avaliação adversarial de arquiteturas agênicas, de debate multiagente e recursivas contra envenenamento de base de conhecimento, preenchendo a lacuna entre a literatura de envenenamento e a literatura de tratamento de conflitos.
2. Arquitetura como Variável de Primeira Ordem: O estudo demonstra que escolhas de design arquitetônico, por si só, produzem uma dispersão de quase 58 pontos percentuais nas taxas de sucesso do ataque (de 81,9% para o RAG Padrão a 24,4% para o RLM) entre sistemas com precisão limpa comparável ($\sim$92%).
3. Decomposição do Sucesso do Ataque: Os autores decompõem a lacuna de desempenho entre ataques naivos e adversariais em "efeitos de recuperação" (conseguir que o veneno seja recuperado) e "efeitos de conteúdo" (persuasividade do enquadramento). Eles descobrem que, para três das quatro arquiteturas, a maior parte da vantagem adversarial decorre do enquadramento meta-epistêmico na etapa de geração, e não da otimização de recuperação.
4. Taxonomia Comportamental: A introdução de uma taxonomia de sete categorias captura modos de falha além da precisão binária, incluindo detecção de contradição, hesitação e níveis de confiança.

Resultados

• Variância de Robustez: Sob CorruptRAG-AK, o RAG Padrão sofre uma ASR de 81,9% (condicionada à limpeza), enquanto o RAG Agênico cai para 43,8%, e o RLM alcança a maior robustez com 24,4%. O MADAM-RAG mostra uma ASR de 45,5%, mas é complicado por uma alta taxa de não-resposta (41,4% em entradas limpas), sugerindo um tradeoff "seguro, mas inútil", onde o sistema frequentemente se recusa a responder em vez de arriscar um erro.
• Descobertas da Decomposição:
  • RAG Padrão: A vantagem do ataque é dividida entre recuperação ($\sim$18 pp) e conteúdo ($\sim$32 pp).
  • RAG Agênico: A vantagem é esmagadoramente impulsionada pelo conteúdo ($\sim$30 pp), com contribuição mínima de recuperação. Notavelmente, o loop agênico amplifica o enquadramento adversarial, ecoando marcadores meta-epistêmicos em 63% das respostas incorretas.
  • RLM: Toda a lacuna de vulnerabilidade está localizada na etapa de raciocínio de conteúdo; a otimização de recuperação não oferece vantagem adicional ao atacante.
  • MADAM-RAG: O efeito de conteúdo é estatisticamente indistinguível de zero. Uma vez que o veneno é recuperado, o enquadramento adversarial não oferece vantagem sobre uma contradição naiva, sugerindo que a estrutura de debate filtra linguagem persuasiva. No entanto, o agregador falha em resolver contradições de forma confiável, independentemente do enquadramento.
• Análise Comportamental: As falhas do RAG Padrão são predominantemente "Incorreto e Confiante". O RAG Agênico mostra falhas mais distribuídas, incluindo hesitação. O MADAM-RAG exibe altas taxas de hesitação e respostas "Desconhecido", suprimindo erros confiantes, mas também reduzindo a utilidade. O RLM mantém a menor taxa de respostas incorretas e confiantes.

Significado e Alegações
O artigo argumenta que a escolha arquitetônica é uma variável de alto impacto e pouco explorada na robustez adversarial do RAG, potencialmente mais significativa do que muitos mecanismos de defesa dedicados. Os autores afirmam que:

• Prioridade de Design: Selecionar uma arquitetura de raciocínio deve ser uma decisão de design co-igual à seleção de mecanismos de defesa. Um pipeline padrão com defesas sofisticadas pode ter desempenho inferior a um pipeline agênico ou recursivo puro contra ameaças realistas.
• Contingência do Modelo de Ameaça: Para corrupção orgânica (documentos desatualizados), o RAG Agênico oferece um forte tradeoff custo-robustez. No entanto, contra enquadramentos adversariais sofisticados, o RAG Agênico é insuficiente por si só, e os Modelos de Linguagem Recursivos (RLM) fornecem robustez superior, embora a um custo significativo de latência.
• Vulnerabilidade no Nível de Geração: A principal vulnerabilidade para a maioria das arquiteturas avançadas reside na etapa de geração/raciocínio (efeito de conteúdo), e não na recuperação. Isso motiva defesas no nível de geração (por exemplo, prompt defensivo, verificações de consistência) como o alvo primário de intervenção para sistemas Agênicos e RLM.
• Limitações do MADAM-RAG: Embora a estrutura de debate multiagente mostre promessa na filtragem de linguagem adversarial e detecção de contradições, a implementação específica testada falhou em resolver conflitos de forma confiável, resultando em altas taxas de não-resposta. O artigo sugere que uma lógica de agregação aprimorada é necessária para realizar o potencial dessa arquitetura.

O estudo conclui que, embora os RLMs atualmente ofereçam a maior robustez, a alta latência e a assimetria de informações (contexto maior) apresentam desafios de implantação. Os autores postulam que trabalhos futuros devem investigar se prompts defensivos leves podem fechar a lacuna de robustez entre arquiteturas Agênicas e Recursivas no ponto de custo mais baixo dos sistemas Agênicos.