Evaluating RAG Reliability under Clean, Misleading, and Mixed Retrieval

Resumo Técnico: Avaliando a Confiabilidade de RAG sob Recuperação Limpa, Enganosa e Mista

Declaração do Problema
Sistemas de Geração Aumentada por Recuperação (RAG) são projetados para aumentar a confiabilidade factual de Grandes Modelos de Linguagem (LLMs) ao fundamentar respostas em evidências externas. No entanto, existe uma vulnerabilidade crítica em ambientes de informação do mundo real, onde o conteúdo recuperado frequentemente contém dados heterogêneos, incluindo informações plausíveis, mas incorretas (desinformação). Os frameworks de avaliação atuais costumam assumir que o contexto recuperado é confiável ou focam primariamente em ataques de "envenenamento" orientados à segurança. Há uma falta de análise sistemática sobre como os sistemas RAG se comportam quando o contexto recuperado contém níveis variados de desinformação, particularmente em cenários onde o modelo já possui a resposta correta em seu conhecimento paramétrico (interno). O problema central é determinar se e como a evidência enganosa substitui o conhecimento paramétrico correto e influencia a confiança do modelo.

Metodologia
O estudo propõe um protocolo de avaliação para testar a robustez do RAG através de quatro cenários contextuais distintos:

1. Limpo (Clean): Contexto contendo apenas passagens corretas.
2. Envenenado (Poisoned): Contexto contendo apenas passagens incorretas (enganosas).
3. Misto-33 (Mixed-33): Contexto com uma passagem incorreta e duas corretas.
4. Misto-67 (Mixed-67): Contexto com duas passagens incorretas e uma correta.

Configuração Experimental:

• Dataset: Um subconjunto de 100 perguntas factuais foi amostrado do dataset TruthfulQA. Crucialmente, o estudo filtrou perguntas que os modelos responderam corretamente em uma configuração Apenas-Paramétrica (sem recuperação), garantindo que quaisquer erros subsequentes pudessem ser atribuídos à influência contextual, em vez de lacunas de conhecimento.
• Modelos: Os experimentos foram conduzidos utilizando o GPT-4o (um modelo de pesos fechados forte) e o LLaMA-3.1-8B (um modelo de pesos abertos menor) para avaliar o impacto da capacidade do modelo.
• Construção de Contexto: Contextos limpos foram recuperados da Wikipedia via BM25. Contextos enganosos ("envenenados") foram gerados sinteticamente pelo LLaMA-3.1-8B para serem plausíveis, informativos e factualmente contraditórios à resposta de ouro (gold answer), mimetizando a desinformação realista sem depender de APIs proprietárias para a geração.
• Métricas de Avaliação: O artigo introduz três métricas específicas para ir além da simples acurácia:
  1. Taxa de Substituição Paramétrica (POR - Parametric Override Rate): Mede a frequência com que o contexto recuperado faz com que um modelo abandone uma resposta paramétrica correta em favor de uma incorreta.
  2. Inflação de Confiança (CI - Confidence Inflation): Quantifica o aumento na assertividade (confiança) do modelo ao gerar respostas incorretas sob contextos enganosos em comparação com contextos limpos.
  3. Curva de Razão de Envenenamento (PRC - Poison Ratio Curve): Acompanha a evolução da acurácia geral do modelo conforme a proporção de passagens enganosas no contexto aumenta de 0% a 100%.

Principais Resultados

• Substituição Paramétrica (Parametric Override): Ambos os modelos exibiram uma suscetibilidade significativa à substituição do conhecimento interno correto. Mesmo no cenário Limpo, uma parte substancial das respostas paramétricas corretas foi substituída (POR de 0,378 para o GPT-4o e 0,417 para o LLaMA-3.1), sugerindo que a mera presença de contexto recuperado pode interferir no raciocínio interno. À medida que a proporção de contexto incorreto aumentava, o POR subia sistematicamente. No cenário Envenenado, ambos os modelos abandonaram o conhecimento correto em mais de 56% dos casos.
• Sensibilidade do Modelo: O LLaMA-3.1 demonstrou maior sensibilidade a evidências contraditórias do que o GPT-4o, apresentando um declínio mais acentuado de desempenho em cenários mistos (por exemplo, o POR saltou para 0,583 no Mixed-67 para o LLaMA-3.1).
• Inflação de Confiança: Contextos enganosos fizeram com que os modelos expressassem respostas incorretas com significativamente maior confiança. No cenário totalmente envenenado, ambos os modelos exibiram níveis semelhantes de inflação de confiança (aprox. 1,6), indicando que a excessiva confiança diante da desinformação é uma característica geral dos sistemas RAG, e não uma falha específica de arquitetura.
• Degradação de Acurácia: A Curva de Razão de Envenenamento revelou uma clara relação inversa entre a quantidade de desinformação e a acurácia do modelo. Testes estatísticos (Teste Q de Cochran) confirmaram que a degradação na acurácia através das condições de contexto foi significativa para ambos os modelos.

Significância e Contribuições
O artigo afirma fornecer o primeiro framework de avaliação sistemática que mede explicitamente a extensão em que os modelos se desviam do conhecimento paramétrico correto sob a influência do contexto recuperado. Suas principais contribuições incluem:

1. Insight Comportamental: Demonstrar que a confiabilidade do RAG não trata apenas da precisão da recuperação, mas depende fortemente de como os modelos resolvem conflitos entre o conhecimento interno e a evidência externa.
2. Novas Métricas: Introduzir POR, CI e PRC para quantificar o efeito de "substituição" e a combinação perigosa de respostas incorretas com alta confiança.
3. Avaliação Realista: Destacar que os sistemas RAG são vulneráveis mesmo em ambientes "mistos", onde a desinformação não é dominante, desafiando a suposição de que a informação correta no contexto prevalecerá naturalmente.

Os autores concluem que, em ambientes ricos em desinformação, a confiabilidade da evidência recuperada é tão crítica quanto sua relevância. O estudo sugere que os futuros sistemas RAG requerem mecanismos de recuperação conscientes da credibilidade e estratégias de detecção de conflitos para evitar que os modelos adotem confiantemente informações enganosas em detrimento de seu próprio conhecimento verificado.