URAG: A Benchmark for Uncertainty Quantification in Retrieval-Augmented Large Language Models

Resumo Técnico: URAG

1. O Problema

As Grandes Modelos de Linguagem (LLMs) aprimorados por Geração Aumentada por Recuperação (RAG) tornaram-se essenciais para tarefas que exigem conhecimento factual extenso, reduzindo alucinações e melhorando a precisão. No entanto, a avaliação atual de sistemas RAG concentra-se quase exclusivamente na precisão (corretude) das respostas.

Existe uma lacuna crítica na compreensão e quantificação da incerteza nesses sistemas. O RAG introduz novas fontes de incerteza epistêmica, como:

• Ruído na recuperação (documentos irrelevantes).
• Desempenho inadequado da relevância.
• Atenção seletiva a evidências parciais ou contraditórias.

O artigo ilustra que, mesmo quando o recuperador fornece documentos contraditórios (ex: um dizendo que café é seguro na gravidez e outro alertando sobre riscos), o LLM pode gerar uma resposta excessivamente confiante e incompleta, ignorando evidências contraditórias. Isso é perigoso em domínios de alto risco como saúde, direito e engenharia. Atualmente, não há um framework unificado para avaliar como a recuperação molda a confiança e a confiabilidade do modelo.

2. Metodologia

Para abordar essa lacuna, os autores introduzem o URAG, um benchmark abrangente que avalia simultaneamente a precisão e a incerteza preditiva.

A. Pipeline de Benchmarking e Conversão para MCQA

• Transformação de Tarefa: Para permitir a quantificação estatística da incerteza, o URAG reformula tarefas de geração aberta (open-ended) em Perguntas de Múltipla Escolha (MCQA). Isso é crucial porque a estimativa de confiança em texto livre é difícil e muitas vezes não confiável.
• Geração de Distratores de Alta Qualidade: O pipeline gera respostas incorretas (distratores) que são:
  1. Factualmente erradas.
  2. Plausíveis no contexto da pergunta.
  3. Do mesmo tipo semântico da resposta correta.
  4. Desafiadoras: Utiliza um modelo de Inferência de Linguagem Natural (NLI) para garantir que os distratores sejam "confusos" (ou seja, que um modelo possa erroneamente inferir que são verdadeiros baseando-se na resposta correta), forçando o sistema a lidar com incerteza residual mesmo após identificar a resposta certa.

B. Quantificação de Incerteza via Conformal Prediction
O benchmark utiliza Conformal Prediction (CP), um framework estatístico que oferece garantias de cobertura finitas e livres de distribuição.

• Em vez de prever uma única resposta, o CP gera um conjunto de predição ($S_\alpha$) que contém a resposta verdadeira com uma probabilidade de pelo menos $1-\alpha$.
• Métricas Principais:
  • Precisão (Acc): Fração de instâncias onde a resposta principal do modelo está correta.
  • Tamanho do Conjunto (Set Size - SS): O número médio de opções no conjunto de predição. Um SS maior indica maior incerteza (o modelo não consegue descartar várias opções). Um SS menor indica alta confiança.
  • Taxa de Cobertura (Coverage Rate - CR): Verifica se a garantia estatística da CP foi mantida.
• O trabalho utiliza duas métricas de pontuação de não conformidade: LAC (Least Ambiguous Class) e APS (Adaptive Prediction Sets).

C. Configuração Experimental

• Domínios: 5 domínios (Saúde, Programação, Ciência, Matemática, Texto Geral).
• Datasets: 8 datasets (CRAG, NewsSum, DialFact, SciFact, LCA, ODEX, OlympiadBench, HealthVer).
• Métodos RAG Avaliados: 8 abordagens variadas, incluindo métodos training-free (Naive RAG, HyDE, Fusion, RAT), end-to-end (FiD, Self-RAG) e outros (RAPTOR, REPLUG).
• Análises Específicas: O estudo investiga o impacto de contextos irrelevantes, a dependência do conhecimento paramétrico do LLM (comparando casos onde o LLM já sabe a resposta vs. onde não sabe) e a profundidade da recuperação.

3. Principais Contribuições

1. URAG: O primeiro benchmark unificado que avalia conjuntamente precisão e incerteza em métodos RAG através de múltiplos domínios e arquiteturas.
2. Pipeline de Construção de MCQA: Uma nova metodologia para gerar opções de resposta incorretas de alta qualidade e plausíveis, utilizando NLI para validar a dificuldade e a confusão dos distratores.
3. Análise Sistemática: Um estudo profundo sobre como a recuperação afeta a confiança do modelo, revelando que:
   • Não existe um método RAG universalmente confiável.
   • A recuperação pode, paradoxalmente, amplificar erros confiantes e alucinações.

4. Resultados Chave e Descobertas

Os experimentos com 8 métodos RAG e modelos base (Llama-3.1-8B) geraram as seguintes observações:

• Relação Precisão-Incerteza: Geralmente, há uma correlação inversa (maior precisão tende a coincidir com menor incerteza). No entanto, essa relação quebra sob ruído de recuperação ou quando o conhecimento paramétrico do LLM é fraco.
• Simplicidade vs. Complexidade: Métodos RAG modulares e simples (como Fusion e Naive RAG) tendem a oferecer melhores trade-offs entre precisão e incerteza do que pipelines complexos de raciocínio ou agregação (como RAT ou REPLUG), que muitas vezes exibem alta incerteza ou baixa precisão.
• Sensibilidade a Ruído: Quando o contexto recuperado é irrelevante, a precisão e a confiança dos sistemas degradam-se significativamente, exceto quando o LLM já possui conhecimento paramétrico forte sobre o tópico.
• Dependência de Conhecimento: Em casos onde o LLM já sabe a resposta, a introdução de evidências externas pode, em alguns casos, aumentar a confiança indevidamente ou alterar decisões corretas. Em casos onde o LLM não sabe, a recuperação melhora a precisão, mas a incerteza preditiva pode permanecer alta.
• Vulnerabilidade a Cues de Confiança: O estudo de "Self-Aware" e "Wrong-Aware" mostrou que expor o modelo a suas próprias pontuações de confiança (ou a pontuações manipuladas) altera seu comportamento de incerteza. Curiosamente, o método REPLUG mostrou-se invariante a essas perturbações, enquanto outros métodos degradaram-se.
• Profundidade de Recuperação: Aumentar o número de documentos recuperados nem sempre ajuda; em alguns casos (especialmente com HyDE em matemática), mais documentos introduzem ruído que aumenta a incerteza e reduz a precisão.

5. Significado e Impacto

O URAG estabelece um novo padrão para a avaliação de sistemas RAG, movendo o foco da simples "corretude" para a confiabilidade e calibração.

• Segurança e Confiabilidade: Ao identificar que a recuperação pode amplificar erros confiantes (hallucinations), o benchmark fornece ferramentas para desenvolver sistemas mais seguros, especialmente em áreas críticas como saúde e finanças.
• Guia para Arquitetura: Os resultados sugerem que pipelines mais simples e modulares podem ser preferíveis para manter um equilíbrio saudável entre precisão e incerteza, em vez de arquiteturas complexas que podem introduzir variabilidade epistêmica indesejada.
• Futuro da Pesquisa: O framework permite que pesquisadores analisem como diferentes estratégias de recuperação (treinamento livre, end-to-end, baseada em grafos) modulam a confiança do modelo, facilitando o desenvolvimento de sistemas que sabem "quando não saber" e quando confiar em evidências externas.

Em suma, o URAG demonstra que a quantificação da incerteza é fundamental para a adoção responsável de RAG, revelando que a simples adição de recuperação não garante confiabilidade e, em certas condições, pode até piorar a tomada de decisão do modelo.