Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

Resumo Técnico: Rumo à Geração Aumentada por Recuperação Confiável Usando Predição de Confiança Factual

Declaração do Problema
A Geração Aumentada por Recuperação (RAG) tornou-se um padrão para equipar Modelos de Linguagem de Grande Escala (LLMs) com conhecimento específico de domínio. No entanto, uma vulnerabilidade crítica permanece: não há garantia inerente de que o contexto recuperado por busca por similaridade realmente sustente os fatos gerados, nem de que o LLM não alucine informações apesar da presença de contexto relevante. Os métodos atuais de garantia de segurança frequentemente dependem de melhorias heurísticas ou modificações específicas de componentes, carecendo de um protocolo geral, agnóstico à arquitetura, para fornecer garantias certificáveis para o pipeline RAG. O desafio central é associar medidas de confiança significativas tanto ao processo de recuperação (garantindo fidelidade da fonte) quanto ao processo de geração (garantindo factualidade em relação ao contexto recuperado).

Metodologia
Os autores propõem um protocolo de certificação em duas etapas, agnóstico à arquitetura, que opera sem modificar os componentes subjacentes do recuperador ou do LLM.

1. Estimativa de Confiança na Recuperação (Bloco 1):

   • Abordagem: Os autores aplicam Predição Conformal (CP) ao processo de recuperação para selecionar apenas os fragmentos de documento com uma chance estatisticamente garantida de originar-se da fonte correta.
   • Mecanismo: Usando um conjunto de calibração de triplets pergunta-referência-resposta, o sistema calcula um limiar de não conformidade baseado em pontuações de recuperação e uma métrica de similaridade (RougeL). Um limiar $s_{thres}$ é estabelecido para distinguir fragmentos corretos dos incorretos.
   • Garantia: Sob a suposição de troca de amostras, este método fornece uma garantia estatística (controlada pela taxa de erro $\alpha$) de que o conjunto de fragmentos "confiáveis" inclui o fragmento da fonte verdadeira.
   • Diagnósticos: Os autores introduzem duas métricas, $m_1$ (existência binária de um fragmento confiável) e $m_2$ (proporção de fragmentos confiáveis), para diagnosticar se uma combinação específica de recuperador-conjunto de dados satisfaz a suposição de troca necessária para que a CP seja válida.

2. Estimativa de Confiança na Resposta (Bloco 2):

   • Abordagem: Para detectar alucinações na resposta final, os autores utilizam um classificador de factualidade baseado em atenção.
   • Mecanismo: O sistema extrai valores de atenção intermediários do LLM durante a geração. Especificamente, calcula razões de retrocesso por fragmento (CW LR), que medem a atenção média que o modelo dedica a fragmentos de contexto recuperados específicos em relação à atenção total dedicada ao contexto e à saída gerada.
   • Classificador: Uma unidade simples de regressão logística é treinada nessas razões de retrocesso para prever uma pontuação de factualidade. Crucialmente, os autores excluem a atenção dos prompts do sistema e da pergunta do usuário do vetor de características para evitar que o classificador aprenda vieses específicos de domínio (por exemplo, "questões de finanças são mais difíceis") em vez de fundamentação factual.

Principais Contribuições

• Pipeline RAG Certificável: Um fluxo de trabalho inovador que integra predição conformal para recuperação e detecção baseada em atenção para geração, fornecendo métricas de confiança separadas para cada etapa.
• Métricas Diagnósticas: A introdução das métricas $m_1$ e $m_2$ para avaliar a adequação de uma configuração RAG. O artigo demonstra que, se essas métricas indicarem desempenho pobre do recuperador (violando a troca), as garantias estatísticas da CP falham, e a filtragem de fragmentos pode degradar a qualidade da resposta.
• Detecção Refinada de Alucinações: Uma demonstração de que, embora modelos de atenção de contexto completo (incluindo prompts) possam alcançar AUROC mais altos na validação cruzada, as razões de retrocesso por fragmento fornecem uma fundamentação factual mais confiável, excluindo fontes de atenção não relacionadas à recuperação que poderiam enganar o classificador.

Resultados
A metodologia foi avaliada no conjunto de dados Natural Questions (NQ) e na coleção Ragbench (RB) (12 conjuntos de dados diversos) usando Llama-3-8B-Instruct e recuperação BM25.

• Confiança na Recuperação:

  • Em conjuntos de dados onde o recuperador performa bem (por exemplo, NQ, RB-cuad), a métrica $m_1$ alinha-se com a expectativa teórica de $1-\alpha$, validando a suposição de troca.
  • Em conjuntos de dados com tarefas de recuperação difíceis (por exemplo, RB-finqa, RB-tatqa), $m_1$ cai significativamente, indicando que fragmentos corretos não aparecem no Top-K. Nestes casos, aplicar filtragem baseada em CP degradou a consistência da resposta em até 10%, confirmando que as garantias estatísticas não se sustentam quando o recuperador falha em encontrar a fonte.
  • Para recuperadores fortes, filtrar fragmentos não confiáveis melhorou a consistência da resposta em até 6%.

• Confiança na Resposta:

  • O classificador de razões de retrocesso por fragmento alcançou um AUROC de teste máximo de 77% na validação cruzada dentro do mesmo grupo.
  • A validação cruzada entre diferentes grupos de conjuntos de dados mostrou quedas de desempenho de até 16%, destacando o desafio da generalização.
  • Comparações mostraram que as razões de retrocesso de Contexto Completo (FC) (incluindo prompts) renderam AUROCs mais altos (até 82%), mas foram consideradas menos confiáveis para fundamentação factual devido ao potencial viés de padrões de prompts. A abordagem Proposta por Fragmento (CW) é preferida para sistemas confiáveis, apesar de um AUROC ligeiramente menor.

Significado e Alegações
O artigo afirma estabelecer uma fundação para sistemas RAG certificados adequados para aplicações industriais críticas de segurança. Seu significado principal reside na transição da robustez heurística para a certificação estatística. Os autores enfatizam que sua abordagem não é uma "bala de prata" para todas as configurações RAG; em vez disso, fornece um quadro diagnóstico. O artigo afirma explicitamente que a validade das garantias de confiança na recuperação depende da troca de amostras, o que é contingente à capacidade do recuperador de trazer à tona fragmentos corretos. Portanto, as métricas propostas ($m_1, m_2$) são pré-requisitos essenciais para determinar se uma configuração RAG específica é adequada para implantação com essas garantias de confiança. O trabalho visa orientar o desenvolvimento de aplicações RAG confiáveis, identificando onde o pipeline é fraco (recuperação vs. geração) e oferecendo medidas quantificáveis de confiança.