ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation

1. O Problema

Os modelos de Linguagem de Grande Escala (LLMs) são propensos a alucinações (geração de conteúdo factualmente incorreto). A Geração Aumentada por Recuperação (RAG) foi proposta como solução, integrando conhecimento externo para fundamentar as respostas do modelo em evidências factuais. No entanto, a RAG introduz um novo desafio crítico: conflitos de conhecimento.

Ocorre frequentemente uma discrepância entre o conhecimento paramétrico interno do modelo (treinado em dados estáticos) e as informações recuperadas de fontes externas. Quando essas fontes entram em conflito, os métodos existentes de confiabilidade falham em distinguir adequadamente:

1. Incerteza Epistêmica: Falta de conhecimento real (o modelo não sabe a resposta).
2. Incerteza Aleatória: Ambiguidade inerente aos dados ou ruído na recuperação.

Métodos atuais baseados em probabilidades escalares (como softmax) tendem a ser superconfiantes, não conseguindo distinguir entre uma "alucinação confiante" e uma "resposta correta". Além disso, eles não quantificam explicitamente o conflito geométrico entre a crença interna e a evidência externa, levando a comportamentos inconsistentes ou à recusa indevida de responder.

2. Metodologia: O Framework ERA

Os autores propõem o ERA (Evidence-based Reliability Alignment), um novo framework que desloca a estimativa de confiança de probabilidades escalares para distribuições de evidência explícitas. O método baseia-se em três componentes principais:

A. Quantificação de Evidência Contextual (Dual-Head EDL)

Em vez de usar apenas a perda de entropia cruzada, o ERA utiliza Deep Learning Evidencial (EDL).

• Arquitetura Dupla: O modelo possui duas "cabeças" (heads) evidenciais independentes:
  1. Caminho Paramétrico: Estima a evidência baseada apenas na consulta (sem contexto recuperado).
  2. Caminho RAG: Estima a evidência baseada na consulta + contexto recuperado.
• Distribuição Dirichlet: As saídas são mapeadas para uma distribuição Dirichlet, que modela a densidade de evidência. Isso permite decompor a saída em massas de crença ($b_k$) para cada quadrante de conhecimento e uma massa de incerteza ($u$).
• Objetivo de Otimização: Utiliza uma função de perda híbrida que combina a minimização de risco (ajuste aos dados) com regularização KL para evitar evidências não fundamentadas, forçando o modelo a expressar incerteza quando os dados são ambíguos.

B. Quantificação de Conflito de Conhecimento (Teoria de Dempster-Shafer)

Para medir a discordância entre o conhecimento interno e externo, o ERA aplica a Teoria de Dempster-Shafer (DST).

• Redução de Massas: As evidências dos quatro quadrantes de conhecimento (Conhecido/Gold, Conhecido/Ruído, Desconhecido/Gold, Desconhecido/Ruído) são agregadas em duas hipóteses de alto nível: Suportado (S) e Não Suportado (U).
• Cálculo de Conflito ($\kappa$): O conflito é calculado como a massa de probabilidade atribuída ao conjunto vazio quando as fontes (interna e externa) apoiam hipóteses mutuamente exclusivas.
  • Um alto valor de $\kappa$ indica que uma fonte apoia fortemente a resposta enquanto a outra a rejeita fortemente.
  • O cálculo leva em conta a incerteza global; se uma fonte é muito incerta, o conflito é suprimido, evitando atualizações baseadas em ruído.

C. Mecanismo de Abstenção Consciente da Incerteza

O framework ajusta o objetivo de treinamento (alinhamento de preferência) dinamicamente.

• Modulação de Perda: Uma ponderação dinâmica ($w_{ds}$) é aplicada à perda de otimização direta de preferência (DPO).
  • Se houver alto conflito ($\kappa$ alto) e baixa incerteza na recuperação (evidência externa confiável), o peso aumenta, forçando o modelo a alinhar-se com a evidência externa e corrigir alucinações internas.
  • Se a recuperação for incerta, o peso permanece baixo, evitando que o modelo aprenda com dados ruidosos.
• Objetivo Unificado: A perda total combina a perda DPO (modulada pelo conflito), a perda de aprendizado evidencial (EDL) e uma perda de ajuste supervisionado (SFT) para manter a coerência na geração.

3. Contribuições Principais

1. Mudança de Paradigma na Confiança: Transição de estimativas escalares para distribuições de evidência explícitas, permitindo a separação formal entre incerteza epistêmica e aleatória.
2. Quantificação Rigorosa de Conflito: Introdução de uma métrica geométrica baseada em DST para medir a discordância entre crenças paramétricas e evidências recuperadas, tratando-as como massas de crença independentes.
3. Benchmarks e Generalização: Construção de um conjunto de dados curado ("Wiki Event") focado em eventos pós-treinamento para avaliar a generalização, demonstrando que o ERA não sofre de overfitting em padrões de recusa específicos.
4. Alinhamento de Comportamento "Honesto": O modelo aprende a abster-se seletivamente em cenários de incerteza ou conflito, mantendo alta precisão em consultas respondíveis.

4. Resultados Experimentais

O ERA foi avaliado em benchmarks padrão (Natural Questions, TriviaQA, WebQuestions) e no conjunto de dados generalizado Wiki Event, utilizando backbones como Qwen3-8B e Llama3-8B.

• Desempenho Geral: O ERA superou significativamente as baselines (incluindo métodos baseados em log-probabilidade, auto-consistência e o método supervisionado DTA) em todas as métricas, especialmente no F1 Geral (que equilibra qualidade da resposta e qualidade da abstenção).
• Qualidade de Abstenção: O ERA demonstrou uma precisão de abstenção superior, evitando alucinar em cenários de "Desconhecido-Ruído" (UN) e "Conhecido-Ruído" (KN).
• Generalização: No conjunto de dados Wiki Event (fora da distribuição de treinamento), o ERA manteve alta performance, enquanto o método DTA sofreu de overfitting, recusando-se a responder indiscriminadamente a consultas válidas.
• Calibração: Análises de Erro de Calibração Esperado (ECE) mostraram que o ERA é muito melhor calibrado que modelos treinados apenas com Entropia Cruzada (CE), reduzindo a superconfiança em cenários de conflito.
• Sensibilidade ao Conflito: A divergência de Jensen-Shannon entre as distribuições de crença interna e externa foi significativamente maior para o ERA em casos de conflito, provando que o modelo consegue detectar discordâncias que métodos tradicionais ignoram.

5. Significado e Impacto

O trabalho ERA representa um avanço crucial para a confiabilidade de sistemas de IA. Ao tratar a incerteza e o conflito não como ruído a ser ignorado, mas como sinais estruturados a serem quantificados e otimizados, o framework permite a criação de sistemas RAG mais "honestos".

A principal implicação é que a abstenção e a utilização de contexto não devem depender de um único escore de confiança opaco, mas sim de uma resolução de evidências decompostas. Isso estabelece as bases para sistemas de IA que sabem quando não sabem, priorizando a precisão factual sobre a geração de texto fluente, o que é essencial para aplicações críticas em saúde, direito e tomada de decisão.