Resumo Técnico: Diagnosticando o Comportamento de Arbitragem de LLMs sobre Estados Epistêmicos Pré-evidência em Verificação de Fatos baseada em RAG

1. Declaração do Problema

Na verificação de fatos baseada em Recuperação Aumentada por Geração (RAG), os Grandes Modelos de Linguagem (LLMs) atuam como verificadores que devem reconciliar seu conhecimento paramétrico interno com evidências externas recuperadas. Um desafio crítico e subexplorado surge quando essas duas fontes discordam, uma condição denominada Discrepância de Prior-Contexto (PCD). Isso ocorre quando a evidência recuperada é ruidosa, temporalmente desatualizada ou contrafactual, conflitando com as crenças pré-existentes do modelo.

Os frameworks de avaliação existentes medem primariamente a precisão do veredito final em pares de evidência ideais (gold-standard). Consequentemente, eles falham em:

1. Caracterizar o estado epistêmico pré-evidência do verificador (ou seja, se o modelo está corretamente confiante, erroneamente confiante, incerto mas correto ou incerto e errado).
2. Medir como os verificadores arbitram entre sinais conflitantes (por exemplo, se eles persistem obstinadamente em um prior errado ou se se atualizam corretamente com base em evidência precisa).
3. Distinguir entre diferentes tipos de falhas, como um modelo que está erroneamente confiante versus um que está incerto.

2. Metodologia: Framework PAVE

Os autores introduzem o PAVE (Prior-Aware Verifier Evaluation), um ambiente de teste diagnóstico projetado para estratificar o comportamento de LLMs com base em estados epistêmicos e medir a dinâmica de arbitragem sob PCD.

A. Caracterização do Estado Epistêmico (Fronteira do Conhecimento)

O PAVE define o estado pré-evidência de um verificador usando um framework de Fronteira do Conhecimento (KB), operacionalizado ao longo de dois eixos:

1. Correção Factual: O modelo's previsão apenas-prior coincide com a verdade fundamental (ground truth)?
2. Confiança Paramétrica: A previsão do modelo é consistente através de gerações estocásticas repetidas? (Alta consistência = "CONHECIDO"; Baixa consistência = "DESCONHECIDO").

Isso resulta em quatro estados epistêmicos distintos:

• Conhece-Sabe (KK - Known-Knows): Confiante e Correto.
• Conhece-Não-Sabe (KU - Known-Unknows): Confiante, mas Incorreto.
• Desconhece-Sabe (UK - Unknown-Knows): Incerto, mas Correto.
• Desconhece-Não-Sabe (UU - Unknown-Unknows): Incerto e Incorreto.

B. Construção do Benchmark

Os autores construíram um benchmark de PCD com mais de 7.000 afirmações através de duas dimensões:

1. Configuração Contrafactual: Utiliza transformações controladas (substituição de entidade, negação semântica) na evidência de ouro para criar contextos enganosos. Isso testa a Persistência (resistir a evidências enganosas quando o prior é correto) e a Correção (atualizar-se a partir de evidência precisa quando o prior é errado).
2. Configuração Temporal: Utiliza afirmações sobre eventos ocorrendo após o corte de treinamento do modelo. Isso testa a Aquisição (atualizar-se a partir de nova evidência quando o prior está desatualizado/ausente).

C. Métricas de Avaliação

O PAVE introduz métricas condicionadas ao estado para quantificar o comportamento de arbitragem:

• Taxa de Correção (CR): A capacidade de retificar erros iniciais quando fornecida evidência correta (medida em $D_{errado}$).
• Taxa de Persistência (PR): A capacidade de manter previsões corretas quando exposto a evidência contrafactual enganosa (medida em $D_{correto}$).
• Margem: Uma métrica diferencial definida como $CR + PR - 1$. Uma margem positiva indica que o modelo tem maior probabilidade de ser corrigido por evidência precisa do que de ser induzido ao erro por contexto impreciso.
• Odds de Influência (OI): Mede a elasticidade relativa da confiança de um modelo, comparando as chances de mudar uma resposta versus manter uma sob diferentes estados epistêmicos.

D. Método de Arbitragem em Tempo de Teste

Baseado nas descobertas do PAVE, os autores propõem um método de arbitragem leve e sem treinamento usando Divergência de Jensen-Shannon (JSD):

• O método amostra $K$ previsões para uma afirmação sob duas condições: com evidência externa ($p_{ext}$) e sem evidência ($p_{par}$).
• Ele calcula a estabilidade (consistência) dessas previsões usando JSD.
• Regra de Decisão: Se a diferença de JSD ($\Delta = JSD_{par} - JSD_{ext}$) cair abaixo de um limiar calibrado $\tau$, o modelo confia em seu prior interno; caso contrário, ele confia na evidência externa. Isso permite que o sistema selecione dinamicamente a fonte mais confiável sem retreinamento.

3. Resultados Principais

Os autores avaliaram sete LLMs (variando de 7B a 617B parâmetros, incluindo GPT-4o-mini, Llama3, Deepseek-v3, etc.) usando o framework PAVE.

• Estados Epistêmicos Heterogêneos: Os modelos exibem variações significativas em seus perfis de confiança interna. Por exemplo, Mistral-7B e Phi-4 mostram alta incerteza (muitos estados "DESCONHECIDO"), enquanto outros são altamente confiantes.
• Precisão do Prior $\neq$ Arbitragem Robusta: Alta precisão apenas-prior não garante robustez sob PCD. Por exemplo, o Qwen3-32B teve alta precisão de prior, mas sofreu uma queda massiva de desempenho (43,02 pontos) sob PCD, enquanto o Deepseek-v3 mostrou uma queda muito menor (19,11 pontos) e uma Margem positiva (+0,235).
• Seleção de Modelo é Crítica: Modelos como Deepseek-v3 e Gemini-2.5-flash demonstraram um equilíbrio desejável (alta persistência quando correto, alta correção quando errado). Em contraste, modelos como Llama3-8B e Mistral-7B são "obstinados", favorecendo frequentemente priors internos errôneos sobre evidência externa precisa.
• Efeitos de Escala: Modelos maiores (ex: Llama3-70B) demonstraram melhor calibração de arbitragem, alcançando Margens mais altas que variantes menores (1B, 3B), sugerindo que o escalonamento melhora a capacidade de resolver discrepâncias.
• Padrões de Absorção de Evidência:
  • Temporal vs. Contrafactual: Modelos são geralmente mais receptivos à aquisição de novo conhecimento (configuração temporal) do que à revisão de crenças erradas (configuração contrafactual).
  • Viés de Rótulo: Modelos mostram maior confiança interna ao refutar afirmações falsas do que ao confirmar afirmações verdadeiras.
• Desempenho do Método de Arbitragem: O método de arbitragem baseado em JSD proposto alcançou o melhor ou competitivo desempenho geral em 5 das 6 famílias de LLM avaliadas. Foi particularmente eficaz para modelos menores (ex: Mistral-7B), superando o segundo melhor baseline em 6,58 pontos absolutos. O método permanece eficaz mesmo com um baixo orçamento computacional ($K=3$ execuções).

4. Significância e Contribuições

O artigo reivindica quatro contribuições primárias:

1. Formulação: Reenquadra a verificação de fatos de LLM sob PCD como um problema de arbitragem condicionado ao estado epistêmico, deslocando o foco da avaliação da precisão do veredito final para a dinâmica de equilíbrio entre o prior interno e a evidência externa.
2. Ambiente de Diagnóstico (PAVE): Introduz um framework que inclui um benchmark controlado para induzir PCD, uma estratificação de KB para estados pré-evidência e métricas condicionadas ao estado (CR, PR, Margem, OI) para diagnosticar comportamentos de arbitragem específicos.
3. Avaliação Sistemática: Fornece uma análise abrangente de sete LLMs, revelando perfis de arbitragem distintos e oferecendo orientações práticas para a seleção de modelos em sistemas baseados em RAG.
4. Intervenção Prática: Propõe um método de arbitragem em tempo de teste, leve e baseado em JSD, que melhora a confiabilidade factual sem modificar o modelo subjacente, demonstrando que sinais diagnósticos podem ser operacionalizados para implantação imediata.

Os autores enfatizam que seu trabalho destaca as limitações das métricas de precisão padrão e a necessidade de entender como um modelo chega a um veredito, particularmente quando as fontes conflitam. Eles reconhecem limitações quanto ao escopo (verificação de fatos binária, excluindo cenários de "ambas as fontes incorretas") e o potencial de artefatos de geração na construção contrafactual, mas afirmam que as descobertas principais sobre os perfis de arbitragem permanecem estáveis através das configurações.