Resumo Técnico: Dupla Calibração para LLMs Confiáveis via Calibração de Conhecimento e Confiança no Raciocínio

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) sofrem com alucinações e raciocínio não confiável, impulsionados tanto pela incerteza epistêmica intrínseca (lacunas de conhecimento) quanto pela incerteza aleatória extrínseca (ambiguidade de dados). Embora a Geração Aumentada por Recuperação (RAG) aprimorada por Grafos de Conhecimento (KG-RAG) tenha surgido como um paradigma líder para melhorar a precisão factual ao recuperar evidências estruturadas, os métodos atuais possuem uma falha crítica: eles assumem que a evidência recuperada é sempre suficiente e certa.

Na prática, a evidência recuperada pode ser ruidosa, incompleta ou ambígua. As abordagens existentes de KG-RAG falham em quantificar a incerteza da própria evidência recuperada. Consequentemente, os LLMs podem produzir previsões declaradas com confiança, mas incorretas, ao dependerem de evidências parciais ou defeituosas. Além disso, os métodos existentes de Quantificação de Incerteza (UQ) para LLMs focam predominantemente na calibração da confiança da saída final. Esses métodos frequentemente dependem dos estados internos do modelo ou da autoavaliação, tornando-os opacos e não rastreáveis. Eles não conseguem distinguir se a incerteza decorre de evidências defeituosas, deficiências no raciocínio ou dificuldade da tarefa, falhando assim em sinergizar efetivamente com o KG-RAG para fornecer uma visão calibrada passo a passo da cadeia de raciocínio.

2. Metodologia: DoublyCal

Para abordar essas lacunas, os autores propõem o DoublyCal, um framework baseado em um novo princípio de dupla calibração. Esta abordagem estima explicitamente e torna a confiança rastreável, desde a evidência recuperada do KG até a previsão final do LLM. O framework opera através de três componentes principais:

2.1 Calibração Bayesiana da Evidência do KG

O framework formaliza primeiro a evidência do KG como caminhos relacionais restritos. Diferentemente de caminhos relacionais simples ou subgrafos, esses caminhos consistem em um caminho relacional central aprimorado com uma restrição opcional derivada do bairro da resposta candidata, equilibrando informatividade e interpretabilidade.

Para estimar uma confiança estatisticamente fundamentada para cada caminho de evidência, os autores empregam um modelo Beta-Bernoulli:

• A correção de uma resposta candidata dada a evidência é modelada como uma distribuição Bernoulli com parâmetro $p$.
• Para contabilizar a incompletude do KG e a fundamentação esparsa, é imposta uma priori Beta conjugada ($p \sim \text{Beta}(\alpha, \beta)$).
• A pontuação de confiança calibrada é calculada como a média posterior, combinando a precisão empírica com a crença anterior (por exemplo, usando uma priori de Jeffreys $\alpha=\beta=0.5$). Isso previne excesso de confiança em casos onde o número de candidatos recuperados é pequeno.

2.2 Modelo Proxy para Geração e Calibração de Evidência

Como o cálculo Bayesiano é retrospectivo, um Gerador de Evidência baseado em LM (Modelo Proxy) leve é treinado para realizar a recuperação prospectiva de evidências e a estimativa de confiança durante a inferência. O treinamento envolve duas etapas:

1. Ajuste Fino Supervisionado (SFT): O proxy é treinado para gerar caminhos de evidência do KG e suas respectivas pontuações de confiança Bayesiana, imitando o sinal estatístico.
2. Aprendizado por Reforço (RL): O proxy é refinado adicionalmente usando Otimização de Política Relativa em Grupo (GRPO). A função de recompensa otimiza conjuntamente a qualidade inferencial (correspondência com evidências douradas) e o alinhamento de calibração (minimizando a diferença entre a confiança prevista e a verdade fundamental Bayesiana).

2.3 Raciocínio do LLM com Evidência Calibrada

Durante a inferência, o proxy treinado gera um conjunto de pares candidato-evidência-confiança. Esses pares são verbalizados e integrados ao prompt para um LLM primário de caixa preta. O LLM é instruído a raciocinar sobre esses caminhos e suas pontuações de confiança associadas para produzir uma resposta final e uma confiança de previsão bem calibrada. Isso estabelece uma cadeia rastreável onde a confiança final está ancorada na evidência verificável e calibrada, e não apenas no estado interno do LLM.

3. Contribuições Principais

• Princípio de Dupla Calibração: O artigo estabelece um novo paradigma que exige calibração explícita de confiança tanto para a evidência do KG recuperada quanto para as previsões finais do LLM, indo além da calibração de saída de estágio único.
• Framework DoublyCal: Uma implementação prática que utiliza um modelo proxy calibrado Bayesianamente para fornecer a LLMs de caixa preta evidências do KG acompanhadas de confiança da evidência.
• Validação Empírica: Demonstrações de que o DoublyCal melhora significativamente tanto a precisão quanto a calibração de confiança em diversos LLMs de caixa preta em benchmarks intensivos em conhecimento, mantendo custos de tokens baixos.

4. Resultados Experimentais

O framework foi avaliado nos benchmarks WebQSP e CWQ, comparando o DoublyCal com baselines de Calibração Única (SingleCal) (métodos padrão de KG-RAG combinados com técnicas de UQ verbalizadas como Vanilla, CoT e Self-Probing).

• Precisão e Calibração: O DoublyCal (especificamente a versão aprimorada por RL) alcançou desempenho de última geração, liderando em pontuações de Hits, Recall e F1, enquanto reduziu significativamente o Erro de Calibração Esperado (ECE) e o Erro de Calibração Adaptativo (ACE). Por exemplo, no WebQSP, o RL-DoublyCal reduziu o ECE para ~3,9%, comparado a ~18-38% para as baselines.
• Eficiência de Custos: O DoublyCal demonstrou eficiência superior em tokens. Superou o SubgraphRAG com significativamente menos tokens de entrada (aproximadamente 39% do custo do SubgraphRAG) devido à alta densidade de informação de seus caminhos relacionais restritos.
• Compatibilidade entre Modelos: O framework foi testado em vários LLMs de caixa preta (GPT-3.5-turbo, GPT-4o-mini, DeepSeek-V3, Gemini-2.5-flash). O DoublyCal consistentemente desacoplou o trade-off entre precisão e confiabilidade, reduzindo o ECE médio de 29,4% para 7,6% entre os modelos, enquanto aumentou o F1 médio de 45,8% para 76,5%.
• Estudos de Ablação: A remoção da calibração de confiança da evidência (variante SingleCal) resultou em um aumento drástico no erro de calibração (ECE subindo de ~4% para >20%), confirmando que evidências calibradas externamente são essenciais para a autoavaliação confiável por LLMs de caixa preta.

5. Significado e Alegações

O artigo afirma que o DoublyCal oferece uma solução principiante para gerenciar sistematicamente a propagação de incerteza em LLMs aprimorados por KG. Ao fundamentar a confiança em evidências verificáveis externamente, o framework fornece uma fundação rastreável para toda a cadeia de raciocínio, abordando a natureza de "caixa preta" dos métodos atuais de UQ.

Os autores afirmam que seu trabalho representa um passo concreto rumo à construção de sistemas LLM mais confiáveis e transparentes. Eles destacam que, embora o KG-RAG melhore a factualidade, é a dupla calibração tanto da evidência quanto do raciocínio que é necessária para alcançar um raciocínio verdadeiramente confiável. O framework é apresentado como uma solução plug-and-play que aumenta a confiabilidade de diversos LLMs de caixa preta sem exigir acesso aos seus parâmetros internos.

Limitações Reconhecidas:
Os autores observam que a robustez do estimador de confiança Bayesiano pode diminuir quando o KG é extremamente esparsos. Além disso, a forma fixa dos caminhos relacionais restritos pode limitar o desempenho em perguntas complexas envolvendo agregação ou comparação, sugerindo que trabalhos futuros poderiam explorar formas de evidência mais ricas ou paradigmas de planejamento agêntico.