Resumo Técnico: Calibração Linguística Aumentada por Recuperação (RALC)

Declaração do Problema

A estimativa confiável de confiança é crítica para a implantação confiável de Modelos de Linguagem de Grande Escala (LLMs) na tomada de decisões humanas. Embora os métodos existentes representem a confiança como valores de probabilidade escalares (por exemplo, probabilidades ao nível de token ou scores verbalizados), os humanos têm dificuldade em raciocinar com precisão usando probabilidades numéricas. Consequentemente, marcadores linguísticos (por exemplo, "provável", "pode") são preferidos como interfaces naturais. No entanto, tratar esses marcadores como escalares descarta a subjetividade inerente da interpretação linguística: diferentes leitores mapeiam a mesma expressão para diferentes valores de probabilidade percebidos. Além disso, pistas linguísticas co-ocorrentes e variações contextuais apresentam desafios únicos que representações escalares não conseguem capturar. Os métodos de calibração post-hoc atuais operam inteiramente no espaço numérico, carecendo de mecanismos para propagar sinais calibrados de volta para a linguagem natural, enquanto as estratégias linguísticas existentes frequentemente funcionam como procedimentos de caixa-preta sem controle principiado.

Metodologia

1. Modelagem Distribucional da Confiança Linguística

Os autores modelam a confiança linguística não como um único escalar, mas como uma distribuição sobre valores de probabilidade percebidos plausíveis de que uma afirmação esteja correta.

• Formalismo: A confiança é representada como uma distribuição Beta, $S = \text{Beta}(\alpha, \beta)$.
  • A média $\mu = \alpha/(\alpha+\beta)$ captura a tendência central da confiança percebida entre os leitores.
  • A concentração $\kappa = \alpha + \beta$ codifica a força do acordo (variância) entre os leitores.
• Estimação: Um estimador de confiança $g$ mapeia uma resposta $R$ para uma distribuição Beta. Isso é parametrizado ajustando uma distribuição Beta a scores gerados por um conjunto de LLMs atuando como um substituto para o público humano, capturando a interplay de múltiplas pistas linguísticas e contexto.

2. Divergência de Fidelidade (FD)

Para avaliar a confiança além da calibração em nível de população (Erro de Calibração Esperado, ECE), o artigo introduz a Fidelidade como uma dimensão em nível de instância.

• Definição: A Fidelidade mede a "surpresa" induzida nas crenças do público com a revelação da verdade fundamental (ground truth).
• Métrica: A Divergência de Fidelidade (FD) é definida como um custo de atualização bayesiana ponderado pela concentração:
  $$FD_i := (\alpha_i + \beta_i) \cdot \text{KL}(S^*_i \parallel S_i)$$
  onde $S_i$ é a distribuição a priori e $S^*_i$ é a distribuição a posteriori atualizada com o rótulo de verdade fundamental $y_i$.
• Racional: A FD quantifica a surpresa teórica da informação, ponderando a divergência KL pela concentração (tamanho efetivo da amostra). Uma crença mal alinhada com alta concentração incorre em uma penalidade maior (surpresa) do que um desalinhamento com baixa concentração, refletindo a intuição de que crenças incorretas fortemente mantidas são mais surpreendentes.

3. Calibração Linguística Aumentada por Recuperação (RALC)

O RALC é um pipeline leve e post-hoc que transforma respostas brutas de LLMs em saídas calibradas e fiéis diretamente no espaço linguístico. O pipeline consiste em três etapas:

1. Calibração no Espaço de Sinais: A média da distribuição de confiança estimada é calibrada usando escalonamento de Platt (regressão logística) contra rótulos de correção binária. O parâmetro de concentração é preservado, pois representa a força do acordo e não um alvo para calibração.
2. Construção de Léxico: Um léxico pré-construído mapeia expressões de atenuação (hedging) (por exemplo, "tendem a", "certamente") para suas distribuições Beta correspondentes de confiança percebida. Essas distribuições são derivadas fazendo com que um conjunto de LLMs avalie afirmações reescritas não verificáveis contendo pistas específicas de atenuação.
3. Reescrita Aumentada por Recuperação: A distribuição calibrada serve como sinal de recuperação. O sistema realiza uma busca em dois estágios de K-Vizinhos Mais Próximos (KNN):
   • Seleção Preliminar: Baseada na distância absoluta entre a média calibrada e as médias das entradas do léxico.
   • Classificação: Baseada na distância 1-Wasserstein para corresponder tanto à tendência central quanto à dispersão (concentração) da distribuição.
   • Reescrita: As $k$ melhores expressões de atenuação recuperadas são passadas para um editor LLM junto com a resposta original para reescrever o texto, garantindo que a confiança percebida da nova resposta esteja alinhada com o sinal calibrado.

O pipeline é compatível com diversos sinais a montante, incluindo confiança linguística, probabilidade de token e incerteza semântica (derivada de amostragem de auto-consistência).

Principais Contribuições

1. Framework Distribucional: Formalizar a confiança linguística como uma distribuição Beta para capturar a interplay de pistas e a variabilidade da interpretação do leitor, indo além do mapeamento discreto e da quantificação escalar.
2. Métrica de Fidelidade: Introduzir a Divergência de Fidelidade (FD) como uma nova dimensão de avaliação em nível de instância que quantifica a surpresa teórica da informação das crenças de confiança com a revelação da verdade, abordando as limitações de métricas escalares como pontuação Brier e NLL em configurações distribucionais.
3. Pipeline RALC: Propor um framework generalizável e post-hoc que calibra a confiança no espaço linguístico via reescrita aumentada por recuperação, compatível com vários sinais de estimativa de confiança.

Resultados Experimentais

O framework foi avaliado em cinco famílias de LLMs (GPT-OSS-20B, Llama-3.1-8B, Qwen3-8B, Mistral-7B, Gemma-4-31B) e três benchmarks (MMLU, SQuAD 2.0, TruthfulQA).

• Ganhos de Desempenho: O RALC melhorou a fidelidade no domínio em até 66% e a calibração (ECE generalizado) em até 58% em comparação com as linhas de base pré-calibração.
• Comparação: O RALC superou tanto as linhas de base de caixa-preta (Hedged QA, que solicita atenuação sem sinais calibrados) quanto as linhas de base de caixa-cinza (Direct Beta-Guided Rewrite, que carece de recuperação estruturada de léxico).
• Robustez do Sinal: A incerteza semântica emergiu como o sinal de confiança mais robusto, produzindo as maiores melhorias tanto na calibração quanto na fidelidade em todos os domínios.
• Transferência Interdomínio: O pipeline demonstrou forte transferibilidade; em alguns casos, calibradores interdomínio superaram os intradomínio quando o domínio alvo tinha viés de miscalibração fraco, permitindo que uma fonte com viés mais forte aprendesse uma correção mais decisiva.
• Validação de Métrica: Os experimentos confirmaram que a FD classifica corretamente os níveis de surpresa consistentes com perfis distribucionais (penalizando desalinhamentos de alta concentração), enquanto a divergência KL, a pontuação Brier e o NLL falharam em recuperar essa ordenação.

Significado

O artigo argumenta que a confiança linguística é inerentemente distribucional devido à subjetividade da interpretação. Ao modelar essa distribuição e introduzir a Fidelidade como uma dimensão de avaliação complementar, o trabalho fornece uma maneira principial de avaliar o quão bem a confiança expressa por um modelo se alinha com a realidade em nível de instância. O pipeline RALC demonstra que sinais de confiança calibrados podem ser efetivamente propagados de volta para a linguagem natural através de reescrita aumentada por recuperação, oferecendo uma solução escalável e post-hoc que aumenta a confiabilidade dos LLMs sem exigir acesso aos detalhes internos do modelo ou re-treinamento. Os resultados sugerem que a recuperação estruturada de léxico é superior à geração não restrita para alinhar a saída linguística com a confiança calibrada.