Resumo Técnico: Calibração de LLMs com Recompensa em Nível Semântico

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são implantados em domínios de alto risco, como resposta a perguntas médicas e raciocínio jurídico, a capacidade de estimar quando as saídas são provavelmente corretas é crítica. O Aprendizado por Reforço Padrão com Recompensas Verificáveis (RLVR) otimiza a correção binária, mas falha em levar em conta a confiança do modelo. Essa estrutura de recompensa binária é indiferente aos níveis de confiança, incentivando estruturalmente o chute excessivamente confiante, pois expressar certeza não acarreta penalidade. Consequentemente, os modelos treinados com RL frequentemente exibem taxas aumentadas de alucinação e má calibração.

Tentativas recentes de abordar isso envolvem treinar modelos para produzir escores de confiança verbalizados (por exemplo, "Tenho 80% de certeza") juntamente com as respostas. No entanto, o artigo argumenta que a confiança verbalizada é um proxy não confiável para incerteza. A análise empírica mostra que esses escores são altamente sensíveis à formulação do prompt e a variações no texto da resposta, mesmo quando o significado semântico subjacente permanece idêntico. A confiança verbalizada frequentemente falha em rastrear a distribuição real de significados produzida pelo modelo, calibrando uma interface de relato em vez da incerteza semântica real do modelo.

Metodologia: Calibração com Recompensa Semântica (CSR)

Os autores propõem a Calibração com Recompensa Semântica (CSR), um framework que calibra LLMs diretamente no espaço semântico, contornando a necessidade de interfaces explícitas de relato de confiança.

Conceito Central

A CSR enquadra a calibração em termos de incerteza em nível semântico: a distribuição de significados que um modelo produz quando amostrado repetidamente a partir da mesma pergunta. Um modelo é considerado bem calibrado se:

1. Previsões corretas formam um cluster semântico concentrado (alto acordo semântico).
2. Previsões incorretas produzem saídas dispersas e semanticamente diversas (baixo acordo semântico).

A incerteza é estimada a posteriori a partir da distribuição de respostas usando Entropia Semântica, sem exigir que o modelo gere um token de confiança.

Estrutura de Recompensa

A CSR utiliza um sistema de dupla recompensa otimizado via Otimização de Política Relativa de Grupo (GRPO):

1. Recompensa de Correção Verificável ($r_{RLVR}$): Uma recompensa binária padrão ($1$ se a execução corresponder à verdade fundamental, $0$ caso contrário). Isso desloca a massa de probabilidade em direção aos modos semânticos corretos.
2. Recompensa de Calibração Semântica ($r_{calibration}$): Uma recompensa novel que alinha o acordo semântico par a par com a correção.
   • Para um grupo de $K$ execuções, a recompensa penaliza uma execução $C^{(j)}$ se seu acordo com outras execuções $C^{(i)}$ não corresponder à sua correção em relação à verdade fundamental.
   • Especificamente, minimiza a entropia cruzada binária entre o indicador de acordo par a par $J(C^{(j)}, C^{(i)})$ e o indicador de correção $J(C^{(j)}, C^*)$.
   • Efeito: Isso incentiva que execuções corretas concordem entre si (formando clusters apertados) e que execuções incorretas discordem (promovendo a exploração para longe de modos incorretos).

Objetivo de Treinamento

Os autores observam que otimizar a recompensa de calibração isoladamente leva a modos de falha degenerados (ou colapsando para uma única resposta incorreta ou gerando respostas incorretas maximamente diversas). Para evitar isso, eles empregam um cronograma de Aprendizado de Currículo:
$$r_{CSR}^{(j)}(t) = r_{RLVR}^{(j)} + \lambda(t) r_{calibration}^{(j)}$$
onde $\lambda(t)$ é uma função não decrescente (cronograma linear usado nos experimentos). Isso garante que o modelo primeiro estabeleça uma acurácia não nula via $r_{RLVR}$ antes que o sinal de calibração molde a estrutura da distribuição.

Integração

A CSR integra-se perfeitamente com o GRPO. Como o GRPO já amostra um grupo de execuções para calcular vantagens, a CSR utiliza esse mesmo grupo para avaliar o acordo semântico par a par, incorrendo em nenhuma sobrecarga adicional de amostragem.

Contribuições Principais

1. Formulação de Calibração Semântica: Uma mudança da confiança verbalizada para a incerteza em nível semântico, fornecendo uma alternativa principial às interfaces de confiança dependentes de prompt.
2. Framework CSR: Um método de aprendizado por reforço que alinha o acordo semântico par a par com a correção, permitindo que os modelos aprendam incerteza calibrada sem supervisão explícita de confiança.
3. Validação Empírica: Demonstrado em três famílias de modelos (Llama, Qwen, Mistral) e quatro conjuntos de dados de QA (HotpotQA, TriviaQA, MSMARCO, NQ-Open).

Resultados Experimentais

Os experimentos foram conduzidos em 10.000 exemplos de treinamento do HotpotQA, com avaliação em 1.000 exemplos por conjunto de dados (incluindo conjuntos fora da distribuição).

• Desempenho de Calibração: A CSR alcançou consistentemente o menor Erro de Calibração Esperado (ECE) e a maior Área sob a Curva ROC (AUROC) em quase todas as configurações.
  • Redução do ECE: Até 40% de redução em comparação com baselines de confiança verbalizada (RD, RLCR).
  • Melhoria da AUROC: Até 31% de melhoria sobre as baselines de confiança verbalizada.
  • Generalização: A CSR manteve um forte desempenho de calibração em conjuntos de dados fora da distribuição (OOD), enquanto os métodos verbalizados mostraram ganhos inconsistentes.
• Acurácia: A CSR manteve uma acurácia competitiva com o RLVR padrão, evitando o colapso de acurácia observado ao otimizar recompensas de calibração isoladamente.
• Eficiência:
  • Custo de Tokens: O custo de tokens da CSR foi comparável aos modelos Base e RLVR e significativamente menor (2,7x–5,7x) do que o RLCR, que requer raciocínio sequencial e geração de confiança.
  • Eficiência do Julgador: Os autores exploraram substituir o julgador semântico baseado em LLM por um limiar F1 leve em nível de token. Embora o julgador LLM fosse mais robusto, o substituto F1 preservou a maior parte dos ganhos de calibração da CSR, oferecendo uma alternativa eficiente em termos computacionais.
• Robustez: Os ganhos de calibração persistiram em diferentes orçamentos de execução ($K$) e foram robustos à escolha do cronograma de currículo.

Significado e Alegações

O artigo afirma que a CSR aborda a limitação fundamental dos métodos de confiança verbalizada: sua dependência de uma interface de relato que é sensível à forma superficial e a variações de prompt. Ao calibrar diretamente a distribuição semântica do modelo, a CSR alcança:

• Generalização Robusta: O comportamento de calibração transfere-se efetivamente para novos conjuntos de dados com conteúdo lexical diferente, mas estruturas de incerteza semântica semelhantes.
• Confiabilidade: Fornece um sinal de incerteza mais confiável para tomada de decisão downstream em configurações de alto risco.
• Praticidade: Evita falhas de análise e restrições de formato associadas à confiança verbalizada (por exemplo, traços de raciocínio do RLCR ou bins inteiros do RD), alcançando uma taxa de análise de 100% em todas as configurações testadas.

Os autores concluem que a calibração em nível semântico representa uma direção promissora para estimativa de incerteza confiável, embora reconheçam a sobrecarga computacional do julgamento de equivalência semântica como uma limitação atual, sugerindo trabalho futuro em métricas de consistência baseadas em regras.