Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

Resumo Técnico: Alinhamento Humano e Calibração da Incerteza em Tempo de Inferência em Grandes Modelos de Linguagem

Definição do Problema
Pesquisas recentes têm focado intensamente na calibração de Grandes Modelos de Linguagem (LLMs) para garantir que suas estimativas de incerteza prevejam com precisão a probabilidade de gerar uma resposta válida. No entanto, existe uma lacuna crítica: o trabalho existente raramente avalia se a incerteza do modelo se alinha com a incerteza humana. Embora uma medida possa estar bem calibrada em relação à precisão do modelo, seus valores podem não corresponder à intuição humana, tornando-os difíceis de serem interpretados pelos usuários. Além disso, a maioria dos métodos de quantificação de incerteza (UQ) exige gerações auxiliares (por exemplo, Monte Carlo dropout), tornando-os inadequados para o controle em tempo real do modelo ou feedback do usuário. Este artigo aborda a necessidade de medidas de UQ de tempo de inferência que sejam simultaneamente calibradas (prevendo a correção do modelo) e alinhadas (correlacionando-se com a incerteza humana em nível de grupo).

Metodologia
Os autores avaliam uma coleção de medidas de incerteza de tempo de inferência em múltiplos LLMs (LLaMa-3.2 1B/3B, LLaMa-3.1 8B, e Mistral 7B 0.1/0.3, tanto variantes base quanto ajustadas para instrução). O estudo utiliza dois conjuntos de dados de pesquisas humanas:

1. Dataset Pew: 38 perguntas de pesquisas da Pew Research (usado como baseline).
2. Dataset Roper: 2.998 perguntas amostradas do Roper Center for Public Opinion Research (2017–2023).

Definição de Incerteza Humana: A incerteza humana é aproximada pelo nível de discordância entre grupos de respondentes de pesquisas. Ela é calculada como a entropia das porcentagens de respostas normalizadas para cada pergunta.

Medidas de Incerteza Avaliadas:
O estudo foca em medidas calculáveis durante uma única passagem de geração sem amostragem auxiliar:

• Probabilidade Top-1: A probabilidade do token mais provável.
• Medidas Baseadas em Entropia:
  • Entropia Total: Entropia de Shannon sobre a distribuição completa do vocabulário.
  • Entropia Top-k: Entropia calculada sobre os $k$ principais tokens ($k \in \{5, 10, 25, 50, 100\}$), normalizada para manter as proporções relativas.
  • Entropia de Escolha (Choice Entropy): Entropia calculada especificamente sobre as probabilidades normalizadas das opções de resposta fornecidas.
  • Entropia Top-p: Entropia sobre os tokens selecionados via amostragem de núcleo (nucleus sampling) ($p \in \{0.5, 0.75, 0.9, 0.95\}$).
• Tamanho Top-p: O número de tokens no conjunto de núcleo.

Métricas de Avaliação:

1. Alinhamento:
   • Acordo Manifesto (Overt Agreement): A frequência com que a escolha principal do modelo coincide com a escolha principal do grupo humano.
   • Ordenação de Preferência: Medida via distância normalizada de Kendall $\tau$ entre os rankings de preferência do modelo e do humano.
   • Correlação de Incerteza: Correlação de Pearson entre os escores de incerteza do modelo e a incerteza do grupo humano (entropia das respostas) entre as perguntas.
2. Calibração:
   • Correlação de Correção: Correlação de Spearman entre as medidas de incerteza e a correção binária no benchmark MMLU.
   • Calibração Distribucional (Desvio JSD): Uma métrica novel que mede o deslocamento na Distância de Jensen-Shannon (JSD). Os autores hipotetizam que uma medida bem calibrada mostrará um aumento significativo na distância entre a distribuição de respostas do modelo e a distribuição da resposta correta ao transitar de questões de alta certeza para questões de baixa certeza.

Principais Resultados

• Alinhamento vs. Preferência: Os modelos mostraram concordância moderada com humanos na resposta principal (superando o acaso), mas mostraram nenhum alinhamento significativo na ordenação geral de preferências (as distâncias de Kendall $\tau$ foram efetivamente aleatórias).
• Alinhamento de Incerteza: Apesar da falta de alinhamento na ordenação de preferências, várias medidas mostraram forte correlação com a incerteza do grupo humano.
  • Medidas de melhor desempenho: A entropia de escolha, a entropia total, todas as entropias Top-k e a entropia Top-p (para $p \ge 0.9$) mostraram consistentemente correlação significativa ($|r| \ge 0.3$) em todos os modelos.
  • Tamanho Top-p: Mostrou correlação fraca, mas significativa, para $p \le 0.9$, contradizendo algumas suposições prévias.
  • Probabilidade Top-1: Não apresentou correlação significativa consistente.
• Calibração: As medidas que se alinharam bem com a incerteza humana também demonstraram evidência moderada a forte de calibração no MMLU.
  • Entropia de Escolha (Choice Entropy) emergiu como a medida mais robusta, mostrando correlação negativa com a correção (menor incerteza = maior precisão) em quase todos os modelos e assuntos.
  • Desvio JSD: Testes de permutação confirmaram que, para a maioria das medidas, o deslocamento na distância de distribuição entre estados de alta e baixa certeza foi estatisticamente significativo, indicando que as medidas distinguem efetivamente entre estados de certeza e incerteza do modelo.

Principais Contribuições

1. Conexão Top-p e Bayesiana: Os autores observam que a seleção top-p na decodificação de LLMs é funcionalmente equivalente ao conjunto de credibilidade de densidade máxima Bayesiana, uma conexão anteriormente não notada na literatura de UQ.
2. Desacoplamento de Alinhamento e Preferência: O trabalho observa que medidas de tempo de inferência baseadas em entropia podem se alinhar com a incerteza humana mesmo quando modelos e humanos discordam sobre preferências ou ordenação de respostas específicas.
3. Métrica de Calibração Novel: O desenvolvimento de uma medida de calibração distribucional de verdade fundamental baseada no deslocamento da métrica de distância de Jensen-Shannon para avaliar diretamente o impacto da certeza nas distribuições de respostas.
4. Evidência Empírica: O estudo fornece evidências de que medidas de tempo de inferência alinhadas também são calibradas em termos de correlação de correção e análise de distribuição.

Significância e Alegações
O artigo afirma identificar um conjunto de medidas de UQ de tempo de inferência que são efetivas e mais intuitivamente interpretáveis por usuários humanos porque se alinham com o comportamento de incerteza humana. Isso é significativo porque sugere que os modelos podem fornecer sinais de confiança em tempo real que os usuários possam compreender, mesmo que os modelos não imitem perfeitamente a lógica de seleção de respostas humana.

Os autores concluem modestamente que, embora essas medidas mostrem fortes evidências iniciais de alinhamento e calibração, elas não são perfeitas. Eles enfatizam que trabalhos futuros são necessários para:

• Encontrar medidas que sejam altamente calibradas sem sacrificar o alinhamento.
• Estender esses achados para contextos de geração de texto aberto (propondo um framework para converter respostas abertas em avaliações de múltipla escolha).
• Investigar o alinhamento de incerteza em nível individual, em vez de apenas nível de grupo.
• Testar essas medidas em aplicações reais de cooperação humano-LLM para determinar se elas melhoram a confiança do usuário e a eficácia da tarefa.

O estudo é limitado a contextos de múltipla escolha e modelos com 8 bilhões de parâmetros ou menos, observando que os resultados podem variar em modelos maiores ou cenários de texto aberto.