Resumo Técnico: Alinhamento de LLMs com Incerteza Humana via um Calibrador Beta-Bernoulli

Declaração do Problema

A previsão probabilística é crítica para a tomada de decisões em domínios que vão desde a economia até a segurança nacional. Embora os Modelos de Linguagem de Grande Escala (LLMs) possuam conhecimento amplo e capacidades de raciocínio, eles frequentemente lutam para superar previsores humanos qualificados. Os métodos existentes para melhorar a previsão de LLMs geralmente dependem de ajuste fino supervisionado (SFT) ou aprendizado por reforço (RL) usando resultados binários (por exemplo, se um evento ocorreu ou não). No entanto, essas abordagens enfrentam limitações significativas: são intensivas em recursos, frequentemente inaplicáveis a modelos de caixa-preta e falham em aproveitar a informação rica contida nas previsões humanas. Especificamente, as previsões humanas fornecem não apenas uma estimativa de probabilidade agregada, mas também um grau de consenso (acordo) entre os previsores, o que codifica sinais valiosos sobre o sentimento humano e a incerteza epistêmica. Os métodos atuais ignoram em grande parte essa informação distribucional, focando em vez disso em estimativas pontuais ou escores de confiança verbalizados, que demonstraram ser excessivamente confiantes e ruidosos.

Metodologia: O Calibrador Beta-Bernoulli (BBC)

Os autores propõem o Calibrador Beta-Bernoulli (BBC), um framework de calibração pós-hoc leve e agnóstico a modelos. Diferentemente de métodos que tentam ajustar o LLM subjacente, o BBC atua como um modelo separado e menor que refina a previsão verbalizada inicial de qualquer LLM de entrada.

Framework Central

O framework modela a probabilidade latente do evento $p$ como uma variável aleatória extraída de uma distribuição Beta, $p \sim \text{Beta}(\alpha, \beta)$, e o resultado binário observado $y$ como uma realização de uma tentativa de Bernoulli, $y \sim \text{Bernoulli}(p)$.

• Entrada: O calibrador recebe uma questão de previsão ($x_i$) e uma previsão pontual verbalizada inicial ($\hat{p}^{init}_i$) de um LLM de entrada.
• Saída: Em vez de emitir uma única probabilidade, o calibrador prevê os parâmetros de uma distribuição Beta (ou uma mistura de $K$ distribuições Beta para flexibilidade).
  • A média da distribuição prevista serve como a previsão pontual calibrada: $\hat{p}_i = \mathbb{E}[p_i] = \frac{\hat{\alpha}_i}{\hat{\alpha}_i + \hat{\beta}_i}$.
  • A variância serve como uma medida de incerteza epistêmica: $\hat{u}_i = \text{Var}[p_i]$.

Objetivo de Treinamento

O calibrador é treinado usando uma função de perda composta $\mathcal{L}_{total} = \mathcal{L}_{binary} + \mathcal{L}_{human}$:

1. Supervisão de Resultado Binário ($\mathcal{L}_{binary}$): O modelo aprende a partir do resultado binário realizado ($y_i \in \{0, 1\}$). Os autores demonstram que maximizar a verossimilhança do resultado binário sob o modelo Beta-Bernoulli é matematicamente equivalente a minimizar a perda de Entropia Cruzada Binária (BCE) em relação à média da distribuição. Isso garante que o modelo aprenda a prever a probabilidade verdadeira.
2. Supervisão de Previsão Humana ($\mathcal{L}_{human}$): Para abordar o problema de identificabilidade (onde diferentes distribuições Beta podem produzir a mesma média e perda BCE) e capturar a forma distribucional, o modelo é supervisionado por previsões humanas. Os autores tratam as previsões humanas como amostras ruidosas da distribuição latente verdadeira. Eles constroem um histograma das previsões humanas e minimizam a Divergência de Kullback-Leibler (KL) entre esse histograma e a distribuição Beta prevista (ou mistura de Betas). Isso permite que o modelo aprenda o "consenso" e a incerteza inerentes à multidão.

Arquitetura

O calibrador é implementado como um pequeno modelo de linguagem (por exemplo, Llama-3.2-1B) com uma cabeça de Perceptron Multicamada (MLP). Ele codifica o texto de entrada e a previsão inicial, e então prevê os parâmetros Beta. Este design garante que o método seja computacionalmente eficiente e possa ser aplicado a qualquer LLM de caixa-preta sem acessar seus pesos ou representações internas.

Contribuições Principais

1. Calibrador Beta-Bernoulli: Um método leve e agnóstico a modelos que converte previsões pontuais em distribuições sobre a probabilidade do evento, capturando efetivamente tanto a incerteza aleatória (randomicidade inerente) quanto a incerteza epistêmica (incerteza do modelo).
2. Humanos como Supervisão Distribucional: O artigo introduz uma abordagem inovadora de usar distribuições de previsões humanas (agregadas de plataformas como Metaculus e Polymarket) como um sinal de supervisão. Isso fornece informações além de resultados binários, especificamente sobre a forma da distribuição de probabilidade e o grau de consenso entre os previsores.
3. Incerteza Epistêmica como Preditor: Os autores mostram que a variância da distribuição Beta prevista é um preditor mais confiável de erro de previsão do que os escores de confiança verbalizados fornecidos por LLMs.

Resultados Experimentais

O framework foi avaliado em conjuntos de dados do Metaculus e Polymarket, com testes fora da distribuição (OOD) no Kalshi.

• Desempenho vs. Baselines: O BBC superou consistentemente os métodos tradicionais de calibração pós-hoc (Escalonamento de Platt, Regressão Isotônica) e modelos ajustados especificamente para previsão (por exemplo, OpenForecaster-8B, Future-as-a-label-32B).
  • No conjunto de teste, o BBC reduziu a pontuação Brier em aproximadamente 14,4% em comparação com baselines verbalizadas (por exemplo, de 0,146 para 0,125 para Claude-Sonnet-4) e melhorou a AUC de 72,3% para 74,2%.
  • O BBC alcançou melhor calibração (menor Erro de Calibração Esperado) e discriminação mais forte (maior AUC) do que modelos ajustados, sugerindo que um calibrador leve é uma alternativa mais eficiente ao ajuste fino completo do modelo.
• Impacto da Supervisão Humana: A comparação entre "BBC (apenas binário)" e "BBC (binário + humano)" revelou que incorporar distribuições de previsões humanas melhorou consistentemente as pontuações Brier e a AUC. A divergência KL entre a distribuição prevista e as previsões humanas diminuiu, indicando que o modelo se alinhou melhor às crenças humanas.
• Incerteza Epistêmica: A análise mostrou que a variância da distribuição Beta correlacionou-se fortemente com erros de previsão (pontuação Brier). Em contraste, os escores de confiança verbalizados foram ruidosos e frequentemente não correlacionados com o desempenho real.
• Generalização: O calibrador demonstrou generalização robusta para o conjunto de dados OOD Kalshi, mantendo um desempenho forte onde os métodos tradicionais de calibração falharam.
• Eficiência: Os experimentos confirmaram que um calibrador com 1 bilhão de parâmetros é suficiente para refinar efetivamente previsões de modelos muito maiores (por exemplo, 70B parâmetros), destacando a eficiência computacional da abordagem.

Significado e Alegações

O artigo alega que o Calibrador Beta-Bernoulli oferece um avanço significativo na previsão de LLMs ao:

1. Preencher a Lacuna: Utiliza efetivamente a "sabedoria das multidões" não apenas como uma estimativa pontual, mas como um sinal distribucional para modelar incerteza, abordando uma lacuna na literatura atual de previsão de LLMs.
2. Agnosticismo de Modelo: Ao operar como um calibrador pós-hoc, permite a calibração de qualquer LLM (incluindo modelos proprietários de caixa-preta) sem a necessidade de ajuste fino caro ou acesso a estados internos.
3. Quantificação Confiável de Incerteza: Fornece uma maneira principial de estimar incerteza epistêmica que é preditiva de erro, indo além da autoconfiança não confiável relatada por LLMs.
4. Complementaridade: O método é apresentado como complementar às técnicas existentes; pode ser aplicado sobre modelos já ajustados para previsão para obter ganhos adicionais de desempenho.

Os autores concluem que, embora os previsores humanos permaneçam superiores aos LLMs atuais, o framework BBC reduz significativamente essa lacuna ao aproveitar sinais de consenso humano para calibrar crenças do modelo, oferecendo um caminho escalável e eficiente para previsões de IA mais confiáveis.