Resumo Técnico: "Always Tell Me The Odds"

Título Original: Always Tell Me The Odds: Fine-grained Conditional Probability Estimation
Autores: Liaoyaqi Wang, Zhengping Jiang, Anqi Liu, Benjamin Van Durme (Johns Hopkins University)
Publicação: COLM 2025

---

1. O Problema (The Problem)

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades de raciocínio impressionantes em tarefas determinísticas, eles ainda falham significativamente ao lidar com a incerteza e a ambiguidade. No mundo real, o conhecimento é inerentemente probabilístico.

Os problemas identificados com as abordagens atuais de estimativa de incerteza em LLMs são:

• Estimativas Coarsas: Os modelos tendem a fornecer apenas valores discretos comuns (ex: 10%, 50%, 90%) em vez de probabilidades contínuas e precisas.
• Viés de Calibração: Os modelos costumam ser excessivamente confiantes ou enviesados para números frequentes.
• Limitações de Métodos Existentes: O uso de logits (probabilidades internas do modelo) é frequentemente descalibrado, e a verbalização de confiança (pedir ao modelo para dizer "estou 70% confiante") não oferece a precisão necessária para raciocínio estruturado.

2. Metodologia (Methodology)

Os autores propõem um modelo baseado em decodificadores (decoder-based) treinado para estimar a probabilidade condicional $P(\text{proposição} \mid \text{contexto})$ de forma granular. A metodologia divide-se em três pilares:

A. Criação de Dados Sintéticos (Synthetic Data Creation)

Para superar a escassez de dados humanos rotulados com precisão probabilística, eles utilizam um pipeline de auto-rotulagem:

1. Reasoning-Augmented Prompting: LLMs geram cadeias de raciocínio antes de fornecerem uma estimativa de probabilidade.
2. Agreement-Based Filtering: Instâncias onde diferentes modelos divergem muito (alta discrepância) são sinalizadas.
3. LLM-as-a-Judge: Um modelo de grande escala atua como juiz, avaliando a qualidade do raciocínio que levou àquela probabilidade e atribuindo um score de confiança. Isso permite criar uma distribuição de probabilidade mais robusta para o treinamento.

B. Treinamento de Regressão Baseada em Decodificador (Decoder-based Regression)

Em vez de usar modelos de codificação (encoders) pequenos, eles utilizam a arquitetura de LLMs modernos. A técnica central é a Regra de Pontuação de Rótulo Esperado (Expected Label Scoring Rule):

• O intervalo $[0, 1]$ é dividido em $N$ bins (caixas).
• Cada bin é associado a um token especial.
• Para evitar a perda de precisão da discretização, eles convertem o rótulo real em uma distribuição Gaussiana, que é então quantizada em uma distribuição sobre os tokens dos bins.
• O modelo é treinado para minimizar a divergência KL (Kullback-Leibler) entre a distribuição prevista e a distribuição alvo quantizada.

C. Consistência de Ranking (Rank Consistency)

Para melhorar a utilidade prática, eles introduzem o Rank Consistency Training usando uma função de perda de margem (margin loss). Isso garante que, se a proposição A é mais provável que a B, o modelo deve refletir essa ordem, mesmo que os valores absolutos exatos sejam difíceis de alcançar.

3. Principais Contribuições (Key Contributions)

1. Novo Framework de Treinamento: Uma abordagem que combina regressão baseada em tokens, dados sintéticos de alta qualidade e supervisão de ranking pareado.
2. Pipeline de Dados Robusto: Um método para transformar o raciocínio de LLMs em rótulos probabilísticos refinados através de filtragem por concordância e julgamento de agentes.
3. Avaliação Multidimensional: Uma suite de tarefas que vai além da simples comparação com humanos, incluindo:
   • Avaliação Intrínseca: Alinhamento com rótulos humanos/LLM.
   • Avaliação de Comparação: Capacidade de ordenar a plausibilidade de proposições.
   • Avaliação Estrutural: Capacidade de suportar inferência Bayesiana e propagação de incerteza em árvores de raciocínio (como Maieutic Prompting e BIRD).

4. Resultados (Results)

Os experimentos demonstraram que o modelo proposto supera significativamente os métodos de prompting zero-shot e modelos de codificação anteriores:

• Escalabilidade: O desempenho melhora conforme o tamanho do modelo base aumenta.
• Generalização de Domínio: A inclusão de dados sintéticos permitiu que o modelo performasse melhor em domínios distantes (ex: textos médicos ou blogs) e tarefas de raciocínio complexas (como o EntailmentBank).
• Raciocínio Estruturado: O modelo mostrou-se superior em frameworks de raciocínio que exigem propagação de incerteza, provando que estimativas locais precisas são fundamentais para sistemas de decisão complexos.
• Alinhamento Humano: O modelo conseguiu capturar a incerteza humana, produzindo distribuições multimodais quando a opinião humana está dividida (conforme mostrado na Figura 3 do artigo).

5. Significância (Significance)

Este trabalho é significativo porque move o campo do uso de LLMs como "caixas pretas" determinísticas para agentes capazes de quantificar a dúvida. Ao permitir que os modelos forneçam "as probabilidades" (as odds) de forma granular e calibrada, abre-se caminho para aplicações críticas onde a tomada de decisão sob incerteza é essencial, como em sistemas de suporte à decisão médica, jurídica ou científica, onde saber o quão incerto um modelo é tão importante quanto a resposta em si.