Resumo Técnico: OptimismBench

Definição do Problema

Modelos de linguagem de grande escala (LLMs) são cada vez mais implantados como auxiliares de decisão, onde seus julgamentos de probabilidade influenciam diretamente escolhas subsequentes. No entanto, os frameworks de avaliação existentes falham em detectar um tipo específico de erro sistemático: o viés direcional. Métricas de calibração padrão (ex: Erro de Calibração Esperada) agregam erros não assinados, o que significa que um modelo uniformemente otimista (superestimando resultados positivos) e um uniformemente pessimista (subestimando-os) podem gerar pontuações de calibração idênticas. Além disso, tarefas de previsão naturalistas muitas vezes carecem de probabilidades de verdade fundamental (ground-truth), tornando difícil distinguir entre um modelo que é simplesmente impreciso e um que possui uma "inclinação" sistemática para valências positivas ou negativas.

O artigo postula que os LLMs podem exibir uma distorção dependente da valência semelhante ao viés de otimismo humano (Weinstein, 1980; Sharot, 2011), onde os modelos superestimam sistematicamente a probabilidade de resultados positivos e subestimam os negativos, ou vice-versa. Esse viés não foi medido diretamente porque trabalhos anteriores sobre coerência probabilística (ex: Zhu e Griffiths, 2025) relataram apenas violações não assinadas, sem decompor a direção do erro.

Metodologia: OptimismBench

Para abordar essa lacuna, os autores introduzem o OptimismBench, um benchmark projetado para detectar viés direcional usando pares invertidos.

Mecanismo Central: Pares Invertidos

Para cada cenário, o modelo é solicitado a estimar duas probabilidades complementares:

1. $P(\text{sucesso})$ (Enquadramento positivo)
2. $P(\text{falha})$ (Enquadramento negativo)

Um modelo perfeitamente consistente deve produzir estimativas que somem 100. O benchmark define uma métrica de Skew (Assimetria) para quantificar a assimetria direcional:
$$\text{Skew}_i = s^+_i - (100 - s^-_i)$$
Onde $s^+_i$ e $s^-_i$ são as respostas inteiras do modelo (0–100) para as versões positiva e negativa do cenário $i$.

• Skew Positivo: Indica viés de otimismo (superestimando o sucesso em relação à falha).
• Skew Negativo: Indica viés de pessimismo.
• Skew Zero: Indica consistência interna.

A métrica é decomposta em componentes de valência ($\delta^+$ e $\delta^-$) para distinguir entre "sobreafirmação composta" (inflar ambos os resultados) e o otimismo/pessimismo direcional clássico.

Design Experimental

• Dataset: 60 cenários controlados de pares invertidos em 6 domínios (cotidiano, acadêmico, projeto, negócios, política, saúde). Os cenários são culturalmente neutros e carecem de taxas de base declaradas para forçar o julgamento probabilístico em vez da recuperação de informações.
• Escala: O dataset liberado inclui 3.870 itens em 10 idiomas.
• Modelos Avaliados: 16 modelos de 8 provedores (OpenAI, Anthropic, Google, Alibaba, DeepSeek, Mistral, Meta, Zhipu), variando de níveis pequenos a fronteira (frontier).
• Tracks (Trilhas):
  • Track A (Controle de Calibração): Cenários com taxas de base explícitas para verificar se os modelos conseguem reportar probabilidades conhecidas (esperando Skew $\approx$ 0).
  • Track B (Primária): Cenários naturalistas sem taxas de base declaradas.
  • Tracks C & D: Trilhas de recomendação e saliência para testar se o viés persiste através de diferentes enquadramentos de elicitação.
• Intervenções: O estudo emprega intervenções fatoriais incluindo manipulação narrativa (adicionando contexto positivo/negativo), mudanças de perspectiva (primeira/segunda/terceira pessoa), variações de temperatura e avisos explícitos de autodesbiamento (self-debiasing).

Principais Resultados

1. Viés Direcional Universal

Todos os 16 modelos avaliados exibem viés direcional significativo ($p < 0.002$).

• Otimismo: 14 modelos são otimistas, com valores de Skew variando de +4,2 a +16,6.
• Pessimismo: Apenas os modelos de nível fronteira da Anthropic (Opus 4.6: -5,1, Sonnet 4.6: -7,7) exibem viés pessimista.
• Independente de Provedor: O viés abrange APIs comerciais, provedores chineses e modelos europeus, indicando que não é específico dos dados de treinamento de um único provedor.

2. O Papel do Pós-Treinamento (Alinhamento)

A direção do viés é determinada pelo pós-treinamento (alinhamento), e não apenas pelo pré-treinamento ou arquitetura.

• Probes Controlados: Comparar pares correspondentes base-versus-chat em quatro famílias (Qwen, Llama, Gemma, Mistral) revela mudanças específicas por família:
  • Qwen: O alinhamento desloca o viés para menos otimismo (deslocamento negativo em todos os 5 pares).
  • Llama: O alinhamento amplifica o otimismo (deslocamento positivo em todos os 4 pares).
  • Gemma/Mistral: Mostram pilotos de par único consistentes com essas tendências.
• Gradiente Anthropic: Dentro da Anthropic, o modelo leve Haiku 4.5 é otimista (+6,1), enquanto o maior, Opus e Sonnet, são pessimistas. Essa não-monotonicidade descarta a hipótesia de que "modelos maiores são menos enviesados", sugerindo que as receitas de alinhamento variam por nível (tier).

3. Robustez e Estabilidade

• Prompt e Temperatura: A direção do viés é preservada através de variações de prompt, temperaturas (0,7 vs. 1,0) e mudanças de perspectiva (rejeitando a sicofancia como causa primária).
• Autodesbiamento: Avisos explícitos sobre viés de otimismo reduzem ligeiramente a magnitude, mas não eliminam a direção, sugerando que o viés é uma propriedade profunda das representações aprendidas pelo modelo.
• Suscetibilidade Narrativa: Embora adicionar contexto positivo/negativo desloque as estimativas em cerca de 20 pontos percentuais, a direção do viés subjacente (otimismo vs. pessimismo) permanece inalterada.

4. Variância Cross-Lingual e de Domínio

• Identidade do Modelo Domina: A variância entre modelos é 4,7× maior do que a variância entre idiomas. O modelo específico utilizado importa muito mais do que o idioma que ele está falando.
• Modulação de Domínio: Embora a magnitude do viés varie por domínio (ex: hábitos de saúde mostram a maior dispersão), a direção do viés é estável entre os domínios.

5. Coerência Probabilística

• Conjunção vs. Dose-Resposta: Os modelos mostram alta coerência em axiomas simples de conjunção ($P(A) \ge P(A \cap B)$), mas altas taxas de violação (27–47%) em monotonicidade de dose-resposta (atualização consistente através de escadas de evidência). O alinhamento melhora a coerência de passo único, mas não corrige o raciocínio monotônico de múltiplos passos.

Significância e Alegações

O artigo afirma que o viés de probabilidade direcional é uma propriedade universal, mensurável e estável dos atuais LLMs, distinta do erro de calibração.

1. Efeito Colateral do Alinhamento: O estudo identifica a distorção de probabilidade dependente de valência como um efeito colateral anteriormente não mensurado do alinhamento. A direção deste viés (otimismo vs. pessimismo) é definida pelos pacotes de pós-treinamento específicos de cada família.
2. Auditabilidade: O OptimismBench fornece uma métrica assinada (Skew) que permite aos praticantes auditarem modelos para viés direcional sem a necessidade de probabilidades de verdade fundamental.
3. Dependência de Enquadramento de Tarefa: Crucialmente, o artigo observa que o viés não é um único declínio latente. Enquanto o enquadramento de probabilidade (Track B) gera viés direcional consistente, o enquadramento de recomendação (Track C) pode reverter o sinal (elicitando cautela), e o enquadramento de saliência (Track D) elicia otimismo uniforme. Isso implica que os pipelines de downstream que herdam esses modelos herdarão a inclinação específica do enquadramento utilizado.
4. Implicação Prática: Para sistemas de previsão e consultoria, a identidade do modelo e seu histórico de alinhamento específico são os principais determinantes do viés, não o idioma ou o domínio específico. Os praticantes devem perfilar os modelos por tipo de tarefa, em vez de assumir uma direção de viés uniforme.

Os autores concluem que, embora o alinhamento torne os modelos mais úteis, ele simultaneamente inclina seus julgamentos de probabilidade, e essa inclinação é herdada por padrão em aplicações de downstream. O benchmark e o dataset foram liberados para permitir a auditoria de viés direcional por modelo.