Resumo Técnico: BayesBench: Avaliando Trajetórias de Crença de LLMs sob Acúmulo de Evidências em Múltiplos Turnos

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em configurações conversacionais de múltiplos turnos onde a evidência chega sequencialmente. A tomada de decisão racional em tais ambientes exige que o agente infira quantidades não observadas (variáveis latentes) que regem o ambiente e atualize crenças sobre elas à medida que novas evidências se acumulam. No entanto, as avaliações padrão tipicamente colapsam esse processo em um formato de turno único, fornecendo todas as informações de uma vez e pontuando apenas a resposta final. Essa abordagem deixa o processo dinâmico de atualização de crenças sem exame. Há uma falta de benchmarks controlados que meçam diretamente o quão próxima a trajetória de crença de um LLM está de um raciocinador Bayesiano racional conforme a evidência se acumula ao longo de múltiplos turnos.

Metodologia

Os autores introduzem o BayesBench, um conjunto de benchmarks projetado para sondar a atualização de crenças em múltiplos turnos através de três tarefas Bayesianas progressivamente complexas instanciadas em quatro ambientes. O framework de avaliação distingue entre inferência latente (estimativa de quantidades ocultas) e predição descendente (uso dessas estimativas para prever resultados).

Configuração Experimental

• Tarefas:
  1. Estimativa Bayesiana: Inferir um parâmetro desconhecido a partir de evidências i.i.d. sequenciais.
  2. Predição Bayesiana: Inferir uma variável latente para guiar uma predição descendente.
  3. Predição Bayesiana com Enquadramento Latente: Observar evidências filtradas através de um enquadramento de persona de usuário (estilo de comunicação), exigindo inferência conjunta sobre o estado latente e o enquadramento.
• Ambientes:
  1. Lançamento de Moeda (Tarefa 1): Estimar o viés $\Theta$ de uma moeda a partir de uma sequência de lançamentos. Uma posterior Bayesiana de forma fechada está disponível para comparação.
  2. Sistema de Recomendação (Tarefa 2): Inferir um "tipo" de usuário a partir de uma sequência de avaliações de filmes para prever uma avaliação para um filme retido. Uma posterior Bayesiana de forma fechada está disponível.
  3. Julgamento Social (Tarefa 3): Predizer o veredito de uma comunidade do Reddit (YTA/NTA) baseado em um post de conflito social. O post é decomposto em segmentos de storyboard e apresentado em diferentes estilos de comunicação (Neutro, Concedente, Defensivo). Não existe posterior de forma fechada; a avaliação depende de verificações de invariância e auditorias comportamentais.
  4. Triagem Médica (Tarefa 3): Avaliar a urgência clínica (Emergência, Urgente, Observação, Rotina) baseando-se em relatórios de sintomas do paciente. Os relatórios são estilizados por perfis de comunicação (Preciso, Hipocondríaco, Minimizador, Cybercondríaco). Não existe posterior de forma fechada.
• Modelos: Sete LLMs de pesos abertos e instrução-ajustados, variando de 3B a 70B parâmetros (famílias LLaMA 3 e Qwen 2.5).
• Formatos de Entrega:
  • Observação Passiva: A evidência é apresentada sequencialmente com reconhecimentos neutros.
  • Engajamento Ativo: Um usuário simulado (alimentado por um LLM) interage com o modelo, revelando evidências em um estilo conversacional ditado por uma persona específica.
• Métricas:
  • Distância de Variação Total (TVD): Mede a divergência entre a distribuição elicitada pelo modelo e a referência Bayesiana de forma fechada (para Tarefas 1 e 2).
  • Erro Médio Absoluto (MAE): Mede o erro entre a média da posterior do modelo e a referência/verdade fundamental.
  • Auditorias Comportamentais: Na Tarefa 3, um avaliador de terceiros audita as respostas do modelo para comportamentos específicos (ex: sicofancia, contra-concessão) em relação à evidência.

Contribuições Principais

1. Suíte BayesBench: Um novo conjunto de benchmarks organizado ao longo de três tarefas Bayesianas estruturadas, instanciadas em quatro ambientes. Dois ambientes fornecem referências Bayesianas tratáveis de forma fechada, enquanto os outros utilizam pipelines de simulação de usuário de múltiplos turnos para controlar formatos de entrega e estilos de comunicação.
2. Avaliação Empírica de Trajetórias de Crença: Uma avaliação de sete LLMs através desses ambientes, identificando dinâmicas recorrentes em como os modelos acumulam, calibram e utilizam evidências ao longo de múltiplos turnos.
3. Identificação do Gap de Inferência-Predição: A demonstração de que trajetórias de crença intermediárias expõem desvios da atualização de crença racional que a precisão do turno final sozinha pode perder. Especificamente, o artigo destaca um gap entre a capacidade de um modelo de inferir estrutura latente e sua capacidade de usar essa inferência para atualizar crenças sobre resultados de forma racional.

Principais Resultados

1. A Inferência Latente Melhora com a Escala

Os modelos demonstram a capacidade de inferir estrutura latente a partir do acúmulo de evidências, e essa capacidade se fortalece com o tamanho do modelo.

• Lançamento de Moeda: Modelos maiores separam vieses de moeda de forma mais clara que modelos menores, embora frequentemente extrapolem a posterior Bayesiana, tornando-se excessivamente confiantes (empurrando as predições para 0 ou 1) mesmo quando a referência permanece moderada.
• Sistema de Recomendação: Modelos maiores recuperam tipos de usuários de forma mais precisa a partir de padrões de avaliação, mesmo quando características semânticas (títulos de filmes/gêneros) são anonimizadas.
• Triagem Médica: Modelos maiores tornam-se mais confiantes na inferência de estilos de comunicação de pacientes (ex: distinguir Hipocondríaco de Minimizador) conforme a evidência se acumula, atingindo ~0,80 de probabilidade no perfil real até o meio da conversa.

2. O Gap Entre Inferência e Predição

Uma melhor inferência latente não se traduz de forma confiável em predições descendentes calibradas.

• Sobre-atualização e Extremos: Na tarefa da moeda, modelos maiores realizam sobre-atualização, empurrando as predições para os extremos. Na triagem médica, os modelos aguçam as predições para rótulos extremos (Emergência, Rotina), mas lutam com rótulos intermediários (Urgente, Observação), frequentemente empurrando casos ambíguos para os extremos.
• Desempenho Condicional: O condicionamento explícito das predições descendentes na latente inferida (ex: "Dado que o usuário é do Tipo X, qual é a avaliação?") melhora o desempenho para alguns modelos nas tarefas de recomendação e médica. No entanto, os modelos ainda falham em traduzir de forma confiável sua estrutura latente inferida em predições incondicionais precisas.

3. Engajamento Ativo e Viés

O engajamento ativo com um usuário em uma conversa simulada introduz vieses persistentes não presentes na observação passiva.

• Julgamento Social: O engajamento ativo revela um viés persistente pró-usuário. Os modelos atribuem probabilidades menores de que o autor do post esteja errado em comparação com a observação passiva. Embora modelos maiores reduzam esse viés conforme a evidência se acumula, ele não desaparece.
• Mudanças Comportamentais: Estilos de comunicação elicitem diferentes padrões de resposta. Usuários concedentes elicitam mais reafirmação (contra-concessão); usuários defensivos elicitem mais simpatia pelo autor do post. Essas mudanças comportamentais ocorrem mesmo quando o veredito final é estatisticamente invariante ao estilo.
• Triagem Médica: O engajamento ativo degrada a calibração da avaliação de urgência para a maioria dos modelos, com o gap fechando apenas para os maiores modelos (Qwen-32B, LLaMA-70B).

Significância e Alegações

O artigo alega que o BayesBench fornece uma maneira controlada de estudar a interação de múltiplos turnos de LLMs como um problema de atualização de crença. O principal achado é um gap de alinhamento: embora a escala melhore a capacidade de um modelo de identificar estruturas ocultas relevantes (inferência latente), ela ainda não garante de forma confiável que essa inferência seja traduzida em predições descendentes calibradas e racionais.

Os autores enfatizam que trajetórias de crença intermediárias são críticas para o diagnóstico; a precisão do turno final sozinha pode mascarar falhas sistemáticas em como os modelos acumulam e usam evidências. O trabalho motiva pesquisas futuras em raciocínio de múltiplos turnos que acumule evidências de forma mais confiável e métodos de pós-treinamento que tornem a integração latente implícita mais robusta, garantindo que as melhorias do condicionamento explícito se estendam às interações conversacionais ordinárias. Os autores permanecem modestos, observando que sua avaliação está vinculada a formatos de sondagem específicos e variáveis latentes controladas, e que usuários do mundo real podem exibir estruturas latentes mais complexas, contínuas ou mistas.