Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

Resumo Técnico: Sensibilidade à Maximização da Utilidade Esperada Subjetiva

Definição do Problema
Avaliar a qualidade das decisões tomadas sob incerteza é notoriamente difícil quando os resultados rotulados são escassos, custosos ou confundidos pela sorte. A avaliação tradicional baseada em "rótulos" depende de uma chave externa de escolhas corretas ou resultados realizados. No entanto, tais chaves são frequentemente impraticáveis de construir (ex: em triagem de seguros ou domínios novos) e fundamentalmente falhas como medidas de qualidade de decisão (pois um bom resultado não garante uma boa decisão; os resultados dependem do acaso, não apenas do processo de decisão).

Este artigo propõe um framework de avaliação baseado em "consistência". Em vez de perguntar se um agente escolheu a opção "certa", pergunta se as escolhas do agente são coerentes com um padrão de racionalidade declarado: a Maximização da Utilidade Esperada Subjetiva (SEU). O objetivo é medir o grau em que as escolhas de um agente rastreiam o ranking de SEU, separando essa "sensibilidade" do conteúdo específico das crenças e utilidades do agente, e dos resultados que eles porventura realizem.

Metodologia
O artigo desenvolve um pipeline metodológico centrado em um modelo de escolha softmax aplicado a alternativas de valor de SEU.

1. O Modelo: O veículo central é uma regra softmax de Luce–McFadden onde a probabilidade de escolher a alternativa $r$ é proporcional a $\exp(\alpha V(r))$. Aqui, $V(r)$ é a utilidade esperada da alternativa, e $\alpha \ge 0$ é um escalar parâmetro de sensibilidade.

   • $\alpha = 0$: Escolha aleatória uniforme (insensível à utilidade).
   • $\alpha \to \infty$: Maximização de SEU determinística (perfeitamente sensível).
   • $\alpha$ intermediário: Uma medida graduada de quão proximamente as escolhas rastreiam a utilidade esperada.

2. Parametrização:

   • Crenças ($\beta$): Probabilidades subjetivas são geradas via um mapeamento linear-softmax a partir de vetores de características.
   • Utilidades ($\delta$): Utilidades são construídas a partir de incrementos ordenados com pontos finais fixos ($0$e$1$) para resolver a indeterminação afim.
   • Sensibilidade ($\alpha$): A principal quantidade de interesse, representando a disposição de um agente para agir sobre seus compromissos.

3. Dois Modelos:

   • Modelo $m_0$ (Apenas Escolhas sob Incerteza): Agentes escolhem entre alternativas com probabilidades subjetivas.
   • Modelo $m_1$ (Estendido com Escolhas de Risco): Agentes também escolhem entre alternativas com probabilidades objetivas (loterias). Isso permite uma identificação "livre de risco" das utilidades ($\delta$), já que as loterias objetivas não dependem do parâmetro de crença $\beta$.

4. Validação Computacional: Os autores implementam esses modelos em Stan e validam utilizando um workflow bayesiano rigoroso:

   • Verificações de Predição a Priori (Prior Predictive Checks): Garantir que os priors permitam um intervalo sensato de comportamentos.
   • Recuperação de Parâmetros: Simular dados de parâmetros conhecidos para testar se o modelo consegue recuperá-los.
   • Calibração Baseada em Simulação (SBC): Verificar se as distribuições a posteriori estão calibradas (os ranks dos parâmetros verdadeiros são uniformes).

Principais Contribuições e Achados

1. Lacuna entre Identificabilidade e Estimabilidade
O artigo fornece uma análise de identificabilidade formal que revela uma distinção crítica entre identificabilidade teórica e estimabilidade prática em tamanhos de amostra realistas.

• Para $\alpha$ (Sensibilidade): $\alpha$ é identificável a partir do vetor de utilidade esperada $\eta$ (dado valores não constantes). Na prática, $\alpha$ é recuperado com alta precisão e baixo viés, mesmo quando outros parâmetros são mal identificados.
• Para $\delta$ (Utilidades): No modelo de incerteza exclusiva ($m_0$), as crenças ($\beta$) e as utilidades ($\delta$) são apenas fracamente informadas pelos dados; elas trocam informações entre si, resultando em posteriors amplas e correlacionadas.
• Limitação do Modelo Estendido ($m_1$): Embora adicionar escolhas de risco identifique teoricamente $\delta$ (ao quebrar o acoplamento $\beta$-$\delta$), o artigo constata que, em tamanhos de amostra realistas, essa identificabilidade teórica resulta em ganho prático negligenciável. A redução na largura do intervalo de confiança para $\delta$ é inferior a 1%, e o RMSE permanece inalterado.
• Precisão de $\alpha$: Contrariando a intuição de que tipos de dados "melhores" (risco vs. incerteza) melhoram a precisão, o estudo descobre que a precisão de amostra finita para $\alpha$ é impulsionada pela quantidade de dados, não pelo tipo de escolha. Dobrar o número de escolhas sob incerteza aumenta significativamente a nitidez das estimativas de $\alpha$, enquanto substituir por um número igual de escolhas de risco não proporciona nenhum ganho de precisão detectável.

2. A Demarcação Marginal-SBC
Os autores introduzem um insight diagnóstico crucial: passagens marginais em SBC não implicam calibração conjunta da posterior.

• As verificações padrão de SBC (uniformidade de rank) passaram para todos os parâmetros ($\alpha, \beta, \delta$) em ambos os modelos.
• No entanto, a posterior conjunta para $(\beta, \delta)$ permaneceu fracamente contraída e altamente correlacionada (fracamente informada).
• Conclusão: Um modelo pode ser perfeitamente calibrado marginalmente (cada parâmetro parece correto isoladamente) enquanto a distribuição conjunta permanece não resolvida. O SBC marginal é cego para a fraca informatividade conjunta.

3. Aplicação Ilustrativa a LLMs
O framework foi aplicado de ponta a ponta aos dados de tomada de decisão de GPT-4o e Claude 3.5 Sonnet em duas tarefas: triagem de sinistros de seguros e jogos de urnas estilo Ellsberg.

• Workflow: O pipeline recuperou com sucesso o $\alpha$ para escolhas reais de LLM, com diagnósticos confirmando a adequação do modelo (exceto pela fraca inferência esperada nos parâmetros de incundância $\beta, \delta$).
• Resultos:
  • GPT-4o: Mostrou um declínio estruturado e monotônico na sensibilidade ($\alpha$) conforme a temperatura de amostragem aumentava em ambas as tarefas. O efeito foi estatisticamente robusto ($P(\text{slope} < 0) \approx 0.99$).
  • Claude 3.5: Não mostrou um padrão monotônico em nenhuma das tarefas.
  • Ressalva Crucial: O artigo afirma explicitamente que a falta de um padrão para o Claude é um nulo inconclusivo, não uma ausência provada de efeito. A resolução do estudo (efeito mínimo detectável) foi insuficiente para descartar um efeito do tamanho do GPT-4o para o Claude. O instrumento "declina de apoiar" um efeito em vez de certificar sua ausência.
• Interpretação: Os resultados apoiam uma afirmação comparativa dentro do design (GPT-4o é mais sensível ao SEU que o Claude sob estas condições específicas), mas não apoiam afirmações absolutas sobre qual modelo é "mais racional" em um contexto livre de contexto.

Significância e Escopo
O artigo posiciona-se como uma contribuição metodológica em vez de um avanço substantivo na ciência do comportamento de LLMs ou teoria da decisão.

• Conceitual: Fornece uma explicitação principista da "sensibilidade à maximização de SEU" como uma disposição graduada e mensurável, distinta de crenças, utilidades e resultados.
• Metodológica: Demonstra que a análise de identificabilidade é necessária, mas insuficiente para desenhar experimentos; a precisão de amostra finita depende da quantidade de dados e de especificidades do design, não apenas da identificabilidade teórica. Também esclarece as limitações do SBC marginal no diagnóstico da geometria da posterior conjunta.
• Limitações: O artigo evita explicitamente adjudicar questões normativas (ex: se o SEU é o padrão correto) ou testar a aversão à ambiguidade (o modelo absorve a ambiguidade em crenças ou ruído). Não pretende medir a "racionalidade" em um sentido absoluto, apenas a conformidade a um padrão declarado dentro de um design específico.

Em suma, o artigo oferece um framework transparente e reutilizável para avaliar tomadores de decisão contra um padrão de racionalidade, validando rigorosamente o instrumento de medição enquanto reporta explicitamente suas ressalvas de amostra finita e limites de resolução.