Benchmarking Large Language Model Rationality Using Measurement Axioms

Resumo Técnico: Avaliação de Referência da Racionalidade de Grandes Modelos de Linguagem Usando Axiomas de Medição

Definição do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como tomadores de decisão em domínios de alto risco, como risco de crédito, saúde e políticas públicas, os paradigmas de avaliação atuais permanecem insuficientes. Os benchmarks existentes priorizam a precisão e o embasamento factual, muitas vezes ignorando as propriedades estruturais necessárias para uma tomada de decisão coerente e interpretável. Em ambientes realistas que carecem de uma "verdade fundamental" clara, a precisão do benchmark falha em capturar se o processo de decisão de um modelo é internamente consistente. Especificamente, há uma carência de frameworks formais para determinar se as preferências geradas por LLMs satisfazem as condições estruturais — como a transitividade — necessárias para uma agência racional e representação de utilidade. Sem a transitividade, as preferências não podem ser ordenadas de forma coerente, o que compromete a interpretabilidade dos outputs dos modelos e complica o alinhamento com os valores humanos.

Metodologia
Os autores introduzem um framework de teoria da medição fundamentado na teoria da utilidade para avaliar a tomada de decisão da IA. O estudo define um sistema de decisão como racional se ele admitir uma função de utilidade, uma condição necessária pela axiomatização da transitividade de preferência. Para lidar com a natureza não determinística dos outputs dos LLMs, os autores empregam a extração direta da log-probabilidade do primeiro token em vez de depender de texto gerado ou parsing post-hoc. Isso permite a recuperação de probabilidades de escolha determinísticas para qualquer dado input.

O estudo avalia 20 LLMs distintos (incluindo as séries Llama da Meta, Qwen da Alibaba, MistralAI e Gemma do Google) através de três manipulações experimentais:

1. Temperatura de Geração: Testada em 10 configurações (0.2 a 2.0) para determinar se o aumento da estocasticidade desestabiliza a estrutura lógica das preferências.
2. Memória Contextual: Compara condições de "Ausência de Memória" (ensaios independentes) contra condições de "Memória Total" (onde o modelo recebe um registro de suas 10 escolhas mais recentes) para avaliar se o histórico de contexto estabiliza ou degrada a consistência de preferência.
3. Formato da Pergunta: Variou a apresentação de probabilidade (fração vs. porcentagem) e valor monetário (numérico, prefixo "$" ou sufixo "dólares") através de seis formatos para testar efeitos de enquadramento (framing effects) na coerência estrutural.

Os estímulos consistiram em cinco conjuntos de apostas adaptados de experimentos de transitividade humana (Tversky, 1969; Davis-Stober et al.), compreendendo 20 tentativas de escolha por conjunto. Os autores avaliaram a adesão a quatro modelos probabilísticos de transitividade:

• Transitividade Estocástica Fraca (WST): A condição menos restritiva ($P_{AB} \ge 0.5 \land P_{BC} \ge 0.5 \implies P_{AC} \ge 0.5$).
• Transitividade de Certeza Média (MCT): Uma condição mais estrita ($P \ge 0.75$).
• Transitividade de Alta Certeza (HCT): Uma condição de alta certeza ($P \ge 0.9$), projetada para agentes que produzem computações de probabilidade determinísticas.
• Modelo de Mistura de Preferência Transitiva (MMTP): Permite a escolha estocástica via amostragem sobre preferências determinísticas transitivas.

Principais Resultados

• Adesão à Transitividade: A adesão ao modelo menos restritivo (WST) foi estável entre as temperaturas, mas variou significativamente conforme o tipo de modelo, com modelos ajustados por instrução (instruction-tuned) geralmente superando os modelos base. No entanto, a adesão a modelos mais estritos (MCT e HCT) foi próxima de zero para quase todos os modelos, com apenas algumas variantes de 70B ajustadas por instrução mostrando contagens não nulas que declinavam conforme a temperatura aumentava.
• Efeitos de Temperatura: Embora a adesão ao MMTP tenha aumentado ligeiramente com temperaturas mais altas, os autores argumentam que isso é provavelmente um artefato matemático das probabilidades se comprimindo em direção a 0.5 (tentativa aleatória) em vez de uma melhoria na coerência.
• Formato da Pergunta: A adesão foi modestamente maior quando as probabilidades foram apresentadas como porcentagens em vez de frações. A representação do valor monetário teve impacto negligenciável.
• Memória Contextual: Contrariando a hipótese de que o contexto poderia estabilizar as preferências, fornecer uma memória de escolhas anteriores diminuiu a adesão à WST e ao MMTP. Além disso, a ordem específica das escolhas anteriores introduziu variabilidade significativa, com alguns modelos mostrando contagens de adesão abrangendo todo o intervalo possível (0 a 30) dependendo da sequência.
• Padrões de Intransitividade: Quando ocorreram violações, elas não foram aleatórias. Muitos modelos exibiram uma "intransitividade alinhada ao humano", replicando os padrões de semi-ordem lexicográfica documentados na tomada de decisão humana (Tversky, 1969). No entanto, a taxa de violação em LLMs foi substancialmente maior do que em respondentes humanos.

Principais Contribuições

1. Framework Formal: O artigo fornece um framework de medição principista para avaliar a racionalidade da IA que vai além da precisão para avaliar a coerência estrutural.
2. Rigor Metodológico: Ao utilizar a extração direta de log-probabilidade, o estudo evita o ruído da geração de texto estocástica para medir as probabilidades de escolha intrínsecas, oferecendo um padrão reprodutível para avaliar a consistência de preferência.
3. Benchmarking Sistemático: O estudo varia sistematicamente parâmetros operacionais (temperatura, memória, formato) para demonstrar como esses fatores impactam a estrutura lógica das decisões dos LLMs, revelando que os modelos atuais carecem de representações de utilidade estáveis.
4. Análise Comparativa: O trabalho oferece uma comparação estrutural direta entre LLMs e a tomada de decisão humana, destacando que, embora os LLMs possam mimetizar padrões intransitivos humanos, eles o fazem com uma frequência significativamente maior e menos estabilidade.

Significância e Alegações
Os autores alegam que os axiomas de medição oferecem uma base complementar para avaliar sistemas de IA, distinta de e necessária ao lado da precisão do benchmark. O estudo demonstra que os LLMs atuais falham em satisfazer as condições estruturais exigidas para uma tomada de decisão coerente, particularmente sob critérios de racionalidade mais estritos (MCT, HCT) e quando expostos à memória contextual.

O artigo afirma modestamente que seu framework avalia a estrutura dos outputs, não os processos cognitivos internos dos modelos. Conclui que, embora os LLMs possam parecer tomar decisões estruturadas, sua incapacidade de manter preferências consistentes sob diferentes condições indica a ausência de uma representação de utilidade estável. Os autores sugerem que este framework pode ser estendido para outros domínios (ex: triagem médica, trade-offs morais) e outros axiomas de escolha (ex: monotonicidade), servindo como um passo fundamental em direção a uma avaliação orientada à medição da racionalidade de agentes artificiais.