Resumo Técnico: Crenças Superficiais na Tomada de Decisão de LLMs

Declaração do Problema

Este artigo investiga se os Grandes Modelos de Linguagem (LLMs) possuem uma estrutura de decisão subjacente sistemática ou se apenas imitam a linguagem da crença ao fazer escolhas. Especificamente, aborda a lacuna entre o comportamento externo de um LLM (suas escolhas) e seus autorrelatos explícitos (as razões declaradas). Os autores questionam: os LLMs exibem prioridades estáveis, semelhantes a crenças, sobre atributos em configurações de decisão binária e, em caso afirmativo, essas prioridades são acessíveis através de elicitação verbal direta?

Baseando-se em uma perspectiva "superficialista" (Schwitzgebel, 2025), o artigo postula que a atribuição de crença deve depender de padrões estáveis no comportamento, e não na arquitetura interna. A hipótese central é que, embora as escolhas dos LLMs possam ser sistemáticas o suficiente para sustentar uma forma fraca de "crença superficial", as razões explícitas fornecidas pelos modelos podem rastrear apenas imperfeitamente os drivers reais dessas escolhas.

Metodologia

Design do Benchmark

Os autores construíram um benchmark sintético para tomada de decisão binária envolvendo:

• Estrutura: 400 problemas de treinamento e 100 de teste, cada um consistindo em duas opções (perfis) definidas por quatro atributos graduados (Baixo, Médio, Alto).
• Temas: Os atributos base são instanciados em três temas principais (Drogas, Política, Software) e dois temas de controle (substituindo um atributo por elementos irrelevantes: Simetria da Embalagem ou Espessura da Borda do Rótulo).
• Objetivos: Cada tema inclui um objetivo de otimização específico (ex: "Otimizar o desfecho geral do paciente em 5 anos").
• Variantes: Cada problema é renderizado em quatro variantes de ordem de prompt para testar a robustez contra a ordenação de atributos.
• Amostragem: Cada prompt é amostrado três vezes para medir a consistência.

Configuração Experimental

O estudo avalia quatro famílias de modelos (GPT-5-mini, GPT-5-nano, Qwen3-14B, Ministral-3-14B) em dois cenários: Não-Pensante (NT) e Pensante (T).

Três fluxos de avaliação distintos são comparados:

1. Relato Direto: O modelo é instruído a escolher uma opção e declarar o atributo individual mais importante para essa escolha.
2. Juiz Baseado em Pontuação: O modelo é instruído a atribuir uma pontuação de decisividade $[0, 1]$ a cada um dos quatro atributos. Essas pontuações são sinalizadas com base na direção da diferença do atributo e agregadas (soma sinalizada) para inferir uma escolha e um "driver" (o atributo com a maior contribuição absoluta sinalizada).
3. Modelo Comportamental: Uma regressão logística binomial é ajustada às escolhas do conjunto de treinamento. O modelo utiliza as diferenças visíveis de atributos como preditores para aprender pesos globais ($\beta$). No conjunto de teste, este modelo prevê a escolha e identifica o "driver revelado" — o atributo que contribui mais fortemente para a escolha real observada do modelo.

Métricas de Avaliação

A comparação primária é entre os drivers explicitamente elicitados (do Relato Direto e do Juiz Baseado em Pontuação) e o driver comportamentalmente inferido (da Regressão Logística). A concordância é medida em dois níveis:

• Nível de Escolha: O método elicitado prevê a mesma opção que o modelo comportamental?
• Nível de Atributo: O método elicitado identifica o mesmo "driver" que o modelo comportamental?

Contribuições Principais

1. Benchmark Sintético: Introdução de um benchmark de decisão binária controlado com atributos graduados, múltiplos temas e variantes de controle para isolar estruturas de decisão de ruídos semânticos.
2. Metodologia Operacional: Um framework para reconstruir prioridades de decisão locais via modelagem comportamental e comparar essas prioridades contra métodos de elicitação explícita (Relato Direto e Juiz Baseado em Pontuação).
3. Descobertas Empíricas: Uma demonstração sistemática de que, embora as escolhas dos LLMs sejam altamente previsíveis e estruturadas, as razões explícitas fornecidas pelos modelos (e até mesmo juízes baseados em pontuação) alinham-se apenas parcialmente com os drivers inferidos pelo comportamento.

Resultados

Predição de Escolha

O modelo comportamental prevê as escolhas de teste com alta precisão em todos os temas e modelos.

• Acurácia Agregada: 80,4% de concordância entre a escolha prevista pelo modelo comportamental e a escolha observada do modelo.
• Juiz Baseado em Pontuação: Alcança 71,7% de concordância com o alvo de escolha do modelo comportamental.
• Temas de Controle: Atributos irrelevantes são selecionados raramente (<2%), confirmando que os modelos não estão escolhendo aleatoriamente, mas respondendo a estruturas semanticamente significativas.

Recuperação de Atributos (A Descoberta Central)

Existe uma dissociação significativa entre a escolha e a razão declarada:

• Relato Direto: O atributo nomeado pelo modelo coincide com o driver revelado pelo modelo comportamental apenas 61,0% das vezes.
• Juiz Baseado em Pontuação: Coincide com o driver revelado 61,3% das vezes.
• Conclusão: Ambos os métodos explícitos fornecem apenas acesso parcial à estrutura de decisão. O "atributo mais importante" declarado pelo modelo frequentemente não se alinha com o atributo que matematicamente impulsiona sua escolha no modelo comportamental.

Robustez e Perturbação

• Reprodutibilidade: O Juiz Baseado em Pontuação é mais reproduzível entre as variantes de prompt do que os Relatos Diretos, porém não recupera o driver comportamental com maior precisão.
• Análise de Intervenção: A oclusão direcionada (remover ou neutralizar um atributo) mostra que atributos classificados com maior valor pelo modelo comportamental causam maiores interrupções tanto nas escolhas quanto nos atributos declarados. Isso confirma que o modelo comportamental está recuperando uma estrutura relevante para o processo de decisão real do modelo, mesmo que o modelo não consiga articular isso explicitamente.

Significância e Alegações

O artigo argumenta por uma "forma de crença superficial, fraca e local à decisão" em LLMs.

1. Estruturado, mas Opaco: As decisões dos LLMs não são arbitrárias; elas exibem uma estrutura local probabilística e sistemática sobre os atributos que permite uma previsão precisa. No entanto, essa estrutura não é totalmente transparente para o próprio raciocínio explícito do modelo.
2. Limitações do Autorrelato: A elicitação explícita (tanto direta quanto baseada em pontuação) falha em recuperar totalmente os drivers de decisão subjacentes. Os modelos agem como se fossem guiados por prioridades específicas, mas seu acesso verbal a essas prioridades é limitado e imperfeito.
3. Alegações Modestas sobre Crença: Os autores não alegam que os LLMs possuem "crença totalmente articulada" no sentido filosófico. Em vez disso, a evidência apoia uma visão onde o comportamento exibe padrões estáveis (justificando uma atribuição superficial de crença), mas carece da coerência interna ou autoconhecimento necessários para alegações mais fortes.
4. Reprodutibilidade vs. Alinhamento: O estudo destaca que uma maior reprodutibilidade na saída (ex: via juízes baseados em pontuação) não implica necessariamente um alinhamento mais próximo com a estrutura de decisão subjacente.

O artigo conclui que, embora os LLMs exibam "crenças superficiais" na forma de disposições comportamentais estáveis, estas são distintas das justificativas explícitas que geram, sugerindo um hiato entre o fazer e o dizer nas arquiteturas atuais de LLM.