Resumo Técnico: "Os LLMs Ainda Não Devem Receber Crédito por Explicação de Decisão"

Declaração do Problema

O artigo aborda uma questão metodológica crítica no campo emergente do uso de Modelos de Linguagem de Grande Escala (LLMs) para modelagem de decisão humana. Embora os LLMs sejam cada vez mais utilizados como participantes sintéticos, substitutos comportamentais e ferramentas de geração de teoria, há uma tendência a confundir três afirmações científicas distintas: predição de decisão, geração de racionalização e explicação de decisão.

O problema central é que a literatura atual frequentemente trata a predição comportamental precisa, a geração de racionalizações em linguagem natural plausíveis e traços de raciocínio condicionados ao resultado como evidência suficiente de que um LLM explica por que os humanos decidem como decidem. O autor argumenta que essa confusão arrisca uma redefinição prematura do progresso explicativo. Especificamente, permite que textos persuasivos (narração) sejam confundidos com evidência cognitiva (rastreamento da estrutura real de geração de decisão), interpretando erroneamente o progresso na predição como progresso na explicação.

Metodologia e Estrutura

O artigo não propõe novos dados experimentais ou um algoritmo específico. Em vez disso, emprega uma estrutura conceitual e metodológica para reavaliar evidências existentes. A metodologia consiste em:

1. Diferenciação de Afirmações: O autor estabelece uma "escada de crédito" que separa três afirmações distintas, cada uma carregando um ônus probatório diferente:

   • Predição de Decisão: O modelo captura padrões no que as pessoas escolhem.
   • Geração de Racionalização: O modelo produz relatos coerentes, plausíveis ou psicologicamente alfabetizados sobre as escolhas.
   • Explicação de Decisão: O relato do modelo é justificado como rastreamento da estrutura relevante que gerou, restringiu ou moldou causalmente a decisão.

2. Reavaliação de Evidências: O artigo revisa sistematicamente padrões de evidência comuns na pesquisa atual de decisão com LLMs (ajuste comportamental, racionalizações plausíveis e traços úteis para predição) para determinar qual afirmação eles realmente sustentam. Argumenta-se que o ajuste comportamental sustenta a predição, a linguagem plausível sustenta a geração de racionalização e, mesmo traços úteis para predição, frequentemente falham em distinguir explicação de "racionalização de suporte à predição".

3. Proposta de um "Padrão de Ponte": Para avançar de afirmações mais fracas (predição/geração de hipóteses) para a afirmação mais forte de explicação de decisão, o artigo propõe um padrão de quatro partes que trabalhos futuros devem satisfazer.

Contribuições Principais

1. A Escada de Crédito e Ônus Probatórios

A contribuição primária é a distinção formal entre predição, narração e explicação. O artigo demonstra que:

• Ajuste comportamental (ex.: precisão na predição de escolhas) não identifica o mecanismo que produz a escolha; múltiplas teorias podem ajustar-se aos mesmos dados.
• Racionalizações plausíveis (ex.: texto fluente explicando uma escolha) não estabelecem rastreamento de fonte; LLMs podem gerar texto psicologicamente alfabetizado que corresponde a um resultado sem rastrear o processo de decisão real.
• Traços úteis para predição (ex.: Cadeia de Pensamento) são mais fortes, mas ainda insuficientes. Um traço pode ser fiel à computação interna do modelo ou otimizado para um sinal de recompensa sem ser fiel à estrutura de geração de decisão humana.

2. O Padrão de Ponte para Explicação de Decisão

O artigo propõe um padrão mínimo necessário para creditar um LLM com explicação de decisão. Este padrão exige quatro condições:

• Especificar o Alvo Explicativo: A afirmação deve definir exatamente qual estrutura está sendo rastreada (ex.: um parâmetro específico como sensibilidade à perda, uma regra como escolha lexicográfica, um processo como atenção ou um fator contextual como enquadramento). Sem um alvo específico, a afirmação é intestável.
• Discriminar Contra Racionalizadores Mais Fracos: A evidência deve distinguir a conta proposta de alternativas mais fracas, tais como:
  • Modelos apenas preditores.
  • Sistemas preditor-plus-narrador (onde o narrador recebe o resultado e gera uma razão post-hoc).
  • Geradores de racionalização condicionados ao resultado.
  • Narradores de recuperação de protocolo (reproduzindo explicações de livros didáticos).
  • Geradores otimizados para juízes (selecionados pela plausibilidade em vez da verdade).
• Usar Validação Adequada ao Alvo: A validação deve ser sensível ao alvo específico, não apenas à escolha final. Isso inclui medidas de processo (ex.: tempos de reação, rastreamento ocular), intervenções (ex.: manipulações contrafactuais de pontos de referência) ou medições independentes de construtos. A evidência deve mostrar que a conta prevê como as decisões mudam quando a estrutura alegada muda.
• Delimitar o Escopo: O crédito explicativo deve ser delimitado à tarefa específica, população, domínio e nível de análise testados. Generalizar de uma tarefa específica de escolha arriscada para "explicação de decisão humana" é injustificável sem evidências mais amplas.

3. Padrão de Relato

O artigo introduz um modelo de relato (Tabela 2) para tornar a atualização probatória inspecionável. Os pesquisadores devem relatar explicitamente o nível da afirmação, o alvo explicativo, a evidência adequada ao alvo, as alternativas mais fracas consideradas, os resultados de discriminação e o escopo do crédito.

Resultados e Descobertas

Os "resultados" do artigo são conclusões analíticas sobre o estado do campo:

• A Evidência Atual é Supercreditada: A maioria dos estudos existentes fornece evidências para predição de decisão e geração de racionalização, e ocasionalmente para geração de hipóteses explicativas. No entanto, raramente fornecem a "evidência de ponte" necessária para sustentar a afirmação mais forte de explicação de decisão.
• A Lacuna é Metodológica, Não Necessariamente Técnica: A falha em explicar não ocorre porque os LLMs não podem explicar, mas porque os designs de avaliação atuais não isolam a explicação da racionalização.
• Geração de Hipóteses é Valiosa: Os LLMs são reconhecidos como ferramentas poderosas para gerar mecanismos candidatos (ex.: sugerir que "sensibilidade à perda" pode ser um fator), mas isso permanece uma afirmação de geração de hipóteses até ser testada contra o padrão de ponte.

Significado e Afirmações

O artigo afirma que adotar essa posição é crucial para a integridade científica da modelagem de decisão humana. Seu significado reside em:

1. Prevenir Redefinição Prematura: Impede que o campo redefina "explicação" meramente como "narração persuasiva" ou "predição precisa", o que diluiria o valor científico das afirmações explicativas.
2. Calibrar o Crédito: Defende um princípio de "calibração de crédito": os LLMs devem receber crédito pela afirmação mais forte que sua evidência justifica, e não mais forte. Isso permite que os LLMs sejam valorizados pelo que atualmente fazem bem (predizer, narrar, hipotetizar) sem atribuir falsamente capacidades que ainda não demonstraram.
3. Melhorar Pesquisas Futuras: Ao impor o padrão de ponte, o artigo argumenta que a pesquisa baseada em LLMs se deslocará para testes mais nítidos e mais diagnósticos do comportamento humano. Isso transforma os LLMs de "contadores de histórias persuasivos" em instrumentos confiáveis para descobrir, testar e comunicar explicações genuínas do comportamento humano.

O artigo conclui modestamente, observando que oferece um padrão para justificar afirmações em vez de uma teoria completa de explicação. Não prescreve métricas universais, mas insiste que o ônus do relato e a seleção de diagnósticos devem corresponder ao alvo explicativo específico.