Replicating Human Motivated Reasoning Studies with LLMs

Resumo Técnico: Replicando Estudos de Raciocínio Motivado Humano com LLMs

Declaração do Problema
O raciocínio motivado é um fenômeno humano bem documentado no qual os indivíduos processam informações para chegar a crenças precisas (motivação de precisão) ou para alcançar conclusões desejadas e predeterminadas (motivação direcional). Embora trabalhos recentes sugiram que Modelos de Linguagem de Grande Escala (LLMs) possam exibir comportamentos semelhantes aos humanos quando atribuídos personas específicas (por exemplo, afiliação política), permanece incerto se LLMs base — sem indução de persona — são suscetíveis a manipulações motivacionais da mesma forma que os humanos. Essa incerteza desafia a validade do uso de LLMs como proxies para a formação de opinião humana e avaliação de argumentos na pesquisa em ciências sociais.

Metodologia
Os autores replicaram quatro estudos anteriores de ciência política sobre raciocínio motivado (Bolsen et al., 2014; Bolsen e Druckman, 2015; Druckman et al., 2013; Mullinix, 2016) utilizando dez LLMs base de cinco famílias de modelos (OpenAI, Google, Anthropic, Mistral e Qwen).

• Desenho Experimental: O estudo utilizou uma abordagem de "um único exemplo" (one-shot), fornecendo aos modelos as mesmas informações, manipulações motivacionais (por exemplo, pistas direcionais como endosso partidário versus pistas de precisão como avaliação imparcial) e perguntas que foram dadas aos participantes humanos originais. Nenhuma característica de personalidade ou dado demográfico foi induzido nos experimentos principais para isolar os efeitos das pistas motivacionais.
• Amostragem: Para gerenciar os custos computacionais mantendo a estrutura do estudo, os autores reduziram a amostragem das contagens originais de participantes humanos. Eles selecionaram o menor tamanho de amostra de condição dos estudos originais (44) como linha de base, gerando números proporcionais de respostas para outras condições, resultando em 3.574 gerações totais em todos os estudos.
• Métricas de Avaliação: Os autores compararam as saídas dos LLMs com as linhas de base humanas usando:
  • Tau de Kendall: Para medir a correlação entre as respostas médias dos LLMs e as humanas em todas as condições.
  • Precisão de Sinal: Para determinar se os LLMs previram corretamente a direção da mudança de opinião em relação a uma condição de controle.
  • Avaliação de Argumentos: Avaliando a correlação entre a força percebida do argumento pelos LLMs (a favor vs. contra) e suas opiniões finais.
  • Análise de Não Resposta: Medindo as taxas de "opt-out" (casos em que os modelos se recusaram a responder) usando testes de Qui-Quadrado para identificar se manipulações específicas de informações desencadearam não resposta.
• Verificações de Robustez: Experimentos adicionais incluíram solicitar aos modelos que fornecessem raciocínio (Cadeia de Pensamento) e, em um subconjunto do Estudo 2, induzir personas demográficas para testar se esses fatores alteraram as descobertas.

Principais Contribuições

1. LLMs Base Não Imitam o Raciocínio Motivado Humano: O estudo fornece evidências de que LLMs base, sem indução de persona, não replicam as mudanças direcionais ou impulsionadas por precisão na opinião observadas em humanos quando expostos a pistas motivacionais.
2. Desalinhamento na Avaliação de Argumentos: Quando fornecidos prós e contras de políticas, os LLMs frequentemente exibem desalinhamento entre sua avaliação da força do argumento e suas opiniões resultantes, falhando em emular a tendência humana de pesar argumentos consistentemente com sua posição final.
3. Não Resposta Seletiva: A pesquisa identifica que manipulações de informação afetam significativamente a probabilidade de um modelo "optar por não responder". Essa não resposta não é uniforme; varia com base nas condições específicas do estudo e nas informações fornecidas, limitando a confiabilidade dos LLMs como proxies de pesquisa em certos contextos.
4. Persona vs. Comportamento Base: As descobertas sugerem que as "motivações" anteriormente observadas em LLMs dependem fortemente da indução explícita de persona, em vez de uma capacidade inerente de raciocínio motivado.

Resultados

• Correlação com Humanos: Não houve correlações positivas fortes (Tau de Kendall) entre as respostas médias de qualquer modelo e as médias humanas em todos os quatro estudos. A maioria das correlações foi fraca, negativa ou insignificante.
• Precisão de Sinal: Os LLMs demonstraram baixa precisão na previsão da direção da mudança de opinião em relação às condições de controle. Para o Estudo 1 e Estudo 3, as pontuações de precisão foram geralmente baixas, com apenas alguns modelos (por exemplo, Mistral 8x7B no Estudo 1) mostrando precisão moderada.
• Força do Argumento: Os modelos falharam em avaliar consistentemente a força do argumento de maneira semelhante aos humanos. Embora alguns modelos mostraram correlações moderadas no Estudo 3, todos os modelos mostraram correlações fracas ou insignificantes no Estudo 4.
• Comportamento de Opt-Out: As taxas de não resposta foram significativas e não uniformes. Por exemplo, no Estudo 1, manipulações motivacionais causaram altas taxas de não resposta no Gemini 2.5 Flash e no Claude 4.5 Haiku, enquanto no Estudo 3, condições de controle desencadearam alta não resposta em múltiplos modelos. Isso sugere que os modelos podem abster-se de responder a pistas informacionais controversas ou específicas, em vez de simular uma opinião humana.
• Robustez: Mesmo quando solicitados a fornecer raciocínio ou quando receberam personas demográficas, os LLMs continuaram a falhar em imitar os resultados do raciocínio motivado humano, reforçando as descobertas principais.

Significado e Alegações
O artigo afirma que essas descobertas são críticas para pesquisadores em ciências sociais e ciência da computação que utilizam LLMs como proxies de pesquisa ou para prever opinião pública. Os resultados indicam que os LLMs podem não ser previsores precisos da opinião pública quando o raciocínio motivado é um fator, particularmente em contextos controversos ou polarizados onde os modelos podem simplesmente abster-se de responder.

Além disso, o trabalho destaca limitações para as comunidades de IA e PLN em relação a tarefas como avaliação automatizada de argumentos. Os autores sugerem que os LLMs base atuais lutam para emular processos de raciocínio semelhantes aos humanos, e que confiar neles para tarefas como replicação de opinião ou avaliação de argumentos requer cautela. O estudo enfatiza a importância de compreender a lacuna entre o comportamento de LLMs base, o comportamento de LLMs orientados por persona e o comportamento humano real, observando que simplesmente solicitar raciocínio ou adicionar dados demográficos não preenche essa lacuna. Trabalhos futuros devem focar no desenvolvimento de sistemas avançados (por exemplo, usando prompting de poucos exemplos ou avaliações híbridas humano-LLM) para melhorar a confiabilidade nesses domínios.