Replicating Human Motivated Reasoning Studies with LLMs

Résumé technique : Reproduction des études sur le raisonnement motivé humain avec des LLM

Énoncé du problème
Le raisonnement motivé est un phénomène humain bien documenté où les individus traitent l'information soit pour aboutir à des croyances exactes (motivation de précision), soit pour atteindre des conclusions désirées et prédéterminées (motivation directionnelle). Bien que des travaux récents suggèrent que les grands modèles de langage (LLM) peuvent présenter des comportements similaires à ceux des humains lorsqu'on leur assigne des personnalités spécifiques (par exemple, une affiliation politique), il reste incertain si les LLM de base — sans induction de personnalité — sont sensibles aux manipulations motivationnelles de la même manière que les humains. Cette incertitude remet en question la validité de l'utilisation des LLM comme substituts à la formation de l'opinion et à l'évaluation des arguments dans la recherche en sciences sociales.

Méthodologie
Les auteurs ont reproduit quatre études antérieures en science politique sur le raisonnement motivé (Bolsen et al., 2014 ; Bolsen et Druckman, 2015 ; Druckman et al., 2013 ; Mullinix, 2016) en utilisant dix LLM de base appartenant à cinq familles de modèles (OpenAI, Google, Anthropic, Mistral et Qwen).

• Conception expérimentale : L'étude a utilisé une approche « one-shot », fournissant aux modèles les mêmes informations, manipulations motivationnelles (par exemple, des indices directionnels comme l'endossement par un parti versus des indices de précision comme une évaluation impartiale) et questions que les participants humains originaux. Aucune personnalité ni aucun trait démographique n'a été induit dans les expériences principales afin d'isoler les effets des indices motivationnels.
• Échantillonnage : Pour maîtriser les coûts de calcul tout en préservant la structure de l'étude, les auteurs ont réduit l'échantillon des participants humains originaux. Ils ont sélectionné la plus petite taille d'échantillon de condition parmi les études originales (44) comme référence, générant des nombres de réponses proportionnels pour les autres conditions, ce qui a abouti à un total de 3 574 générations dans toutes les études.
• Métriques d'évaluation : Les auteurs ont comparé les sorties des LLM aux références humaines en utilisant :
  • Tau de Kendall : Pour mesurer la corrélation entre les réponses moyennes des LLM et celles des humains à travers les conditions.
  • Précision du signe : Pour déterminer si les LLM prédisaient correctement la direction du changement d'opinion par rapport à une condition témoin.
  • Évaluation des arguments : Évaluation de la corrélation entre la force perçue des arguments par les LLM (pour vs contre) et leurs opinions finales.
  • Analyse des non-réponses : Mesure des taux de « désistement » (cas où les modèles refusent de répondre) à l'aide de tests du Chi-deux pour identifier si des manipulations d'information spécifiques déclenchaient des non-réponses.
• Vérifications de robustesse : Des expériences supplémentaires ont inclus l'incitation des modèles à fournir un raisonnement (Chaîne de Pensée) et, dans un sous-ensemble de l'Étude 2, l'induction de personnalités démographiques pour tester si ces facteurs modifiaient les résultats.

Contributions clés

1. Les LLM de base n'imitent pas le raisonnement motivé humain : L'étude fournit des preuves que les LLM de base, sans induction de personnalité, ne reproduisent pas les déplacements d'opinion directionnels ou guidés par la précision observés chez les humains lorsqu'ils sont exposés à des indices motivationnels.
2. Désalignement dans l'évaluation des arguments : Lorsqu'ils sont confrontés aux pour et aux contre d'une politique, les LLM affichent souvent un désalignement entre leur évaluation de la force de l'argument et leurs opinions résultantes, échouant à imiter la tendance humaine à peser les arguments de manière cohérente avec leur position finale.
3. Non-réponse sélective : La recherche identifie que les manipulations d'information affectent significativement la probabilité d'un modèle de « se désister » de répondre. Cette non-réponse n'est pas uniforme ; elle varie selon les conditions spécifiques de l'étude et les informations fournies, limitant la fiabilité des LLM en tant que substituts aux sondages dans certains contextes.
4. Personnalité versus comportement de base : Les résultats suggèrent que les « motivations » précédemment observées dans les LLM dépendent fortement de l'induction explicite de personnalités plutôt que d'une capacité inhérente au raisonnement motivé.

Résultats

• Corrélation avec les humains : Aucune forte corrélation positive (Tau de Kendall) n'a été observée entre les réponses moyennes d'aucun modèle et les moyennes humaines à travers les quatre études. La plupart des corrélations étaient faibles, négatives ou non significatives.
• Précision du signe : Les LLM ont démontré une faible précision dans la prédiction de la direction du changement d'opinion par rapport aux conditions témoins. Pour l'Étude 1 et l'Étude 3, les scores de précision étaient généralement bas, seuls quelques modèles (par exemple, Mistral 8x7B dans l'Étude 1) montrant une précision modérée.
• Force des arguments : Les modèles n'ont pas réussi à évaluer de manière cohérente la force des arguments d'une manière ressemblant aux humains. Bien que certains modèles aient montré des corrélations modérées dans l'Étude 3, tous les modèles ont affiché des corrélations faibles ou non significatives dans l'Étude 4.
• Comportement de désistement : Les taux de non-réponse étaient significatifs et non uniformes. Par exemple, dans l'Étude 1, les manipulations motivationnelles ont provoqué des taux de non-réponse élevés chez Gemini 2.5 Flash et Claude 4.5 Haiku, tandis que dans l'Étude 3, les conditions témoins ont déclenché une forte non-réponse chez plusieurs modèles. Cela suggère que les modèles peuvent s'abstenir de répondre à des indices informationnels controversés ou spécifiques plutôt que de simuler une opinion humaine.
• Robustesse : Même lorsqu'ils étaient incités à fournir un raisonnement ou lorsqu'ils recevaient des personnalités démographiques, les LLM ont continué à échouer à imiter les résultats du raisonnement motivé humain, renforçant ainsi les résultats principaux.

Portée et affirmations
L'article affirme que ces résultats sont critiques pour les chercheurs en sciences sociales et en informatique qui utilisent les LLM comme substituts aux sondages ou pour prédire l'opinion publique. Les résultats indiquent que les LLM peuvent ne pas être des prévisionnistes précis de l'opinion publique lorsque le raisonnement motivé est un facteur, en particulier dans des contextes controversés ou polarisés où les modèles peuvent simplement s'abstenir de répondre.

De plus, ce travail met en lumière des limitations pour les communautés de l'IA et du TALN concernant des tâches telles que l'évaluation automatisée des arguments. Les auteurs suggèrent que les LLM de base actuels peinent à imiter les processus de raisonnement humains et que compter sur eux pour des tâches telles que la réplication d'opinions ou l'évaluation d'arguments nécessite de la prudence. L'étude souligne l'importance de comprendre l'écart entre le comportement des LLM de base, le comportement des LLM orientés par une personnalité et le comportement humain réel, notant que simplement demander un raisonnement ou ajouter des données démographiques ne comble pas cet écart. Les travaux futurs devraient se concentrer sur le développement de systèmes avancés (par exemple, en utilisant l'incitation few-shot ou des évaluations hybrides humain-LLM) pour améliorer la fiabilité dans ces domaines.