Résumé technique : Les LLM peuvent-ils émuler la dynamique des croyances humaines ?

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour simuler les attitudes, les opinions et les comportements humains dans des contextes de réseaux sociaux, allant de la réplication d'enquêtes à la modélisation de la dynamique des opinions. Alors que des travaux antérieurs suggèrent que les LLM peuvent reproduire des comportements humains spécifiques (par exemple, l'organisation d'événements ou la formation d'un consensus scientifique), il existe une lacune critique dans la compréhension de la mesure dans laquelle ces modèles émulent la dynamique des croyances — plus précisément, comment les humains forment des croyances initiales, les mettent à jour en réponse à des informations concurrentes, et restructurent leurs réseaux sociaux en fonction de tendances homophiles.

Le problème central abordé est de savoir si les LLM, même lorsqu'ils sont dotés de personnalités « jumeaux numériques » (données démographiques et de personnalité), peuvent reproduire avec précision les processus psychologiques complexes sous-jacents à la formation et au changement des croyances humaines. Les auteurs postulent que, sans une validation rigoureuse, le déploiement de LLM en tant que substituts humains dans des simulations sociales comporte des risques significatifs, en particulier concernant les études sur la polarisation et la persuasion.

Méthodologie

L'étude reproduit une expérience humaine établie sur la dynamique des croyances politiques (Proma et al., 2025c) en utilisant une approche de « jumeau numérique ».

• Conception expérimentale : L'étude humaine originale comportait trois étapes :
  1. Réponse : Les participants notaient leur croyance en une affirmation (échelle de Likert de 0 à 4).
  2. Révision : Les participants étaient exposés aux notes de leurs pairs et pouvaient mettre à jour la leur.
  3. Sélection : Les participants choisissaient quels pairs « suivre » lors des tours suivants.
• Simulation par LLM : Les auteurs ont remplacé 341 participants humains par des « jumeaux numériques » LLM. Chaque LLM a été sollicité avec les informations démographiques spécifiques du participant et ses traits de personnalité Big-5. Les modèles ont ensuite été chargés de naviguer dans les mêmes trois étapes, recevant les mêmes stimuli (y compris les réponses des pairs) que les sujets humains originaux.
• Modèles évalués : L'étude a évalué 12 LLM répartis en quatre familles et de tailles de paramètres variables, incluant à la fois des modèles non réfléchissants (non-raisonnement) (par exemple, Llama 3, Gemma 3) et des modèles réfléchissants (raisonnement) (par exemple, Qwen 3, GPT-OSS).
• Portée des données : L'analyse portait sur deux sujets politiques (« immigration » et « pétrole et carburant »), ce qui a donné lieu à un total de 1 023 échantillons (3 tours × 341 participants).
• Métriques d'évaluation :
  • Étape 1 (Croyances initiales) : Divergence KL, distance de Wasserstein, tests U de Mann-Whitney et corrélation de Spearman pour comparer les formes de distribution, les tendances centrales et l'alignement au niveau individuel.
  • Étape 2 (Changement de croyance) : Analyse de l'ampleur de la mise à jour des croyances et de « l'influence sociale » (corrélation entre l'écart entre la croyance initiale de soi et la moyenne des pairs, et le changement de croyance résultant).
  • Étape 3 (Sélection de réseau) : « Signal de suivi » (note moyenne des pairs sélectionnés) et « Distance du réseau de croyances » (différence absolue entre la croyance initiale et les croyances des pairs sélectionnés) pour mesurer l'homophilie.

Résultats clés

1. Échec à émuler les distributions de croyances initiales

Les LLM ont systématiquement échoué à correspondre à la distribution des croyances humaines initiales.

• Inadéquation distributionnelle : Les valeurs de divergence KL et de distance de Wasserstein pour les LLM étaient significativement plus élevées que la ligne de base (division humain-vs-humain), indiquant un mauvais alignement distributionnel.
• Biais systématique : Les modèles non réfléchissants avaient tendance à surestimer les notes de croyance (atteignant un pic à 2), tandis que les modèles réfléchissants avaient tendance à les sous-estimer (atteignant un pic à 0, indiquant un fort désaccord).
• Corrélation individuelle faible : La corrélation de Spearman entre les réponses individuelles des LLM et les réponses humaines était modérée au mieux (ρ max = 0,31), suggérant que les LLM ne peuvent pas prédire de manière fiable les préférences individuelles spécifiques.

2. Conformité excessive dans les mises à jour de croyances

Les LLM ont démontré une plus grande susceptibilité à l'influence sociale que les humains.

• Rigidité vs fluidité : Les humains ont fait preuve d'une plus grande rigidité des croyances, changeant moins souvent et dans une moindre mesure leurs opinions que les LLM.
• Métrique d'influence sociale : La corrélation entre « l'influence sociale » (l'écart entre soi et les pairs) et le changement de croyance était significativement plus élevée pour les LLM dans 11 modèles sur 12. Cela indique que les LLM sont plus conformistes, modifiant leurs réponses pour s'aligner sur la moyenne de leur réseau observé plus facilement que les humains.

3. Échec nuancé dans la restructuration du réseau (Homophilie)

Bien que les LLM puissent imiter l'acte de sélectionner des pairs, ils ont échoué à capturer la logique homophile sous-jacente.

• Signal de suivi : Les LLM ont simulé avec succès la distribution générale des pairs que les humains choisissaient de suivre (corrélation élevée dans le Signal de suivi).
• Distance du réseau de croyances : Cependant, la « Distance du réseau de croyances » (la distance des croyances des pairs sélectionnés par rapport à celles de l'agent) était systématiquement plus élevée pour les LLM. Cela suggère que, bien que les LLM puissent sélectionner des pairs, ils ne le font pas sur la base de la même préférence forte pour la similarité (homophilie) qui caractérise la formation de réseaux humains. Leurs sélections sont moins ancrées dans leurs propres croyances initiales.

Contributions et affirmations clés

L'article apporte trois contributions principales à la littérature sur la simulation par LLM :

1. Divergence systématique : Il fournit des preuves empiriques que les LLM divergent des humains de manière fondamentale en ce qui concerne la dynamique des croyances, spécifiquement dans la distribution initiale, la susceptibilité à l'influence sociale et la sélection de réseaux homophiles.
2. Limites des personnalités : Il remet en question l'efficacité de la méthode du « jumeau numérique » lorsqu'elle se limite aux données démographiques et de personnalité, suggérant que de telles personnalités contraintes sont insuffisantes pour capturer la dynamique complexe des croyances.
3. Anomalie de la loi d'échelle : L'étude note que des tailles de paramètres plus grandes ne produisent pas nécessairement un meilleur alignement avec la dynamique des croyances humaines, suggérant que la rigidité des croyances et le raisonnement motivé sont distincts des tâches de raisonnement et de récupération de connaissances où les lois d'échelle s'appliquent généralement.

Importance et implications

Les auteurs concluent par un « avertissement sévère » contre le déploiement inconditionnel de LLM en tant que substituts humains dans les simulations sociales, en particulier pour les études impliquant la polarisation, la persuasion et les interventions de réseau.

• Asymétrie fondamentale : Les résultats mettent en évidence une asymétrie fondamentale dans la façon dont les LLM traitent le contexte social par rapport aux humains. Les LLM semblent manquer d'identité, de motivation et de processus affectifs qui sous-tendent la dynamique des croyances humaines.
• Prudence de la recherche : L'article soutient que l'utilisation de LLM pour simuler des réseaux de croyances humains peut conduire à des conclusions erronées, car les modèles sont intrinsèquement plus conformistes et moins rigides que les populations humaines qu'ils visent à représenter.
• Perspectives futures : Les auteurs suggèrent que les travaux futurs doivent explorer des personnalités plus élaborées (incluant les habitudes des médias sociaux et les expériences vécues) et investiguer si les modèles propriétaires ou les modèles dotés d'une mémoire inter-tours peuvent combler cet écart, bien qu'ils restent sceptiques quant aux capacités actuelles.