💬 NLP

Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility

Cette étude révèle que bien que les grands modèles de langage puissent simuler certaines tendances générales dans la susceptibilité à la désinformation, ils surestiment systématiquement l'impact des attitudes et ignorent les réseaux sociaux, ce qui les rend plus adaptés pour identifier les écarts avec le jugement humain que pour le remplacer.

Auteurs originaux : Eun Cheol Choi, Lindsay E. Young, Emilio Ferrara

Publié 2026-04-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eun Cheol Choi, Lindsay E. Young, Emilio Ferrara

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🤖 Le Cuisinier Robot et la Recette de la "Vraie Vie"

Imaginez que les chercheurs ont créé un cuisinier robot ultra-intelligent (c'est l'IA, ou "Grand Modèle de Langage"). Ce robot a lu des milliards de livres, d'articles et de posts sur internet. Il est capable de simuler des humains : on lui donne une "fiche de profil" (âge, opinions, amis, habitudes), et il doit deviner ce que ce "faux humain" penserait d'une fausse information (une rumeur) et s'il la partagerait.

Les chercheurs voulaient savoir : Ce robot est-il un bon remplaçant pour les vrais humains dans les études sur la désinformation ?

Pour tester cela, ils ont donné au robot les mêmes fiches de profil que celles de 1 500 vrais humains interrogés dans trois domaines : la santé, le climat et la politique. Ensuite, ils ont comparé les réponses du robot avec celles des vrais humains.

🍳 Ce que le robot a bien fait (et ce qu'il a raté)

1. Le goût général est bon, mais la texture est étrange

Le robot arrive à reproduire le goût général de la population. Si 60 % des humains croient à une rumeur, le robot simule aussi environ 60 % de croyance. C'est comme si le robot savait faire un gâteau qui a la bonne couleur et la bonne odeur.

Cependant, il y a un gros problème : le robot est trop prévisible.

Chez les humains : La relation entre "croire une rumeur" et "la partager" est complexe. Parfois, on partage une fausse info juste pour faire rire ou pour montrer son appartenance à un groupe, même si on ne la croit pas vraiment. C'est comme partager une blague douteuse sans y croire.
Chez le robot : Il fait un lien trop fort entre les deux. Pour lui, si vous croyez la rumeur, vous la partagez inévitablement. Il a transformé une relation humaine nuancée en une règle mathématique rigide. C'est comme si le robot pensait : "Si tu aimes le chocolat, tu dois absolument en manger une barre entière chaque jour !"

2. Le robot oublie les "amis" et ne parle que de "l'individu"

C'est ici que le robot fait une erreur majeure, comme un cuisinier qui ignore les ingrédients principaux.

La réalité humaine : Nos croyances dépendent beaucoup de qui nous connaissons. Si tous mes amis partagent une rumeur, je suis plus susceptible de la croire, même si je suis sceptique. C'est l'influence du réseau social (les amis, la famille, les collègues).
La erreur du robot : Le robot ignore presque totalement ces "amis". Il se concentre uniquement sur les opinions personnelles et les habitudes de la personne (ex: "Il est conservateur", "Il ne fait pas confiance à la science").
- L'analogie : Imaginez que vous essayez de prédire si quelqu'un va acheter un parapluie. Le robot regarde uniquement si la personne déteste la pluie (opinion). Il ignore complètement le fait qu'il pleut des cordes dehors et que tout le monde dans la rue a déjà un parapluie (le réseau). Le robot pense que tout dépend de la personnalité, alors que la réalité dépend aussi de l'environnement social.

🔍 Pourquoi le robot fait-il ces erreurs ?

Les chercheurs ont fouillé dans la "mémoire" du robot (ses données d'entraînement) et dans ses "pensées" (comment il raisonne). Ils ont découvert deux choses :

Le robot est un élève qui a trop lu les manuels scolaires : Dans les livres et les articles que le robot a lus, on parle beaucoup des opinions politiques et de la confiance en la science pour expliquer la désinformation. On parle beaucoup moins de la structure des réseaux d'amis. Le robot a donc appris que "l'opinion personnelle" est la clé de tout, car c'est ce qui revient le plus souvent dans ses livres.
Il est trop "simpliste" : Le monde réel est chaotique et rempli de relations complexes. Le robot, lui, préfère les règles simples. Il trouve plus facile de dire "Les gens conservateurs partagent X" que de dire "Les gens conservateurs partagent X, sauf s'ils sont entourés d'amis sceptiques qui les découragent".

💡 La leçon à retenir

Cette étude nous dit deux choses importantes :

Le robot est un excellent outil de diagnostic, mais un mauvais remplaçant. Il peut nous aider à voir où les modèles actuels sont trop simplistes, mais il ne doit pas remplacer les vrais humains pour prédire le comportement social.
Attention aux biais cachés : Si on utilise ces robots pour simuler la propagation de fausses informations, on risque de surestimer l'importance des opinions individuelles et de sous-estimer l'effet de groupe (les amis, les communautés).

En résumé : Le robot est comme un acteur très talentueux qui connaît parfaitement son texte, mais qui oublie d'écouter ses partenaires de scène. Il joue son rôle seul, sans tenir compte de la dynamique réelle du groupe. Pour comprendre la désinformation, nous avons besoin de l'acteur ET de la troupe entière.

1. Problématique

L'utilisation croissante des Grands Modèles de Langage (LLM) comme agents simulés en sciences sociales computationnelles soulève une question critique : ces modèles peuvent-ils reproduire fidèlement les schémas empiriques de la susceptibilité aux désinformations (croyance et partage de fausses informations) observés chez les humains ?

Bien que les LLM soient prometteurs pour simuler des jugements humains basés sur des profils démographiques et attitudinaux, il reste incertain s'ils capturent correctement les relations complexes entre les facteurs individuels, les réseaux sociaux personnels et la propagation des fausses informations. Les recherches antérieures suggèrent que les LLM pourraient ignorer les dynamiques relationnelles au profit de stéréotypes statistiques présents dans leurs données d'entraînement, conduisant à des biais systématiques dans les simulations.

2. Méthodologie

Les auteurs ont conçu une étude comparative rigoureuse utilisant trois jeux de données de sondages en ligne réels comme « vérité terrain » (Ground Truth) :

Santé publique (États-Unis, 2023) : 486 participants, 5 affirmations sur la santé.
Changement climatique (États-Unis, 2025) : 377 participants, 3 affirmations (initialement sous forme de mèmes, converties en texte).
Politique pandémique (Corée du Sud, 2020) : 708 participants, 5 affirmations politiques liées au COVID-19.

Protocole expérimental :

Construction des profils : Pour chaque participant humain, un profil structuré a été créé incluant quatre catégories de variables :
- Démographie (âge, genre, éducation, revenu).
- Attitudes et comportements (orientation politique, confiance en la science, littératie en santé, usage des médias).
- Caractéristiques du réseau personnel (taille du réseau, densité, attributs des alter, durée des liens, soutien informationnel).
- Susceptibilité (croyance et intention de partage).
Simulation par LLM : Des LLMs variés (modèles de raisonnement, modèles de chat, différentes tailles et fournisseurs) ont été invités à impersonner ces participants en se basant uniquement sur les profils fournis. Ils devaient répondre aux mêmes questions sur la croyance et le partage que les humains.
Analyses comparatives : Les auteurs ont comparé les sorties des LLM aux données humaines selon plusieurs axes :
- Similarité distributionnelle : Divergence de Jensen-Shannon (JSD) et distance Earth Mover (EMD).
- Corrélations : Coefficients de Spearman entre croyance et partage.
- Modélisation prédictive : Régressions Elastic Net pour évaluer la variance expliquée ( $R^2$ ) et l'importance relative des blocs de variables (démographie, attitudes, réseau).
- Analyse des biais d'interaction : Tests pour détecter si les effets des variables diffèrent systématiquement entre les données simulées et humaines.
- Investigation des causes : Analyse des chaînes de pensée (Chain-of-Thought) générées par les modèles et traçage des associations dans les corpus d'entraînement (via l'outil OLMoTrace).

3. Contributions Clés

Cette étude comble un vide majeur dans la littérature sur la simulation sociale en :

Introduisant systématiquement les caractéristiques des réseaux personnels dans les profils de simulation, un aspect souvent négligé dans les études précédentes sur les LLM.
Développant un pipeline méthodologique complet pour diagnostiquer les biais structurels des LLM, allant au-delà de la simple comparaison des distributions pour examiner la structure des relations causales.
Fournissant des preuves empiriques que les LLM ne sont pas de simples substituts aux données humaines, mais qu'ils introduisent des distorsions spécifiques et prévisibles.

4. Résultats Principaux

A. Alignement Distributionnel Modéré mais Biais Structurels

Les LLM parviennent à capturer les tendances distributionnelles générales (les moyennes et les écarts-types) et montrent une corrélation modérée avec les réponses humaines. Cependant, des écarts systématiques apparaissent dès l'analyse des relations entre variables.

B. Exagération du Couplage Croyance-Partage

Dans les données humaines, la croyance et le partage sont corrélés mais distincts (les gens partagent parfois des contenus qu'ils ne croient pas totalement pour des raisons sociales ou stratégiques).

Résultat LLM : Les modèles simulent une corrélation quasi-monotone et extrêmement forte entre la croyance et le partage (ex: $\rho \approx 0.95$ contre $\approx 0.42$ pour les humains). Les LLM traitent ces deux dimensions comme indissociables, effaçant la nuance comportementale humaine.

C. Sur-estimation de la Variance Expliquée et Biais de Variables

Les modèles de régression ajustés sur les données simulées expliquent une variance beaucoup plus élevée ( $R^2$ allant jusqu'à 0.87) que ceux ajustés sur les données humaines ( $R^2 \approx 0.04 - 0.23$ ).

Priorité aux Attitudes : Les LLM attribuent un poids disproportionné aux variables attitudinales et comportementales (confiance en la science, orientation politique, usage des réseaux sociaux).
Ignorance des Réseaux : Contrairement aux données humaines où les caractéristiques du réseau (taille, densité, attributs des contacts) sont des prédicteurs significatifs, les LLM les ignorent presque totalement. La suppression des variables de réseau dans les modèles LLM n'entraîne aucune perte de performance prédictive, ce qui n'est pas le cas pour les données humaines.

D. Origine des Biais : Traçage et Raisonnement

L'analyse des chaînes de pensée (CoT) et des corpus d'entraînement révèle la source de ces distorsions :

Les LLM invoquent beaucoup plus fréquemment des variables attitudinales (ex: "confiance en la science") dans leurs raisonnements que des variables relationnelles.
Les corpus d'entraînement contiennent des associations statistiques fortes et directionnelles entre les désinformations et les traits individuels, mais des associations plus faibles ou moins structurées concernant les réseaux sociaux. Les LLM semblent apprendre et reproduire ces « stéréotypes statistiques » au détriment de la complexité relationnelle.

5. Signification et Implications

Limites de la substitution : Les simulations basées sur les LLM ne doivent pas être utilisées comme substituts directs aux données humaines, en particulier dans les études où la structure sociale, la diffusion par les pairs et l'influence du réseau sont centrales.
Outil diagnostique : Les LLM sont plus utiles pour identifier les écarts systématiques par rapport au jugement humain ou pour tester la robustesse des hypothèses théoriques, plutôt que pour prédire des comportements réalistes.
Recommandations pour la recherche :
- Les chercheurs doivent être prudents face aux modèles qui semblent « trop propres » (variance expliquée excessive).
- Il est nécessaire de développer des architectures ou des approches de représentation qui intègrent explicitement les structures relationnelles (inductive biases relationnels) plutôt que de se fier uniquement à des descriptions textuelles de profils.
- Les cadres d'évaluation futurs doivent tester la préservation des propriétés structurelles des processus sociaux, et non seulement l'alignement des distributions marginales.

En conclusion, cette étude met en garde contre l'illusion de réalisme des agents LLM : bien qu'ils puissent imiter les traits individuels, ils échouent à reproduire la complexité des dynamiques sociales et des réseaux, risquant de renforcer des explications individualistes simplistes des phénomènes de désinformation.