💬 NLP

Can LLMs Simulate Human Behavioral Variability? A Case Study in the Phonemic Fluency Task

Cette étude démontre que, bien que certains grands modèles de langage puissent imiter les moyennes humaines dans une tâche de fluence phonémique, aucun ne parvient à reproduire l'étendue de la variabilité comportementale individuelle, révélant ainsi des limites fondamentales à leur utilisation comme substituts aux participants humains.

Auteurs originaux : Mengyang Qiu, Zoe Brisebois, Siena Sun

Publié 2026-02-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mengyang Qiu, Zoe Brisebois, Siena Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Grand Défi : L'IA peut-elle vraiment "jouer" l'humain ?

Imaginez que vous organisez un jeu de société où l'objectif est de trouver le plus de mots commençant par la lettre "F" en une minute. C'est ce qu'on appelle un test de "fluence phonémique".

Les chercheurs se sont demandé : Les intelligences artificielles (les LLM) peuvent-elles imiter la façon dont les humains jouent à ce jeu ? Plus précisément, peuvent-elles reproduire la variabilité humaine ? C'est-à-dire, si 100 humains jouent, ils vont tous trouver des listes de mots différentes, avec des mots bizarres, des erreurs, et des stratégies uniques. L'IA, elle, est-elle capable de simuler cette diversité, ou va-t-elle tous donner la même réponse parfaite mais ennuyeuse ?

🔍 L'Expérience : Une course contre la montre

Les chercheurs ont pris :

106 vrais humains qui ont joué au jeu (ils ont trouvé en moyenne 17 mots).
34 modèles d'IA différents (comme Claude, GPT, Gemini, etc.) qu'ils ont fait jouer 106 fois chacun, en leur donnant les mêmes informations que les humains (âge, niveau d'études, nombre de mots à trouver).

C'était comme si on faisait jouer 45 équipes différentes (les différentes versions des IA) contre une seule équipe humaine.

📉 Le Verdict : L'IA est un excellent élève, mais un mauvais acteur

Voici ce que les chercheurs ont découvert, avec quelques images pour aider à comprendre :

1. L'IA est trop "propre" (Manque de diversité)

Imaginez que les humains sont comme un jardin sauvage. Chaque humain trouve des fleurs différentes : certains trouvent "fleur", d'autres "fourmi", d'autres "fraise", et quelques-uns trouvent des mots très rares comme "faucon" ou "fauvette". C'est un peu chaotique, mais c'est vivant.

Les IA, elles, ressemblent à un jardin de plastique parfaitement rangé. Elles trouvent les mots les plus courants ("fête", "famille", "fauteuil") et les rangent tous de la même manière. Même les meilleures IA (comme Claude 3.7 Sonnet) ne parviennent pas à trouver la moitié des mots uniques que les humains trouvent. Elles manquent de cette "folie" créative et individuelle.

2. Plus l'IA est "intelligente", moins elle varie

C'est une découverte surprenante ! Les chercheurs ont activé des modes de "réflexion" (où l'IA prend le temps de penser avant de répondre). On aurait pu penser que cela la rendrait plus humaine.

L'analogie : C'est comme si un acteur, au lieu de jouer naturellement, se mettait à lire un manuel de psychologie avant chaque réplique. Résultat ? Il devient trop rigide, trop calculé.
Le résultat : Les modes de réflexion ont souvent réduit la diversité des mots trouvés. L'IA devient plus précise, mais moins humaine.

3. L'IA ne "pense" pas comme nous (La carte mentale)

Les chercheurs ont dessiné une carte de la façon dont les mots sont connectés dans la tête.

Chez l'humain : Les mots sont regroupés en petits clusters serrés (comme des îlots). Si je dis "fête", je pense à "gâteau", "ballon". Mais pour aller d'un îlot à l'autre, il faut faire un petit détour. C'est une pensée associative et un peu sinueuse.
Chez l'IA : La carte est comme un réseau d'autoroutes ultra-efficaces. Tout est connecté directement. L'IA va du mot A au mot B par le chemin le plus court et le plus logique, sans s'égarer dans les petites ruelles de l'imagination. Elle est efficace, mais elle ne "flâne" pas dans son esprit comme nous.

4. L'astuce de l'assemblage (Le "Chorale" d'IA)

Les chercheurs se sont dit : "Si une seule IA est trop rigide, peut-être qu'en mélangeant les réponses de 30 IA différentes, on obtiendra une diversité humaine ?"
C'est comme si on demandait à 30 chanteurs différents de chanter une chanson ensemble pour créer une voix unique et variée.

Le problème : Ils ont découvert que toutes ces IA sont entraînées sur les mêmes données d'internet. Elles ont donc toutes le même vocabulaire de base.
L'image : C'est comme si on mélangeait 30 bouteilles d'eau minérale de la même marque. Même si on les mélange, on n'obtient pas un cocktail exotique, juste un peu plus d'eau minérale. Les IA se copient les mots les plus fréquents les unes des autres, et les mots rares (ceux qui font la personnalité humaine) disparaissent.

💡 La Conclusion en une phrase

Les IA sont incroyables pour trouver les mots les plus courants et pour suivre les règles, mais elles échouent à imiter le chaos créatif, les erreurs uniques et la diversité imprévisible qui caractérisent la pensée humaine.

Le conseil des chercheurs : Ne remplacez pas les humains par des IA dans les études psychologiques si vous voulez comprendre la diversité humaine. Utilisez plutôt les IA comme une "moyenne" de référence, et gardez les humains pour voir ce qui rend notre esprit vraiment unique et imprévisible.

1. Problématique

L'utilisation croissante des Grands Modèles de Langage (LLM) comme substituts aux participants humains dans les recherches en sciences cognitives et comportementales soulève une question critique : les LLM peuvent-ils reproduire la variabilité comportementale individuelle caractéristique des humains ?

Bien que les LLM excellent dans la génération de réponses fluides et cohérentes, des travaux antérieurs suggèrent qu'ils manquent de diversité linguistique et de flexibilité associative. Cette étude se concentre sur la tâche de fluidité phonémique (générer le plus de mots possible commençant par une lettre donnée, ici « F », en une minute). Contrairement à la fluidité sémantique, cette tâche repose sur une recherche effortée dans le lexique mental basée sur la forme orthographique ou phonologique, ce qui en fait un test rigoureux pour évaluer la variabilité individuelle et les mécanismes de récupération de la mémoire.

2. Méthodologie

Données Humaines :

Source : Données provenant de 106 participants natifs anglophones (âge moyen : 35,59 ans ; éducation moyenne : 14,92 ans) recrutés via Amazon Mechanical Turk.
Tâche : Produire des mots commençant par « F » en 60 secondes.
Prétraitement : Transcription audio, suppression des répétitions, des noms propres, des nombres et des variantes de même lemme. Moyenne de 16,89 mots corrects par participant.

Simulation par LLM :

Modèles testés : 34 modèles distincts (sources fermées et ouvertes) provenant d'OpenAI, Anthropic, Google, xAI et d'autres fournisseurs open-source.
Configurations : 45 configurations au total, incluant des modes de « pensée » (reasoning) et différents niveaux d'effort de raisonnement.
Procédure : Chaque modèle a reçu un prompt identique incluant les métadonnées réelles d'un participant humain (âge, niveau d'éducation, nombre de réponses correctes) et devait jouer le rôle de ce participant.
Filtrage : Seules les configurations dont l'erreur absolue moyenne (MAE) par rapport au nombre de réponses humaines était ≤ 1,69 (10 % de la moyenne humaine) et sans valeurs aberrantes majeures ont été retenues pour l'analyse principale (21 configurations sur 34).

Analyses :

Variabilité au niveau du participant : Ratio Type-Jeton (TTR) et ratio de types idiosyncrasiques (ITTTR).
Analyse au niveau de l'élément : Distribution de fréquence (loi de Zipf) et régression pour identifier les prédicteurs linguistiques (fréquence du mot, âge d'acquisition, taille du voisinage orthographique, etc.).
Analyse de réseau : Construction de réseaux de co-occurrence pour comparer la structure associative (coefficient de regroupement et longueur du chemin le plus court) entre humains et LLM.
Analyse d'Ensemble : Combinaison aléatoire des sorties de différents modèles pour tenter de restaurer la diversité perdue.

3. Résultats Clés

A. Variabilité et Diversité Lexicale

Échec de la simulation de la variabilité : Aucun modèle, individuel ou en ensemble, n'a atteint le niveau de diversité humaine.
- Humains : 476 types uniques, TTR = 0,27, ITTTR = 0,42.
- Meilleur LLM (Claude 3.7 Sonnet) : 226 types uniques, TTR = 0,13, ITTTR = 0,32.
Rigidité des modèles : Les sorties des LLM sont systématiquement moins diversifiées. Paradoxalement, l'activation des modes de « pensée » (thinking) chez Anthropic a souvent réduit la diversité plutôt que de l'augmenter.
Ensembles : L'agrégation de sorties de modèles différents n'a pas permis de récupérer la diversité humaine (TTR moyen de l'ensemble = 0,10). Cela est dû à un chevauchement lexical massif (coefficient de chevauchement moyen de 0,74, atteignant 0,90 au sein des modèles Anthropic), indiquant que les modèles tirent d'un pool de vocabulaire très similaire.

B. Distribution de Fréquence et Prédicteurs Linguistiques

Loi de Zipf : Les humains suivent une distribution de Zipf avec un exposant $\alpha = 0,89$ (longue traîne de mots rares). Les LLM présentent des exposants plus élevés ( $\alpha$ entre 1,19 et 1,53), indiquant une dominance plus forte des mots fréquents et une traîne plus courte.
Prédicteurs :
- Humains : La fréquence du mot, l'âge d'acquisition et la taille du voisinage orthographique sont des prédicteurs significatifs.
- LLM : Bien que la fréquence et l'âge d'acquisition soient pertinents, la taille du voisinage orthographique perd de son importance pour la plupart des modèles. À la place, la longueur du mot devient un prédicteur plus fort chez certains LLM (ex: Claude 3.7 Sonnet), suggérant une stratégie de récupération basée sur des caractéristiques de surface plutôt que sur des associations formelles profondes.

C. Analyse de Réseau

Structure différente : Les réseaux humains présentent un coefficient de regroupement (CC) plus élevé (0,42) et une longueur de chemin plus longue (5,32), indiquant des clusters locaux serrés mais une intégration globale plus faible.
LLM (Claude 3.7 Sonnet) : CC plus faible (0,37) et chemin plus court (4,40), révélant une structure plus uniformément connectée et optimisée pour l'efficacité globale, mais manquant de la structure associative « en grappes » typique de la mémoire humaine.

4. Contributions Principales

Évaluation à grande échelle : C'est l'une des premières études à comparer systématiquement 34 modèles et 45 configurations contre des données humaines réelles, dépassant les études antérieures basées sur un seul modèle.
Démonstration de l'échec de l'ensemble (Ensemble Failure) : L'étude réfute l'hypothèse selon laquelle mélanger plusieurs modèles pourrait simuler la diversité humaine, démontrant que les biais d'entraînement communs (données internet, architectures Transformer) créent une convergence lexique trop forte.
Distinction des mécanismes de récupération : L'analyse révèle que même les modèles les plus performants (Claude 3.7 Sonnet) utilisent des stratégies de récupération fondamentalement différentes des humains (préférence pour la longueur du mot vs voisinage orthographique).
Mise en garde contre le « remplacement » : L'article fournit des preuves empiriques que les LLM ne peuvent pas remplacer les participants humains dans les études où la variabilité individuelle et la dynamique cognitive sont centrales.

5. Signification et Implications

Limites de la simulation cognitive : Les LLM sont excellents pour capturer les tendances centrales (moyennes) et la plausibilité de surface, mais ils échouent à modéliser la variabilité comportementale et les dynamiques de recherche associative humaines.
Biais de représentation : En supprimant systématiquement les réponses rares et idiosyncrasiques au profit de réponses prototypiques et fréquentes, les LLM risquent de renforcer les biais linguistiques dominants et de marginaliser la diversité réelle des populations.
Recommandation pour la recherche : Les chercheurs ne devraient pas utiliser les LLM comme substituts directs aux participants humains pour étudier la variabilité. Une approche plus productive consiste à utiliser les LLM comme un système de référence (baseline) pour mesurer l'unicité et la flexibilité du comportement humain.
Choix des modèles : La sélection du modèle est cruciale ; les modèles les plus récents ne sont pas nécessairement les plus adaptés à la simulation comportementale (ex: Claude 3.7 Sonnet a surpassé les versions plus récentes de la même famille).

En conclusion, bien que les LLM soient des outils puissants pour la génération de langage, leur capacité à simuler la complexité et la variabilité de la cognition humaine reste fondamentalement limitée par leur architecture et leurs données d'entraînement.