Six Fallacies in Substituting Large Language Models for Human Participants

Résumé Technique : Six Sophismes liés à la Substitution des Participants Humains par des Grands Modèles de Langage

Énoncé du Problème
Les progrès rapides des grands modèles de langage (LLM) ont suscité une proposition au sein des sciences comportementales et psychologiques visant à substituer les participants humains par des « échantillons de silicium » ou des « participants simulés » pour la collecte de données. Les partisans suggèrent que les LLM peuvent refléter les réponses humaines moyennes dans des tâches allant du raisonnement moral à la perception du langage, offrant ainsi une alternative efficace en termes de ressources par rapport à la collecte de données humaines. Cependant, cette « perspective de remplacement » manque d'un examen méthodologique et théorique critique. L'article identifie un risque épistémique fondamental : les chercheurs pourraient confondre les capacités statistiques des LLM avec la cognition humaine, menant à des inférences invalides sur la psychologie humaine. Le problème central est l'absence d'un cadre permettant de distinguer les LLM en tant que simulateurs de comportements linguistiques par rapport à des remplaçants de participants humains, une distinction nécessaire pour préserver la validité de la recherche.

Méthodologie
Cet article emploie une analyse conceptuelle critique plutôt qu'une expérimentation empirique. L'auteur déconstruit systématiquement la « perspective de remplacement » en identifiant et en analysant six sophismes interprétatifs spécifiques qui surviennent lorsque les LLM sont traités comme des substituts humains. L'analyse s'appuie sur :

• La Théorie Computationnelle : L'examen de l'architecture des LLM (prédiction de jetons autoregressifs, mécanismes de transformateurs, RLHF) par rapport à l'intelligence biologique (expérience incarnée, contraintes évolutives).
• Les Cadres Philosophiques : L'utilisation de concepts tels que l'argument de la « Chambre Chinoise », la réalisabilité multiple, et la distinction entre équivalence fonctionnelle et mécaniste.
• La Littérature Empirique Existante : La synthèse des résultats d'études récentes (ex. Aher et al., 2023 ; Binz & Schulz, 2023a ; Dillion et al., 2023) qui démontrent à la fois les capacités et les limites des LLM dans les tâches psychologiques.
• La Théorie de la Validité : L'application des normes de validité de la recherche (validité interne, externe et de construit) pour évaluer les menaces posées par chaque sophisme.

Contributions Clés
La principale contribution de l'article est l'identification et l'exposition détaillée de six sophismes interprétatifs qui compromettent la validité de l'utilisation des LLM comme remplaçants humains :

1. Le Sophisme de la Prédiction de Jetons comme Intelligence Humaine : L'erreur consistant à assimiler la reconnaissance de formes statistiques (prédiction du jeton suivant) à une véritable compréhension humaine. Les LLM manquent d'expérience incarnée, d'ancrage sensorimoteur et de conscience, opérant plutôt comme des modèles statistiques « non ancrés ». Ils capturent la forme linguistique mais pas l'intention communicative ou le sens dérivé de l'expérience vécue.
2. Le Sophisme de l'Humain Moyen : L'hypothèse selon laquelle les sorties des LLM représentent l'« humain moyen ». L'article soutient que les LLM ne sont pas des échantillons représentatifs en raison des biais des données d'entraînement (populations principalement WEIRD), du biais de récence temporelle et de l'influence de l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF), qui optimise l'utilité et la sécurité plutôt que de refléter la diversité ou les idiosyncrasies brutes de l'humain.
3. Le Sophisme de l'Alignement comme Explication : La méprise selon laquelle l'alignement de surface entre les sorties des LLM et celles des humains implique des mécanismes cognitifs partagés. L'article souligne la « réalisabilité multiple », notant que différents systèmes (statistiques vs biologiques) peuvent produire des sorties identiques via des processus internes distincts. La similitude de sortie ne prouve pas l'équivalence mécaniste.
4. Le Sophisme de l'Anthropomorphisme : La tendance à attribuer des états mentaux humains (croyances, intentions, émotions) aux LLM sur la base d'une génération de langage fluide. Cela conduit à l'« illusion de l'utilisateur de langage », où les chercheurs interprètent des artefacts statistiques comme l'expression d'une vie mentale intérieure, invalidant les construits qui présupposent la conscience.
5. Le Sophisme de l'Essentialisation de l'Identité : La pratique consistant à inciter les LLM avec des étiquettes démographiques statiques (ex. « femme noire », « Américaine ») comme si ces catégories représentaient des traits homogènes et fixes. Cela réduit les identités humaines fluides, intersectionnelles et contextuelles à des stéréotypes, échouant à capturer la nuance de la négociation identitaire dans le monde réel.
6. Le Sophisme de la Substitution : La présomption que les données générées par les LLM peuvent directement remplacer les preuves humaines sans validation. Cela ignore la nature statique des données d'entraînement (coupures de connaissances), le risque de systèmes d'information en boucle fermée (où les modèles amplifient les biais passés) et l'incapacité des modèles à s'adapter aux changements sociétaux en temps réel.

Résultats et Analyse
L'analyse démontre que si les LLM peuvent fonctionner comme des outils de simulation pragmatique (Équivalence de Niveau 1), ils échouent à satisfaire les critères de l'inférence explicative (Niveau 2) ou de l'attribution phénoménologique (Niveau 3).

• Limites Techniques vs Conceptuelles : L'article distingue les limites techniques (ex. biais de données, sensibilité au prompt), qui peuvent être adressées par l'ingénierie, des limites conceptuelles (ex. manque d'ancrage, d'agence et de subjectivité), qui sont intrinsèques au paradigme actuel de la prédiction statistique de texte.
• Menaces à la Validité : Chaque sophisme est montré comme compromettant des aspects spécifiques de la validité de la recherche. Par exemple, le « Sophisme de l'Humain Moyen » menace la validité externe (généralisabilité), tandis que le « Sophisme de l'Alignement comme Explication » menace la validité interne (inférence causale).
• Garde-fous : Pour chaque sophisme, l'article propose des garde-fous méthodologiques spécifiques, notamment :
  • Valider les sorties des LLM par rapport aux données humaines.
  • Utiliser des incitations (prompts) contextualisées et intersectionnelles plutôt que des étiquettes essentialistes.
  • Distinguer l'équivalence fonctionnelle de l'équivalence mécaniste dans les rapports.
  • Mettre en œuvre des protocoles de recherche séquentiels où les LLM sont utilisés pour la génération d'hypothèses, mais où les découvertes sont validées auprès de participants humains.

Signification et Revendications
L'article soutient que la « perspective de remplacement » est fondamentalement erronée car elle identifie mal la nature des LLM. Les LLM ne sont pas des « esprits » mais des « simulateurs de langage neuronaux » qui révèlent des dynamiques psychologiques latentes ancrées dans le texte, plutôt que les esprits eux-mêmes.

• Recadrer le Rôle de l'IA : L'auteur plaide pour un changement de conception des LLM, passant de substituts à des outils complémentaires. Ils sont précieux pour le prototypage rapide, le jeu de rôle et la modélisation computationnelle, à condition que leurs sorties soient rigoureusement validées par rapport aux données humaines.
• Préserver l'Intégrité de la Recherche : En exposant ces sophismes, l'article vise à empêcher l'érosion de la validité de la recherche dans les sciences du comportement. Il avertit qu'une substitution non critique risque de créer des chambres d'écho épistémiques et de dénaturer la cognition humaine.
• Conclusion Modeste : L'article ne prétend pas que les LLM ne pourront jamais simuler le comportement humain plus précisément, ni nie leur utilité. Il affirme au contraire que les LLM actuels, et ceux prévisibles sous le paradigme statistique actuel, ne peuvent remplacer les participants humains pour la compréhension théorique de l'esprit humain en raison des différences fondamentales d'ancrage et de conscience. L'objectif ultime est de tirer parti des LLM de manière productive tout en respectant les distinctions ontologiques et épistémologiques entre l'intelligence machine et la pensée humaine.