Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

Résumé technique : Les tâches d'association de forme libre révèlent l'hallucination de stéréotypes dans les grands modèles de langage

Énoncé du problème
Bien que la littérature récente suggère que les grands modèles de langage (LLM) peuvent prédire les jugements stéréotypés humains, il reste incertain de savoir si les LLM émulent les processus cognitifs sous-jacents aux stéréotypes humains ou s'ils se contentent de récupérer des associations apprises pour résoudre des tâches de prédiction. Les recherches antérieures se sont largement appuyées sur des tâches de jugement contrôlées (par exemple, des enquêtes à choix multiples) ou sur des contextes contraints par des biais de groupe ancrés et prévisibles (par exemple, des réponses partisanes à des informations). Ces contextes peuvent permettre aux LLM de réussir en récupérant des corrélations statistiques issues de leurs données d'entraînement plutôt qu'en modélisant de véritables mécanismes cognitifs. Il existe une lacune critique dans la compréhension de la manière dont les LLM se comportent dans des environnements interprétatifs nouveaux et non contraints, où les significations culturelles ne sont pas préétablies. Plus précisément, on ignore si les LLM peuvent reproduire la structure des stéréotypes humains lors de l'interprétation de stimuli de forme libre dépourvus de signification sémantique intrinsèque.

Méthodologie
Les auteurs utilisent un plan expérimental comparatif impliquant des participants humains et deux modèles multimodaux (GPT-4o mini et Llama-3.2-11B-Vision-Instruct) à travers cinq domaines sociaux : le genre, le partisanat, la personnalité, l'urbanité et le mode de vie (routine).

1. Stimuli : L'étude utilise 12 stimuli visuels ambigus (4 taches d'encre de Rorschach et 8 pièces d'art abstrait) délibérément choisis pour leur absence de significations culturelles préétablies, de symboles explicites ou de neutralité esthétique.
2. Conditions expérimentales :
   • Tâches de premier ordre : Les participants (humains) et les modèles (utilisant des invites basées sur des personas, ex : « Vous êtes un [identité] ») fournissent des interprétations personnelles directes. Les réponses consistent en 3 associations d'objets, 3 associations de concepts et 1 émotion.
   • Tâches de second ordre : Les participants et les modèles prédisent comment les membres de groupes sociaux spécifiques interprètent les mêmes stimuli.
3. Collecte de données :
   • Humains : Environ 300 participants par domaine ont été recrutés via Prolific. Les participants de premier ordre ont interprété 4 stimuli aléatoires ; les participants de second ordre ont prédit les interprétations pour les deux groupes au sein d'un domaine.
   • LLM : Les modèles ont été interrogés 80 fois par combinaison domaine/stimulus à travers quatre réglages de température (0,3, 0,7, 0,9, 1,0) pour capturer la variabilité du modèle.
   • Conditionnement Leave-One-Out (LOO) : Pour tester si l'homogénéisation provient d'une individualisation insuffisante, GPT-4o mini a été conditionné par les associations réelles de participants humains spécifiques pour trois images afin de prédire leur association pour une quatrième image mise de côté.
4. Métriques d'analyse :
   • Diversité intra-groupe : Mesurée par l'entropie de Shannon des associations de mots.
   • Séparabilité inter-groupes : Mesurée en entraînant des classificateurs de LLM (GPT-4o mini et Llama) pour prédire l'appartenance à un groupe basée uniquement sur les schémas linguistiques des associations.
   • Analyse de l'espace sémantique : Les plongements de mots (Sentence-BERT) ont été projetés dans un espace 2D via l'ACP pour visualiser la topologie et le regroupement des réponses.

Résultats clés
L'étude révèle des différences qualitatives fondamentales entre les processus cognitifs humains et ceux des LLM concernant les stéréotypes :

• Diversité intra-groupe (Entropie) : Les réponses humaines de premier ordre présentent une forte hétérogénéité (entropie élevée), l'information démographique étant un faible prédicteur de l'interprétation. En revanche, les LLM produisent des réponses de premier ordre homogènes (entropie faible) quel que soit l'identité sociale invoquée. Cette homogénéisation persiste même sous conditionnement LOO, où les modèles échouent à capturer la variation individuelle humaine malgré la fourniture de données comportementales spécifiques.
• Séparabilité inter-groupes (Précision de classification) :
  • Humains : Les réponses humaines de premier ordre sont presque indiscernables par groupe (précision de classification proche du hasard, 46–60 %). Dans les tâches de second ordre, les humains font preuve d'une « exagération de stéréotype », augmentant modérément la séparabilité (57–79 %) en amplifiant de faibles tendances de premier ordre tout en préservant la diversité.
  • LLM : Bien que les réponses de premier ordre des LLM présentent une faible séparabilité (sauf dans les domaines de la personnalité), les réponses de second ordre des LLM présentent une séparabilité extrême (souvent >90 %, atteignant 99,9 % dans certains domaines). Les LLM génèrent des associations hautement polarisées et spécifiques aux groupes, facilement distinguables par les classificateurs, dépassant de loin le niveau de distinction humain.
• Topologie sémantique : L'analyse par ACP montre que les réponses humaines forment des clusters larges, chevauchants et continus. Les réponses des LLM, particulièrement dans les tâches de second ordre, forment des clusters étroitement concentrés, fragmentés et spatialement distincts, déconnectés des régions sémantiques occupées par les réponses humaines de premier ordre.
• Hallucination de stéréotype : Les auteurs nomment le phénomène des LLM « hallucination de stéréotype ». Contrairement à l'exagération de stéréotype humaine, qui réifie les biais de vérité terrain, les LLM génèrent des stéréotypes de second ordre frappants qui ne réamplifient ni les tendances de premier ordre existantes, ni les différences de groupes humains réelles. Ces prototypes hallucinés sont sémantiquement déconnectés de la réalité humaine.
• Robustesse : Ces conclusions se maintiennent même lorsque les modèles sont affinés ou conditionnés sur des données de participants individuels, ce qui suggère que le problème est une contrainte architecturale plutôt qu'un artefact de l'invite (prompting).

Contributions clés

1. Identification de l'« hallucination de stéréotype » : L'article introduit un mécanisme distinct où les LLM génèrent des stéréotypes de groupe exagérés dans des contextes nouveaux qui sont fondamentalement déconnectés de la réalité interprétative humaine, contrastant avec l'« exagération de stéréotype » humaine.
2. Innovation méthodologique : En utilisant des stimuli ambigus de forme libre (Rorschach/art abstrait), l'étude isole les processus cognitifs de construction de sens de la récupération de scripts culturels ancrés, fournissant un test plus rigoureux des LLM en tant que modèles cognitifs.
3. Preuve d'une limitation architecturale : L'étude démontre que les LLM échouent à préserver l'hétérogénéité individuelle et optent par défaut pour des prototypes socialement disponibles, même lorsqu'ils sont fournis avec des données comportementales individuelles spécifiques.

Signification
L'article soutient que les LLM ne peuvent pas servir de « modèles organismes » fiables pour les sciences sociales dans des contextes nouveaux, ambigus ou culturellement instables. Bien que les LLM puissent réussir à prédire le comportement humain dans des domaines où les significations sont stabilisées et les frontières de groupes ancrées (ex : réactions partisanes aux informations), ils échouent à modéliser la construction sociale active du sens à partir de diverses interprétations. Les résultats suggèrent que les LLM sont limités dans leur capacité à simuler la cognition humaine face à des environnements à haute entropie où les réponses humaines sont idiosyncrasiques et faiblement structurées par la démographie. Par conséquent, utiliser les LLM pour prédire le comportement humain dans des phénomènes sociaux émergents ou avant que les significations ne se soient stabilisées peut produire des résultats systématiquement biaisés et irréalistes en raison de la tendance des modèles à halluciner des prototypes de groupe plutôt qu'à émuler la diversité interprétative humaine.