💬 NLP

Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives

Cet article propose un pipeline de résumé pour détecter les biais de race et de genre dans les interprétations de récits de vie par les modèles de langage, afin d'évaluer l'impact de la positionnalité de ces modèles sur les conclusions des études qualitatives.

Auteurs originaux : Melanie Subbiah, Haaris Mian, Nicholas Deas, Ananya Mayukha, Dan P. McAdams, Kathleen McKeown

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Melanie Subbiah, Haaris Mian, Nicholas Deas, Ananya Mayukha, Dan P. McAdams, Kathleen McKeown

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Résumé : Qui raconte vraiment votre histoire ?

Imaginez que vous avez passé des heures à raconter votre vie, vos joies, vos traumatismes et vos rêves à un psychologue. C'est une histoire très personnelle, pleine de nuances.

Maintenant, imaginez que vous demandez à un robot très intelligent (un "Grand Modèle de Langage" ou LLM) de résumer cette histoire pour un livre. Le robot va écrire un résumé court. Mais voici le problème : le robot a-t-il sa propre opinion ? Est-ce qu'il va déformer votre histoire sans le vouloir ?

C'est exactement ce que les chercheurs de cette étude ont voulu découvrir. Ils ont demandé : "Si on utilise un robot pour résumer les vies de gens réels, est-ce que le robot va raconter la même histoire selon que la personne est un homme, une femme, noire ou blanche ?"

🔍 L'Expérience : Le "Portrait de Positionnalité"

Pour répondre à cette question, les chercheurs ont créé un outil qu'ils appellent un "Portrait de Positionnalité".

L'analogie du miroir déformant :
Imaginez que le robot est un miroir.

Si vous êtes un homme blanc, le miroir vous montre peut-être comme quelqu'un de très compétent et fort.
Si vous êtes une femme noire, le même miroir pourrait vous montrer comme quelqu'un de très chaleureux, mais moins "puissant".
Si vous êtes un homme noir, le miroir pourrait omettre vos émotions ou exagérer votre force physique.

Le but de l'étude n'est pas de dire que le robot est "méchant", mais de voir comment il déforme la réalité selon qui parle.

🧪 Ce qu'ils ont découvert (Les surprises)

Les chercheurs ont fait résumer des centaines d'histoires de vie par différents robots (comme Llama ou Qwen) et ont comparé les résultats avec ce que des psychologues humains pensaient. Voici les résultats les plus frappants :

Le robot "blanchit" les émotions des hommes :
C'est une surprise ! Le robot a tendance à rendre les histoires des hommes moins émotionnelles. Si un homme raconte qu'il a pleuré ou qu'il a eu peur, le robot va souvent dire : "Il était fort et a surmonté cela." Il efface la vulnérabilité masculine. C'est comme si le robot pensait : "Les hommes ne pleurent pas, donc je vais écrire qu'ils sont des rochers."
Les stéréotypes raciaux sont toujours là :
- Les femmes blanches sont souvent décrites comme ayant une vie de loisirs et de détente.
- Les femmes noires sont souvent décrites comme travaillant dur, luttant et étant très fortes, mais rarement en train de se reposer.
- Les hommes noirs voient souvent leur histoire résumée de manière à souligner leur "dominance" ou leur "force", parfois au détriment de leurs sentiments personnels.
Les robots ne sont pas neutres, même s'ils sont "neutres" :
Même si on ne dit pas au robot "cette personne est noire", il le devine en lisant le style d'écriture et change son résumé. C'est comme si le robot avait lu des milliers de livres où les Noirs sont décrits d'une certaine façon, et il applique ces vieux clichés à votre histoire personnelle.

⚠️ Pourquoi c'est dangereux ?

Si un chercheur utilise un robot pour analyser des milliers d'histoires de vie et qu'il ne se rend pas compte de ces biais, il risque de tirer de fausses conclusions.

Exemple concret : Si le robot efface les détails sur la souffrance émotionnelle d'un homme, le chercheur pourrait conclure à tort que "les hommes ne souffrent pas émotionnellement".
Le danger : On risque de réécrire l'histoire de certaines personnes pour qu'elle corresponde à ce que la société s'attend à voir, plutôt que de raconter la vérité de leur vie.

💡 La Solution : Le "Portrait"

Au lieu de faire confiance aveuglément au robot, les chercheurs proposent de créer un "Portrait de Positionnalité" pour chaque robot utilisé.

C'est comme une étiquette d'ingrédients sur un aliment. Avant d'utiliser un robot pour analyser des données, vous devez lire l'étiquette qui dit : "Attention, ce robot a tendance à rendre les hommes plus froids et les femmes noires plus travailleuses."

🏁 En résumé

Cette étude nous dit : Les robots ne sont pas des caméras neutres. Ce sont des interprètes qui ont leurs propres lunettes de vue, souvent teintées par des stéréotypes anciens.

Avant de laisser un robot résumer votre vie ou celle de milliers de personnes, nous devons comprendre comment il voit le monde, pour ne pas qu'il nous raconte une histoire qui n'est pas la nôtre. C'est comme demander à un peintre de faire votre portrait : vous devez savoir s'il a l'habitude de peindre tout le monde en bleu ou en rouge, pour ne pas être surpris par le résultat final !

1. Problématique

L'utilisation croissante des Grands Modèles de Langage (LLM) pour l'analyse qualitative de données textuelles (notamment pour l'analyse thématique inductive) soulève des préoccupations éthiques et méthodologiques majeures. Contrairement au codage déductif où l'on peut comparer la précision des LLM à des étiquettes humaines, l'évaluation de l'éthique et de l'efficacité des méthodes abstraites (comme la génération de résumés thématiques) est plus complexe.

Le problème central est que les LLM, en agissant comme interprètes de récits de vie personnels et émotionnels, peuvent introduire des biais de positionnalité. Contrairement aux chercheurs humains qui déclarent leur positionnalité (comment leur identité et leur vécu influencent leur interprétation), les LLM n'ont pas d'identité propre, rendant leur biais invisible. Cela risque de déformer les expériences réelles des participants, d'effacer des nuances contextuelles cruciales ou de perpétuer des stéréotypes raciaux et de genre, entraînant un préjudice représentationnel.

2. Méthodologie

Les auteurs proposent un pipeline quantitatif et qualitatif pour générer un « portrait de positionnalité » pour les LLM, évaluant comment ils interprètent des récits de vie en fonction de la démographie des participants.

A. Données

Source : Un ensemble de données psychologique privé et non public (Foley Longitudinal Study of Adulthood - FLSA), contenant 163 entretiens sur les histoires de vie d'Américains.
Sous-ensemble analysé : Les sections « chapitres de vie » de 154 entretiens.
Démographie : 57 % Blancs, 43 % Noirs ; 64 % Femmes, 36 % Hommes.
Contrainte : Les données sont sensibles, nécessitant l'utilisation de modèles open-source locaux pour garantir la confidentialité.

B. Pipeline d'Analyse

Le pipeline compare les résumés générés par le LLM ( $\hat{s}$ ) avec le texte original ( $d$ ) en fonction de la démographie ( $c$ ) :

Résumés de base (Baseline) : Génération de résumés sans information démographique explicite dans le prompt.
Résumés conditionnés (Demographic-conditioned) : Génération de résumés avec l'ajout explicite de la démographie (ex: « Homme noir », « Femme blanche ») dans le prompt.
Comparaison : Analyse des écarts entre les résumés de base et conditionnés, ainsi que des écarts entre les résumés et les textes originaux, selon quatre axes :
- Wording et Sémantique : Utilisation de métriques ROUGE (chevauchement lexical) et BERTScore (similarité sémantique) pour mesurer la fidélité du langage.
- États Psychologiques : Utilisation de lexiques (LIWC, VAD pour valence/arousal/dominance, et SCM pour chaleur/compétence) pour détecter l'amplification ou la suppression d'états émotionnels.
- Thèmes : Analyse des changements dans les thèmes identifiés (ex: « résilience », « travail dur ») lorsque la démographie est explicitement mentionnée.
- Étude Qualitative : Évaluation par trois experts en psychologie (doctorant et assistants) sur la fidélité, la chaleur, la compétence et la présence de stéréotypes dans un sous-ensemble d'entretiens.

C. Modèles Testés

Trois modèles open-source de tailles variées :

Llama-3.2-3B-Instruct
Llama-3.1-8B-Instruct
Qwen-2.5-7B-Instruct

3. Contributions Clés

Concept de « Portrait de Positionnalité » : Proposition d'une méthode pour visualiser et quantifier les biais inhérents à un LLM lorsqu'il interprète des données sensibles, comblant le vide laissé par l'absence d'identité chez les modèles.
Pipeline Quantitatif Novel : Développement d'un cadre méthodologique combinant métriques linguistiques, lexiques psychologiques et analyse thématique pour détecter des biais intersectionnels (race et genre).
Validation par Experts : Intégration d'évaluations qualitatives par des psychologues pour valider la pertinence des métriques quantitatives face à des biais réels.
Ressources : Mise à disposition du code du pipeline sur GitHub.

4. Résultats Principaux

Les résultats révèlent des biais systématiques et significatifs selon les modèles et les groupes démographiques :

Fidélité Sémantique et Linguistique :
- Les résumés pour les hommes blancs présentent une similarité sémantique (BERTScore) plus élevée que pour les autres groupes, suggérant un biais vers l'anglais standard des Blancs (White Mainstream English).
- Les hommes noirs et les femmes noires montrent souvent une similarité sémantique plus faible, indiquant une perte de nuances culturelles ou linguistiques.
Amplification des États Psychologiques (Stéréotypes) :
- Chaleur vs Compétence (SCM) : Les résumés attribuent davantage de « chaleur » (warmth) aux personnes noires (surtout les hommes noirs) et aux femmes, mais moins de « compétence » (competence) par rapport aux hommes blancs qui sont décrits comme plus compétents. Cela reflète les stéréotypes sociétaux classiques.
- Expression Émotionnelle : Les expériences des hommes sont significativement modifiées dans leur expression émotionnelle (valence, arousal, dominance). Les modèles tendent à atténuer la détresse ou à la reformuler de manière inappropriée.
- Travail vs Loisir : Les femmes noires sont souvent décrites dans un contexte de travail acharné, tandis que les femmes blanches sont associées à des loisirs, renforçant des stéréotypes de classe et de race.
Thèmes et Narratif :
- Les modèles ont tendance à imposer des fin narratives trop positives (biais de croissance/résilience), même lorsque l'original contient de la détresse ou des traumatismes non résolus.
- L'ajout explicite de la démographie dans le prompt modifie les thèmes identifiés : par exemple, la « persévérance » est moins souvent identifiée pour les femmes noires avec certains modèles, et la « conscience de soi » est réduite pour les hommes noirs.
Étude Qualitative :
- Les experts ont noté que les modèles omettent souvent des événements émotionnels lourds (décès, abus, maladies graves) ou les présentent de manière factuelle et détachée.
- Les modèles plus puissants (comme Llama-8B) ne corrigent pas nécessairement ces biais ; ils peuvent même intégrer des biais plus nuancés mais tout aussi nuisibles.

5. Signification et Implications

Risque de Préjudice Représentationnel : L'utilisation de LLM pour l'analyse qualitative sans contrôle peut déformer les récits de vie, en particulier pour les groupes minoritaires et les hommes, en effaçant leur agency ou en les enfermant dans des stéréotypes.
Limites de l'Échelle : Bien que les LLM permettent d'analyser de grands volumes de données, cette étude montre qu'ils ne sont pas « neutres ». Leur utilisation pour comparer des expériences interculturelles ou analyser l'expérience émotionnelle des hommes est particulièrement risquée.
Recommandation pour la Recherche : Les auteurs recommandent que les chercheurs utilisant des LLM pour l'analyse qualitative incluent un « portrait de positionnalité » dans leurs publications. Cela permettrait de documenter les biais potentiels du modèle utilisé, de manière analogue aux déclarations de positionnalité des chercheurs humains.
Conclusion : Les modèles actuels, même les plus grands, ne résolvent pas automatiquement les biais de positionnalité. Une vigilance accrue et des méthodes d'évaluation comme celle proposée sont essentielles pour une utilisation éthique des LLM en sciences sociales.