Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

Cette étude révèle que les grands modèles de langage perpétuent des stéréotypes de genre en s'appuyant sur des déterminants sociaux de la santé dans des dossiers médicaux français, soulignant la nécessité d'évaluer les interactions entre ces facteurs pour mieux mesurer les biais.

L'essentiel

Voici une explication simple et imagée de cette recherche, conçue pour être comprise par tous, sans jargon technique.

Imaginez que les Grands Modèles de Langage (IA) soient comme de super-cuisiniers qui ont appris à cuisiner en ayant lu des millions de livres de recettes, d'articles de journaux et de blogs sur Internet. Le problème ? Ces livres contiennent souvent des préjugés anciens ou des stéréotypes (par exemple : "les femmes cuisinent, les hommes réparent les voitures").

Cette étude, menée par des chercheurs français, pose une question cruciale : Si on donne à ces "cuisiniers" des dossiers médicaux anonymes, vont-ils deviner le genre du patient en se basant sur des stéréotypes sociaux plutôt que sur la réalité ?

Voici comment ils ont mené l'enquête, expliqué avec des métaphores :

1. Le Défi : Enlever les indices "évidents"

Dans un dossier médical français, le genre est souvent écrit clairement (Monsieur/Madame) ou deviné grâce aux noms (Marie vs Pierre). Pour voir si l'IA a vraiment des préjugés cachés, les chercheurs ont joué au "jeu de l'aveugle".

Ils ont pris des dossiers de patients et ont effacé tous les mots qui indiquent le genre. Ils ont transformé le texte en une liste de faits neutres, comme une carte d'identité sociale :

• Au lieu de dire "Marie, infirmière", ils ont écrit : "Travaille dans le secteur santé", "Marié", "Fume".
• Au lieu de "Pierre, ouvrier", ils ont écrit : "Travaille dans le secteur industriel", "Veuf", "Ne fume pas".

Ensuite, ils ont demandé à l'IA : "Devinez le genre de cette personne uniquement en vous basant sur sa vie sociale."

2. L'Expérience : Les "Enquêteurs" IA

Les chercheurs ont testé 9 différents modèles d'IA (comme des élèves de différentes tailles et origines). Ils ont demandé à chacun de donner une note de 1 à 7 :

• 1 = C'est une femme.
• 4 = Je ne sais pas (neutre).
• 7 = C'est un homme.

Si l'IA donne systématiquement un "7" pour un homme qui est "retraité" et un "1" pour une femme qui est "étudiante", c'est qu'elle utilise des stéréotypes (des idées reçues) plutôt que de la logique médicale.

3. Les Découvertes : Ce que l'IA "pense"

Les résultats ressemblent à une révélation de secrets de famille :

• Les IA sont des miroirs de nos préjugés : Tout comme nous, les humains, l'IA associe certains métiers ou situations à un genre.
  • Exemple : Si le dossier mentionne "Ouvrier" ou "Retraité", l'IA penche fortement vers "Homme".
  • Exemple : Si le dossier mentionne "Employée de bureau" ou "Femme au foyer", l'IA penche vers "Femme".
• La taille compte, mais pas toujours : Les plus gros modèles (les "génies") sont un peu plus prudents, mais ils ne sont pas parfaits. Curieusement, les modèles adaptés spécifiquement à la médecine (qui devraient être plus sages) ont parfois montré plus de préjugés que les modèles généraux. C'est comme si un médecin spécialisé avait hérité de tous les clichés de ses collègues !
• L'IA est plus sûre que les humains ? Les chercheurs ont aussi demandé à de vrais humains de faire le même jeu. Résultat : les humains et les IA ont fait exactement les mêmes erreurs de jugement basées sur les métiers. L'IA ne fait que refléter ce que la société a appris à ses "cuisiniers".

4. Pourquoi est-ce dangereux ? (Le danger du "Diagnostic")

Imaginez un scénario où un médecin utilise cette IA pour l'aider à diagnostiquer un patient.

• Si le dossier dit "Patient, 40 ans, fumeur, travailleur manuel", l'IA pourrait, à cause de ses stéréotypes, suggérer des maladies liées aux hommes.
• Si le patient est en réalité une femme qui correspond à ce profil, l'IA pourrait ignorer des symptômes spécifiques aux femmes (comme des problèmes menstruels, comme le montre l'image 1 du papier) parce que son "cerveau" a décidé : "C'est un homme, donc pas de problème de règles".

C'est comme si un détective, en voyant un chapeau de pompier, décidait automatiquement que le suspect est un homme, et ignorait la possibilité que ce soit une femme pompière.

5. La Conclusion : Comment réparer la cuisine ?

Les chercheurs ne disent pas "jetons les IA". Ils disent : "Attention, elles ont des lunettes teintées !"

• Le diagnostic : Cette méthode permet de voir où et comment l'IA a des préjugés, en regardant les liens entre le genre et la vie sociale (SDoH).
• La solution : On ne peut pas effacer tous les préjugés du monde d'un coup (car l'IA apprend de notre monde imparfait). Mais on peut :
  1. Choisir ses outils : Privilégier les modèles qui montrent moins de préjugés.
  2. Donner des ordres clairs : Apprendre à l'IA à dire "Je ne vais pas deviner le genre, je vais juste analyser les symptômes".
  3. Surveiller : Utiliser ce type de test régulièrement pour s'assurer que l'IA ne dérive pas vers des stéréotypes dangereux.

En résumé : Cette étude nous rappelle que l'IA n'est pas magique ni neutre. Elle est un miroir de la société. Si nous voulons qu'elle aide les médecins à sauver des vies sans faire de discriminations, nous devons d'abord apprendre à voir et à corriger les "lunettes teintées" qu'elle porte sur le monde.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche en français, structuré selon vos demandes.

Titre de l'étude

Investigation des stéréotypes de genre dans les grands modèles de langage (LLM) via les déterminants sociaux de la santé (DSS)

1. Problématique

Les Grands Modèles de Langage (LLM) sont de plus en plus utilisés pour soutenir le diagnostic médical en exploitant les dossiers cliniques. Cependant, ces modèles reproduisent et amplifient les biais présents dans leurs données d'entraînement, ce qui peut entraîner des préjudices de représentation ou d'allocation dans des domaines sensibles comme la santé.

Le problème central identifié par les auteurs est que les benchmarks existants évaluent les biais liés aux déterminants sociaux de la santé (DSS) — tels que le genre ou l'origine ethnique — de manière isolée et décontextualisée. Ils négligent souvent les interactions entre ces facteurs. Dans le contexte médical, les DSS (conditions de vie, travail, habitudes, etc.) sont souvent subjectifs et sujets aux stéréotypes sociétaux. Si un LLM utilise ces stéréotypes pour inférer le genre d'un patient à partir de ses antécédents, cela peut conduire à des erreurs de diagnostic (par exemple, suggérer des problèmes menstruels pour un patient masculin basé sur des stéréotypes de métier), comme illustré dans la Figure 1 de l'article.

2. Méthodologie

L'étude propose un cadre d'évaluation pour sonder les stéréotypes de genre en analysant les relations entre le genre et d'autres DSS dans des dossiers patients anonymisés en français.

• Tâche : Prédiction du genre à partir d'informations de DSS neutres. Le modèle doit attribuer un score sur une échelle de Likert à 7 points (1 = Femme, 4 = Incertain, 7 = Homme).
• Données : Utilisation d'un jeu de données de 1 700 sections d'histoire sociale de dossiers cliniques d'un hôpital universitaire français. Après filtrage (nécessité d'au moins 3 DSS et des données sur l'emploi), 958 notes ont été utilisées.
• Neutralisation du Genre (Crucial) : Pour éviter que le modèle n'utilise des marqueurs linguistiques directs (accords grammaticaux en français), les notes ont été prétraitées :
  • Extraction des DSS sous forme de paires clé-valeur structurées.
  • Conversion des valeurs en options binaires (Oui/Non) ou neutralisation manuelle des termes (ex: "infirmier/infirmière" au lieu de "infirmière").
  • Cette étape vise à isoler le biais intrinsèque du modèle basé sur les associations sémantiques des DSS plutôt que sur la grammaire.
• Modèles Évalués : 9 LLMs ont été testés, incluant des modèles de base (Llama-3.1/3.3, Qwen2.5, Mistral) et des modèles adaptés au domaine médical (OpenBioLLM, Med42, HuatuoGPT).
• Mesure du Biais :
  • Utilisation d'une RMSE modifiée (Erreur Quadratique Moyenne Racine) pour mesurer l'écart par rapport à la valeur neutre (4). Un score positif indique un biais vers le masculin, négatif vers le féminin.
  • Analyse d'association : Tests exacts de Fisher et calcul des rapports de cotes (Odds Ratios) pour identifier les associations significatives entre des DSS spécifiques (ex: Profession, Statut marital) et les prédictions de genre.
• Comparaison Humaine : Une campagne d'annotation a été menée avec 9 étudiants pour comparer les schémas de stéréotypes humains avec ceux des modèles.

3. Contributions Clés

1. Cadre de sondage (Probing Framework) : Développement d'une méthode adaptable pour examiner les interactions entre le genre et 13 autres DSS à partir de données de dossiers patients, applicable à différentes langues et populations.
2. Analyse des interactions DSS : Identification de la relation spécifique entre le genre et des facteurs influents, notamment l'Occupation, révélant comment les modèles encodent les ségrégations professionnelles de genre.
3. Comparaison Modèle-Humain : Mise en évidence de similitudes dans les schémas de stéréotypes entre les LLMs et les annotateurs humains, validant l'approche pour étudier les biais cognitifs et algorithmiques.

4. Résultats Principaux

• Détection des stéréotypes : La métrique RMSE modifiée a permis de détecter des biais de genre cohérents chez tous les modèles, même sans marqueurs linguistiques explicites.
  • Les modèles plus petits (ex: Llama-3.1-8B) ont montré une confiance plus élevée et des biais plus marqués que leurs versions plus grandes (ex: Llama-3.3-70B), suggérant une dépendance accrue aux stéréotypes due à une capacité de traitement limitée.
  • Les modèles adaptés au domaine médical présentaient souvent un niveau de biais légèrement supérieur à leurs versions de base.
• Associations Spécifiques (Heatmaps) :
  • Emploi/Retraite : Forte association positive entre "Retraité" et "Homme", et "Étudiant" et "Femme".
  • Substances : Le tabagisme et l'alcoolisme sont systématiquement associés à des prédictions "Homme".
  • Professions : Les modèles associent fortement les hommes aux groupes "Ouvriers" et "Agriculteurs", et les femmes aux groupes "Employés" et "Femmes au foyer".
• Comparaison Humain-LLM : Les annotateurs humains et les modèles ont partagé des schémas de stéréotypes similaires (ex: association homme/travailleur, femme/employé ou femme au foyer), bien que les modèles aient parfois des niveaux d'association légèrement différents.
• Impact de la Neutralisation : L'expérience comparative a montré que les scores de biais chutaient significativement uniquement lorsque les marqueurs linguistiques de genre étaient supprimés, confirmant que les modèles s'appuient principalement sur ces marqueurs, mais que le biais persiste via les DSS lorsque ceux-ci sont présents.

5. Signification et Implications

• Validation de l'approche contextuelle : Cette étude démontre que l'évaluation des biais ne doit pas se limiter à des environnements décontextualisés. L'utilisation de DSS dans un contexte médical révèle des biais "cachés" qui peuvent avoir des conséquences réelles (mauvais diagnostics).
• Limites des modèles médicaux : Même les grands modèles adaptés au domaine médical ne sont pas exempts de stéréotypes sociaux ; l'adaptation aux données médicales peut parfois exacerber ces biais.
• Recommandations :
  • Il est improbable d'obtenir des LLMs totalement exempts de biais, car ils reflètent les "ombres" des données d'entraînement humaines.
  • Une approche pragmatique est nécessaire : privilégier des modèles adaptés à des tâches spécifiques qui montrent une neutralité au moins égale à celle des humains.
  • Les stratégies de prompting (instructions explicites pour ignorer les marqueurs de genre) peuvent être une solution efficace et peu coûteuse pour atténuer les biais dans les cas d'usage réels.
• Avenir : L'étude ouvre la voie à une évaluation plus complète des interactions entre tous les DSS et suggère que le sondage des stéréotypes intégrés devrait devenir un complément standard aux évaluations de performance des LLMs dans les domaines spécialisés.