Résumé technique : Évaluation de la présence de biais de sexe dans le raisonnement clinique par les grands modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus intégrés dans les flux de travail de soins de santé pour la documentation, l'éducation et l'aide à la décision clinique. Cependant, ces modèles sont entraînés sur de vastes corpus de textes qui encodent intrinsèquement des biais sociaux et biologiques historiques, notamment les disparités de sexe dans le diagnostic et le traitement. Bien que des recherches antérieures aient examiné les performances de l'IA par rapport aux références humaines et la perception publique de l'IA, il existe une lacune critique concernant les preuves empiriques de savoir si les LLM contemporains reproduisent les schémas de biais de sexe biologique lors de l'interprétation d'informations cliniques. Plus précisément, il reste incertain de savoir si ces modèles reviennent par défaut à des hypothèses sexuées en l'absence de données de patients explicites et si de tels biais modifient le raisonnement diagnostique en aval.

Méthodologie

Les auteurs ont mené une étude contrôlée, composée de trois expériences, utilisant 50 vignettes cliniques rédigées par des cliniciens couvrant 44 spécialités médicales. Ces vignettes ont été spécifiquement conçues pour être « neutres du point de vue du sexe », ce qui signifie que le parcours diagnostique initial ne devrait pas être influencé par le sexe du patient. L'étude a utilisé quatre LLM à usage général : OpenAI ChatGPT (gpt-4o-mini), Anthropic Claude 3.7 Sonnet, Google Gemini 2.0 Flash et DeepSeek-chat.

Le design expérimental comprenait trois tâches distinctes :

1. Assignation binaire du sexe : Les modèles étaient confrontés à des vignettes neutres (omettant le sexe du patient) et instruits d'assigner un sexe binaire (mâle/femelle).
2. Capacité d'abstention : Les mêmes vignettes neutres étaient présentées, mais l'invite permettait une troisième option : « s'abstenir ». Cela testait si les modèles pouvaient s'abstenir d'une inférence démographique non sollicitée.
3. Raisonnement de diagnostic différentiel : Les modèles étaient invités à générer une liste des cinq premiers diagnostics différentiels pour des paires de vignettes qui ne différaient que par le sexe du patient (variantes mâle vs femelle).

Conditions expérimentales :

• Températures : Chaque modèle a été interrogé à trois réglages de température (0,2, 0,5 et 1,0) pour évaluer l'influence de la variabilité de l'échantillonnage.
• Répétition : Chaque condition a été répétée 10 fois pour assurer la robustesse.
• Analyse :
  • Pour les expériences 1 et 2, les proportions d'assignations de sexe et d'abstentions ont été analysées à l'aide de tests binomiaux exacts.
  • Pour l'expérience 3, les listes diagnostiques ont été comparées à l'aide de quatre mesures : la similitude de Jaccard (chevauchement), l'accord au niveau de l'élément (alignement de rang), la caractéristique de correspondance cumulative (point de divergence) et le tau-b de Kendall (similitude d'ordre).
  • La signification statistique a été évaluée à l'aide de tests de Chi-deux, d'ANOVA et de tests de Wilcoxon signés.

Résultats clés

1. Biais d'assignation du sexe

Tous les modèles ont démontré des biais significatifs, spécifiques au modèle, dans l'assignation du sexe à des vignettes cliniques neutres ($\chi^2_{(3)}=363,6, p<0,001$).

• ChatGPT : A montré le biais féminin le plus marqué, assignant le sexe féminin dans 70 % des cas à une température de 0,5.
• DeepSeek & Claude : Ont présenté un biais féminin modéré (61 % et 59 % respectivement).
• Gemini : A montré un biais masculin constant, n'assignant le sexe féminin que dans 36 % des cas.
• Effet de la température : La température seule n'a eu aucun effet principal significatif sur l'assignation du sexe ($p=0,95$), bien qu'une interaction significative existe entre le modèle et la température.

2. Modèles spécifiques aux spécialités

Le biais n'était pas uniforme à travers les domaines médicaux ; il reflétait les stéréotypes cliniques connus :

• Spécialités étiquetées féminines : La psychiatrie, la rhumatologie et l'hématologie ont été étiquetées comme féminines dans 100 % des cas pour tous les modèles. L'endocrinologie était principalement féminine (60–100 %).
• Spécialités étiquetées masculines : La cardiologie et l'urologie ont été étiquetées comme mâles dans 100 % des cas. La pneumologie était principalement masculine (95–100 % pour la plupart des modèles).

3. Impact de l'abstention

Lorsqu'ils étaient autorisés à s'abstenir :

• ChatGPT : S'est abstenu dans 100 % des cas pour toutes les températures, éliminant efficacement l'étiquetage explicite du sexe mais rendant le modèle non informatif pour cette tâche.
• Autres modèles : Claude (84 %), Gemini (80 %) et DeepSeek (58 %) se sont souvent abstenus à une température de 0,5.
• Impact en aval : Crucialement, même lorsque les modèles s'abstenaient de l'étiquetage explicite, les différences de diagnostics différentiels dépendantes du sexe persistaient.

4. Divergence du raisonnement diagnostique

Lors de la génération de diagnostics différentiels pour des variantes mâles et femelles de la même vignette :

• Taux de divergence : À une température de 0,5, 58 à 78 % des comparaisons ont entraîné des listes divergentes (différant en contenu ou en ordre). ChatGPT présentait la plus forte divergence (78 %), tandis que DeepSeek présentait la plus faible (58 %).
• Mesures de similitude : Le chevauchement diagnostique (similitude de Jaccard) a diminué à mesure que la température augmentait pour tous les modèles. ChatGPT montrait le déclin le plus marqué (0,76 à temp 0,2 contre 0,50 à temp 1,0).
• Conclusion : L'augmentation de la température augmentait la variabilité mais n'éliminait pas les différences diagnostiques dépendantes du sexe. Le biais sous-jacent semblait intrinsèque aux représentations apprises par le modèle plutôt qu'un artefact de l'échantillonnage.

Signification et affirmations

Les auteurs affirment que cette étude fournit la première preuve empirique directe que le biais de sexe n'est pas seulement théorique mais détectable dans les sorties de nombreux LLM à usage général largement accessibles appliqués à la santé.

• Le biais est intrinsèque et spécifique au modèle : La direction et l'ampleur du biais sont déterminées principalement par l'architecture du modèle et les données d'entraînement, et non par les paramètres de température lors de l'inférence. Différents modèles commerciaux encodent des « priors de sexe » distincts.
• Les stéréotypes l'emportent sur la neutralité clinique : Les modèles reproduisent des stéréotypes linguistiques et culturels ancrés (par exemple, associer la psychiatrie aux femmes et l'urologie aux hommes) plutôt que d'effectuer un raisonnement neutre fondé sur des preuves. Cela suggère que les modèles s'engagent dans une « complétion de stéréotype » plutôt que dans une inférence bayésienne sur les statistiques de population.
• Limites de la configuration : Les changements de configuration simples, tels que l'autorisation de l'abstention ou l'ajustement de la température, sont insuffisants pour neutraliser le biais. Bien que l'abstention réduise l'étiquetage explicite, elle ne parvient pas à empêcher les différences diagnostiques en aval.
• Implications cliniques : Ces conclusions plaident contre l'utilisation de LLM à usage général pour guider les décisions de diagnostic ou de traitement sans une surveillance rigoureuse. Les auteurs préconisent :
  • Des configurations de modèles documentées et conservatrices.
  • Un audit des données cliniques par spécialité pour identifier les points chauds de biais.
  • Une supervision humaine continue lors du déploiement de ces modèles.
  • Des changements structurels dans le développement des modèles, incluant des corpus d'entraînement curatés et des objectifs d'apprentissage par renforcement qui pénalisent la complétion de stéréotypes.

L'article conclut que bien que les LLM puissent générer du texte clinique fluide, leur itération actuelle présente des biais de sexe stables et systématiques qui compromettent la sécurité et l'équité, nécessitant un passage d'un déploiement à usage général vers des systèmes dédiés, audités et supervisés par l'humain.