Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

Lorsqu'une personne appelle pour une urgence, la première décision est souvent prise par une voix à l'autre bout du fil. Ce répartiteur doit décider rapidement si l'appelant a besoin d'une ambulance, de la visite d'un médecin à domicile ou simplement du conseil d'attendre. Ces dernières années, les hôpitaux et les services d'urgence ont commencé à utiliser l'intelligence artificielle pour aider à cette tâche difficile. Ces programmes informatiques écoutent la conversation, lisent les mots prononcés et calculent l'urgence de la situation. L'espoir est que les machines puissent traiter l'information plus rapidement et de manière plus constante que les humains, surtout lorsque l'appelant est en souffrance ou en détresse. Cependant, un problème persistant en médecine est que les femmes reçoivent souvent des soins différents de ceux des hommes, parfois à leur détriment. Elles peuvent attendre plus longtemps pour obtenir un soulagement de la douleur ou être moins prises au sérieux lorsqu'elles décrivent leurs symptômes. La question cruciale pour la nouvelle ère de la technologie médicale est de savoir si ces programmes informatiques vont simplement répéter ces vieilles erreurs humaines ou s'ils peuvent être conçus pour traiter tout le monde équitablement.

Une équipe de chercheurs en France s'est donné pour mission d'étudier précisément ce problème dans le contexte de la régulation médicale d'urgence. Ils ont travaillé avec une grande organisation appelée SOS Médecins Grand Paris, qui gère quotidiennement des milliers d'appels de personnes ayant besoin d'une aide médicale le jour même. Les chercheurs se sont concentrés sur un type d'appel spécifique : ceux où un médecin s'est finalement rendu au domicile du patient. À la fin de chaque visite, le médecin notait si le patient était envoyé aux urgences hospitalières ou renvoyé à son domicile. Ce dossier a servi de vérité terrain pour l'étude, permettant aux chercheurs de voir quels appels nécessitaient réellement des soins hospitaliers urgents. Ils ont recueilli des données provenant de près de deux millions d'appels effectués entre 2018 et 2023, faisant correspondre les enregistrements audio des appels initiaux avec les dossiers médicaux finaux des patients. Après avoir nettoyé et apparié les données, ils disposaient d'une collection massive de plus d'un million d'appels et de résultats appariés.

Les chercheurs ont ensuite construit trois modèles informatiques différents pour voir comment le mélange d'hommes et de femmes dans les données d'entraînement affectait les résultats. Ils n'ont pas seulement construit un modèle et l'ont testé ; ils ont créé trois versions distinctes pour isoler l'effet de l'équilibre entre les sexes. Le premier modèle a été entraîné uniquement sur des données provenant d'hommes. Le deuxième a été entraîné uniquement sur des données provenant de femmes. Le troisième a été entraîné sur un mélange parfaitement équilibré d'hommes et de femmes, mais avec la moitié du nombre total d'exemples par rapport aux deux autres. Ils ont ensuite testé chaque modèle sur de nouveaux appels non vus pour voir s'il pouvait prédire qui devait aller à l'hôpital. L'objectif était de voir si un modèle entraîné sur un groupe équilibré performerait de manière égale pour les deux sexes, ou si la composition des données d'entraînement changerait la façon dont la machine « voit » les hommes et les femmes.

Les résultats ont révélé une image surprenante et complexe de la façon dont ces machines apprennent. Le modèle entraîné exclusivement sur des hommes a bien fonctionné pour les hommes, mais a rencontré des difficultés significatives lorsqu'il était appliqué aux femmes. Il n'a pas réussi à identifier de nombreuses femmes qui avaient réellement besoin de soins d'urgence, montrant un net écart de performance. En revanche, le modèle entraîné exclusivement sur des femmes a bien fonctionné pour les femmes et, de manière peut-être plus surprenante, a aussi bien fonctionné pour les hommes. Il ne semblait pas perdre en précision lorsqu'il était appliqué à la population masculine. Le troisième modèle, qui a été entraîné sur un mélange équilibré d'hommes et de femmes, se situait entre les deux. Il a mieux performé pour les hommes que pour les femmes, mais l'écart était plus faible que dans le modèle exclusivement masculin. Crucialement, les chercheurs ont découvert que le simple fait d'équilibrer le nombre d'hommes et de femmes dans les données d'entraînement ne suffisait pas à garantir l'équité. Même le modèle équilibré montrait une légère préférence pour les hommes, suggérant que le problème n'est pas seulement d'avoir un nombre égal d'exemples, mais qu'il réside dans quelque chose de plus profond dans la relation entre les symptômes et les résultats pour les différents sexes.

Pour comprendre pourquoi cela se produisait, les chercheurs ont examiné de près les mots que les modèles considéraient comme les plus importants lors de leurs décisions. Ils ont constaté que le langage utilisé pour décrire une urgence revêtait des poids différents selon le modèle. Par exemple, les termes liés aux chutes ou à l'essoufflement étaient importants pour les deux groupes, mais d'autres termes comme « douleur » et « abdomen » étaient très influents pour le modèle féminin, tandis que « sang » et « étourdissement » dictaient les décisions du modèle masculin. Cela indique que la relation entre ce qu'un patient exprime et la nécessité d'aller à l'hôpital n'est pas identique pour les hommes et les femmes. Les modèles informatiques ne faisaient pas que manquer d'exemples de femmes ; ils apprenaient que les signes d'une urgence diffèrent selon le sexe de l'appelant. Un modèle unique essayant d'apprendre de ces deux groupes à la fois finit par faire un compromis qui favorise les schémas du groupe majoritaire, qui, dans ce cas, penchait vers les hommes.

L'étude conclut que corriger le biais de genre dans l'intelligence artificielle n'est pas aussi simple que de s'assurer que les données d'entraînement contiennent un nombre égal d'hommes et de femmes. Bien que l'équilibrage des données aide, il ne résout pas automatiquement le problème. Les chercheurs suggèrent que les différences dans la façon dont les hommes et les femmes vivent et décrivent la maladie sont structurelles et fondamentales. En raison de cela, un modèle construit spécifiquement pour les femmes semble être assez robuste pour gérer les hommes, mais un modèle construit pour les hommes ne se transpose pas bien aux femmes. Cette conclusion remet en question l'hypothèse courante selon laquelle un algorithme unique et équilibré peut traiter tout le monde de manière égale. Au lieu de cela, elle suggère que l'équité dans l'IA médicale peut nécessiter de reconnaître ces différences profondes dès le début du processus de conception, plutôt que d'essayer de les corriger plus tard par de simples ajustements de données. Ce travail souligne que pour que ces outils soient véritablement sûrs et efficaces, ils doivent être construits avec la compréhension que l'expérience humaine de la maladie n'est pas uniforme selon les sexes.