Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
Cette étude démontre que le choix des étiquettes de dépression dans les dossiers de santé électroniques — qu'elles soient codées par le prestataire, auto-déclarées par le patient ou concordantes — modifie de manière significative la performance et l'importance des caractéristiques des modèles d'apprentissage automatique, révélant que les étiquettes dérivées des prestataires peuvent involontairement amplifier les biais démographiques malgré l'obtention de scores AUC légèrement plus élevés.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot à reconnaître un type d'oiseau spécifique. Vous lui montrez des milliers de photos, mais il y a un piège : parfois, les photos sont étiquetées par un expert en ornithologie, et parfois, elles sont étiquetées par la personne qui a réellement vu l'oiseau dans la nature. L'expert peut manquer un oiseau parce qu'il se cachait, ou peut identifier de manière erronée une espèce similaire. La personne dans la nature peut être enthousiasmée et penser avoir vu un oiseau rare alors qu'il ne s'agissait que d'un oiseau commun. Si vous n'enseignez au robot qu'en utilisant les étiquettes de l'expert, il apprendra à voir ce que l'expert voit, et non nécessairement ce qui est réellement présent. C'est le cœur d'un domaine en pleine expansion appelé l'apprentissage automatique (Machine Learning), où les ordinateurs apprennent à trouver des modèles dans des quantités massives de données pour faire des prédictions. Dans le domaine de la santé, les scientifiques essaient de construire ces « robots médecins » pour repérer des problèmes de santé mentale comme la dépression avant qu'ils ne s'aggravent. Mais voici la partie délicate : contrairement à une fracture qui apparaît clairement sur une radiographie, la dépression est invisible. Elle repose sur la façon dont un patient se sent et sur la façon dont un médecin interprète ces sentiments. Cet article pose une question grande et importante : si nous enseignons à nos robots médecins en utilisant les notes du médecin comme étant la « vérité », apprendront-ils la même chose que si nous utilisions le propre rapport du patient sur ce qu'il ressent ?
Les chercheuses derrière cette étude, Natasha Tonge et Leah Adams de l'Université George Mason, ont décidé de mettre cette question à l'épreuve. Elles ont examiné une pile massive de dossiers médicaux de plus de 644 000 adultes ayant visité des centres de santé communautaires entre 2012 et 2019. Elles voulaient voir si la « vérité de terrain » (ground truth) — l'étiquette utilisée pour dire à l'ordinateur ce qui compte comme une dépression — changeait la façon dont l'ordinateur apprenait. Elles ont construit trois versions différentes d'un modèle d'apprentissage automatique, chacune entraînée sur une définition différente de la dépression :
- Le point de vue du médecin : Le modèle a appris uniquement à partir des cas où un médecin avait officiellement inscrit un diagnostic de dépression dans le dossier du patient.
- Le point de vue du patient : Le modèle a appris uniquement à partir des patients qui ont signalé des symptômes graves via un questionnaire (le PHQ-9), même si le médecin n'avait pas inscrit de diagnostic.
- Le point de vue de l'accord : Le modèle a appris uniquement à partir des cas où le patient signalait des symptômes graves ET où le médecin avait inscrit un diagnostic.
Elles ont utilisé un type d'algorithme informatique appelé « arbre » (pensez à cela comme un organigramme qui pose des questions par oui ou par non) pour prédire qui souffrait de dépression. Elles ont alimenté l'ordinateur avec des données telles que l'âge, la race, le sexe, la tension artérielle et la présence d'anxiété ou d'autres problèmes de santé.
Voici ce qu'elles ont trouvé, et c'est un peu surprenant. Premièrement, les modèles informatiques n'étaient pas parfaits pour détecter la dépression, quel que soit l'étiquette utilisé. Leur précision, mesurée par un score appelé AUC, oscillait entre 0,62 et 0,64. Pour donner une perspective, un score parfait est de 1,0, et un choix aléatoire est de 0,5. Ainsi, les modèles étaient meilleurs qu'un simple hasard, mais ils manquaient encore beaucoup de cas. Le modèle entraîné sur les étiquettes des médecins était le meilleur pour identifier les cas déjà identifiés par les médecins (avec une sensibilité de 0,33), mais il en manquait encore environ deux tiers.
La découverte la plus intéressante ne concernait pas tant l'efficacité des modèles, mais plutôt ce qu'ils considéraient comme important. Le « cerveau » de l'ordinateur changeait d'avis selon qui il écoutait.
- Lorsque le modèle écoutait les étiquettes des médecins, il décidait que des facteurs tels que le fait d'être Blanc, d'être une femme et d'être célibataire étaient les indices les plus importants de la dépression.
- Lorsque le modèle écoutait les symptômes graves des patients, ces indices démographiques devenaient moins importants. À la place, le modèle se concentrait fortement sur le fait que le patient souffrait d'anxiété, son âge et sa tension artérielle.
- La seule chose qui est restée importante à travers les trois modèles a été l'anxiété. Si un patient souffrait d'anxiété, l'ordinateur était plus susceptible de le signaler pour une dépression, quelle que soit l'étiquette utilisée.
Les auteures suggèrent que ce changement est un signal d'alarme. Si nous construisons des outils d'IA qui n'apprennent que de ce que les médecins écrivent, l'IA pourrait commencer à penser que la dépression est principalement liée à une certaine race ou un certain genre, simplement parce que c'est ce que les médecins ont eu tendance à diagnostiquer par le passé. Elle pourrait manquer les patients qui souffrent mais qui n'ont pas encore été diagnostiqués. L'étude suggère que pour que ces outils d'IA soient équitables et dignes de confiance, ils doivent inclure la propre voix du patient, et pas seulement les notes du médecin. Si nous ne le faisons pas, nous risquons de construire un système numérique qui répète les mêmes angles morts et les mêmes biais qui existent dans le monde réel, manquant potentiellement les personnes qui ont le plus besoin d'aide. Les chercheuses n'ont pas prouvé qu'une méthode était parfaite, mais elles ont montré clairement que le choix de savoir qui définit la « vérité » change toute la compréhension du problème par le robot.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.