Understanding Human AI Discrepancy in Breast Cancer TIL Assessment: A Multi-Rater and Perceptual Bias Study
Cette étude révèle que, bien que l'accord inter-pathologistes dans l'évaluation des TIL dans le cancer du sein soit élevé, il existe une divergence substantielle entre les pathologistes et les modèles d'IA, suggérant que l'intégration de l'IA nécessite un perfectionnement supplémentaire pour égaler la fiabilité humaine, particulièrement lors de l'utilisation de classifications multicatégories plutôt que de seuils dichotomisés.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
L'image globale : Compter de minuscules envahisseurs
Imaginez les cellules du cancer du sein comme une forteresse. À l'intérieur des murs de cette forteresse, se trouvent de minuscules « envahisseurs » appelés lymphocytes (un type de cellule immunitaire). Les médecins les appellent les TIL (Lymphocytes Infiltrant la Tumeur).
Considérez les TIL comme les « gentils » qui combattent le cancer. Plus on en voit, meilleurs sont les chances de survie et de réponse au traitement pour le patient. Pour déterminer cela, les pathologistes (des médecins spécialistes qui examinent des lames au microscope) doivent estimer quel pourcentage de l'espace entourant les cellules cancéreuses est occupé par ces minuscules envahisseurs.
Le problème : Les humains sont mauvais pour estimer les foules
L'étude est partie d'un problème connu : les humains sont très mauvais pour deviner des nombres lorsque les éléments sont dispersés.
Imaginez que vous regardiez un bocal rempli de dragées colorées. Si elles sont toutes regroupées dans un coin, vous pouvez facilement deviner le nombre. Mais si les dragées sont réparties uniformément dans tout le bocal, votre cerveau a du mal. Vous pourriez deviner 20 % alors qu'il y en a réellement 40 %, ou inversement. C'est exactement ce qui se passe lorsque les médecins regardent des lames de cancer. Même avec des règles strictes, deux médecins différents regardant la même lame donnent souvent des réponses différentes parce que leurs cerveaux traitent les « points dispersés » différemment.
L'expérience : Humains contre Robots
Les chercheurs voulaient voir si l'Intelligence Artificielle (IA) pouvait faire un meilleur travail que les humains. Ils ont mis en place un « test de dégustation » avec trois pathologistes humains et deux modèles d'IA différents (appelons-les Robot A et Robot B).
Ils ont donné à tous les mêmes lames de microscope de cancer du sein et leur ont demandé de compter le pourcentage d'« envahisseurs » (TIL).
Voici ce qu'ils ont découvert :
1. Les humains étaient d'accord entre eux
Lorsque les trois médecins ont examiné les lames, ils étaient globalement d'accord entre eux. Leurs scores étaient très similaires.
- Analogie : C'est comme trois chefs expérimentés goûtant une soupe. Ils n'utiliseront peut-être pas exactement la même cuillère, mais ils s'accordent tous pour dire si c'est « un peu salé » ou « très salé ».
2. Les robots n'étaient pas d'accord avec les humains
Lorsque les chercheurs ont comparé les médecins aux robots, l'accord a chuté de manière significative. Les robots et les humains donnaient souvent des chiffres très différents.
- Le rebondissement : Les robots n'étaient pas seulement « aléatoirement » faux. Ils avaient une habitude spécifique : ils sous-estimaient systématiquement le nombre d'envahisseurs.
- Analogie : Imaginez que les médecins disent : « Ce bocal est rempli à 40 % de dragées. » Les robots disent : « Non, il n'est rempli qu'à 25 %. » Les robots regardaient le même bocal mais voyaient moins de dragées que les humains.
3. Les robots étaient bons pour le « classement », mais mauvais pour le « comptage »
Même si les robots donnaaient les mauvais chiffres, ils étaient en fait assez bons pour comprendre l'ordre.
- Analogie : Si vous avez trois bocaux de dragées (Petit, Moyen, Grand), les robots pouvaient correctement vous dire lequel était le plus petit et lequel était le plus grand. Cependant, lorsqu'on leur demandait de dire exactement combien de dragées il y avait dans chacun, ils se trompaient de beaucoup.
- Les données : L'étude a montré que, bien que les robots et les humains ne soient pas d'accord sur le pourcentage exact, ils étaient d'accord sur les cas qui présentaient plus de lymphocytes et ceux qui en présentaient moins.
4. Pourquoi cette différence ? (L'effet de la « pièce bondée »)
Les chercheurs voulaient savoir pourquoi les robots et les humains n'étaient pas d'accord. Le robot était-il défectueux ? Ou le cerveau humain était-il simplement imparfait ?
Pour le savoir, ils ont mené une expérience secondaire spéciale. Ils ont montré aux médecins des images simples en noir et blanc avec des points blancs dispersés sur un fond noir (imitant les lymphocytes). Les médecins devaient deviner quel pourcentage de l'image était blanc.
- Le résultat : Même avec ces points simples, les médecins étaient incapables de deviner le pourcentage exact. Leurs estimations variaient énormément par rapport au chiffre réel.
- La conclusion : Le désaccord ne vient pas seulement du fait que les robots sont mauvais. C'est parce que le cerveau humain a du mal à estimer visuellement des points dispersés. Les robots effectuent en réalité un « comptage de pixels » très précis, tandis que les humains utilisent leur « estimation visuelle », qui est sujette à l'erreur.
Ce qu'il faut retenir
L'étude conclut que :
- Les humains sont cohérents entre eux : Les médecins s'accordent généralement sur l'« ambiance » de la lame.
- Les robots sont précis mais « aveugles » à la perception humaine : Les robots comptent chaque point parfaitement, mais ils arrivent à un total différent de celui des humains car les humains perçoivent les points dispersés différemment.
- Les robots sous-estiment actuellement : Les modèles d'IA ont tendance à dire qu'il y a moins de cellules immunitaires que ce que les médecins pensent voir.
L'essentiel :
Actuellement, l'IA est comme une calculatrice ultra-précise qui compte chaque grain de sable sur une plage, tandis que le médecin humain est une personne regardant la plage et devinant le volume. Ils regardent tous deux la même plage, mais ils arrivent à des chiffres différents. Avant de pouvoir faire confiance à l'IA pour remplacer le médecin, l'IA doit être « calibrée » pour comprendre comment l'œil humain voit ces cellules éparpillées, ou les médecins doivent apprendre à faire confiance au comptage précis du robot plutôt qu'à leurs propres estimations visuelles.
Note : L'article souligne que cette étude était un test de la capacité de l'IA à correspondre aux médecins humains, et non un test pour savoir si l'IA est prête à être utilisée dans les hôpitaux. Des travaux supplémentaires sont nécessaires pour corriger le problème de la « sous-estimation » avant qu'elle ne puisse être utilisée pour de vrais soins aux patients.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.