Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

Lorsqu'un médecin soupçonne une pneumonie, la première étape consiste souvent par une radiographie pulmonaire, une image simple qui révèle le paysage caché des poumons. Depuis des décennies, l'interprétation de ces images repose sur l'œil humain, une compétence qui varie même parmi les spécialistes. Ces dernières années, des programmes informatiques entraînés sur de vastes bibliothèques d'images médicales ont promis d'automatiser cette tâche, agissant comme une seconde paire d'yeux qui ne fatigue jamais. Ces systèmes d'intelligence artificielle apprennent à repérer les motifs associés à l'infection, visant à fournir des diagnostics rapides et cohérents. Cependant, une question critique plane en arrière-plan de cette course technologique : si un ordinateur apprend à reconnaître la pneumonie sur des radiographies provenant d'un hôpital, peut-il réellement comprendre la maladie lorsqu'il voit des radiographies provenant d'un hôpital complètement différent, ou d'un enfant au lieu d'un adulte ? La capacité de ces programmes à distinguer un poumon malade d'un poumon sain n'est qu'une partie de l'histoire ; le véritable test réside dans la question de savoir si les règles spécifiques qu'ils utilisent pour établir un diagnostic et la confiance qu'ils expriment dans leurs réponses tiennent bon lorsque le monde qui les entoure change.

Une équipe de chercheurs s'est donné pour mission de répondre à cette question en construisant et en testant une grande variété de ces modèles informatiques. Ils ont commencé avec une collection massive de plus de 18 000 radiographies thoraciques d'adultes, en divisant soigneusement les données afin que les modèles puissent apprendre sur certaines images et être testés sur d'autres qu'ils n'avaient jamais vues auparavant. Ils ont entraîné quinze types différents de réseaux de neurones, qui sont les cerveaux numériques derrière ces systèmes, en utilisant diverses méthodes pour voir lesquels étaient les plus performants. Certains de ces réseaux ont été construits à partir de zéro, tandis que d'autres ont été adaptés de systèmes ayant déjà appris à reconnaître des objets dans des photos du quotidien. Les chercheurs étaient particulièrement intéressés par un nouveau type de réseau appelé « transformer », qui traite les images d'une manière qui imite la façon dont les humains pourraient scanner une scène, en regardant l'ensemble de l'image et ses parties simultanément. Après l'entraînement, ils ont sélectionné le modèle le plus performant et ont également créé une équipe de cinq modèles de tête qui votent ensemble, espérant qu'une décision de groupe serait plus fiable qu'une opinion unique.

Le véritable test est venu lorsque ces modèles figés, qui ne pouvaient plus apprendre ni changer, ont été confrontés à des radiographies de deux groupes de personnes complètement différents. Le premier groupe consistait en des milliers d'images d'enfants, une population ayant des poumons plus petits et des schémas pathologiques différents. Le second groupe était une collection de radiographies d'adultes provenant d'un autre pays, représentant une population hospitalière générale présentant un taux de pneumonie beaucoup plus faible que les données d'entraînement initiales. Les résultats ont révélé une division fascinante dans la façon dont la technologie se comporte. Les modèles se sont révélés remarquablement doués pour simplement faire la différence entre un poumon sain et un poumon malade, que le patient soit un enfant ou un adulte. Dans le groupe d'enfants, les modèles ont atteint une AUC de 0,925, et dans le groupe d'adultes, ils ont atteint une AUC de 0,88 de 0,888. Cette capacité à distinguer les classes, connue sous le nom de discrimination, s'est bien transférée à travers différentes populations.

Cependant, l'histoire a radicalement changé lorsque les chercheurs ont examiné comment les modèles prenaient réellement leurs décisions. Un modèle informatique ne se contente pas de dire « malade » ou « sain » ; il calcule une probabilité, un nombre représentant la probabilité qu'il estime que le patient soit malade. Pour transformer ce nombre en un diagnostic, un humain doit fixer un seuil, un point de coupure où tout ce qui est au-dessus est considéré comme une pneumonie. Les chercheurs ont constaté que le seuil qui fonctionnait parfaitement pour les données adultes originales échouait lamentablement lorsqu'il était appliqué aux nouveaux groupes. La même règle qui détectait 84 % des cas de pneumonie dans le groupe d'origine n'en détectait que 59 % chez les enfants et seulement 39 % dans le nouveau groupe d'adultes. Les modèles voyaient toujours la maladie, mais ils étaient trop prudents pour la déclarer. Lorsque les chercheurs ont pris un petit échantillon des nouvelles données pour réinitialiser le point de coupure, les modèles sont immédiatement redevenus précis, atteignant une AUC de 0,83 chez les enfants et de 0,79 chez les adultes. Cela a montré que la logique interne des modèles était saine, mais que leurs règles de décision étaient rigides et liées à l'environnement spécifique où ils avaient été entraînés pour la première fois.

Une autre couche de complexité est apparue lorsque les chercheurs ont examiné la confiance que les modèles exprimaient dans leurs réponses. Dans les données d'entraînement originales, les modèles étaient calibrés pour donner des scores de probabilité qui correspondaient à la fréquence réelle de la maladie. Mais face aux nouveaux groupes, cette calibration s'est effondrée. Dans le groupe d'enfants, où la pneumonie était extrêmement courante, les modèles ont considérablement sous-estimé le risque, prédisant une probabilité de maladie bien inférieure à ce qui était réellement présent. Dans le nouveau groupe d'adultes, où la maladie était rare, les estimations de probabilité des modèles sont restées étonnamment précises. Cela suggère que si les modèles peuvent apprendre les caractéristiques visuelles de la pneumonie, leur compréhension de la fréquence de la maladie dans un contexte spécifique est fragile et facilement perturbée par les changements de population de patients.

L'étude a également révélé que les modèles étaient sensibles à la manière dont les radiographies étaient prises. Dans les données d'origine, les images prises avec l'appareil de radiographie devant le patient, connues sous le nom de vues antéro-postérieures, étaient beaucoup plus susceptibles de montrer une pneumonie que les images prises de derrière, connues sous le nom de vues postéro-antérieures. Les modèles ont appris à utiliser cet indice, étant moins performants sur les images de face car elles sont plus difficiles à lire, non pas parce que les modèles étaient confus. Lorsque les chercheurs ont tenté de forcer les modèles à ignorer cet indice pendant l'entraînement, les modèles sont devenus moins performants, suggérant que la difficulté était réelle et inhérente au type d'image, et non simplement une méthode exploitée par les modèles. De plus, les chercheurs ont découvert que le meilleur modèle pour les adultes n'était pas nécessairement le meilleur pour les enfants. Le classement de quel cerveau informatique était supérieur changeait selon l'âge du patient, ce qui signifie qu'un modèle choisi pour des hôpitaux adultes pourrait ne pas être le bon choix pour un service de pédiatrie.

En fin de compte, la recherche démontre que si l'intelligence artificielle peut apprendre à voir la pneumonie avec un haut degré de compétence qui voyage à travers différentes populations, les outils pratiques nécessaires pour utiliser cette compétence en milieu hospitalier ne voyagent pas aussi facilement. La capacité de distinguer la maladie est robuste, mais les règles spécifiques pour établir un diagnostic et la manière dont le système exprime sa confiance sont profondément liées au contexte local. Pour que ces systèmes soient utiles dans le monde réel, ils ne peuvent pas simplement être téléchargés et utilisés tels quels. Ils nécessitent un processus de réglage local, où les règles de décision sont ajustées pour correspondre au mélange spécifique de patients et à la prévalence de la maladie dans chaque nouvel hôpital. L'étude conclut que pour que ces technologies soient dignes de confiance, les rapports futurs doivent aller au-delà de la simple déclaration de la capacité d'un modèle à distinguer le malade du sain ; ils doivent également montrer comment le modèle performe aux points de décision spécifiques utilisés en pratique, et comment sa confiance tient bon lorsque le monde change.