Eyes on the Image: Gaze Supervised Multimodal Learning for Chest X-ray Diagnosis and Report Generation

Dans le calme des salles faiblement éclairées d'un service de radiologie, un médecin étudie une image en noir et blanc d'un thorax humain. Il s'agit d'une radiographie pulmonaire, une image plane qui cache un monde tridimensionnel d'os, d'air et de fluides. Pour trouver une maladie, le médecin ne regarde pas l'image de manière aléatoire ; ses yeux se déplacent selon un schéma spécifique et exercé, s'attardant sur certains points où une ombre pourrait cacher une côte cassée ou une tache de liquide. Cette recherche visuelle est une forme de raisonnement silencieux, une façon de connecter ce qui est vu avec ce qui est connu du corps humain. Depuis des décennies, les ordinateurs tentent d'apprendre cette compétence, analysant les pixels des radiographies pour repérer des maladies. Cependant, bien que les machines soient devenues douées pour identifier l'existence d'une maladie, elles peinent souvent à comprendre exactement où regarder, et elles échouent fréquemment à expliquer leurs conclusions dans le langage spatial clair utilisé par les médecins. Elles peuvent dire qu'un patient souffre de pneumonie, mais elles ne peuvent pas pointer la zone spécifique du poumon qui est malade, ni la décrire avec la même précision qu'un expert humain.

Une nouvelle étude menée par des chercheurs de l'Université BRAC à Dhaka, au Bangladesh, tente de combler cette lacune en apprenant aux ordinateurs à observer comment les yeux humains se déplacent. L'équipe a conçu un système qui ne se contente pas de regarder l'image de la radiographie, mais étudie également les mouvements oculaires enregistrés des radiologues lorsqu'ils lisent ces mêmes images. En combinant l'image du thorax, le texte du rapport du médecin et une carte des endroits où les yeux du médecin se sont arrêtés et concentrés, les chercheurs ont créé un modèle qui apprend à voir le thorax comme le fait un humain. Pour la moitié de leurs données, le système intègre également des contours de régions anatomiques ; pour l'autre moitié, où ces contours manquaient dans les dossiers originaux, le système les génère informatiquement à l'aide d'un modèle de détection spécialisé. Le résultat est un système informatique qui non seulement diagnostique les maladies avec une plus grande précision, mais génère également des rapports médicaux ancrés dans les parties spécifiques du poumon où le problème a été trouvé, imitant l'attention méticuleuse et étape par étape d'un expert humain.

Les chercheurs ont commencé avec une vaste collection de radiographies thoraciques, mais ils avaient besoin de plus que de simples images. Ils ont rassemblé un ensemble de données comprenant les données réelles de suivi oculaire des radiologues, qui enregistrent les coordonnées exactes de l'endroit où le médecin a regardé, pendant combien de temps, et même la taille de sa pupille à ce moment-là. Ils ont également inclus les rapports écrits produits par les médecins. Pour les régions du thorax, ils ont utilisé les contours existants lorsque disponibles, mais pour les études où ceux-ci étaient absents, ils ont entraîné un modèle de détection léger pour inférer les limites nécessaires. Le défi consistait à apprendre à un ordinateur à fusionner ces quatre flux d'informations différents — l'image, le texte, les contours (qu'ils soient originaux ou inférés) et les mouvements oculaires — en une compréhension unique. L'équipe a conçu un processus en deux étapes pour y parvenir. Dans la première étape, l'ordinateur apprend à diagnostiquer le patient. Il examine la radiographie et la carte de suivi oculaire simultanément. Au lieu de simplement deviner, le modèle est entraîné à prêter attention aux mêmes endroits où le regard du médecin humain s'est attardé. Si le regard du médecin s'est fortement concentré sur le poumon inférieur droit, l'ordinateur apprend à accorder plus de poids à cette zone lorsqu'il décide s'il y a présence de liquide ou d'infection. Cet entraînement agit comme un guide, orientant l'attention de l'ordinateur vers les zones cliniquement importantes et l'éloignant du bruit non pertinent.

Les résultats de cet entraînement étaient mesurables et significatifs. Lorsque l'ordinateur a été instruit pour suivre le regard humain, sa capacité à identifier correctement les maladies s'est nettement améliorée. La précision du système dans la détection de diverses pathologies a augmenté de façon claire, et sa capacité à correspondre à la concentration du médecin humain est devenue beaucoup plus forte. Plus précisément, l'alignement entre l'endroit où l'ordinateur regardait et l'endroit où l'humain regardait s'est amélioré à un niveau qui suggère une véritable compréhension de la tâche visuelle, plutôt qu'un simple coup de chance. L'ordinateur a commencé à produire des cartes d'attention qui ressemblaient remarquablement aux cartes de chaleur des mouvements oculaires humains, mettant en évidence les mêmes taches sombres et les mêmes anomalies structurelles qu'un médecin signalerait. Cela a prouvé que les données de suivi oculaire n'étaient pas seulement des informations supplémentaires, mais une clé cruciale pour débloquer de meilleures performances de diagnostic.

Une fois que l'ordinateur a appris à diagnostiquer le patient avec cette nouvelle focalisation sensible au regard, les chercheurs sont passés à la deuxième étape : la rédaction du rapport. Par le passé, les rapports générés par ordinateur étaient souvent robotiques ou vagues, énumérant des maladies sans expliquer où elles se situaient. Le nouveau système a changé cela en utilisant les régions spécifiques que l'ordinateur avait identifiées. Il a pris la confiance de son diagnostic et l'a cartographiée sur dix-sept zones anatomiques distinctes du thorax, telles que le poumon supérieur gauche ou la zone autour du cœur. Ensuite, il a utilisé un outil de langage puissant pour transformer ces découvertes en phrases qui ressemblent au rapport d'un vrai médecin. Au lieu de simplement dire « la pneumonie est présente », le système pouvait générer une phrase telle que « il y a une opacité dans le champ pulmonaire inférieur droit », liant la maladie directement à l'emplacement spécifique qu'il venait d'analyser.

La qualité de ces rapports générés a été testée par rapport aux normes humaines, et le système s'est bien comporté. Les rapports qu'il produisait n'étaient pas seulement grammaticalement corrects ; ils étaient sémantiquement précis, ce qui signifie que les mots utilisés correspondaient à la réalité médicale de l'image. Le système a atteint un haut niveau d'accord avec la vérité de terrain de ce qu'un radiologue humain écrirait, particulièrement dans la description de ses conclusions. Bien qu'il reste encore quelques lacunes mineures dans les détails les plus complexes, le résultat global est une étape importante pour rendre le texte médical généré par machine digne de confiance et utile. Les chercheurs ont constaté qu'en ancrant le langage dans les preuves visuelles et les mouvements oculaires des experts, l'ordinateur pouvait éviter d'inventer des faits ou de décrire des choses qui n'étaient pas réellement présentes.

Ce travail démontre que la façon dont un humain regarde un problème est un signal précieux dont les machines peuvent apprendre. En intégrant les indices subtils du mouvement oculaire dans le processus d'apprentissage, les chercheurs ont créé un système qui est plus transparent et plus fiable que les modèles précédents. L'ordinateur ne voit pas seulement une image ; il voit l'image à travers le prisme de l'attention humaine. Cette approche offre une nouvelle voie pour l'intelligence artificielle médicale, une voie où le raisonnement de la machine peut être retracé jusqu'à des parties spécifiques d'une image, tout comme le raisonnement d'un médecin peut être retracé jusqu'à ses observations. L'étude conclut que, bien que la technologie ne soit pas encore parfaite, la combinaison des données visuelles, du suivi oculaire et de la génération de langage crée un outil puissant pour interpréter les radiographies thoraciques, offrant un avenir où l'assistance de l'IA en médecine est non seulement précise, mais aussi compréhensible et alignée sur l'expertise humaine.