💻 computer science

GazeLT: Visual attention-guided long-tailed disease classification in chest radiographs

L'article présente GazeLT, un nouveau cadre qui exploite les modèles d'attention visuelle temporelle des radiologues à travers un mécanisme d'intégration-désintégration pour améliorer significativement la classification des maladies à longue traîne dans les radiographies thoraciques, surpassant les méthodes existantes sur de grands ensembles de données publiques.

Auteurs originaux : Moinak Bhattacharya, Gagandeep Singh, Shubham Jain, Prateek Prasanna

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Moinak Bhattacharya, Gagandeep Singh, Shubham Jain, Prateek Prasanna

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Regard du Détective : Enseigner aux ordinateurs à voir ce que les humains voient

Imaginez que vous essayiez d'apprendre à un robot comment repérer des objets cachés dans une pièce immense et désordonnée. Si vous montrez simplement au robot mille photos de la pièce, il pourrait devenir très doué pour trouver les choses grosses et évidentes comme un fauteuil rouge ou un tapis bleu. Mais si vous lui demandez de trouver une minuscule et rare pièce d'argent cachée sous une pile de linge, il passera probablement à côté à chaque fois. C'est un problème classique dans le monde de l'intelligence artificielle appelé « classification à longue traîne ». Cela se produit lorsque certaines choses sont extrêmement communes (la « tête » de la queue) et que d'autres sont incroyablement rares (la « queue »), ce qui rend difficile l'apprentissage des éléments rares par les ordinateurs.

Pour résoudre cela, les scientifiques regardent souvent comment les humains résolvent les problèmes. En médecine, les médecins appelés radiologues examinent des radiographies pour détecter des maladies. Mais ils ne se contentent pas de fixer une image et de deviner ; leurs yeux effectuent une danse spécifique. Ils scannent l'image entière, zooment sur des zones suspectes, jettent un coup d'œil aux bords, et regardent parfois des choses qui s'avèrent inoffensives. Ce mouvement des yeux, connu sous le nom de « regard » (gaze), détient une carte secrète de la façon dont un expert réfléchit. La grande question est la suivante : pouvons-nous apprendre à un ordinateur à copier cette danse oculaire afin qu'il ne se contente pas de regarder les choses évidentes, mais qu'il traque aussi ces maladies rares et complexes qu'il rate habituellement ?

La Grande Idée du Papier : GazeLT

Ce papier présente une nouvelle méthode appelée GazeLT (Gaze-guided Long-Tailed classification - Classification à longue traîne guidée par le regard). Les chercheurs, travaillant sur des radiographies thoraciques, voulaient voir s'ils pouvaient utiliser les mouvements oculaires d'un radiologue pour aider une IA à devenir un meilleur détective. Au lieu de simplement montrer la radiographie à l'IA, ils lui ont montré la radiographie plus une vidéo de l'endroit où les yeux d'un vrai médecin se sont posés lors du diagnostic.

Le cœur de leur idée est que regarder une image médicale n'est pas un moment statique et figé ; c'est un processus qui se déroule dans le temps. Les auteurs ont réalisé que les modèles d'IA précédents traitaient l'attention d'un médecin comme un instantané unique et flou. Mais en réalité, le regard d'un médecin change. Au début, il peut effectuer un balayage rapide et large de tout le thorax (recherche de problèmes gros et évidents). Plus tard, il peut zoomer sur des détails minuscules et spécifiques (recherche de problèmes rares et subtils).

Pour capturer cela, l'équipe a divisé le temps de visionnage du médecin en quatre fenêtres égales. Ils ont créé deux « modes d'attention » spéciaux :

Intégration : C'est comme si le médecin zoomait pour relier les points sur un indice spécifique et détaillé.
Désintégration : C'est comme si le médecin reculait pour obtenir une vue globale et large de l'ensemble de l'image.

Ils ont construit un système « Enseignant-Étudiant » pour enseigner à l'IA. L'Enseignant est une IA intelligente qui apprend directement des données de regard du radiologue. Elle s'entraîne à regarder la radiographie à travers ces quatre fenêtres temporelles, apprenant à intégrer les détails fins et à se désintégrer pour une vue large. Une fois l'Enseignant entraîné, il n'a plus besoin des données de regard oculaire. Il enseigne ensuite à l'Étudiant (une IA plus simple et plus rapide) comment regarder la radiographie. L'Étudiant apprend à imiter la focalisation de l'Enseignant, mais il n'a besoin que de l'image de la radiographie pour fonctionner. Cela signifie que l'IA finale peut être utilisée dans un hôpital sans avoir besoin de suivre les yeux d'un médecin en temps réel.

Ce qu'ils ont trouvé

L'équipe a testé GazeLT sur deux collections massives de radiographies thoraciques : le jeu de données NIH-CXR-LT (avec 89 237 images) et le jeu de données MIMIC-CXR-LT (avec 111 898 images). Ces jeux de données sont à « longue traîne », ce qui signifie qu'ils contiennent de nombreuses maladies communes (comme la pneumonie) et très peu de maladies rares (comme le pneumomédiastin).

Les résultats étaient très prometteurs. GazeLT ne s'est pas contenté de bien s'en sortir ; il a nettement surpassé les meilleures méthodes existantes.

En moyenne, Gzeitig a battu les meilleures méthodes de « perte à longue traîne » (long-tailed loss) de 4,1 %.
Il a écrasé les précédents modèles de référence de « l'attention visuelle » (visual attention) de l'ordre de 21,7 %.

Plus important encore, l'IA est devenue bien meilleure pour trouver les maladies rares. Sur le jeu de données NIH, elle a amélioré la détection des classes rares de la « queue » de 10,9 %, et sur le jeu de données MIMIC, de 12,2 %. Bien qu'elle ait été légèrement moins précise pour repérer les maladies les plus communes (une baisse d'environ 5 %), le gain dans la détection des conditions rares et dangereuses a été considéré comme une victoire majeure, car les manquer est souvent l'erreur la plus critique en médecine.

Comment ils ont prouvé que cela fonctionnait

Les chercheurs n'ont pas seulement supposé que cela fonctionnerait ; ils ont mené une série d'expériences pour le prouver. Ils ont comparé GazeLT à des modèles d'IA standards utilisant des mathématiques de base pour gérer les classes rares, ainsi qu'à d'autres modèles qui tentaient d'utiliser les données de regard oculaire mais ne les divisaient pas en fenêtres temporelles.

Ils ont également réalisé des « études d'ablation », ce qui est une façon sophistiquée de dire qu'ils ont démonté certaines parties de leur machine pour voir ce qui faisait le plus gros du travail. Ils ont découvert que :

L'utilisation de la seule partie « Intégration » ou de la seule partie « Désintégration » ne fonctionnait pas aussi bien que l'utilisation des deux ensemble.
Diviser le temps en 4 fenêtres était le « point idéal ». Diviser en 2 fenêtres n'était pas assez détaillé, et diviser en 8 fenêtres créait trop de confusion et de redondance. La configuration à 4 fenêtres équilibrait parfaitement le besoin de voir l'image globale et les petits détails.

Le bémol et l'avenir

Le papier est très clair sur une limitation : pour entraîner l'IA « Enseignant », vous avez réellement besoin qu'un radiologue porte des lunettes de suivi oculaire et regarde des radiographies. C'est difficile à réaliser dans le monde réel car cela nécessite un matériel spécial et des médecins volontaires. Cependant, les auteurs soulignent qu'une fois l'Enseignant entraîné et après qu'il a enseigné à l'Étudiant, l'Étudiant peut fonctionner parfaitement sans aucune donnée de suivi oculaire. Vous injectez simplement une radiographie, et il donne un diagnostic.

Les chercheurs suggèrent que cette approche pourrait éventuellement être utilisée pour d'autres types d'images médicales, comme les scanners (CT scans) ou les IRM, et pas seulement pour les radiographies thoraciques. Ils notent également qu'ils n'ont pas pris en compte le degré de confiance des médecins dans leurs diagnostics, ce qui est une piste qu'ils pourraient explorer à l'avenir.

En bref, GazeLT suggère que si nous apprenons à l'IA à « regarder » de la même manière que les experts humains — en prenant le temps de scanner largement puis de zoomer profondément — nous pouvons construire des outils médicaux plus intelligents qui ne ratent pas les indices rares et vitaux cachés dans le bruit.

Résumé Technique : GazeLT – Classification de maladies à longue traîne guidée par l'attention visuelle dans les radiographies thoraciques

Problématique

La classification à longue traîne dans l'imagerie médicale reste un défi majeur en raison du déséquilibre inhérent des classes entre les pathologies communes (tête) et rares (queue). Dans les radiographies thoraciques, des conditions courantes comme le pneumothorax ou l'atélectasie apparaissent fréquemment, tandis que des conditions rares telles que le pneumomédiastin ou l'emphysème sous-cutané surviennent dans moins de 1 % des cas. Les modèles de deep learning standards ont tendance à bien performer sur les classes de tête mais peinent à identifier les classes de queue, apprenant souvent des raccourcis ou se concentrant sur des caractéristiques non pertinentes pour la maladie. Bien que les méthodes existantes traitent cela via le re-pondérage de perte, le ré-échantillonnage ou des stratégies de découplage, elles négligent généralement le potentiel des schémas de recherche visuelle des experts cliniques. De plus, les tentatives précédentes d'intégration des données de regard (eye gaze) ont traité l'attention visuelle comme une carte statique et agrégée, échouant à capturer la nature dynamique et temporelle de la manière dont les radiologues interprètent les images au fil du temps.

Méthodologie : GazeLT

Les auteurs proposent GazeLT, un nouveau cadre de deep learning enseignant-élève (teacher-student) qui intègre la dynamique temporelle de l'attention visuelle des radiologues pour améliorer la classification à longue traîne. L'hypothèse centrale est que les schémas de regard des radiologues évoluent pendant le diagnostic, passant de recherches globales grossières à des inspections fines, et que la décomposition de ces schémas en fenêtres temporelles permet de capturer à la fois les mécanismes d'attention d'intégration (fine-grained) et de désintégration (grossière/globale).

1. Décomposition temporelle de l'attention

La méthode divise la durée totale de visionnage d'une image par un radiologue en $n$ fenêtres temporelles égales (fixées à $n=4$ dans les expériences). Au sein de chaque fenêtre, deux mécanismes d'attention distincts sont modélisés :

Intégration par fenêtre temporelle (TW-I) : Capture l'attention fine. Les points de fixation situés dans un seuil de distance spécifique sont regroupés pour former une région d'attention "principale", tandis que les autres forment des régions "substitutives". Ceux-ci sont combinés et lissés pour créer une carte de chaleur d'intégration. Cela imite la recherche ciblée du radiologue pour des anomalies spécifiques.
Désintégration par fenêtre temporelle (TW-D) : Capture l'attention globale et grossière. Un filtrage gaussien est appliqué directement aux points de fixation bruts sans regroupement, représentant un schéma de recherche global et plus large, semblable à la "désintégration" en psychologie humaine.

2. Distillation de connaissances Enseignant-Élève

Le cadre fonctionne en deux étapes :

Entraînement de l'Enseignant (t-HVA) : Un réseau enseignant, composé de blocs TW-I et TW-D, est entraîné en utilisant les données de regard des radiologues.
- Le bloc TW-I utilise une architecture de transformer FocalNet pour apprendre l'attention d'intégration.
- Le bloc TW-D utilise une architecture GC-ViT (Global Context Vision Transformer) pour apprendre l'attention de désintégration.
- Les deux blocs sont supervisés par des fonctions de Perte d'Attention Visuelle Temporelle (tVAL) ( $L_{I-tVAL}$ et $L_{D-tVAL}$ ), qui minimisent la distance entre les cartes de caractéristiques intermédiaires du modèle et les cartes de chaleur de regard dérivées de la vérité terrain.
Entraînement de l'Élève : Un modèle élève (ResNet-50) est entraîné pour la tâche de classification à longue traîne en aval. Les poids de l'enseignant sont gelés. L'élève apprend via la Distillation de Connaissances (KD), où les caractéristiques fusionnées des blocs TW-I et TW-D de l'enseignant ( $J(f_I, f_D)$ $J (f_{I}, f_{D})$ ) sont transférées à l'élève.
- La perte de distillation ( $L_{BD}$ ) minimise la distance de Bhattacharyya entre la distribution de caractéristiques de l'élève et la représentation conjointe de l'enseignant.
- L'élève est également optimisé à l'aide d'une perte de Marge Sensible à la Distribution des Étiquettes (LDAM) ( $L_{LDAM}$ ) pour gérer directement le déséquilibre des classes.
- La perte finale de l'élève est : $L_s = L_{LDAM} + \lambda L_{BD}$ .

3. Inférence

Lors de l'inférence, le modèle élève opère uniquement sur l'image de la radiographie thoracique en entrée. Les données de regard et le réseau enseignant ne sont pas requis, ce qui garantit que le système est déployable dans des contextes cliniques sans matériel supplémentaire.

Principales Contributions

Décomposition de l'attention temporelle : L'article introduit une nouvelle approche pour décomposer l'attention visuelle statique en mécanismes d'Intégration et de Désintégration par Fenêtre Temporelle, capturant le passage dynamique des schémas de recherche globale à locale chez les radiologues.
Nouvelles fonctions de perte : Les auteurs proposent des fonctions de Perte d'Attention Visuelle (VAL) spécifiquement conçues pour entraîner le réseau enseignant à imiter l'évolution temporelle du regard humain.
Cadre Enseignant-Élève pour l'apprentissage à longue traîne : C'est le premier travail exploitant le comportement de regard des radiologues spécifiquement pour atténuer les problèmes de classification à longue traîne, en utilisant une stratégie de distillation pour transférer les priors diagnostiques temporels à un modèle élève.
Validation Empirique : La méthode est validée sur deux grands ensembles de données à longue traîne disponibles publiquement : NIH-CXR-LT ( $n=89,237$ ) et MIMIC-CXR-LT ( $n=111,898$ ).

Résultats

Les auteurs rapportent des améliorations significatives des performances par rapport aux bases de référence de l'état de l'art, incluant les pertes standards à longue traîne (Softmax, Focal, LDAM, RW LDAM-DRW) et les bases de référence basées sur l'attention visuelle (RadioTransformer, GazeRadar).

NIH-CXR-LT : GazeLT a atteint une précision moyenne de 0,410 sur l'ensemble de test équilibré, surpassant la meilleure base de référence de perte à longue traîne (LDAM) de 4,1 % et la base de référence d'attention visuelle (RadioTransformer) de 21,7 %. Notamment, il a amélioré la précision des classes de queue de 10,9 %.
MIMIC-CXR-LT : GazeLT a atteint une précision moyenne de 0,418, soit une amélioration de 8,01 % par rapport à la meilleure base de référence. La précision des classes de queue s'est améliorée de 12,2 %.
Études d'ablation : Les expériences ont confirmé que la combinaison de TW-I et TW-D (fenêtrage temporel) surpasse les blocs d'Intégration ou de Désintégration seuls, validant la nécessité de modéliser les deux types d'attention temporelle. Une analyse de sensibilité a montré que 4 fenêtres temporelles offraient le meilleur compromis entre détail temporel et redondance par rapport à 2 ou 8 fenêtres.
Performance multiclasse : Sur l'ensemble de test déséquilibré de NIH-CXR-LT, GazeLT a atteint une précision équilibrée de 0,421, un MCC de 0,391 et un AUC de 0,829, surpassant nettement GazeRadar et RadioTransformer.

Signification et Revendications

L'article affirme que GazeLT représente une avancée significative en intégrant les schémas d'attention visuelle temporelle des radiologues dans un cadre de deep learning. Les auteurs soutiennent que :

Dynamique vs Statique : La décomposition de l'attention en fenêtres temporelles capture mieux la nature "riche en contexte" du raisonnement diagnostique qu'une carte agrégée statique.
Clinique dans la boucle (Clinician-in-the-Loop) : L'approche améliore l'interprétabilité du modèle et sa pertinence clinique en alignant le focus du modèle avec les stratégies de recherche visuelle des experts, particulièrement pour les maladies rares où les données sont rares.
Déploiement Pratique : Bien que les données de regard soient nécessaires pour l'entraînement de l'enseignant, le modèle élève final ne nécessite aucune donnée de regard lors de l'inférence, ce qui le rend réalisable dans des environnements cliniques dépourvus de matériel de suivi oculaire (eye-tracking).
Indépendance de la modalité : Bien que démontré sur des radiographies thoraciques 2D, les auteurs postulent que le cadre est extensible à d'autres modalités (CT, IRM, échographie) et aux données 3D, à condition que des données de regard puissent être acquises.

Les auteurs reconnaissent des limites, principalement la dépendance à des données de suivi oculaire de haute qualité pour la phase d'entraînement et l'accent actuel mis sur les radiographies thoraciques 2D. Ils concluent que l'incorporation des dynamiques temporelles des experts est cruciale pour développer des outils de diagnostic robustes, précis et interprétables pour les tâches d'imagerie médicale à longue traîne.