Résumé Technique : GazeWorld – Un Modèle du Monde de la Lecture par un Radiologue pour l'Apprentissage de Représentations d'Images Médicales

1. Énoncé du Problème

La traduction clinique de l'intelligence artificielle en imagerie médicale fait face à deux défis principaux : la rareté de jeux de données étiquetés à grande échelle et diversifiés, due aux réglementations sur la confidentialité et au coût élevé de l'annotation par des experts, ainsi que le manque d'interprétabilité des modèles actuels, qui émettent souvent des labels diagnostiques sans révéler les preuves sous-jacentes. Bien que les données de suivi oculaire des radiologues offrent une solution prometteuse en encodant les connaissances préalables des experts et la séquence temporelle de la collecte de preuves, les méthodes existantes n'utilisent ce signal que partiellement. Les approches actuelles traitent généralement le regard comme une priorité spatiale statique (par exemple, des cartes thermiques) ou comme une cible de prédiction auxiliaire découplée du processus de raisonnement diagnostique. Par conséquent, la structure temporelle de la manière dont les experts recherchent, comparent et accumulent les preuves reste sous-exploitée pour améliorer les représentations diagnostiques.

2. Méthodologie : GazeWorld

Les auteurs proposent GazeWorld, un modèle du monde pour l'imagerie médicale qui reformule le processus diagnostique du radiologue comme une trajectoire à travers un monde perceptuel défini par l'image. Au lieu de traiter le regard comme une carte statique, GazeWorld modélise le processus de lecture comme une séquence autorégressive où le radiologue navigue dans l'image, extrayant des preuves locales à chaque fixation pour informer la région d'intérêt suivante.

Architecture Principale

GazeWorld se compose de trois composants principaux (illustrés dans la Figure 1 de l'article) :

1. Représentations de Patchs et Séquence de Fixations :

   • Un encodeur visuel en ligne ($\phi$) mappe une image médicale $X$ vers un ensemble de représentations sémantiques au niveau des patchs $Z$.
   • Les séquences de fixations du radiologue $F$ sont mappées vers des indices de patchs uniques et ordonnés $S = (s_1, \dots, s_L)$, préservant l'ordre temporel des visites tout en fusionnant les visites répétées vers le même patch.

2. Branche de Prédiction de la Prochaine Fixation (Autorégressive) :

   • Suivant le paradigme de l'Architecture de Prédiction par Encodage Joint (JEPA), le modèle prédit la représentation latente du patch suivant fixé sur la base de tous les patchs précédemment visités.
   • Un encodeur de fixation ($\psi$) combine le token visuel d'un patch visité avec des embeddings spatiaux, le rang temporel et la durée de séjour.
   • Un prédicteur autorégressif ($g_\theta$), implémenté sous forme d'un Transformer causal, traite le préfixe des tokens de fixation pour prédire la représentation du patch suivant ($\hat{z}_{s_i}$).
   • La cible de prédiction est dérivée d'un encodeur cible à momentum ($\bar{\phi}$), une copie par moyenne mobile exponentielle (EMA) de l'encodeur en ligne, assurant des cibles d'espace de représentation stables sans rétropropagation des gradients à travers la cible.

3. Branche de Complétion Spatiale :

   • Pour traiter les régions non visitées, qui peuvent être cliniquement informatives (par exemple, sautées car elles sont normales), une branche de complétion spatiale prédit les représentations pour tous les patchs non visités en parallèle.
   • Un décodeur léger par attention croisée utilise la représentation complète du contexte du regard (sortie du prédicteur autorégressif) pour inférer les représentations des patchs non visités.

Objectif de Préentraînement

Le modèle est préentraîné en utilisant une fonction de perte combinée :
$$L_{pre} = L_{AR} + \lambda L_{SC}$$
Où $L_{AR}$ est la perte autorégressive pour la prédiction de la prochaine fixation et $L_{SC}$ est la perte de complétion spatiale pour les régions non visitées. Cet objectif est auto-supervisé, ne nécessitant aucun label diagnostique, uniquement des paires image-texte et des trajectoires de regard.

3. Contributions Clés

L'article expose trois contributions principales :

1. Formulation du Modèle du Monde du Regard : Les auteurs introduisent une formulation novatrice du processus de lecture du radiologue comme une trajectoire à travers un monde perceptuel. Cette approche exploite pleinement la structure temporelle du regard expert comme signal auto-supervisé, allant au-delà des cartes thermiques statiques et de la prédiction de scanpath découplée.
2. Architecture GazeWorld : Ils instancient cette formulation sous la forme de GazeWorld, qui combine de manière unique la prédiction autorégressive ordonnée par le regard dans l'espace latent avec une branche de complétion spatiale. Cela façonne la représentation pour capturer à la fois le contenu diagnostique et la structure séquentielle du raisonnement expert.
3. Double Utilité des Représentations : Les représentations apprises démontrent qu'un modèle unique peut soutenir à la fois un diagnostic précis et un décodage interprétable du scanpath. Un décodeur générique entraîné sur des caractéristiques GazeWorld figées surpasse les prédicteurs de scanpath conçus à cet effet, indiquant que la représentation encode intrinsèquement la structure séquentielle de la recherche visuelle experte.

4. Résultats Expérimentaux

Les auteurs ont évalué GazeWorld sur le diagnostic de radiographies thoraciques et la prédiction de scanpath à travers trois benchmarks : CheXpert, RSNA Pneumonia et SIIM-ACR Pneumothorax.

Performance Diagnostique

• Cadres Supervisés : Les caractéristiques GazeWorld figées ont atteint une AUROC à la pointe de l'état de l'art (SOTA) dans tous les neuf cadres supervisés (trois jeux de données $\times$ trois fractions d'étiquettes : 1 %, 10 %, 100 %). Notamment, dans une comparaison contrôlée avec EGMA (correspondant à l'architecture de base, l'initialisation et les données), GazeWorld a amélioré l'AUROC de CheXpert à 1 % de 71,21 à 78,37.
• Performance Zero-Shot : GazeWorld a atteint la précision zero-shot la plus élevée sur les trois benchmarks et les scores F1 les plus élevés sur CheXpert et SIIM-ACR, surpassant des modèles tels que MedCLIP, EGMA et GLoRIA.
• Analyse Qualitative : Les visualisations Grad-CAM ont indiqué que GazeWorld produit des activations plus concentrées sur l'anatomie cliniquement pertinente par rapport aux modèles de base.

Prédiction de Scanpath

• Expérience de Sondage : Un décodeur générique entraîné sur des caractéristiques GazeWorld figées a été évalué sur le benchmark GazeSearch (protocole ChestSearch).
• Performance : Bien qu'il n'ait pas été explicitement entraîné pour prédire le regard, les caractéristiques GazeWorld ont permis à un décodeur de surpasser le modèle dédié LogitGaze-Med de plus de 16 % en ScanMatch et de 22 % en SED (Distance Euclidienne du Scanpath).
• Implication : Cela suggère que le préentraînement par modèle du monde encode avec succès la structure séquentielle de la lecture experte dans la représentation visuelle.

Études d'Ablation

• Ordre : Le remplacement des scanpaths experts par des ordres de balayage raster ou aléatoires a considérablement dégradé les performances, confirmant que l'ordre chronologique de la collecte de preuves est critique.
• Composants : Le composant autorégressif (AR) seul a fourni de solides performances, mais l'ajout de la complétion spatiale a encore amélioré les résultats. La complétion spatiale seule était plus faible, suggérant qu'elle dépend du contexte autorégressif pour être efficace.
• Architectures de Base : La méthode a constamment amélioré les performances zero-shot lorsqu'elle a été appliquée au-dessus de différentes architectures visuelles médicales (MGCA, EGMA, MedCLIP), indiquant sa généralisabilité.

5. Signification et Revendications

L'article revendique que GazeWorld démontre un paradigme de préentraînement prometteur pour l'IA en imagerie médicale en modélisant comment les experts lisent, et non seulement ce qu'ils concluent. En traitant l'image comme un monde et la séquence de fixations comme une trajectoire, le modèle apprend à prédire la prochaine étape du raisonnement diagnostique.

Les auteurs affirment que cette approche :

• Réduit la dépendance aux grands jeux de données étiquetés en exploitant le signal riche et auto-supervisé des données de suivi oculaire.
• Fournit une base pour l'interprétabilité que les cartes d'attention statiques ne peuvent offrir, car les représentations apprises conservent la structure séquentielle du raisonnement expert.
• Offre un objectif de raffinement complémentaire pour les modèles de fondation médicaux existants, injectant la dynamique de lecture des radiologues dans les encodeurs préentraînés sans nécessiter un réentraînement complet à partir de zéro.

L'étude est modestement limitée aux radiographies thoraciques et à un seul corpus de suivi oculaire (MIMIC-EYE), les auteurs notant que les travaux futurs devraient explorer des ensembles de données multi-lecteurs plus vastes et des modalités d'imagerie plus larges.