Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

Le papier présente Gaze2Report, un cadre innovant qui améliore la génération de rapports radiologiques en intégrant des données de regard via un module de prédiction de trajectoire oculaire et des réseaux de neurones graphiques pour entraîner des modèles de langage, permettant ainsi une inférence précise sans nécessiter de données de regard en temps réel.

L'essentiel

Imaginez que vous devez décrire une scène complexe à quelqu'un qui ne peut pas la voir. Si vous lui donnez juste la photo, il risque de manquer des détails importants. Mais si vous pouviez lui dire exactement où un expert a regardé sur la photo et combien de temps il s'est arrêté sur chaque détail, votre description serait beaucoup plus précise et utile.

C'est exactement le problème que les chercheurs de l'Université Stony Brook ont voulu résoudre avec leur nouvelle invention : Gaze2Report.

Voici une explication simple de leur travail, imagée pour tout le monde :

1. Le Problème : L'IA qui "regarde" mal

Actuellement, les intelligences artificielles (IA) qui écrivent des rapports médicaux à partir de radios (comme des rayons X) fonctionnent un peu comme un étudiant qui lit un livre sans surligner les passages importants.

• Elles voient l'image, mais elles ne savent pas ce qui est vraiment important pour un médecin.
• Elles peuvent écrire des phrases correctes grammaticalement, mais elles ratent parfois les détails cliniques cruciaux (comme une petite fracture cachée ou un début d'infection).
• De plus, les médecins humains utilisent leurs yeux pour scanner l'image : ils regardent certaines zones plus longtemps que d'autres. C'est ce qu'on appelle le "regard" (ou gaze en anglais). Les IA actuelles n'ont pas accès à cette information précieuse.

2. La Solution : L'IA qui imite le regard du médecin

Les chercheurs ont créé Gaze2Report. C'est comme donner à l'IA un "super-pouvoir" : la capacité de voir ce que le médecin a vu.

Voici comment ça marche, étape par étape, avec une analogie :

• L'Observateur (Le Regard) : Imaginez que vous avez un casque spécial qui enregistre où un radiologue regarde sur une radio et combien de temps il fixe chaque zone. C'est une mine d'or d'informations.
• Le Problème de l'Enquête : Le souci, c'est que dans un hôpital réel, on ne peut pas toujours porter ce casque sur chaque patient. L'IA ne peut pas attendre d'avoir le "regard" pour fonctionner.
• L'Innovation Magique (Le Prédicteur) : C'est ici que Gaze2Report brille. L'IA a deux modes :
  1. En apprentissage : Elle étudie des milliers de radios avec les enregistrements du regard des médecins. Elle apprend à associer les zones importantes à ce qu'ils regardent.
  2. En action (sans casque) : Quand elle doit écrire un rapport sur un nouveau patient, elle utilise un module de prédiction. C'est un peu comme un détective qui, en voyant la photo, devine : "Tiens, si un médecin voyait ça, il regarderait sûrement ici pendant 2 secondes." Elle simule le regard du médecin en temps réel.

3. Le Cerveau : Le Graph Neural Network (GNN)

Pour relier tout cela, ils utilisent une technologie appelée GNN (Réseau de Neurones Graphiques).

• Imaginez que l'image est découpée en milliers de petits morceaux (comme un puzzle).
• Le GNN est comme un chef d'orchestre qui prend chaque morceau du puzzle, regarde ce que le médecin a "regardé" dessus, et relie les morceaux entre eux pour comprendre la relation globale.
• Cela permet à l'IA de ne pas juste décrire "il y a un nuage", mais de dire "il y a un nuage ici, qui ressemble à une infection, car le médecin a fixé cette zone avec attention".

4. Le Résultat : Un rapport plus humain et plus précis

Grâce à cette méthode, l'IA utilise un grand modèle de langage (comme un super-robot qui parle couramment) qu'elle a entraîné spécifiquement avec ces "indices visuels".

• Sans Gaze2Report : L'IA dit : "Le poumon semble normal." (C'est vague).
• Avec Gaze2Report : L'IA dit : "On observe de petites effusions pleurales bilatérales et des signes de calcification de l'aorte." (C'est précis, technique et utile pour le traitement).

En résumé

Gaze2Report, c'est comme donner à une machine les yeux et l'expérience d'un expert humain. Même si la machine ne porte pas le casque de suivi des yeux sur le patient réel, elle a appris à imaginer où un expert regarderait, ce qui lui permet de rédiger des rapports médicaux beaucoup plus fiables, plus précis et plus sûrs pour les patients.

C'est une avancée majeure car elle comble le fossé entre la simple description d'image et le raisonnement médical réel.

Résumé technique

1. Problématique

La génération automatique de rapports en radiologie est un domaine de recherche actif visant à alléger la charge de travail des radiologues. Cependant, les méthodes existantes, basées sur l'architecture standard de légendage d'images (image captioning), présentent plusieurs limites :

• Absence de priors médicaux : Elles ignorent souvent les connaissances médicales informées par le médecin, conduisant à un alignement sous-optimal entre les explications structurées et les manifestations de la maladie.
• Manque de contexte clinique : Les approches optimisées pour des phrases courtes échouent à capturer la profondeur contextuelle nécessaire aux rapports radiologiques détaillés.
• Limites de l'intégration du regard (Eye Gaze) : Bien que les données de suivi oculaire (eye gaze) offrent des insights précieux sur l'attention visuelle des radiologues, leur intégration dans les flux de travail IA est entravée par la complexité de la fusion multimodale et, surtout, par le coût élevé et l'absence de ces données lors de l'inférence (le modèle ne peut pas recevoir de données de regard en temps réel en clinique).

2. Méthodologie : Gaze2Report

Les auteurs proposent Gaze2Report, un cadre novateur qui intègre les données de regard dans la génération de rapports en utilisant des Large Language Models (LLM) affinés via des techniques de Prompt Tuning (LoRA).

L'architecture se compose de deux modules principaux :

A. Génération de Tokens Visuels-Gaze

Ce module transforme l'image et les données de regard (ou simulées) en une représentation unifiée :

1. Extraction visuelle : Une image (ex: radiographie thoracique) est découpée en patches et traitée par un Vision Transformer (ViT) pour extraire des caractéristiques spatiales ($V_i$).
2. Génération de tokens de regard :
   • En entraînement : Les données de regard réelles (fixations) sont agrégées par patch (durée totale de fixation) pour créer des vecteurs de regard ($G_i$).
   • En inférence (sans regard) : Un module auxiliaire de prédiction de trajectoire oculaire (scanpath prediction), basé sur MedGaze, simule les points de fixation pour générer les mêmes vecteurs $G_i$.
3. Interaction Multimodale via GNN :
   • Un graphe est construit où chaque nœud représente un patch d'image contenant les caractéristiques visuelles ($V_i$), les caractéristiques de regard ($G_i$) et un encodage de position ($p_i$).
   • Un Réseau de Neurones Graphiques (GNN) est utilisé pour fusionner ces informations. Les arêtes du graphe sont définies par la distance positionnelle (k-plus proches voisins). Le GNN itère pour mettre à jour les embeddings des nœuds, capturant ainsi les relations complexes entre les régions d'intérêt visuel et les zones de fixation.
   • Le graphe est ensuite moyenné pour obtenir un embedding global ($h_{graph}$).

B. Affinage du LLM (Prompt Tuning)

• Les embeddings graphiques ($H_{proj}$) sont projetés dans l'espace de caractéristiques du LLM (Llama2-7B) via une couche linéaire.
• Un prompt multimodal est créé en concaténant :
  1. Les instructions de génération (ex: "Générer un rapport détaillé...").
  2. Les tokens visuels-gaze fusionnés.
  3. Les tokens du rapport (pour l'entraînement).
• Seules les couches LoRA (Low-Rank Adaptation) du LLM sont affinées, ce qui rend le processus efficace en calcul tout en adaptant le modèle à la tâche spécifique.
• La perte est calculée de manière auto-régressive uniquement sur les tokens du rapport.

3. Contributions Clés

1. Intégration GNN pour l'interaction Visuel-Gaze : Utilisation d'un GNN pour enrichir l'interaction entre les modalités visuelle et de regard, améliorant la capacité du LLM à évaluer la pertinence des modalités et à générer des rapports plus précis.
2. Résolution du problème de l'inférence sans regard : Introduction d'un module de prédiction de trajectoire oculaire qui permet au modèle de fonctionner sans données de regard réelles lors du déploiement, tout en maintenant des performances élevées.
3. Validation Rigoureuse : Évaluation sur plusieurs jeux de données (REFLACX, IU-XRAY, MIMIC-CXR) utilisant des métriques de génération de langage naturel (NLG) et d'efficacité clinique (CE).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données majeurs.

• Métriques de Génération de Langage Naturel (NLG) :

  • Sur MIMIC-CXR, Gaze2Report surpasse les modèles de pointe (SOTA) comme MET, R2GenGPT et EGGCA-Net sur toutes les métriques (BLEU, ROUGE-L, METEOR).
  • Par rapport à la deuxième meilleure approche, les scores BLEU-1, BLEU-4 et ROUGE-L montrent des améliorations significatives (ex: +0.08 pour BLEU-1).
  • L'ablation montre que l'ajout du regard (même simulé) et du module GNN surpasse les modèles utilisant uniquement des embeddings visuels (Base-1) ou des fusions simples (Base-2, Base-3).

• Efficacité Clinique (CE) :

  • Le modèle excelle dans la détection et la description précise des pathologies thoraciques (mesurées par Chexbert).
  • Gaze2Report obtient un F1 Score de 0.444, surpassant R2GenGPT (0.389) et se rapprochant d'EGGCA-Net (0.551, qui utilise des pertes de classification dédiées mais moins de généralisation).
  • Les scores BERTScore et RadGraph F1 sont également supérieurs, indiquant une meilleure similarité sémantique et une représentation plus précise de la terminologie clinique.

• Qualité et Explicabilité :

  • Les rapports générés incluent des termes critiques absents dans les modèles de base (ex: "small bilateral pleural effusions", "osseous abnormalities").
  • Le modèle maintient de bonnes performances même sans données de regard réelles en inférence, grâce au module de prédiction de scanpath.

5. Signification et Conclusion

Gaze2Report représente une avancée significative dans la génération de rapports radiologiques en comblant le fossé entre les données d'imagerie brutes et les processus décisionnels humains (attention visuelle).

• Impact Clinique : En alignant la génération de texte sur les zones d'intérêt des radiologues, le modèle produit des rapports plus factuels et cliniquement pertinents, réduisant les risques d'omission de pathologies.
• Faisabilité Déploiement : La capacité à simuler les trajectoires oculaires lors de l'inférence résout le principal obstacle à l'adoption clinique des systèmes basés sur le suivi oculaire (coût et complexité du matériel).
• Innovation Technique : L'approche combine efficacement les Graph Neural Networks pour la fusion de modalités et le fine-tuning de LLM via LoRA, offrant un cadre robuste et évolutif pour l'IA médicale.

En résumé, ce travail démontre que l'intégration de "priors" médicaux sous forme de données d'attention visuelle, même simulées, améliore considérablement la qualité et la fiabilité des rapports générés par l'IA.