Résumé Technique : STAR3 – Conditionnement Spatio-Temporel et Clinique pour la Récupération de Rapports Radiologiques à Grain Fin

Énoncé du Problème

La génération automatisée de rapports radiologiques (ARRG) vise à alléger la charge de travail des radiologues causée par l'augmentation de la demande d'imagerie. Bien que les méthodes autorégressives aient montré des promesses, elles souffrent souvent d'hallucinations cliniques et de coûts de calcul élevés dus aux grands modèles de langage (LLM). Les approches basées sur la récupération offrent une alternative en contraignant les sorties à des corpus écrits par des humains, réduisant ainsi les risques d'hallucination. Cependant, les méthodes de récupération existantes présentent trois limitations critiques :

1. Rigidité : Elles récupèrent généralement des rapports entiers basés sur une similitude image-texte globale, manquant de flexibilité pour s'adapter aux variations structurelles subtiles.
2. Absence de Contexte Longitudinal : La plupart des méthodes ignorent la progression temporelle, omettant souvent les références aux études antérieures ou échouant à modéliser l'évolution des maladies au fil du temps.
3. Sous-utilisation du Contexte Clinique : Elles ne parviennent pas fréquemment à incorporer les indications cliniques (symptômes, suspicions de pathologies) disponibles au moment du compte rendu, lesquelles sont cruciales pour la précision diagnostique.

De plus, les stratégies de récupération actuelles effectuent rarement une récupération à grain fin au niveau des régions, qui alignerait les découvertes anatomiques spécifiques avec leurs phrases de rapport correspondantes tout en tenant compte des changements temporels.

Méthodologie : Le Cadre STAR3

Les auteurs proposent STAR3 (Spatio-Temporal Attention-based Radiology Report Retrieval), un cadre multimodal conçu pour générer des rapports en récupérant des phrases spécifiques à une région, conditionnées par l'anatomie, le temps et le contexte clinique. L'architecture suit une conception modulaire comprenant quatre étapes clés :

1. Détection de Régions Anatomiques et Extraction de Caractéristiques

Au lieu d'utiliser des caractéristiques d'image globales, STAR3 isole des régions anatomiques spécifiques.

• Backbone : Un détecteur de type Faster R-CNN est employé, utilisant RadDINO (un encodeur de vision biomédicale pré-entraîné sur l'imagerie biomédicale unimodale) comme backbone au lieu d'un ResNet-50 standard.
• Processus : Le détecteur identifie $K$ régions anatomiques prédéfinies dans les radiographies thoraciques, extrayant les caractéristiques visuelles par région ($y_k$) et les boîtes englobantes (bounding boxes).

2. Modélisation Temporelle au Niveau de la Région

Pour capturer la progression de la maladie, le modèle traite des paires de radiographies thoraciques actuelles et antérieures.

• Mécanisme : Un module d'Attention Multi-Têtes (MHA) fusionne l'encodage de la région actuelle ($y^t_k$) avec l'encodage de la région antérieure ($y^{t-1}_k$).
• Fonction : La représentation actuelle agit comme la requête (query), portant attention aux encodages actuel et antérieur. Cela produit une représentation temporellement enrichie ($z_k$) qui encode les changements longitudinaux (ex: nouvelles anomalies, résolutions ou stabilité) ancrés à l'examen actuel.

3. Conditionnement Clinique

Pour incorporer le contexte diagnostique, le cadre utilise les indications cliniques (textes décrivant les symptômes ou les suspicions de pathologies).

• Encodage : Les indications cliniques sont tokenisées et encodées à l'aide de RadBERT, un transformateur de langage clinique.
• Fusion : Un mécanisme d'attention croisée région-texte permet aux représentations anatomiques temporellement enrichies ($z_k$) de porter attention aux encodages des indications cliniques. Cela produit une représentation conditionnée cliniquement ($a_k$) qui intègre les découvertes visuelles avec la motivation clinique spécifique de l'examen.

4. Dropout Anatomique et Filtrage Sensible à la Pathologie

Toutes les régions détectées ne sont pas pertinentes pour le rapport final.

• Sélection : Un module de dropout anatomique prédit un label binaire ($s_k$) pour filtrer les régions non pertinentes, ne conservant que celles susceptibles de contribuer au rapport.
• Contrainte de Pathologie : Un classificateur de pathologie auxiliaire prédit si une région est normale ou anormale ($o_k$). Cette prédiction contraint l'espace de récupération : les régions normales ne récupèrent que des encodages de phrases normales, et les régions anormales des encodages anormaux, garantissant la cohérence anatomique.

5. Apprentissage Contrastif Multimodal Semi-Supervisé

Pour aligner les caractéristiques visuelles par région avec les phrases du rapport, les auteurs introduisent un espace d'encodage partagé entraîné via quatre objectifs complémentaires :

• Perte Contrastive Globale ($L_{global}$) : Aligne les encodages de régions projetés avec les encodages de phrases appariées.
• Perte Locale par Token ($L_{local}$) : Encourage l'alignement entre les régions et les tokens cliniquement pertinents au sein des phrases en utilisant une agrégation par maximum lisse.
• Perte de Négatifs Difficiles ($L_{hn}$) : Utilise des paires sémantiquement similaires mais cliniquement incorrectes (ex: inversion de la polarité des découvertes) pour améliorer la spécificité de la récupération.
• Perte d'Appariement Image-Texte ($L_{ITM}$) : Un objectif de classification binaire pour vérifier si une paire région-phrase est appariée.
• Sensibilité à la Pathologie : Pendant l'entraînement, les paires présentant un statut d'anormalité incohérent sont masquées pour imposer un alignement sensible à la pathologie.

Inférence

Lors de l'inférence, le modèle localise les régions, fusionne les données temporelles et cliniques, filtre les régions via le module de dropout, et récupère la phrase la mieux classée pour chaque région sélectionnée à partir d'un index pré-calculé. Une étape finale de filtrage sensible aux labels élimine les doublons, résout les contradictions et priorise les phrases possédant des indices temporels explicites (ex: "nouveau", "résolu") pour assembler le rapport final.

Contributions Clés

Le document souligne cinq contributions principales :

1. Cadre STAR3 : Un nouveau cadre de récupération fournissant un ancrage anatomique à grain fin via des caractéristiques de niveau région extraites par un détecteur entraîné par RadDINO.
2. Ancrage Temporel : Le premier pipeline basé sur la récupération effectuant la récupération de phrases au niveau anatomique en modélisant conjointement les radiographies thoraciques actuelles et antérieures, permettant un raisonnement explicite sur les changements longitudinaux.
3. Dropout Anatomique : Un module qui filtre sélectivement les prédictions de régions pour réduire la redondance et imposer la cohérence anatomique.
4. Objectif d'Apprentissage Contrastif : Une approche semi-supervisée alignant les régions d'images et les phrases de rapports en utilisant des labels cliniques fins pour structurer l'espace de récupération autour de concepts cliniquement significatifs.
5. Évaluation Extensive : Expérimentations approfondies sur le jeu de données MIMIC-CXR démontrant une performance supérieure par rapport aux bases de référence existantes.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données MIMIC-CXR (377 110 images) et Chest ImaGenome (pour les annotations de régions).

• Performance de Récupération : STAR3 a nettement surpassé les méthodes de récupération image-vers-rapport existantes (ex: BioViL-T, RadIR, CLIP-XRad) sur les métriques Recall@k. Dans un cadre de 500 échantillons, il a amélioré le Recall@1 de 0,052 et le Recall@10 de 0,154 par rapport à la meilleure méthode précédente.
• Métriques Lexicales : STAR3 a obtenu des résultats de pointe sur les scores BLEU (BLEU-1 : 0,437), surpassant les méthodes antérieures comme Teaser et DuCo-Net. Bien que le ROUGE-L soit légèrement inférieur à Teaser, les auteurs notent que le chevauchement lexical ne capture pas pleinement la justesse clinique.
• Métriques Cliniques : STAR3 a démontré des améliorations substantielles de la justesse clinique :
  • CheXbert : 0,713 (meilleur score), dépassant AHIVE de 0,028.
  • RadGraph F1 : 0,209, dépassant X-REM de 0,028.
  • RadCLiQ : 0,569 (plus bas est meilleur), une réduction significative de l'erreur clinique estimée par rapport à X-REM (3,781).
• Études d'Ablation :
  • Détecteur : Le détecteur basé sur RadDINO a obtenu le mAP@0.5 le plus élevé (0,93) et le Mean IoU le plus élevé (0,94) comparé à Faster R-CNN, DETR et YOLOv10.
  • Fusion : L'attention croisée région-texte a surpassé les conditionnements additifs et FiLM pour la sélection des régions.
  • Correspondance Sémantique vs Exacte : Alors que le rappel de Correspondance Exacte (EM) était de 0,197 (k=1), le rappel de Correspondance Sémantique (SM) était de 0,746, indiquant que de nombreuses phrases récupérées étaient cliniquement équivalentes à la référence malgré des formulations différentes.

Signification et Limites

Les auteurs affirment que STAR3 fait progresser la génération automatisée de rapports radiologiques en passant d'une récupération globale rigide à une approche flexible, ancrée anatomiquement et temporellement. En alignant la récupération sur la pratique clinique — où les radiologues interprètent les découvertes région par région dans le contexte de l'historique du patient et des indications cliniques — le cadre produit des rapports qui sont non seulement textuellement similaires, mais cliniquement plus fidèles.

Limites reconnues par les auteurs :

• Contrainte de Corpus : La nature basée sur la récupération limite le système aux phrases présentes dans le corpus d'entraînement, ce qui peut entraver l'expression de découvertes rares ou inédites.
• Limitation de Vue : L'implémentation actuelle opère uniquement sur des radiographies thoraciques frontales et n'incorpore pas de raisonnement sur les vues latérales ou multi-vues.

Directions Futures :
Le papier suggère d'étendre le cadre aux entrées multi-vues, d'investiguer la modélisation temporelle au-delà d'une seule étude antérieure, et de développer STAR3 comme partie d'un flux de travail augmenté par la récupération où les radiologues peuvent interagir avec les phrases ou les boîtes englobantes récupérées (human-in-the-loop).