Fine-Tuning SAM2 for Coronary Artery Segmentation in X-Ray Fluoroscopy

Résumé Technique : Fine-Tuning de SAM2 pour la segmentation des artères coronaires en fluoroscopie X

Énoncé du problème
Bien que les modèles de fondation comme SAM2 offrent de solides capacités de segmentation générale, leur application directe à l'imagerie médicale — spécifiquement la segmentation des artères coronaires en fluoroscopie X — est entravée par des défis spécifiques au domaine. Ceux-ci incluent le bruit provenant des mouvements du patient, la nature basée sur la projection des rayons X, et le faible contraste entre les vaisseaux et l'arrière-plan. De plus, les modèles de vision par ordinateur existants nécessitent généralement un entraînement intensif de un-à-un pour des applications spécifiques, et il existe une rareté de jeux de données de grande taille, annotés au niveau de l'image (frame), disponibles publiquement pour les procédures de cardiologie interventionnelle. L'application zero-shot de MedSAM2 à ce domaine produit une performance négligeable (score Dice de 0,033), indiquant un écart de domaine significatif.

Méthodologie
Les auteurs proposent une stratégie de fine-tuning pour MedSAM2 (une version de SAM2 adaptée au domaine médical) afin de relever ces défis en utilisant un ensemble de données d'angiographie statique pour l'entraînement et un ensemble de données vidéo pour l'évaluation qualitative.

• Architecture du modèle : L'approche utilise MedSAM2, qui emploie un backbone Hiera-Tiny, un cou (neck) FPN, et un décodeur de masque transformer à deux voies. Pour le traitement vidéo, elle exploite un module de mémoire FIFO à 6 images pour propager les masques sans nouveau prompt.
• Jeux de données :
  • Entraînement : Le jeu de données ARCADE (1 000 images d'entraînement, 200 images de validation) contenant des annotations polygonales pour les artères coronaires.
  • Évaluation : Le jeu de données CoronaryDominance (10 études vidéo) utilisé pour l'évaluation qualitative du suivi vidéo, car il manque de vérité terrain (ground truth) par image.
• Stratégie de Fine-Tuning :
  • Dégel partiel de l'encodeur (Partial Encoder Unfreezing) : Au lieu d'entraîner l'ensemble du réseau, les auteurs ne dégèlent que les deux derniers blocs du tronc Hiera et le neck FPN (environ 10 % des paramètres de l'encodeur), ainsi que le décodeur de masque. Cela préserve les caractéristiques médicales pré-entraînées tout en adaptant les représentations de haut niveau.
  • Augmentation de données : Des transformations géométriques (basculements, rotations) sont appliquées pour préserver l'intégrité du masque, évitant les augmentations basées sur l'intensité qui pourraient désaligner les contours.
  • Prompting : L'entraînement utilise un clic de centroïde unique dérivé de la vérité terrain avec un jitter ; l'inférence calcule automatiquement le centroïde à partir des pixels les plus brillants de l'image de prompt.
• Fonction de perte : Une perte composite est employée pour gérer la topologie spécifique des vaisseaux :
  • Perte Dice ($L_{Dice}$) et BCE pondérée ($L_{wBCE}$) pour gérer le déséquilibre des classes.
  • Perte clDice ($L_{clDice}$) : Une perte de préservation de la topologie qui opère sur le squelette mou (soft skeleton) des masques. Elle pénalise les ruptures dans la connectivité de la ligne centrale, traitant le problème où les métriques de chevauchement standard pourraient accepter des segments de vaisseaux fragmentés et anatomiquement incorrects. Le poids de la clDice est augmenté linéairement sur les 8 premières époques pour stabiliser l'entraînement.
• Inférence Vidéo : Le modèle sélectionne l'image présentant la variance de pixels la plus élevée (contraste de pointe) comme image de prompt et propage le masque vers l'avant et vers l'arrière en utilisant l'architecture de mémoire en streaming.

Résultats Clés

• Segmentation Statique (Validation ARCADE) :
  • Zero-Shot : MedSAM2 a atteint un score Dice de 0,033, confirmant l'écart de domaine.
  • Fine-Tuning avec encodeur gelé : Le dégel uniquement du décodeur a amélioré le score à 0,727.
  • Full Fine-Tuning (Notre approche) : Le dégel partiel de l'encodeur, l'ajout de la perte clDice et l'utilisation de données augmentées ont permis d'atteindre un score Dice de 0,767 ± 0,082 (IoU 0,629). Cette performance est compétitive avec les modèles spécifiquement conçus pour l'angiographie coronaire par rayons X (XCA).
• Inférence Vidéo (CoronaryDominance) :
  • Le modèle fine-tuné suit le tronc coronaire principal de manière cohérente à travers les images sans nouveau prompt.
  • Spécificité : Dans 9 études vidéo sur 10, le modèle fine-tuné a réussi à éviter les faux positifs sur les côtes, les stents chirurgicaux, les pontages et les dispositifs implantés. En revanche, le modèle zero-shot a systématiquement identifié ces structures tubulaires à haut contraste comme étant des vaisseaux.
  • Limitations : Les deux modèles échouent lorsque le produit de contraste s'estompe entre les cycles d'injection, car le module de mémoire perd la cible. Un nouveau prompt est nécessaire au début de chaque cycle d'injection.

Signification et Revendications
L'article affirme que MedSAM2 peut s'adapter efficacement à la fluoroscopie X avec un minimum de données (1 000 images) et sans réentraînement complet du backbone. La principale signification réside dans la spécificité du modèle fine-tuné : il apprend l'apparence réelle des vaisseaux coronaires dans cette modalité plutôt que de simplement détecter des formes tubulaires génériques. Cela réduit les faux positifs cliniquement dangereux (par exemple, identifier des stents comme des vaisseaux) sans nécesser de supervision négative explicite.

Les auteurs notent que si la segmentation statique produit des résultats quantitatifs, l'évaluation vidéo reste qualitative en raison de l'absence de vérité terrain par image dans les jeux de données publics disponibles. Ils reconnaissent que l'architecture actuelle basée sur la mémoire introduit une latence de suivi au début des cycles d'injection de contraste et que les travaux futurs devraient explorer le pré-entraînement auto-supervisé sur des vidéos non étiquetées et le déploiement sur du matériel clinique aux ressources limitées.