Fine-Tuning SAM2 for Coronary Artery Segmentation in X-Ray Fluoroscopy

Sintesi Tecnica: Fine-Tuning di SAM2 per la Segmentazione delle Arterie Coronarie in Fluoroscopia a Raggi X

Definizione del Problema
Sebbene i modelli foundation come SAM2 offrano forti capacità di segmentazione generale, la loro applicazione diretta all'imaging medico — specificamente alla segmentazione delle arterie coronarie in fluoroscopia a raggi X — è ostacolata da sfide specifiche del dominio. Queste includono il rumore derivante dal movimento del paziente, la natura basata sulla proiezione dei raggi X e il basso contrasto tra vasi e sfondo. Inoltre, i modelli di computer vision esistenti richiedono tipicamente un addestramento esteso uno-a-uno per applicazioni specifiche, e vi è una scarsità di dataset ampi e pubblicamente disponibili con annotazioni a livello di frame per procedure di cardiologia interventistica. L'applicazione zero-shot di MedSAM2 in questo dominio produce prestazioni trascurabili (Dice score di 0,033), indicando un significativo gap di dominio.

Metodologia
Gli autori propongono una strategia di fine-tuning per MedSAM2 (una versione di SAM2 adattata per l'ambito medico) per affrontare queste sfide utilizzando un dataset di angiografie statiche per l'addestramento e un dataset video per la valutazione qualitativa.

• Architettura del Modello: L'approccio utilizza MedSAM2, che impiega un backbone Hiera-Tiny, un collo FPN e un decoder di maschera transformer a due vie. Per l'elaborazione video, sfrutta un modulo di memoria FIFO a 6 frame per propagare le maschere senza richiedere nuovi prompt.
• Dataset:
  • Addestramento: Il dataset ARCADE (1.000 immagini di addestramento, 200 immagini di validazione) contenente annotazioni poligonali per le arterie coronarie.
  • Valutazione: Il dataset CoronaryDominance (10 studi video) utilizzato per la valutazione qualitativa del tracciamento video, poiché manca di una ground truth per ogni frame.
• Strategia di Fine-Tuning:
  • Scongelamento Parziale dell'Encoder (Partial Encoder Unfreezing): Invece di addestrare l'intera rete, gli autori scongela solo gli ultimi due blocchi del tronco Hiera e il collo FPN (circa il 10% dei parametri dell'encoder), insieme al decoder della maschera. Ciò preserva le caratteristiche mediche pre-addestrate pur adattando le rappresentazioni di alto livello.
  • Data Augmentation: Trasformazioni geometriche (flip, rotazioni) sono applicate per preservare l'integrità della maschera, evitando aumenti basati sull'intensità che potrebbero disallineare i bordi.
  • Prompting: L'addestramento utilizza un singolo click del centroide derivato dalla ground truth con jitter; l'inferenza calcola automaticamente il centroide dai pixel più luminosi del frame di prompt.
• Funzione di Perdita (Loss Function): Viene impiegata una loss composita per gestire la specifica topologia dei vasi:
  • Dice Loss ($L_{Dice}$) e Weighted BCE ($L_{wBCE}$) per gestire lo sbilanciamento delle classi.
  • Loss clDice ($L_{clDice}$): Una loss che preserva la topologia operando sullo scheletro morbido (soft skeleton) delle maschere. Essa penalizza le interruzioni nella connettività della linea centrale, affrontando il problema per cui le metriche di sovrapposizione standard potrebbero accettare segmenti vascolari frammentati e anatomicamente errati. Il peso per clDice è aumentato linearmente durante i primi 8 epoch per stabilizzare l'addestramento.
• Inferenza Video: Il modello seleziona il frame con la più alta varianza di pixel (picco di contrasto) come frame di prompt e propaga la maschera in avanti e all'indietro utilizzando l'architettura di memoria streaming.

Risultati Chiave

• Segmentazione Statica (Validazione ARCADE):
  • Zero-Shot: MedSAM2 ha ottenuto un punteggio Dice di 0,033, confermando il gap di dominio.
  • Fine-Tuning con Encoder Congelato: Lo scongelamento del solo decoder ha migliorato il punteggio a 0,727.
  • Full Fine-Tuning (Nostro approccio): Lo scongelamento parziale dell'encoder, l'aggiunta della loss clDice e l'uso di dati aumentati hanno raggiunto un punteggio Dice di 0,767 ± 0,082 (IoU 0,629). Questa prestazione è competitiva con i modelli progettati specificamente per l'angiografia coronarica a raggi X (XCA).
• Inferenza Video (CoronaryDominance):
  • Il modello sottoposto a fine-tuning traccia coerentemente il tronco coronarico principale attraverso i frame senza richiedere nuovi prompt.
  • Specificità: In 9 studi su 10, il modello fine-tuned ha evitato con successo falsi positivi su costole, stent chirurgici, bypass e dispositivi impiantati. Al contrario, il modello zero-shot ha sistematicamente etichettato erroneamente queste strutture tubulari ad alto contrasto come vasi.
  • Limitazioni: Entrambi i modelli falliscono quando il mezzo di contrasto si dissolve tra i cicli di iniezione, poiché il modulo di memoria perde il target. È richiesto un nuovo prompting all'inizio di ogni ciclo di iniezione.

Significatività e Rivendicazioni
Il paper sostiene che MedSAM2 possa adattarsi efficacementmente alla fluoroscopia a raggi X con una quantità minima di dati (1.000 immagini) e senza un addestramento esteso di tutto il backbone. La principale significatività risiede nella specificità del modello fine-tuned: esso apprende l'aspetto genuino dei vasi coronarici in questa modalità piuttosto che limitarsi a rilevare forme tubulari generiche. Ciò riduce i falsi positivi clinicamente pericolosi (ad esempio, identificare gli stent come vasi) senza richiedere una supervisione negativa esplicita.

Gli autori osservano che, sebbene la segmentazione statica fornisca risultati quantitativi, la valutazione video rimane qualitativa a causa della mancanza di una ground truth per frame nei dataset pubblici disponibili. Riconoscono inoltre che l'attuale architettura basata sulla memoria introduce una latenza di tracciamento all'inizio dei cicli di iniezione del contrasto e che i lavori futuri dovrebbero esplorare il pre-addestramento auto-supervisionato su video non etichettati e l'implementazione su hardware clinico con risorse limitate.