Fine-Tuning SAM2 for Coronary Artery Segmentation in X-Ray Fluoroscopy

Technische Samenvatting: Fine-tuning van SAM2 voor Coronaire Arterie Segmentatie in X-ray Fluoroscopie

Probleemstelling
Hoewel fundamentele modellen zoals SAM2 sterke algemene segmentatiecapaciteiten bieden, wordt hun directe toepassing op medische beeldvorming—specifiek X-ray fluoroscopie voor de segmentatie van coronaire arteriën—belemmerd door domeinspecifieke uitdagingen. Deze omvatten ruis door patiëntbeweging, het projectiegebaseerde karakter van röntgenstraling en een laag contrast tussen vaten en de achtergrond. Bovendien vereisen bestaande computer vision-modellen doorgaans uitgebreide één-op-één training voor specifieke toepassingen, en is er een tekort aan grote, publiekelijk beschikbare datasets met frame-niveau annotaties voor interventionele cardiologie-procedures. De zero-shot toepassing van MedSAM2 op dit domein levert verwaarloosbare prestaties op (Dice-score van 0,033), wat wijst op een significante domeinkloof.

Methodologie
De auteurs stellen een fine-tuning strategie voor MedSAM2 (een aan medische beelden aangepaste versie van SAM2) voor om deze uitdagingen aan te pakken met behulp van een statische angiografie-dataset voor training en een video-dataset voor kwalitatieve evaluatie.

• Modelarchitectuur: De aanpak maakt gebruik van MedSAM2, dat een Hiera-Tiny backbone, een FPN neck en een two-way transformer mask decoder gebruikt. Voor videoverwerking maakt het gebruik van een 6-frame FIFO geheugenmodule om maskers te propageren zonder opnieuw te hoeven prompten.
• Datasets:
  • Training: De ARCADE-dataset (1.000 trainingsafbeeldingen, 200 validatieafbeeldingen) met polygoon-annotaties voor de coronaire arteriën.
  • Evaluatie: De CoronaryDominance-dataset (10 video-studies) die wordt gebruikt voor kwalitatieve beoordeling van video-tracking, aangezien deze geen ground truth maskers per frame bevat.
• Fine-tuning Strategie:
  • Gedeeltelijk Unfreezen van de Encoder: In plaats van het volledige netwerk te trainen, hebben de auteurs alleen de laatste twee Hiera trunk blocks en de FPN neck ongefreezen (ongeveer 10% van de encoder-parameters), samen met de mask decoder. Dit behoudt de vooraf getrainde medische kenmerken terwijl de hoog-niveau representaties worden aangepast.
  • Data Augmentatie: Geometrische transformaties (flips, rotaties) worden toegepast om de integriteit van de maskers te waarborgen, waarbij intensiteitsgebaseerde augmentaties die de grenzen kunnen misalignen worden vermeden.
  • Prompting: Training maakt gebruik van een enkele centroid click afgeleid van de ground truth met jitter; tijdens de inferentie wordt de centroid automatisch berekend vanuit de helderste pixels van het prompt-frame.
• Loss Functie: Een composiet loss wordt toegepast om de specifieke topologie van vaten te behandelen:
  • Dice Loss ($L_{Dice}$) en Weighted BCE ($L_{wBCE}$) om klassenimbalans aan te pakken.
  • clDice Loss ($L_{clDice}$): Een topologie-behoudende loss die opereert op de zachte skeleton van maskers. Deze straft onderbrekingen in de centerline connectiviteit af, wat het probleem aanpakt waarbij standaard overlap-metrieken anatomisch incorrecte, gefragmenteerde vaatsegmenten zouden accepteren. Het gewicht voor clDice wordt lineair opgevoerd over de eerste 8 epochs om de training te stabiliseren.
• Video Inferentie: Het model selecteert het frame met de hoogste pixelvariantie (piekcontrast) als het prompt-frame en propageert het masker voorwaarts en achterwaarts met behulp van de streaming memory architectuur.

Belangrijkste Resultaten

• Statische Segmentatie (ARCADE Validatie):
  • Zero-Shot: MedSAM2 bereikte een Dice-score van 0,033, wat de domeinkloof bevestigt.
  • Frozen Encoder Fine-Tuning: Alleen de decoder unfreezen verbeterde de score naar 0,727.
  • Volledige Fine-Tuning (Onze methode): Het gedeeltelijk unfreezen van de encoder, het toevoegen van de clDice loss en het gebruik van geaugmenteerde data bereikte een Dice-score van 0,767 ± 0,082 (IoU 0,629). Deze prestatie is competitief met modellen die specifiek zijn ontworpen voor X-ray coronaire angiografie (XCA).
• Video Inferentie (CoronaryDominance):
  • Het gefinetunede model volgt de hoofdcoronaire stam coherent door de frames heen zonder opnieuw te hoeven prompten.
  • Specificiteit: In 9 van de 10 video-studies slaagde het gefinetunede model erin om foutieve positieven op ribben, chirurgische stents, bypass-grafts en geïmplanteerde apparaten te vermijden. In contrast hiermee labelde het zero-shot model deze hoog-contrast, tubulaire structuren consequent foutief als vaten.
  • Beperkingen: Beide modellen falen wanneer de contrastvloeistof tussen injectiecycli wegtrekt, omdat de geheugenmodule het doelwit verliest. Re-prompting aan het begin van elke injectiecyclus is vereist.

Betekenis en Claims
Het artikel claimt dat MedSAM2 effectief kan worden aangepast aan X-ray fluoroscopie met minimale data (1.000 afbeeldingen) en zonder uitgebreide hertraining van de volledere backbone. De primaire betekenis ligt in de specificiteit van het gefinetunede model: het leert het werkelijke uiterlijk van coronaire vaten in deze modaliteit in plaats van alleen generieke tubulaire vormen te detecteren. Dit vermindert klinisch gevaarlijke foutieve positieven (bijv. het identificeren van stents als vaten) zonder dat expliciete negatieve supervisie nodig is.

De auteurs merken op dat hoewel de statische segmentatie resultaten kwantitatief zijn, de video-evaluatie kwalitatief blijft vanwege het gebrek aan frame-niveau ground truth in de beschikbare publieke datasets. Zij erkennen dat de huidige geheugen-gebaseerde architectuur tracking-latentie introduceert aan het begin van contrastinjectiecycli en dat toekomstig werk de self-supervised pre-training op ongelabelde video en implementatie op middelen-beperkte klinische hardware moet verkennen.