A Unified Model for Highly Accurate ECG-Free Dynamic Coronary Roadmapping Using Spatio-Temporal Transformers

Technische Samenvatting: Een verenigd model voor uiterst nauwkeurige ECG-vrije dynamische coronaire roadmapping met behulp van spatio-temporele transformers

Probleemstelling

Percutane coronaire interventie (PCI) is afhankelijk van herhaalde injecties van jodiumhoudende contrastmiddelen om de coronaire arteriën te visualiseren en interventionele hulpmiddelen te begeleiden. Deze praktijk verhoogt de blootstelling aan straling en het risico op contrast-geïnduceerde nefropathie, met name bij patiënten met een verminderde nierfunctie. Dynamische Coronaire Roadmapping (DRM) biedt een oplossing door een vooraf berekende angiografische vaatkaart over live fluoroscopie te leggen, waardoor de noodzaak voor herhaalde contrastinjecties wordt verminderd.

Accurate DRM vereist echter precieze hartfase-matching tussen de angiografie-sequentie en de live fluoroscopie, evenals betrouwbare katheterpunt-tracking voor bewegingscompensatie. Bestaande methoden kampen met aanzienlijke beperkingen:

• ECG-afhankelijkheid: Veel benaderingen vertrouwen op ECG-signalen voor fase-uitlijning, die in klinische settings niet altijd beschikbaar of betrouwbaar zijn.
• Annotatiebelasting: Beeldgebaseerde deep learning-methoden vereisen vaak uitgebreide, dichte handmatige annotaties (bijv. katetermaskers) om bewegingskenmerken te leren, wat arbeidsintensief en kostbaar is.
• Modulaire complexiteit: Eerdere werken pakken fase-matching en katheter-tracking doorgaans aan met afzonderlijke modellen, wat de computationele complexiteit verhoogt en de real-time prestaties belemmert.
• Domein-mismatch: Modellen die zijn voorgetraind op natuurlijke afbeeldingen falen vaak in het vastleggen van de subtiele inter-frame dynamiek die specifiek is voor hartbeweging in röntgenopnames.

Methodologie

De auteurs stellen een verenigd DRM-framework voor dat gelijktijdig hartfase-matching en katheterpunt-tracking uitvoert zonder dat er tijdens de inferentie ECG-signalen nodig zijn. De aanpak is gestructureerd in drie hoofdfasen:

1. Spatio-temporele Pretraining:

   • Een grootschalige spatio-temporele transformer encoder wordt voorgetraind op 16 miljoen frames uit ongeannoteerde angiografie- en fluoroscopie-datasets.
   • Deze pretraining stelt het model in staat om fijngedetailleerde hartbewegingsdynamiek en robuuste feature-representaties te leren die specifiek zijn voor het medische domein, waarmee de beperkingen van modellen getraind op natuurlijke afbeeldingen worden aangepakt.

2. Verenigde Trainingspipeline:

   • Architectuur: Het model maakt gebruik van een gedeelde spatio-temporele encoder om kenmerken te extraheren uit zowel angiografie- als fluoroscopie-sequenties. Deze kenmerken worden verwerkt door een lichtgewicht CNN om frame-niveau embeddings te produceren, die vervolgens worden gecombineerd met leerbare positionele encodings en door multi-headed self-attention (MHA) lagen worden gestuurd.
   • Auxiliaire Taken: Om de training te stabiliseren en de noodzaak voor uitgebreide katetermasker-annotaties te elimineren, gebruikt het model twee hulp-taken:
     • ECG R-piek Detectie: Een binaire classificatietaak die R-pieken voorspelt om een ijle maar sterke temporele aanwijzing voor de hartfase te bieden.
     • Katheterpunt-tracking: Een heatmap-regressietaak. Omdat volledige annotaties schaars zijn, gebruiken de auteurs een voorgetraind HiFT (Historical Feature Guided Tracker) model om pseudo-labels te genereren voor ongeannoteerde frames.
   • Verliesfunctie: De totale loss is een gewogen som van de R-piek detectie loss (adaptieve gewogen binary cross-entropy), de hartfase-matching loss (triplet loss) en de katheterpunt-tracking loss (Dice loss).

3. Inferentiestrategie:

   • Offline Fase: Een contrastdetectiemodel identificeert een hartcyclus in de angiografie-sequentie. Een temporeel venster van 10 frames wordt gebruikt om angiografie-embeddings en vaat-roadmaps vooraf te berekenen en op te slaan.
   • Online Fase: Een sliding window van 10 fluoroscopie-frames wordt in real-time verwerkt. Het model berekent embeddings voor het huidige live frame en vergelijkt deze met alle opgeslagen angiografie-embeddings met behulp van cosine similarity.
   • Majority Voting: Om de robuustheid te vergroten, aggregeert een majority-voting post-processing strategie de voorspellingen uit het temporele venster. Dit genereert een betrouwbaarheidsscore op basis van de stemfrequentie, die correleert met de fase-matching fout.

Belangrijkste Bijdragen

• Eerste Spatio-temporele Pretraining voor DRM: Dit werk introduceert het eerste gebruik van een spatio-temporele encoder die is voorgetraind op 16 miljoen medische frames voor hartbewegingscompensatie in DRM, waarbij superieure fase-matching prestaties worden behaald vergeleken met bestaande methoden.
• Annotatie-efficiënt Verenigd Framework: Door ECG R-piek detectie en katheterpunt-tracking (met behulp van pseudo-labels) als hulp-taken te integreren, bereikt het model een stabiele convergentie zonder dat uitgebreide handmatige katetermasker-annotaties nodig zijn.
• Real-time Verenigde Architectuur: Het ontwerp voert fase-matching en katheter-tracking gezamenlijk uit in één enkel model, wat de inferentie-latentie aanzienlijk vermindert vergeleken met sequentiële twee-fasen benaderingen.
• Betrouwbaarheid-bewuste Post-processing: De majority-voting strategie verbetert niet alleen de robuustheid, maar levert ook een betrouwbaarheidsscore die invers correleert met de fase-matching fout, wat een praktisch mechanisme biedt voor onzekerheidsschatting in klinische settings.

Resultaten

Uitgebreide evaluaties op klinische röntgendatasets tonen het volgende aan:

• Fase-matching Nauwkeurigheid: De voorgestelde methode bereikt state-of-the-art prestaties met een gemiddelde afstandsfout van 56,31 ms (4,38% van de hartcyclus) en een standaarddeviatie van 0,66 frames. Dit presteert beter dan baselines die gebruikmaken van ImageNet-voorgetrainde CNN's, DINOv2 en eerdere triplet-loss benaderingen (AIT).
• Robuustheid: Het model behoudt een afstandsfout van minder dan één frame voor ongeveer 82% van de testgevallen. De betrouwbaarheidsscore voorspelt de foutgrootte effectief; voorspellingen met hoge betrouwbaarheidsscores (>0,8) vertonen een bijna nul-mediane fout.
• Katheter-tracking: Onder automatische initialisatie bereikt het verenigde model een gemiddelde trackingfout van 1,58 mm, wat statistisch vergelijkbaar is met de HiFT-baseline (1,45 mm) die handmatige initialisatie vereist, ondanks de afhankelijkheid van het verenigde model van pseudo-labels.
• Efficiëntie: De verenigde single-stage formulering verbetert de doorvoer aanzienlijk, met een snelheid tot 84 fps voor CNN-gebaseerde backbones, vergeleken met ~20 fps in sequentiële twee-fasen pipelines.

Betekenis en Claims

Het artikel claimt dat dit werk een belangrijke stap vormt naar praktische, real-time en volledig geautomatiseerde dynamische coronaire roadmapping. Door gebruik te maken van grootschalige spatio-temporele pretraining en zorgvuldig ontworpen hulp-taken, slaagt het framework erin de afhankelijkheid van uitgebreide gelabelde data en externe ECG-signalen te verminderen.

De auteurs benadrukken dat hun aanpak:

1. Beter generaliseert over diverse beeldcondities en hartbewegingspatronen vergeleken met modellen die zijn voorgetraind op natuurlijke afbeeldingen.
2. Klinische implementatie mogelijk maakt door een betrouwbaarheidsscore te bieden waarmee operators de betrouwbaarheid van de output van het systeem kunnen beoordelen.
3. Een balans vindt tussen nauwkeurigheid en efficiëntie, door een verenigde oplossing te bieden die zowel computationeel efficiënt als zeer nauwkeurig is, wat geschikt maakt voor integratie in live interventionele workflows.

Het artikel concludeert bescheiden en erkent dat hoewel de gemiddelde fout laag is, uitschieters blijven bestaan in uitdagende gevallen (bijv. extreme kijkhoeken of gedeeltelijke vaatafsnijding). Toekomstig werk kan aanvullende robuustheidsstrategieën vereisen, zoals verdere hulp-taken (bijv. guidewire detectie) of meer geavanceerde multi-task optimalisatie, om de resterende kloof naar volledig betrouwbare klinische inzet te dichten.