🤖 machine learning

Towards Real-Time Autonomous Navigation: Transformer-Based Catheter Tip Tracking in Fluoroscopy

Dit artikel presenteert een real-time, multi-threaded pipeline voor het volgen van kathetertoppen met behulp van deep learning-segmentatiemodellen, en toont specifiek aan dat een twee-klassen SegFormer-architectuur bestaande methoden overtreft in nauwkeurigheid en robuustheid, waardoor een betrouwbare basis wordt geboden voor op versterkend leren gebaseerde autonome navigatie bij mechanische trombectomie.

Oorspronkelijke auteurs: Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren een Katheter te "Sturen"

Stel je een beroerte voor als een file in een kleine, kronkelende stad binnenin je hersenen. Om dit op te lossen, gebruiken artsen een lange, flexibele buis (een katheter) om door de bloedvaten te navigeren en de blokkade te verwijderen. Dit heet een Mechanische Thrombectomie (MT).

Op dit moment moet een menselijke arts deze buis handmatig sturen terwijl hij of zij kijkt naar röntgenfilms (fluoroscopie). Dit is zwaar werk, blootstelt de arts aan straling en kost veel tijd. Het doel van dit onderzoek is het bouwen van een robot die de katheter autonoom (zelfstandig) kan sturen met behulp van Kunstmatige Intelligentie.

Echter, om een robot te laten sturen, moet deze precies weten waar het uiteinde van het stuurwiel zich bevindt. In dit geval is het "stuurwiel" het uiteinde van de katheter. Het probleem is dat de katheter op röntgenfilms vaak vaag lijkt, wazig wordt of zich verbergt achter andere instrumenten.

Dit artikel vraagt zich af: Kunnen we een computersysteem bouwen dat direct en nauwkeurig het uiteinde van de katheter kan vinden in deze rommelige röntgenvideo's, zelfs als het moeilijk te zien is?

De Oplossing: Een "Slimme Camera"-Pijplijn

De onderzoekers bouwden een assemblagelijn met vier stappen (een pijplijn) om dit op te lossen. Denk hierbij aan een hoge-snelheidsfabriek die elk individueel frame van een röntgenvideo verwerkt:

De Lezer: Pakt het videoframe.
De Voorbereider: Maakt de afbeelding schoon en maakt deze klaar voor de computer.
Het Brein (Inferentie): Een speciaal AI-model bekijkt de afbeelding en probeert een masker om de katheter en de draad erin te tekenen.
De Verfijner: Dit is het slimme deel. De AI raadt niet zomaar één punt. Het:
- Voegt gebroken stukjes van de afbeelding samen.
- Zet de dikke vorm van de katheter om in een dunne lijn van één pixel breed (zoals een pad met een potlood natrekken).
- Vindt het alleruiteinde van die lijn (het uiteinde).
- Cruciaal: Om niet in de war te raken door bewegingsonscherpte, kijkt het niet alleen naar het uiteinde. Het kijkt naar het uiteinde plus twee punten er direct achter (zoals kijken naar de neus en twee punten op het voorhoofd om te weten welke kant een gezicht op draait). Dit helpt het systeem om de richting te raden, zelfs als het uiteinde wazig is.

De Geteste "Breinen": Drie Verschillende AI-Modellen

Het team testte drie verschillende soorten AI-"breinen" om te zien welke het beste was in het tekenen van de katheter:

U-Net: Een klassiek, betrouwbaar werkpaard-model.
U-Net + Transformer: Het klassieke model met een "super-visie"-upgrade die helpt het grote plaatje te begrijpen.
SegFormer: Een modern model dat "Transformers" gebruikt (dezelfde technologie achter geavanceerde chatbots) om context en details tegelijkertijd te begrijpen.

Ze testten deze modellen op twee manieren:

Twee-Klassen Modus: Alleen het vinden van "Het Instrument" versus "De Achtergrond".
Drie-Klassen Modus: Het apart vinden van "De Katheter", "De Draad" en "De Achtergrond".

De Resultaten: Wie Won de Wedstrijd?

De onderzoekers testten de modellen op drie soorten "banen":

De Oefenbaan (Fantom): Een nep plastic slagader in een laboratorium.
De Live Lab-baan (Live Camera): Een real-time video van een katheter die beweegt in een plastic model.
De Echte Weg (Menselijke Patiënten): Eigenlijke röntgenvideo's van menselijke operaties.

De Winnaar:
Het SegFormer-model (het moderne, op Transformer gebaseerde model) was de kampioen.

Nauwkeurigheid: Het maakte de minste fouten bij het vinden van de exacte locatie van het uiteinde. In de "matig moeilijke" menselijke video's zat het gemiddeld 4,44 millimeter naast.
Robuustheid: Het ging beter om met de rommelige, laag-contrast en wazige delen van de röntgenfoto's dan de oudere modellen.
Snelheid: Het was snel genoeg om in real-time te draaien (ongeveer 30 beelden per seconde), wat snel genoeg is voor een robot om direct te reageren.

Een Verrassende Draai:
Hoewel het vinden van zowel de katheter als de draad apart (Drie-Klassen) klinkt als nuttiger voor een robot, maakte het de tracking in sommige gevallen juist minder nauwkeurig. De AI raakte in de war door de extra details, waardoor de "lijn" die het tekende onjuist vertakte. De eenvoudigere "Twee-Klassen"-aanpak (gewoon het vinden van "het instrument") was vaak stabieler en nauwkeuriger voor het pinpointen van het uiteinde.

De Conclusie

Dit artikel bewijst dat we een systeem kunnen bouwen dat röntgenvideo's bekijkt en direct aan een robot vertelt waar het uiteinde van de katheter is, zelfs als de afbeelding ruis bevat of het instrument zich verbergt.

Wat ze bereikten: Een stabiel, real-time trackersysteem dat betere prestaties levert dan eerdere methoden op standaard benchmarks.
Wat ze (nog) niet bereikten: Ze bereikten geen "perfecte" sub-millimeter precisie bij echte menselijke patiënten (de fout was enkele millimeters, niet minder dan 1). Ze merkten op dat dit komt omdat de AI was getraind op plastic modellen en moest gokken bij echte mensen zonder extra training.
Het Doel: Dit systeem biedt de "ogen" die nodig zijn voor een robot om uiteindelijk de katheter zelfstandig te besturen, wat de behandeling van beroertes mogelijk sneller en veiliger maakt voor artsen en patiënten.

Kortom: Ze bouwden een zeer scherp paar brillen voor een robot, waardoor het het stuurwiel van een katheter duidelijk kan zien, zelfs in een mistige röntgenkamer.

Technische Samenvatting: Op weg naar real-time autonome navigatie: Transformer-gebaseerde volging van kathetertoppen in fluoroscopie

Probleemstelling
Mechanische trombectomie (MT) is een kritieke interventie voor beroertes door occlusie van grote vaten, maar de werkzaamheid is tijdgevoelig en beperkt door een gebrek aan lokale toegang tot behandeling. Hoewel endovasculaire robotplatforms en op versterkingslering (RL) gebaseerde autonome navigatie potentiële oplossingen bieden, vereisen huidige RL-benaderingen voor hun werking een nauwkeurige, real-time tracking van de coördinaten van de apparaattop (katheter en gidsdraad). Bestaande methoden voor apparaattracking worstelen onder klinisch realistische omstandigheden die gekenmerkt worden door lage beeldcontrasten, ruis, bewegingsonscherpte en verduistering van het apparaat. Bovendien is het onduidelijk of deep learning-modellen die zijn getraind op synthetische of fanta-data, kunnen generaliseren naar in vivo klinische fluoroscopie, vooral wanneer apparaten gedeeltelijk verborgen zijn. Het ontbreken van robuuste, real-time trackingpijplijnen die kunnen opereren over variabele beeldvormingsmodaliteiten heen, belemmert de overgang van autonome navigatie van in silico-simulaties naar klinische toepassing.

Methodologie
De auteurs stellen een multi-threaded, real-time pijplijn voor het volgen van katheter- en gidsdraadtoppen voor, ontworpen om te opereren onder uitdagende fluoroscopische omstandigheden. Het systeem integreert vier asynchrone fasen:

Lezer: Vangt ruwe fluoroscopie- of videoframes onafhankelijk van de inferentiesnelheid om het verlies van frames te voorkomen.
Preprocessor: Hergroot, normaliseert en converteert frames naar tensorformaat.
Inferentie: Voert frames door getrainde segmentatiemodellen. Voor grote afbeeldingen wordt een schuifvensterbenadering met overlappende patches gebruikt om kwaliteit en geheugen in evenwicht te brengen.
Postprocessor: Verfijnt segmentatiemaskers door middel van het samenvoegen van componenten, het verwijderen van artefacten en skeletvorming. Cruciaal is dat het een tweestapscomponentfiltering en een-voxel-mediale skeletvorming toepast om eindpunten te identificeren. Om de tracking te stabiliseren tegen bewegingsonscherpte en verduistering, steekt het systeem drie punten langs het skelet af: de primaire top ( $T_0$ ) en twee stroomafwaartse punten ( $T_1, T_2$ ) op respectievelijk 5 en 10 pixels.

Modelarchitecturen
Drie deep learning-segmentatiearchitecturen werden getraind en gebenchmarkt met behulp van het CathAction-dataset (25.000 pixel-level maskers van in vitro-fantomen en in vivo-varkens):

Standaard U-Net: Een gemodificeerde 16-kanaals basis U-Net, geoptimaliseerd met AdamW om te voldoen aan real-time geheugenbeperkingen, afwijkend van de oorspronkelijke 64-kanaals SGD-implementatie in eerdere literatuur.
U-Net + Transformer: Vervangt de U-Net-bottleneck door een 16-laags, 16-kops zelf-attention transformer-module om bredere context vast te leggen.
SegFormer: Gebruikt een Mix Transformer B5-encoder met een symmetrische U-Net-decoder, met inbegrip van ruimtelijke en kanaal-squeeze & excitation (scSE) attention-modules.

De studie evalueerde zowel twee-klassen (instrument versus achtergrond) als drie-klassen (katheter versus gidsdraad versus achtergrond) formuleringen om hun impact op downstream-trackingnauwkeurigheid te bepalen.

Belangrijkste Bijdragen

Nieuwe Trackingpijplijn: Introductie van een skeletvormings- en meerpuntsteekproevenpijplijn die de localisatiestabiliteit verbetert in aanwezigheid van laag contrast, gedeeltelijke verduistering en overlappende instrumenten.
Geïntegreerd Benchmarken: Aantonen dat moderne segmentatiearchitecturen, wanneer ingebed in een trackingkader, bestaande benchmarks op het CathAction-dataset overtreffen, en de evaluatie uitbreiden bovenop standalone segmentatiemetrics tot en met top-localisatiefout.
Cross-Domein Validatie: Validatie van de methode over in vitro-fantoom-, in vivo-dier- en in vivo-klinische fluoroscopische data zonder in vivo-fijnafstelling, waarbij generalisatie over beeldvormingsmodaliteiten wordt beoordeeld.

Resultaten

CathAction Benchmark: De twee-klassen SegFormer behaalde de hoogste prestatie (Dice: 0,809, IoU: 0,722), presterend beter dan U-Net en U-Net+Transformer. Bij drie-klassen segmentatie leidde SegFormer ook met een Dice-score van 0,667, en overtrof het eerdere benchmarks (bijv. U-Net bij 0,517).
In Vitro Offline RGB: SegFormer behaalde de laagste Mean Absolute Error (MAE) bij twee-klassen tracking (0,47 mm). Echter, bij drie-klassen tracking presteerde U-Net het beste (0,60 mm), terwijl SegFormer hogere fouten leed (1,21 mm) door misclassificatie-geïnduceerde skelettakken.
In Vivo Fluoroscopie: Op klinische data, gestratificeerd op complexiteit, toonde SegFormer (twee-klassen) consequent de meest stabiele en nauwkeurige toplocalisatie. In de groep "Matige Complexiteit" (G2) behaalde het een gemiddelde absolute fout van 4,44 mm, presterend beter dan U-Net (4,60 mm) en U-Net+Transformer (6,20 mm). Drie-klassen modellen vertoonden over het algemeen hogere fouten en meer artefacten in complexe anatomische achtergronden.
Snelheid: Het systeem behield real-time prestaties, met inferentiesnelheden variërend van ~21 tot ~30 FPS, afhankelijk van het model en het dataset.

Betekenis en Claims
Het artikel beweert dat het voorgestelde multi-threaded trackingkader stabiele prestaties handhaaft onder uitdagende beeldvormingsomstandigheden, en zo een betrouwbare basis biedt voor RL-gebaseerde autonome MT-navigatie. De auteurs benadrukken dat hoewel het systeem eerdere benchmarks overtreft en haalbaarheid voor real-time tracking aantoont, het nog geen klinisch-grade submillimeterprecisie (<1 mm) bereikt in in vivo situaties. De waargenomen fouten (4–7 mm) worden toegeschreven aan domeinverschuivingen (contrast, ruis, beweging), verduistering en het ontbreken van in vivo trainingsdata.

De studie concludeert dat twee-klassen segmentatie de meest betrouwbare afweging biedt tussen snelheid, stabiliteit en top-localisatieprecisie voor huidige trackingbehoeften. Echter, drie-klassen segmentatie blijft waardevol voor autonome RL-navigatie, aangezien het gelijktijdige tracking van zowel katheter als gidsdraad mogelijk maakt, waardoor rijkere input wordt geboden voor besluitvormende agenten. Het werk positioneert zichzelf als een stap richting klinisch inzetbare systemen, met de nadruk dat toekomstige verbeteringen in domeinadaptatie en de opname van diverse in vivo trainingsdata noodzakelijk zijn om de kloof tussen fantoomprestaties en klinische realiteit te overbruggen.