Point Tracking as a Temporal Cue for Robust Myocardial Segmentation in Echocardiography Videos

Technische Samenvatting: Point Tracking als een Temporele Cue voor Robuuste Myocardiale Segmentatie in Echocardiografie-video's

Probleemstelling
Myocardsegmentatie in echocardiografie (echo) video's is cruciaal voor het beoordelen van de systolische functie, het berekenen van myocardiale rek (strain) en het detecteren van regionale wandbewegingsafwijkingen. Deze taak wordt echter bemoeilijkt door een lage beeldcontrast, ruis en significante anatomische variabiliteit, met name in Point-of-Care Ultrasound (POCUS) omgevingen waar niet-specialistische operators vaak clips van lagere kwaliteit vastleggen.

Bestaande deep learning-benaderingen kampen met specifieke beperkingen:

• Frame-onafhankelijke modellen (bijv. UNet, SwinUNet) negeren temporele informatie, wat leidt tot inconsistente segmentatie over de hartcyclus heen.
• Geheugen-gebaseerde modellen (bijv. MemSAM, MedSAM2) propageren kenmerken over de tijd, maar zijn gevoelig voor foutaccumulatie wanneer vroege frames ruisig of uit het midden (off-axis) zijn.
• Optische flow-gebaseerde methoden vertrouwen op aannames van helderheidsconstantie en vloeiende beweging die in echo vaak worden geschonden door speckle-decorrelatie en beweging buiten het vlak (out-of-plane motion), wat resulteert in temporeel instabiele of anatomisch onwaarschijnlijke deformaties.
• Foundation models (bijv. SAM) vereisen vaak interactieve prompts, wat onpraktisch is voor real-time workflows met een tekort aan labels.

Methodologie: Point-Seg
De auteurs stellen Point-Seg voor, een transformer-gebaseerd segmentatieframework dat point tracking integreert als een expliciete temporele cue om stabiele en consistente myocardiale segmentatie te garanderen zonder afhankelijk te zijn van geheugen-gebaseerde feature-accumulatie.

• Architectuur: Het model bestaat uit een encoder (ResNet50 backbone met deformable attention transformer-lagen), een point decoder, fusielagen en een mask decoder.
• Point Tracking Module: Het systeem volgt $N$ verschillende punten (inclusclusief een dichte grid en optionele handmatige punten) over $T$ frames. Het maakt gebruik van een point decoder die getraind is op de SynUS synthetische dataset om trajecten ($L_i$) en zichtbaarheidssequenties ($V_i$) te schatten. De decoder gebruikt TAPTR (Transformer-based Point Tracking) die is gefinetuned voor echocardiografie.
• Fusiemechanisme: Het framework gebruikt meerdere attention-mechanismen om ruimtelijke en bewegingsbewuste informatie te integreren:
  • Point-to-Patch Cross-Attention: Hiermee kunnen point tokens aandacht besteden aan patch tokens, waardoor ruimtelijke kenmerken worden opgenomen.
  • Point Self-Attention: Stelt gevolgde punten in staat om informatie uit te wisselen binnen een frame.
  • Point Temporal Self-Attention: Modelleert beweging door point tokens hun eigen trajecten over frames heen te laten volgen.
  • Patch-to-Point Cross-Attention: Integreert bewegingskenmerken in ruimtelijke representaties voor de mask decoder.
• Trainingsstrategie: De training vindt plaats in twee fasen. Eerst wordt de point decoder getraind met een $\ell_1$ loss voor traject-schatting en een cross-entropy loss voor het voorspellen van de zichtbaarheid. Ten tweede wordt de point decoder bevroren en wordt de mask decoder getraind met Dice loss en een temporele smoothing loss. De temporele smoothing loss dwingt een paargewijde gelijkenis af tussen de gevolgde maskeerwaarden over de frames heen om consistentie te verbeteren.
• Inference: Het model genereert segmentatiemaskers en pixel-niveau bewegingsinformatie simultaan, waarbij geen handmatige prompts nodig zijn.

Belangrijkste Bijdragen

1. Echo-getunede Point Tracking: De auteurs passen en finetunen TAPTR met behulp van de SynUS synthetische dataset om robuuste, dicht bemonsterde myocardiale trajecten te genereren die stabiel blijven, zelfs wanneer de beeldkwaliteit fluctueert.
2. Tracking-geconditioneerde Segmentatie: Een nieuw transformer segmentatiehoofd neemt gevolgde trajecten op als bewegingsvoorafgaande informatie (motion priors). Deze benadering dwingt temporele consistentie af zonder geheugenpropagatie, wat effectief drift vermindert in echo-clips van lage kwaliteit.
3. Pixel-niveau Bewegingsinformatie: In tegen tegenover standaard segmentatiemethoden levert Point-Seg expliciete myocardiale bewegingsinformatie, wat essentieel is voor downstream taken zoals het meten van strain en wandbewegingsafwijkingen.

Experimentele Resultaten
De methode werd geëvalueerd op de publieke CAMUS dataset en een private dataset bestaande uit 1.305 trainings-, 181 validatie- en 367 testvideo's.

• Hoge Kwaliteit Data: Op hoogwaardige CAMUS-frames bereikt Point-Seg statistische pariteit (p ≥ 0,05) met state-of-the-art modellen (bijv. nnUNet, MedSAM2 met bounding box prompts) in termen van de gemiddelde Dice-coëfficiënt (mDice) en Hausdorff afstand (HD95).
• Lage Kwaliteit Data: In echo-clips van lage kwaliteit vertoont Point-Seg superieur presteren. Op de CAMUS testset bereikt het een significant hogere mDice (86,7 vs. 84,0 voor nnUNet) en een lagere HD95 vergeleken met de baselines. Op de private dataset presteert het ook beter dan de baselines in scenario's met lage kwaliteit.
• Temporele Stabiliteit: Kwalitatieve analyse (Figuur 2) laat zien dat Point-Seg stabiele grenzen behoudt gedurende de hartcyclus, waarbij het flikkeringen (flickering) vermijdt die worden gezien bij frame-onafhankelijke modellen en de drift die wordt waargenomen bij geheugen-gebaseerde benaderingen.
• Ablatie-studies: Experimenten bevestigen dat de inclusie van point trajecten, point-to-patch cross-attention, en specifiek temporal self-attention de segmentatie nauwkeurigheid en stabiliteit aanzienlijk verbetert. De voorgestelde tracker presteert ook beter dan bestaande echo-specifieke trackers (EchoTracker) en algemene trackers (CoTracker) op de SynUS dataset.

Betekenis en Claims
Het artikel claimt dat Point-Seg een betrouwbare en generaliseerbare benadering biedt voor myocardiale segmentatie in echocardiografie, met name in uitdagende POCUS-omgevingen. Door point tracking als een temporele cue te gebruiken, elimineert de methode de noodzaak voor geheugen-gebaseerde feature-accumulatie en handmatige prompting, terwijl het het extra voordeel biedt van pixel-niveau bewegingsdata. De auteurs stellen dat deze benadering inspeelt op de kernbehoeften van bedside hartfalendiagnostiek: betrouwbare, temporeel consistente segmentatie die bruikbare metingen mogelijk maakt zoals ejectiefractie en strain, zelfs wanneer de beeldkwaliteit suboptimaal is. De code wordt beschikbaar gesteld om verdere research te faciliteren.