Temporally Consistent Mitral Annulus Measurements from Sparse Annotations in Echocardiographic Videos

Technische Samenvatting: Temporeel Consistente Metingen van de Mitrale Annulus vanuit Spaarzame Annotaties in Echocardiografie-video's

Probleemstelling
Nauwkeurige beoordeling van de mitralisannulus is cruciaal voor het diagnosticeren van cardiale condities, met name mitralisklepreguritatie en coronaire hartziekten. Belangrijke klinische metrieken, zoals de Mitral Annular Plane Systolic Excursion (MAPSE) en de annulusdiameter, zijn afhankelijk van de precieze lokalisatie van annulus-landmarks bij end-systole (ES) en end-diastole (ED). Hoewel deep learning de weg heeft vrijgemaakt voor supervised landmark detectie, worden bestaande methoden geconfronteerd met twee primaire uitdagingen:

1. Temporele Inconsistentie: Handmatige frame-voor-frame annotatie is arbeidsintensief en gevoelig voor inconsistenties. Bestaande geautomatiseerde methoden richten zich vaak op het repliceren van spaarzame menselijke annotaties zonder temporele gladheid af te dwingen, wat leidt tot erratische landmark-trajecten die de fysiologische beweging niet weerspiegelen.
2. Ontbrekende Anatomische Landmarks: Vanwege het beperkte gezichtsveld in echografie verdwijnt de doelanatomie vaak door bewegingen van de patiënt of de operator. Huidige methoden hebben moeite om te herkennen wanneer landmarks buiten beeld zijn, wat potentieel kan leiden tot foutieve detecties.

Methodologie
De auteurs stellen een nieuwe self-supervised benadering voor om temporeel consistente landmark-lokalisatie te bereiken met behulp van enkel spaarzame annotaties. De methode integreert drie kerncomponenten:

1. Netwerkarchitectuur:

   • Het systeem maakt gebruik van een ResNet-achtige volledig convolutionele neurale netwerk (CNN) zonder globale pooling, waarbij GroupNorm wordt gebruikt voor training met kleine batches.
   • Het netwerk verwerkt drie opeenvolgende frames die in de kanaaldimensie zijn gestapeld als input.
   • Het maakt gebruik van een dual-head output: een classificatie-head die de waarschijnlijkheid voorspelt dat een landmark zich binnen een specifieke beeldpatch bevindt, en een regressie-head die de afstand afleidt van het centrum van de patch tot de landmark.
   • De uiteindelijke landmark-coördinaten worden berekend als het gewogen gemiddelde van de geregresseerde locaties, gewogen door de classificatiekansen.

2. Temporele Consistentieverlies:

   • Om gladheid af te dwingen, wordt het netwerk getraind om niet alleen de positie van de landmark voor het huidige frame ($t$) te voorspellen, maar ook de verplaatsingsvectoren naar naburige frames ($t-1$ en $t+1$).
   • Er wordt een self-supervised loss term ($L_{temp}$) geïntroduceerd, die de fout minimaliseert tussen de direct voorspelde locatie op $t \pm 1$ en de locatie die is afgeleid door de voorspelling van frame $t$ te propageren met behulp van de voorspelde verplaatsingsvectoren.
   • Deze loss wordt gecombineerd met standaard supervised classificatie- en regressie-losses, geschaald met een factor $\beta = 0,5$.

3. Field-of-View Augmentatie:

   • Om ontbrekende landmarks op te vangen, bevat de trainingspipeline realistische sector-vormige cropping en rotatie-augmentaties.
   • Deze augmentaties simuleren scenario's waarin landmarks uit het echografische gezichtsveld bewegen.
   • Tijdens de training, indien een landmark wordt weggecropped, wordt de classificatie-target geneutraliseerd (gezet op nul) en wordt de regressie-output voor die patch uit de back-propagation uitgesloten.
   • Bij inferentie, indien de maximale classificatiekans voor een landmark onder een specifieke drempelwaarde valt, wordt de voorspelling achtergehouden.

Belangrijkste Bijdragen

• Self-Supervised Temporele Regularisatie: De introductie van een loss term die consistentie tussen naburige frames afdwingt zonder dat daarvoor dichte annotaties nodig zijn, wat effectief de trajecten van de landmarks gladstrijkt.
• Robuustheid tegen Ontbrekende Data: Een specifieke augmentatiestrategie die het model traint om de voorspellingen voor landmarks die buiten het gezichtsveld vallen te herkennen en te onderdrukken, in plaats van posities te hallucineren.
• Efficiëntie van Spaarzame Annotatie: De methode bereikt een hoge nauwkeurigheid met enkel spaarzaam geannoteerde frames (end-systole en end-diastole), wat de annotatiebelasting vermindert vergeleken met dichte labelstrategieën.

Resultaten
De methode werd geëvalueerd op een gecombineerde dataset van de publieke CAMUS-dataset en een private dataset van het Amsterdam University Medical Center (AUMC), bestaande uit apicale 2-, 3-, en 4-kamer views.

• Lokalisatienauwkeurigheid: De voorgestelde methode bereikte een Mean Absolute Error (MAE) van 2,48 ± 0,07 mm voor de lokalisatie van de landmarks.
• MAPSE Berekening: De MAE voor MAPSE was 1,81 ± 0,14 mm, een significante verbetering ten opzichte van de baseline methode (2,32 ± 0,14 mm, $p < 0,05$).
• Temporele Gladheid: De gemiddelde absolute jerk (een maatstaf voor de gladheid van het traject) werd verminderd van 3,18 naar 0,98 mm/frame³, wat wijst op aanzienlijk meer fysiologisch plausibele bewegingsregistratie.
• Herkenning van Ontbrekende Landmarks: Het model behaalde een 0,99 ROC-AUC voor het herkennen van ontbrekende landmarks wanneer het werd getest met geaugmenteerde data, vergeleken met 0,91 zonder de specifieke field-of-view augmentaties.
• Annulus Grootte: De fout bij het meten van de afstand tussen de annulus-landmarks was 2,46 ± 0,31 mm.

Betekenis en Claims
Het artikel claimt dat de voorgestelde methode een robuuste oplossing biedt voor automatische mitralisannulus tracking die beter aansluit bij het verwachte fysiologische gedrag dan eerdere benaderingen. Door de fout in de MAPSE-berekeningen met ongeveer 0,5 mm te verminderen, suggereren de auteurs dat de methode de risicostratificatie kan verbeteren voor patiënten nabij de klinisch relevante afkapwaarde van 9 mm, die geassocieerd wordt met een verhoogd mortaliteitsrisico.

De auteurs nemen een bescheiden houding aan met betrekking tot bredere vergelijkingen, waarbij zij opmerken dat hoewel hun resultaten superieur lijken aan eerder werk (bijv. Smistad et al.), directe vergelijking uitdagend is vanwege het gebruik van verschillende datasets. Zij erkennen dat hoewel de methode de stand van de techniek verbetert voor deze specifieke taak, verder onderzoek nodig is om de effectiviteit op andere video-gebaseerde landmark detectie taken te bepalen. Daarnaast merken zij op dat de herkenning van ontbrekende landmarks werd gevalideerd op geaugmenteerde testdata in plaats van op een klinische dataset die van nature voorkomende ontbrekende landmarks bevat, wat zij identificeren als een gebied voor toekomstige gegevensverzameling.