A 3D Cross-modal Keypoint Descriptor for MR-US Matching and Registration

Probleemstelling

De intraoperatieve registratie van real-time echografie (iUS) op preoperatieve Magnetische Resonantie Imaging (MRI) beelden blijft een onopgelost probleem in de medische beeldvorming, met name in de neurochirurgie. De uitdagingen zijn aanzienlijk vanwege:

• Significante modale verschillen: MRI levert hoogwaardige 3D-volumes met zachtweefselcontrast, terwijl iUS gedeeltelijke, ruizige beelden biedt gebaseerd op akoestische reflecties (met sprekke ruis en beperkt gezichtsveld).
• Anatomische variatie: Tijdens de operatie treden hersenverschuivingen (brain shift) en weefselveranderingen op door tumorresectie.
• Gebrek aan grondwaarheid: Het verkrijgen van nauwkeurige 3D-correspondenties tussen MRI en iUS voor training vereist zeldzame klinische expertise en is tijdrovend, wat het maken van grote, gelabelde datasets moeilijk maakt.
• Beperkingen van bestaande methoden: Bestaande sleutelpunt- (keypoint) methoden zijn vaak beperkt tot 2D, werken niet goed bij grote modale verschillen, of vereisen handmatige initialisatie.

Methodologie

De auteurs stellen een 3D cross-modale sleutelpunt-descriptor voor die specifiek is ontworpen voor het matchen van preoperatieve MRI en intraoperatieve iUS volumes. De kern van de methode is een patient-specifieke "matching-by-synthesis" strategie.

1. Synthetische Trainingsdata Generatie:
Omdat er geen paar iUS-beelden voor de operatie beschikbaar zijn, worden synthetische iUS-volumes gegenereerd vanuit de preoperatieve MRI van dezelfde patiënt. Hiervoor wordt het MMHVAE-framework (Multi-Modal Hierarchical Variational Auto-Encoder) gebruikt.

• Het model genereert realistische synthetische iUS-beelden door verschillende MRI-sequenties (T1, T2, FLAIR) te combineren en variaties in textuur en sprekke ruis (speckle noise) toe te passen via een schaalparameter.
• Dit creëert een gevarieerde dataset ($D_{synUS}$) voor training zonder dat er echte iUS-beelden nodig zijn.

2. Sleutelpunt Detectie en Sampling:
In plaats van een deterministische detector te gebruiken, wordt een probabilistische detectiestrategie toegepast:

• Cross-modale salientie-kaarten: Onafhankelijke detectie met SIFT3D op zowel MRI als synthetische iUS wordt samengevoegd tot een gezamenlijke salientie-kaart ($P_{comb}$).
• Ruimtelijke prior: Een masker gebaseerd op het iUS-gezichtsveld (FoV) wordt toegepast om sampling te beperken tot klinisch relevante gebieden.
• Stochastisch sampling: Sleutelpunten worden stochastisch gesampled uit deze resterende salientie-kaart, met constraints voor ruimtelijke diversiteit (minimaal 2mm afstand) en FoV-dekking.

3. Cross-Modale Feature Descriptor (Siamese Netwerk):
Een Siamese 3D ResNet-18 architectuur leert een gedeelde feature-ruimte.

• Verliesfunctie: Er wordt gebruikgemaakt van een curriculum-based triplet loss.
• Hard Negative Mining: Een dynamisch schema (gebaseerd op curriculum learning) selecteert tijdens de training steeds moeilijker negatieve voorbeelden (punten die ruimtelijk ver weg zijn maar visueel vergelijkbaar).
• Rotatie-invariantie: Tijdens training worden de MRI-patches willekeurig in 3D geroteerd (met een toenemende hoek van 0° tot 30° over de eerste 1000 epochs) om rotatie-invariantie te garanderen.

4. Matching en Registratie:
Tijdens inferentie worden sleutelpunten gedetecteerd in de echte iUS (via een uniform rooster) en de MRI (via de geleerde salientie-kaart).

• Matching gebeurt via nearest-neighbor search in de feature-ruimte, gevolgd door Lowe's ratio test voor filtering.
• De gevonden correspondenties worden gebruikt voor rigide registratie via RANSAC.

Belangrijkste Bijdragen

1. Patient-specifieke Matching-by-Synthesis: Een uniek raamwerk waarbij de verwachte uitstraling van de intraoperatieve modus wordt gesynthetiseerd vanuit de preoperatieve beelden van dezelfde patiënt, wat een op maat gemaakte descriptor mogelijk maakt.
2. 3D Cross-Modale Descriptor: De eerste volledig 3D-descriptor die specifiek is getraind voor de grote modale kloof tussen MRI en iUS, inclusief rotatie-invariantie.
3. Probabilistische Detectie: Een nieuwe strategie voor het genereren van salientie-kaarten die consistentie tussen modaliteiten waarborgt.
4. Curriculum Learning: Een geavanceerde trainingstrategie voor hard negative mining en rotatie-augmentatie die de robuustheid van het model verhoogt.

Resultaten

De methode is geëvalueerd op de ReMIND-dataset (11 patiënten voor matching, 4 voor registratie).

• Keypoint Matching:
  • De voorgestelde methode behaalde een precisie van 69,8% en een matching score van 4,90%.
  • Dit overtreft state-of-the-art methoden zoals SuperPoint, LoFTR, MIND, en SIFT3D aanzienlijk. Traditionele 3D-methoden presteerden slecht vanwege de modale verschillen.
• Registratie:
  • Op de ReMIND2Reg benchmark (een uitdaging voor registratie na resectie) behaalde de methode een gemiddelde Target Registration Error (TRE) van 2,39 mm.
  • Dit plaatst de methode op de derde plaats in de leaderboard, presterend vergelijkbaar met complexe, niet-rigide en deep-learning gebaseerde methoden, maar dan uitsluitend met een rigide model en sparse correspondenties.
• Robuustheid:
  • Ablatiestudies bevestigden dat het gebruik van meerdere MRI-sequenties voor synthese, stochastische sampling en curriculum learning essentieel zijn voor de prestaties.
  • De methode bleek robuust tegen variaties in het iUS-gezichtsveld (FoV) en rotaties tot 20°.

Betekenis en Conclusie

Dit werk biedt een doorbraak in de intraoperatieve beeldregistratie door een interpreteerbare, nauwkeurige en robuuste oplossing te bieden die geen handmatige initialisatie vereist.

• Klinische relevantie: De mogelijkheid om sleutelpunten direct te visualiseren, geeft chirurgen vertrouwen in de registratiekwaliteit.
• Efficiëntie: Hoewel de training patient-specifiek is en ongeveer 5 uur duurt, is dit acceptabel omdat de preoperatieve MRI ruim voor de operatie wordt gemaakt.
• Toekomstperspectief: De methode legt een sterke basis voor toekomstige uitbreidingen naar niet-rigide registratie en slice-to-volume reconstructie, waarbij de gevonden correspondenties kunnen dienen als constraints voor biomechanische modellen.

Samenvattend demonstreert deze studie dat het synthetiseren van de doelmodus voor training, gecombineerd met geavanceerd contrastief leren, een effectieve weg is om de enorme modale kloof tussen MRI en iUS te overbruggen.