Unsupervised MR-US Multimodal Image Registration with Multilevel Correlation Pyramidal Optimization

Dit paper introduceert MCPO, een onbewaakte methode voor multimodale MR-US beeldregistratie die via multilevel-correlatiepyramidale optimalisatie de uitdagingen van intraoperatieve weefselverplaatsing aangaat en de eerste plaats behaalde in de Learn2Reg 2025 ReMIND2Reg-taak.

De kern

Stel je voor dat je een chirurg bent die een complexe operatie uitvoert. Je hebt een zeer gedetailleerde 3D-kaart van de hersenen van de patiënt (de MRI-scan) die je voor de operatie hebt gemaakt. Maar tijdens de operatie, als je de schedel openmaakt en weefsel verwijdert, verschuiven de hersenen een beetje, net als een deken die je op een bed verschuift.

Om de patiënt veilig te kunnen opereren, moet je die oude, perfecte kaart kunnen "overleggen" op het levende, bewegend weefsel dat je nu ziet op je echografie-scherm (US). Het probleem? Die twee beelden kijken er totaal anders uit (de ene is een heldere foto, de andere is een korrelige echo) en de hersenen zijn verschoven. Het is alsof je probeert een oude landkaart van een stad te matchen met een foto van diezelfde stad, maar de straten zijn verbreed en de gebouwen zijn een beetje verschoven.

Dit is precies wat deze wetenschappers hebben opgelost met hun nieuwe methode, die ze MCPO hebben genoemd. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Zoeken naar "Vormen" in plaats van Kleuren

Normaal gesproken proberen computers beelden te matchen door te kijken naar kleuren of helderheid. Maar bij MRI en echografie werken dat niet, omdat ze er zo verschillend uitzien.

• De Analogie: Stel je voor dat je twee verschillende kaarten van dezelfde stad hebt. Op de ene kaart zijn de straten blauw, op de andere rood. Als je op de kleur let, zie je geen overeenkomst. Maar als je kijkt naar de vorm van de straten (bijvoorbeeld: "hier is een T-kruising, daar een ronde plein"), dan zie je dat het dezelfde stad is.
• De Oplossing: De computer van deze onderzoekers negeert de "kleur" en zoekt alleen naar de unieke structuur en vorm in de beelden. Ze maken een soort "schaduwen" van de beelden die voor beide types scanners hetzelfde lijken.

2. De Trap van de Pyramide (Van Groot naar Klein)

In plaats van te proberen alles in één keer perfect te matchen (wat vaak fout gaat), doen ze het in stappen, net als het oplossen van een puzzel.

• De Analogie: Stel je voor dat je een grote, rommelige kamer moet opruimen. Je begint niet met het opruimen van één specifieke sok. Eerst kijk je naar de hele kamer en schuif je de grote meubels (de bank, de kast) naar de juiste plek. Pas als die staan, ga je kijken naar de matten en de kussens. En als die op hun plek liggen, pas zoek je die ene vergeten sok.
• De Oplossing: De methode begint met een grove schets van hoe de beelden verschoven zijn (de grote meubels). Daarna zoomt ze steeds verder in om de kleine details (de sokken) te corrigeren. Ze bouwen dit op als een piramide: eerst breed en grof, dan smaller en fijner.

3. De "Wiskundige Kleefstof"

Tussen die stappen in gebruiken ze een slimme wiskundige techniek (convex optimalisatie) om te zorgen dat de verschuivingen logisch blijven.

• De Analogie: Stel je voor dat je een elastiekje uitrekt om twee punten op elkaar te laten vallen. Als je te hard trekt, scheurt het. Deze methode zorgt ervoor dat het elastiekje soepel wordt uitgerekt, zonder dat het weefsel "scheurt" of onrealistisch vervormt. Ze balanceren het gewicht zodat de grote verschuivingen glad verlopen en de kleine details precies passen.

4. Het Resultaat: De Winnaar van de Olympiade

De onderzoekers hebben hun methode getest in een wereldwijd wedstrijd (Learn2Reg 2025), waar de beste AI's ter wereld het tegen elkaar opnamen om deze moeilijke taak op te lossen.

• Het Resultaat: Hun methode won de wedstrijd! Ze scoorden de eerste plaats.
• Waarom? Omdat hun systeem niet alleen goed was op de kleine testcases, maar ook kon omgaan met de grote, chaotische verschuivingen die echt in de operatiekamer voorkomen. Ze konden de oude kaart en het nieuwe beeld zo nauwkeurig op elkaar leggen dat de chirurg precies weet waar hij moet snijden, zelfs als de hersenen zijn verschoven.

Kortom: Ze hebben een slimme "vertaler" bedacht die twee totaal verschillende talen (MRI en Echografie) naar elkaar vertaalt, en een "architect" die stap voor stap een bouwwerk herbouwt, zodat artsen tijdens een operatie nooit de weg kwijtraken.

Technische samenvatting

Probleemstelling

De paper adresseert de uitdagingen van multimodale medische beeldregistratie, specifiek tussen preoperatieve Magnetische Resonantie Imaging (MRI) en intraoperatieve Ultrasound (US) beelden. Deze registratie is cruciaal voor chirurgische navigatie om artsen de relatieve positie van doelgebieden ten opzichte van kritieke anatomische structuren te tonen tijdens een operatie.

De belangrijkste uitdagingen zijn:

1. Modale verschillen: MRI en US hebben fundamenteel verschillende beeldkarakteristieken, wat het vinden van overeenkomsten bemoeilijkt.
2. Grote vervormingen: Tijdens de operatie treden weefselverplaatsingen en -verwijderingen op, wat leidt tot grote niet-lineaire vervormingen tussen de pre- en intraoperatieve beelden.
3. Gebrek aan labels: De beschikbare datasets zijn vaak ongelabeld, wat supervisie bemoeilijkt.
4. Laag kenmerkonderscheid: Intraoperatieve US-beelden hebben vaak een lage informatie-dichtheid en weinig duidelijke structurele kenmerken.

Bestaande deep-learning methoden zijn vaak complex, vereisen lange leerprocessen en worstelen met generalisatie voor grote vervormingen en multimodale data.

Methodologie: MCPO

De auteurs stellen een ongezuperviseerde methode voor genaamd Multilevel Correlation Pyramidal Optimization (MCPO). Deze methode is gebaseerd op VoxelOpt en ConvexAdam, maar introduceert drie belangrijke verbeteringen:

1. Modale-onafhankelijke kenmerkextractie:

   • Er wordt gebruikgemaakt van de Mind-SSC Feature Extractor. Deze haalt unieke structurele informatie uit lokale gebieden door gebruik te maken van zelfgelijkheid (self-similarity) binnen het beeld.
   • Dit resulteert in een hoge consistentie van structurele representaties tussen de verschillende modaliteiten (MRI en US), ongeacht de modale verschillen.

2. Multiniveau Pyramide Fusie en Optimalisatie:

   • De geëxtraheerde kenmerken worden op verschillende schalen gedownsampt (via average pooling) om een pyramide van features ($F_n$) te creëren.
   • Voor elk niveau wordt een dichte correlatielaag gebruikt om een kostvolume (Sum-of-Squared-Differences, SSD) te berekenen en initiële verplaatsingen voor elk voxel te schatten. Dit maakt een initiële "capture" van grote verplaatsingen mogelijk.
   • Vervolgens wordt een gewichtsbalans gekoppeld convexe optimalisatie toegepast. Dit wisselt af tussen het optimaliseren van gelijkenis en gladheid (smoothness) om een soepele vervorming te garanderen.
   • Een inverse consistentie constraint wordt toegevoegd om onrealistische vervormingen te minimaliseren door het verschil tussen voorwaartse en achterwaartse transformaties te verkleinen.
   • De verplaatsingsvelden worden van grof naar fijn opgebouwd (coarse-to-fine) door de stijve (rigid) verplaatsingsvelden van elk niveau additief te combineren.

3. Optionele Adam Instance Optimalisatie:

   • Voor de variant MCPO-deform wordt een optionele verfijning uitgevoerd met Adam instance optimization.
   • Een belangrijke innovatie hier is de introductie van een stochastische patch-based wederzijdse informatie (mutual information) loss. Omdat traditionele mutual information loss (die op globale berekeningen rust) faalt bij US-beelden met lage informatiedichtheid, worden willekeurig informatieve lokale patches geselecteerd om de wederzijdse informatie te vergelijken. Dit helpt de verplaatsingsvelden preciezer te verfijnen.

De methode heeft twee varianten:

• MCPO-rigid: Richt zich op stijve transformaties.
• MCPO-deform: Richt zich op niet-stijve (deformabele) transformaties met de extra Adam-fase.

Belangrijkste Bijdragen

• Ongeziuperviseerde aanpak: Een effectieve methode die geen gelabelde grondwaarheid vereist voor training.
• Multischaal optimalisatie: Een unieke pyramide-structuur die zowel globale optimalisatie als lokale detailcomplementatie mogelijk maakt.
• Robuustheid bij lage kwaliteit: De introductie van patch-based mutual information loss verbetert de prestaties specifiek voor intraoperatieve US-beelden.
• State-of-the-art prestaties: De methode behaalde de eerste plaats in de Learn2Reg 2025 challenge (ReMIND2Reg sub-challenge).

Resultaten

De methode werd getest op twee datasets: de ReMIND2Reg dataset (specifiek voor de challenge) en de Resect dataset (voor validatie van generalisatie).

1. ReMIND2Reg Validatie:

   • MCPO-rigid behaalde de beste prestatie op de validatieset met een Target Registration Error (TRE) van 1,790 ± 0,536 mm.
   • Dit was significant beter dan de baseline methoden zoals ConvexAdam-Rigid (2,609 mm) en NiftyReg (2,807 mm).

2. Resect Dataset (Generalisatie):

   • Op deze diverse dataset met grotere vervormingen presteerde MCPO-deform het beste met een gemiddelde TRE van 1,798 ± 1,301 mm.
   • In een geval met een initiële vervorming van bijna 20 mm slaagde MCPO-deform erin de anatomische structuren correct uit te lijnen (TRE < 1,4 mm), terwijl MCPO-rigid faalde (TRE > 13 mm).

3. ReMIND2Reg Testfase:

   • De ingediende MCPO-deform (team "Next-gen-nn") behaalde de eerste plaats in de testfase.
   • De methode behaalde een genormaliseerde score van 0,911 (op een schaal van 1,0), wat de superieure generalisatie en nauwkeurigheid bevestigt.

Significantie

De paper demonstreert dat een ongezuperviseerde aanpak, gebaseerd op multilevel pyramide-optimalisatie en modale-onafhankelijke kenmerken, zeer effectief is voor de registratie van MRI en US-beelden in chirurgische settings. De succesvolle toepassing op de Learn2Reg 2025 challenge en de Resect dataset bewijst dat de methode niet alleen werkt op beperkte validatiegegevens, maar ook robuust is voor complexe, klinisch relevante scenario's met grote weefselvervormingen. Dit biedt een waardevol instrument voor het verbeteren van chirurgische navigatie en patiëntveiligheid. De code is open-source beschikbaar gesteld.