CoRe: Joint Optimization with Contrastive Learning for Medical Image Registration

Titel: CoRe: Gezamenlijke Optimalisatie met Contrastief Leren voor Medische Beeldregistratie

1. Het Probleem

Medische beeldregistratie is een fundamentele taak in de medische beeldanalyse die tot doel heeft dichte anatomische en semantische overeenkomsten tussen afbeeldingen vast te stellen. Deze afbeeldingen kunnen zijn opgenomen op verschillende tijdstippen, van verschillende patiënten of met verschillende beeldvormingsmodaliteiten. De complexiteit van deze registratie ontstaat voornamelijk door twee factoren:

• Variatie in beeldverschijning: Intensiteitsverschillen door verschillende acquisitieprotocollen, scannerhardware of modaliteiten maken directe pixel-pixel vergelijkingen onbetrouwbaar.
• Niet-lineaire anatomische vervormingen: Weefsel kan zich niet-rigide vervormen door longitudinale scans, inter-patiënt vergelijkingen, pathologie of chirurgie.

Bestaande methoden hebben vaak moeite om zowel robuust te zijn tegen intensiteitsvariaties als nauwkeurig complexe vervormingen te modelleren. Traditionele methoden (zoals Mutual Information) zijn gevoelig voor ruis, terwijl diep geleerde methoden vaak afhankelijk zijn van zwaar gelabelde grondwaarheid (ground truth) die in de medische wereld schaars en duur is om te verkrijgen.

2. Methodologie: Het CoRe Framework

De auteurs stellen CoRe (Contrastive learning for medical image Registration) voor, een hybride framework dat zelftoezichtend contrastief leren integreert in een deformabele beeldregistratiepijplijn via gezamenlijke optimalisatie.

Kerncomponenten:

• Feature Extractor ($G$): Een convolutioneel neuraal netwerk dat kenmerken extrahert uit de vaste ($I_f$) en bewegende ($I_m$) afbeeldingen.
• Projectiehoofd ($P$): Projecteert de geëxtraheerde features naar een gemeenschappelijke latent space.
• Differentieerbare Optimalisatiemodule ($H$): Een module die, gegeven de features, een verplaatsingsveld (displacement field) $u$ voorspelt dat de afbeeldingen uitlijnt.

De Innovatie: Gezamenlijke Optimalisatie
In tegenstelling tot bestaande methoden die features vooraf trainen en dan vastzetten (pre-training), of alleen trainen op registratieverlies, optimaliseert CoRe de feature extractor gelijktijdig onder twee objectieven:

1. Registratieverlies ($L_{reg}$): Een pseudo-label aanpak waarbij het verplaatsingsveld wordt verfijnd via iteratieve instance-optimalisatie. Het doel is om het voorspelde veld $u$ te laten overeenkomen met een verfijnd pseudo-ground truth veld $\hat{u}$.
2. Contrastief Verlies met Equivariantie ($L_c$): In plaats van invariance (waarbij features ongewijzigd blijven bij transformaties), introduceert CoRe een equivariantie-beperking.
   • Het systeem past geometrische augmentaties (affiene transformaties) toe op de afbeeldingen.
   • Het contrastief verlies (InfoNCE loss) dwingt het model om te leren dat de features van een anatomisch punt op een consistente manier veranderen in de embedding-ruimte wanneer het punt in de inputruimte wordt vervormd.
   • Dit zorgt ervoor dat de features robuust zijn voor weefselvervormingen, wat essentieel is voor registratie.

Training:
Het totale verlies wordt berekend als:
$$L = L_{reg} + \alpha \cdot L_c$$
waarbij $\alpha$ een weegfactor is. Het framework wordt getraind in meerdere stadia (stages) waarbij de pseudo-labels in elke fase worden verfijnd.

3. Belangrijkste Bijdragen

• Unificatie van Leren en Registratie: CoRe introduceert een framework waar feature learning en de downstream registratietaken direct met elkaar zijn verbonden via gezamenlijke optimalisatie, in plaats van losse stappen.
• Zelftoezichtend Leren zonder Ground Truth: Het maakt gebruik van geometrische augmentaties van dezelfde afbeelding voor contrastief leren, waardoor geen paar-gelabelde multimodale data of handmatige annotaties nodig zijn.
• Equivariantie voor Robuustheid: Door equivariantie (in plaats van pure invariance) te forceren, leert het model representaties die specifiek geschikt zijn voor het omgaan met niet-lineaire weefselvervormingen.
• Superieure Prestaties: Het artikel toont aan dat het combineren van beide objectieven leidt tot betere resultaten dan het trainen met slechts één van de twee doelen.

4. Resultaten

De methode is geëvalueerd op twee uitdagende datasets:

1. AbdomenCT: Een inter-patiënt dataset (30 patiënten) met 13 handmatig gelabelde anatomische structuren.
2. RadChestCT: Een intra-patiënt longitudinale dataset (371 scanparen) met 22 structuren (geautomatiseerd gesegmenteerd).

Kwantitatieve Bevindingen:

• CoRe behaalde de hoogste Dice Similarity Coefficients (DSC) op beide datasets, vergeleken met state-of-the-art methoden zoals VoxelMorph, LapIRN, SAMConvex en traditionele methoden zoals NiftyReg en DEEDs.
  • AbdomenCT: 52.1% DSC (vs. 49.2% voor SAMConvex).
  • RadChestCT: 89.4% DSC (vs. 88.5% voor DEEDs).
• De gladheid van de voorspelde verplaatsingsvelden (gemeten via SDlogJ) bleef laag en vergelijkbaar met andere geavanceerde methoden, wat aangeeft dat de resultaten fysiek plausibel zijn.
• Ablatiestudies toonden aan dat:
  • Gezamenlijke optimalisatie ($L_{reg} + L_c$) superieur is aan het trainen met slechts één verliesfunctie.
  • Geometrische equivariantie cruciaal is voor de prestaties.
  • Niet-lineaire intensiteitsaugmentaties (intensiteitsvariatie) geen extra voordeel boden voor deze mono-modale CT-datasets en soms zelfs de prestaties verlaagden.

5. Betekenis en Conclusie

CoRe vertegenwoordigt een significante doorbraak in medische beeldregistratie door de kloof tussen representatieleren en registratieoptimalisatie te dichten. De belangrijkste implicaties zijn:

• Efficiëntie: Het elimineert de noodzaak voor dure, handmatig gelabelde trainingsdata door gebruik te maken van zelftoezichtend leren.
• Robuustheid: De methode is bijzonder effectief in het hanteren van complexe, niet-lineaire vervormingen die vaak voorkomen in medische scenario's (zoals longbeweging of organverplaatsing).
• Toekomstperspectief: De resultaten suggereren dat het direct integreren van contrastief leren in de registratiepijplijn een veelbelovende richting is voor toekomstig onderzoek, met name voor het verbeteren van de nauwkeurigheid in uitdagende klinische toepassingen.

Samenvattend biedt CoRe een robuust, nauwkeurig en efficiënt framework dat de staat van de kunst voor medische beeldregistratie verbetert door de synergie tussen contrastief leren en differentieerbare optimalisatie te benutten.