IHF-Harmony: Multi-Modality Magnetic Resonance Images Harmonization using Invertible Hierarchy Flow Model

IHF-Harmony is een unificerend, omkeerbaar hiërarchisch stroommodel dat ongepaarde data gebruikt voor multi-modale MRI-harmonisatie door artefacten te verwijderen en anatomische trouw te waarborgen, waardoor het bestaande methoden overtreft in zowel beeldkwaliteit als downstream-taakprestaties.

De kern

🧠 Het Probleem: De "Vertaalproblemen" van MRI-schermen

Stel je voor dat je een reis maakt door verschillende landen. In elk land wordt er een andere taal gesproken en hebben de mensen een andere kledingstijl. Als je foto's maakt van dezelfde persoon in al deze landen, zien ze er allemaal anders uit, niet omdat de persoon is veranderd, maar vanwege de omgeving (de taal en de kleding).

In de medische wereld is dit precies wat er gebeurt met MRI-schermen (hersenscans).

• Verschillende ziekenhuizen gebruiken verschillende scanners (merk A, merk B, merk C).
• Deze scanners nemen foto's van hersenen op met verschillende "instellingen" (zoals helderheid of contrast).
• Als artsen of onderzoekers al deze foto's bij elkaar willen leggen om een groot onderzoek te doen, is het alsof ze proberen een verhaal te vertellen waarin iedereen een andere taal spreekt. De verschillen in de scanners (de "artefacten") verstoren de echte medische informatie (de "anatomie").

Vroeger was het lastig om dit op te lossen zonder dat de hersenen er "vervormd" uitzagen, of zonder dat je duizenden extra scans nodig had van dezelfde persoon die door alle ziekenhuizen reisde (wat bijna onmogelijk is).

💡 De Oplossing: IHF-Harmony (De "Taal- en Kleding-Vertaler")

De onderzoekers hebben IHF-Harmony bedacht. Dit is een slim computerprogramma dat oude MRI-scans "herstelt" zodat ze eruitzien alsof ze allemaal met dezelfde scanner zijn gemaakt.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Magische Spiegel (Het Omkeerbare Model)

Stel je voor dat je een foto van een huis in de regen maakt. Je wilt de regen wegpoetsen, maar je wilt niet dat de muren of ramen veranderen.
De meeste oude methoden probeerden de regen weg te wrijven, maar vaak verdwenen er ook stukjes van de muur mee (vervorming).

IHF-Harmony werkt als een magische spiegel die je terug kunt draaien.

• Het neemt de scan en splitst hem op in twee delen:
  1. Het Huis (De Anatomie): De echte hersenen, die nooit mogen veranderen.
  2. De Regen (De Artifacts): De ruis en verschillen van de scanner.
• Omdat het proces "omkeerbaar" is, weet het programma precies hoe het huis er oorspronkelijk uitzag. Het verwijdert alleen de regen en laat het huis perfect intact. Als je het proces terugdraait, kun je de originele scan exact reconstrueren. Niets gaat verloren.

2. De Slimme Kledingveranderer (Artefact-Aware Normalization)

Stel je voor dat je een foto hebt van iemand in een regenjas (Scanner A) en je wilt dat diegene eruitziet als in een zomershirt (Scanner B).

• Oude methoden deden dit vaak door de hele foto te verven, waardoor de persoon er soms vreemd uitzag.
• IHF-Harmony kijkt eerst heel nauwkeurig naar de vorm van het lichaam (de anatomie).
• Vervolgens past het alleen de kleding (de scanner-kenmerken) aan. Het gebruikt een slimme "naald" die precies weet waar de schouders en armen zitten, zodat het de kleding aanpast zonder de lichaamsvorm te veranderen. Dit noemen ze anatomy-guided (geleid door de anatomie).

3. Het Stap-voor-Stap Proces (Hiërarchische Stroom)

Het programma werkt niet in één grote sprong, maar in kleine stappen, net als het oplossen van een puzzel.

• Het haalt eerst de grote, opvallende verschillen weg (zoals het verschil in helderheid).
• Daarna haalt het de kleinere, fijne verschillen weg (zoals de textuur van de scan).
• Door dit stap voor stap te doen, blijft de fijne structuur van de hersenen perfect behouden, zelfs als de scanners heel verschillend zijn.

🏆 Waarom is dit geweldig?

1. Geen "Reizende Patiënten" nodig: Vroeger moest je dezelfde persoon in tien verschillende ziekenhuizen laten scannen om te leren hoe je ze moet vergelijken. Dat is duur en lastig. IHF-Harmony leert van losse, ongepaarde scans. Het kan gewoon kijken naar een hoop scans van Scanner A en een hoop scans van Scanner B, en de vertaalslag maken zonder dat ze van dezelfde persoon hoeven te zijn.
2. Veilig voor de Anatomie: Omdat het proces omkeerbaar is, weten we 100% zeker dat de hersenen niet "vervormd" zijn. De arts kan de scan vertrouwen.
3. Werkt voor alles: Het werkt niet alleen voor T1-scans (standaard hersenfoto's), maar ook voor T2 en complexe diffusie-scans (die de vezels in de hersenen tonen).

🚀 Conclusie in één zin

IHF-Harmony is als een slimme vertaler die de "dialecten" van verschillende MRI-scanners wegneemt, zodat artsen over de hele wereld hun hersenfoto's veilig bij elkaar kunnen leggen en vergelijken, zonder dat de echte medische details ooit verloren gaan of vervormd worden.

Dit maakt het mogelijk om enorme, wereldwijde medische studies te doen die eerder onmogelijk waren, omdat de data nu eindelijk "op één lijn" zit.

Technische samenvatting

Probleemstelling

Magnetische Resonantie Imaging (MRI) is essentieel voor klinische diagnose en onderzoek, maar grote neuroimaging-studies vereisen vaak data van meerdere locaties en scanners. Het samenvoegen van deze data introduceert onvermijdelijk locatie-gebonden, niet-biologische variabiliteit (artefacten) door verschillen in scannerhardware en opnameprotocollen. Dit verstoort downstream-analyses en kan subtiele biologische effecten verdoezelen.

Bestaande oplossingen hebben beperkingen:

• Prospectieve harmonisatie (standaardiseren van protocollen) is duur, tijdrovend en niet toepasbaar op reeds bestaande datasets.
• Retrospectieve methoden (na opname corrigeren) zijn vaak beperkt tot statistische benaderingen die ruimtelijke variaties niet goed modelleren, of tot leer-gebaseerde methoden die gepaarde data (reizende proefpersonen) vereisen, wat zeldzaam is in grote studies.
• Bestaande onbewaakte (unsupervised) methoden voor ongepaarde data missen vaak schaalbaarheid bij meerdere modaliteiten en vervormen fijne anatomische structuren.

Methodologie: IHF-Harmony

De auteurs stellen IHF-Harmony voor, een unificerend framework voor retrospectieve harmonisatie van multi-modale MRI-data met ongepaarde data. Het doel is om site-specifieke artefacten te verwijderen terwijl de onderliggende anatomie perfect behouden blijft.

Het framework bestaat uit de volgende kerncomponenten:

1. Omkeerbare Hiërarchische Flow (IHF):

   • Dit is het centrale mechanisme dat de translatie decomposeert in omkeerbare (bijectieve) feature-transformaties.
   • Het werkt in twee fasen: een subtactieve forward pass en een additieve reverse pass.
   • In de forward pass worden artefact-gerelateerde features progressief verwijderd via hiërarchische channel-wise subtractie.
   • In de reverse pass wordt de harmonisatie omgekeerd om het beeld te reconstrueren.
   • Door de omkeerbare aard (invertible) wordt gegarandeerd dat er geen informatie verloren gaat, wat verliesvrije reconstructie en behoud van anatomische details mogelijk maakt.

2. Artefact-bewuste Normalisatie (AAN):

   • Deze module past de statistieken van de source-features aan op die van de target-artefacten.
   • Het gebruikt een pre-getrainde VGG-encoder om statistieken (gemiddelde $\mu$ en variantie $\sigma$) van de target-afbeelding te extraheren.
   • Deze statistieken worden gecombineerd met de source-anatomie om anatomie-gestuurde affiene parameters te voorspellen.
   • Hierdoor kan het model de "stijl" (artefacten) van de target overnemen zonder de "inhoud" (anatomie) van de source te vervormen.

3. Verliesfuncties (Loss Functions):

   • Anatomische Consistentie Loss ($L_{ac}$): Gebaseerd op ruimtelijke correlatie van features (via VGG) om te garanderen dat de structuur van de bronafbeelding behouden blijft in de gereconstrueerde afbeelding.
   • Artefact Consistentie Loss ($L_{art}$): Selecteert kanalen met de kleinste discrepantie in feature-verdeling om de statistische verdeling van de artefacten van de target te matchen, zelfs bij ongepaarde data.

Belangrijkste Bijdragen

1. Unificerend Framework: IHF-Harmony is de eerste methode die multi-modale MRI harmonisatie aanpakt met één enkel deep learning-model getraind op ongepaarde data, zonder de noodzaak van reizende proefpersonen.
2. Bijectieve Formulering: Door het gebruik van omkeerbare flows wordt gegarandeerd dat de mapping tussen source en target bijectief is, wat leidt tot perfecte reconstructie en behoud van fijne anatomische structuren die vaak verloren gaan bij andere onbewaakte methoden.
3. Anatomie-bewuste Normalisatie: De ontwikkeling van AAN zorgt ervoor dat afbeeldingen hun structurele identiteit behouden terwijl ze de kenmerken van de target-artefacten aannemen.
4. Schaalbaarheid: Het model is ontworpen om schaalbaar te zijn voor verschillende MRI-modaliteiten (T1, T2, Diffusion-Weighted) en verschillende scanners.

Resultaten

De auteurs evalueerden IHF-Harmony op drie grote datasets: ABCD (multi-vendor T1, T2, DWI), SRPBS-TS (structurele MRI) en HDD (diffusie MRI).

• Kwalitatieve Prestaties: Visuele inspectie toont aan dat IHF-Harmony effectief contrastaanpassingen doorvoert en anatomische details behoudt, zelfs wanneer de bron- en doelscanner identiek zijn (geen over-correctie).
• Kwantitatieve Prestaties (Structurale MRI): IHF-Harmony presteerde significant beter dan bestaande methoden (zoals Histogram Matching, cGAN, SiMix) op metrics zoals RMSE, MS-SSIM, LPIPS en PSNR. Het slaagde erin de intensiteitsverdelingen van negen verschillende bronlocaties nauwkeurig af te stemmen op de doellokatie.
• Diffusie MRI: De methode verbeterde de consistentie van microstructurele parameterkaarten (FA, NDI, ODI) en verminderde scanner- en kanaal-specifieke bias.
• Ablatiestudies: Experimenten toonden aan dat zowel de anatomische als de artefact-consistentie loss essentieel zijn; het verwijderen van een van beide leidt tot een duidelijke daling in prestaties.

Significantie

IHF-Harmony biedt een robuuste oplossing voor het integreren van heterogene datasets in grote, multi-site klinische studies. Door de afhankelijkheid van dure en zeldzame "reizende proefpersonen"-datasets te elimineren en tegelijkertijd de anatomische integriteit te waarborgen, maakt deze methode het mogelijk om grootschalige neuroimaging-studies uit te voeren met hogere betrouwbaarheid. Het is een belangrijke stap voorwaarts in de richting van standaardisatie in de medische beeldvorming, waarbij de focus ligt op het behoud van biologische signalen en het elimineren van technische ruis.