CREB: Consistent Reference External Batch Harmonization

Deze paper introduceert CREB, een nieuwe harmonisatiemethode die ComBat uitbreidt door site-effecten uitsluitend op basis van trainingsdata te leren, waardoor datalekken worden voorkomen en nieuwe, onzichtbare datasets betrouwbaar kunnen worden gestandaardiseerd zonder biologische variatie te verliezen.

De kern

CREB: De "Recept voor Perfecte Koffie" voor hersenonderzoek

Stel je voor dat je een heel groot recept wilt maken voor een perfecte kop koffie. Je wilt dit recept zo goed mogelijk maken, dus je vraagt aan 2800 mensen over de hele wereld om hun favoriete koffie te sturen. Maar hier zit een probleem: iedereen gebruikt een ander apparaat. De ene gebruikt een dure espresso-machine, de ander een simpele filterkoffiezetapparaat, en weer een ander maakt koffie in een oude mok met een theelepel.

Als je al deze koffieproeven nu direct samenvoegt om je "perfecte recept" te maken, krijg je een rommel. De koffie smaakt niet naar één smaak, maar naar alle verschillende machines. In de wetenschap noemen we dit site-effecten: de verschillen in scanners, instellingen en locaties die de data "vervuilen".

Om dit op te lossen, gebruiken onderzoekers een trucje genaamd ComBat. Dit is als een superchef die alle koffieproeven tegelijkertijd proeft en zegt: "Ah, deze machine maakt de koffie te sterk, die andere te zwak." Hij past alles aan zodat het eruit ziet alsof het allemaal van dezelfde machine komt.

Het probleem met de oude methode
De oude methode (ComBat) heeft één groot nadeel: je moet alle koffieproeven (zowel de 2800 die je al hebt, als de nieuwe die je morgen krijgt) tegelijkertijd in de keuken hebben om het recept te maken.

1. Datalek: Als je de nieuwe koffieproeven al meeneemt naar de keuken terwijl je het recept voor de oude proeven maakt, "lekt" er informatie door. Het is alsof je de antwoorden op een toets al hebt gezien voordat je begint met leren. Dat is niet eerlijk en geeft een vals gevoel van bekwaamheid.
2. Geen nieuwe data: Wat als je morgen een nieuwe koffieproef krijgt van iemand in een ander land? Dan moet je weer alles opnieuw doen, inclusief het terugsturen van de oude 2800 proeven. Dat is onpraktisch en vaak niet toegestaan vanwege privacy.

De nieuwe oplossing: CREB
De auteurs van dit paper hebben een slimme nieuwe methode bedacht, genaamd CREB (Consistent Reference External Batch Harmonization).

Stel je voor dat CREB werkt als een receptboekje in plaats van een hele keuken.

1. Stap 1: Het Receptboekje maken (CREB Learn)
   De onderzoekers nemen hun 2800 koffieproeven en analyseren ze zorgvuldig. Ze maken geen kopie van de koffie, maar schrijven een heel klein, slim receptboekje (een "bundle" van slechts 13 MB, zo klein als een paar foto's).
   In dit boekje staat niet wie de koffie heeft gemaakt, maar hoe de verschillende machines de koffie beïnvloeden. "Machine A maakt altijd 5% te sterk, Machine B is 10% te waterig." Dit boekje is de "referentie".

2. Stap 2: Het Recept toepassen (CREB Apply)
   Nu krijg je een nieuwe koffieproef van een onbekende persoon. Je hoeft de oude 2800 proeven niet meer te zien of te sturen. Je pakt gewoon je receptboekje, kijkt naar de machine die de nieuwe persoon gebruikte, en past de koffie direct aan volgens de regels in het boekje.

   • Geen datalek: De nieuwe koffie heeft niets te maken met de oude data tijdens het proces.
   • Snel en veilig: Je kunt dit boekje meesturen met je machinelearning-model. Iedereen kan het gebruiken om hun eigen data "op te poetsen" zonder de originele data te hoeven delen.

Wat hebben ze ontdekt?
De onderzoekers hebben getest of deze nieuwe methode net zo goed werkt als de oude "superchef".

• Gelijk resultaat: De koffie die met CREB werd opgepoetst, smaakte bijna identiek aan de koffie die met de oude methode was opgepoetst.
• Echte smaak behouden: Het belangrijkste was dat ze de "biologische signalen" (de echte smaak van de koffie, zoals de leeftijd van de drinker) niet wegpoetsten. De link tussen de koffie en de leeftijd bleef behouden, wat cruciaal is voor medisch onderzoek.
• Toepasbaar op alles: Het werkte niet alleen voor koffie (functionele connectiviteit in de hersenen), maar ook voor het volume van de hersenen (grijze stof).

Conclusie
CREB is als een universele vertaler of een standaardrecept dat je kunt meenemen. Het maakt het mogelijk om machinelearning-modellen te trainen op enorme datasets zonder dat je je privacy schendt of data "lekken" laat ontstaan. Het zorgt ervoor dat onderzoekers over de hele wereld hun data kunnen vergelijken alsof ze allemaal dezelfde koffiezetapparaat gebruiken, terwijl ze hun eigen apparatuur gewoon kunnen blijven gebruiken.

Kortom: Het is een slimme, veilige en makkelijke manier om de chaos van verschillende hersenscanners in één harmonieus geheel te veranderen.

Technische samenvatting

Probleemstelling

Machine learning-modellen voor functionele magnetische resonantiebeeldvorming (fMRI) zijn steeds populairder geworden en vertrouwen vaak op grote, open datasets van meerdere locaties. Een groot obstakel bij het analyseren van multi-site data is de variatie veroorzaakt door niet-biologische factoren, zoals verschillen in scanners, veldsterktes, acquisitieprotocollen en fabrikanten. Deze "site-effecten" introduceren artefacten die de biologische signalen verstoren.

Traditionele harmonisatiemethoden, zoals ComBat en NeuroHarmonize, vereisen dat alle data (trainings-, validatie- en testsets) gelijktijdig worden verwerkt om de site-effecten te corrigeren. Dit leidt tot twee fundamentele problemen in het machine learning-kader:

1. Datalek (Data Leakage): Het gezamenlijk harmoniseren van trainings- en testdata introduceert informatie uit de testset in het trainingsproces, wat de modelprestaties kunstmatig kan opblazen en de generaliseerbaarheid ondermijnt.
2. Beperkte toepasbaarheid op nieuwe data: Voor nieuwe, onbekende data (bijvoorbeeld uit een nieuwe studie of een extern testset) zou de volledige trainingsdataset opnieuw moeten worden gedeeld en verwerkt om te harmoniseren. Dit is vaak onmogelijk vanwege privacybeperkingen, data-grootte en de noodzaak om modellen los van de trainingsdata te kunnen deployen.

Methodologie: CREB

De auteurs introduceren CREB (Consistent Reference External Batch Harmonization), een innovatieve uitbreiding van ComBat die een tweestapsproces volgt om datalek te voorkomen en harmonisatie op nieuwe data mogelijk te maken zonder de trainingsdata te hoeven delen.

Het proces bestaat uit twee fasen:

1. CREB Learn (Leren):

   • Op basis van een grote, diverse trainingsset (bestaande uit data van 2846 deelnemers uit 9 studies) wordt een "bundle" gegenereerd.
   • In tegenstelling tot traditionele ComBat, waarbij per site een prior wordt geschat, schat CREB een globale a-priori verdeling van site-effecten die exclusief is geleerd uit de trainingsdata.
   • Deze verdeling wordt vastgelegd in een lichtgewicht statistisch pakket (de "bundle", ca. 13 MB) dat globale statistieken bevat (zoals gemiddelde en variantie van de site-effecten) en regressiecoëfficiënten voor biologische covariaten (leeftijd en geslacht).
   • De trainingsdata wordt niet opgeslagen in de bundle; alleen de samenvattende statistieken.

2. CREB Apply (Toepassen):

   • Voor nieuwe, onbekende data (testsets) wordt de eerder gegenereerde bundle gebruikt.
   • De data wordt eerst geresidualiseerd (biologische signalen zoals leeftijd en geslacht worden verwijderd) en gestandaardiseerd met behulp van de coëfficiënten uit de bundle.
   • Vervolgens wordt de empirische Bayes-framework gebruikt om de posterior-verdeling van het site-effect voor de nieuwe data te updaten, gebruikmakend van de globale prior uit de bundle.
   • Hierdoor kan elke nieuwe site onafhankelijk worden geharmoniseerd naar dezelfde referentieverdeling als de trainingsdata, zonder dat de trainingsdata zelf nodig is.

De auteurs gebruiken zowel een gesloten-vorm update (gelijktijdige schatting van gemiddelde en variantie) als een iteratieve update, afhankelijk van het type data (connectiviteit vs. grijze stofvolume).

Belangrijkste Bijdragen

• Voorkomen van Datalek: CREB maakt het mogelijk om trainings-, validatie- en testsets volledig onafhankelijk te harmoniseren, wat de integriteit van machine learning-workflows waarborgt.
• Deployability: De methode introduceert een lichtgewicht "bundle" die als referentiepunt fungeert. Dit maakt het mogelijk om harmonisatie toe te passen op nieuwe data zonder de oorspronkelijke trainingsdata te hoeven delen of opnieuw te verwerken.
• Onafhankelijkheid van Sites: In tegenstelling tot traditionele methoden die alle sites tegelijk moeten kennen, kan CREB data van volledig nieuwe, onbekende locaties harmoniseren door gebruik te maken van de globale prior.
• Open Source: De software is beschikbaar gesteld via GitHub.

Resultaten

De auteurs hebben CREB getest op een trainingsset van 2846 deelnemers (leeftijd 18-97 jaar) en een testset van 1113 deelnemers (leeftijd 18-88 jaar) uit 3 verschillende studies. De prestaties zijn vergeleken met de gevestigde methode NeuroHarmonize (die trainings- en testdata gezamenlijk verwerkte).

• Vergelijkbaarheid: De output van CREB was zeer vergelijkbaar met die van NeuroHarmonize. De gemiddelde Euclidische afstand tussen de methoden was klein (2.6) en de Mean Absolute Error (MAE) was 0.019.
• Verwijdering van Site-effecten:
  • In de ruwe data waren er significante verschillen tussen sites (p < 0.001).
  • Na harmonisatie met zowel NeuroHarmonize als CREB waren er geen significante siteverschillen meer aan te tonen (p > 0.05).
  • Bij een analyse van individuele connectiviteitsedges bleek dat CREB zelfs iets beter presteerde in het elimineren van site-variatie (0 significante edges vs. 3 bij NeuroHarmonize).
• Behoud van Biologische Signalen:
  • De associatie tussen neuroimaging-maatstappen en leeftijd bleef behouden na harmonisatie.
  • Voor functionele connectiviteit en grijze stofvolume waren de correlaties met leeftijd (R²-waarden) na CREB-harmonisatie vergelijkbaar met die van de ruwe data en NeuroHarmonize (bijv. R² voor grijze stofvolume: 0.41 voor CREB vs. 0.45 voor NeuroHarmonize).
• Toepasbaarheid: De methode slaagde erin om data van externe, onbekende studies (zoals CamCAN, Aging, Glia) succesvol te harmoniseren naar de trainingsverdeling.

Betekenis en Conclusie

CREB biedt een robuuste en makkelijk te implementeren oplossing voor een van de grootste uitdagingen in multi-site neuroimaging-machine learning: het harmoniseren van data zonder datalek en zonder de noodzaak om trainingsdata te delen.

De methode maakt het mogelijk om generaliseerbare machine learning-modellen te trainen die direct toepasbaar zijn op nieuwe, onbekende datasets in de klinische praktijk of toekomstige studies. Door het gebruik van een lichtgewicht "bundle" wordt de barrière voor het delen van harmonisatiestandaarden verlaagd. Hoewel de methode afhankelijk is van de overlap in biologische verdelingen tussen trainings- en testdata (een inherente beperking van harmonisatiemethoden), vormt CREB een belangrijke stap voorwaarts in de standaardisatie van neuroimaging-data voor AI-toepassingen.