Brain predictive models of cognition fail to generalize across ethnicities: Modality-dependent bias in MRI-based prediction

Dit onderzoek toont aan dat MRI-gebaseerde voorspellende modellen voor cognitie aanzienlijke etnische bias vertonen, waarbij structurele MRI de grootste ongelijkheid veroorzaakt en een gebalanceerde steekproef van White en Afro-Amerikaanse deelnemers de beste balans biedt tussen nauwkeurigheid en eerlijkheid.

De kern

Hersenen voorspellen, maar niet voor iedereen: Een verhaal over eerlijkheid in de hersenwetenschap

Stel je voor dat je een superintelligente robot bouwt die kan voorspellen hoe slim een kind is, puur door naar een foto van zijn of haar brein te kijken. Dit is wat wetenschappers proberen te doen met moderne hersenscans (MRI). Het klinkt als sciencefiction, maar het is reële wetenschap die hopelijk ooit kan helpen bij het vroegtijdig opsporen van leerproblemen of psychiatrische aandoeningen.

Maar er is een groot probleem, en dit artikel legt uit waarom die robot momenteel niet eerlijk is.

Het probleem: De robot is getraind op de verkeerde mensen

Stel je voor dat je wilt leren hoe je het beste koekjes kunt bakken. Je leest echter alleen maar recepten van mensen die in een heel specifiek dorp wonen, waar ze alleen bloem van tarwe gebruiken. Vervolgens probeer je die recepten te gebruiken voor iemand die in een ander dorp woont en alleen boekweitmeel heeft. De koekjes zullen waarschijnlijk mislukken, of tenminste niet zo goed zijn als voor de mensen uit het eerste dorp.

Dit is precies wat er gebeurt in deze hersenstudies:

• De "recepten" (de modellen): Wetenschappers trainen hun computermodellen op data van hersenscans.
• De "dorp" (de data): De meeste grote databases, zoals de ABCD-studie waar dit onderzoek naar keek, bestaan voor het overgrote deel uit blanke Amerikanen.
• De "andere dorp" (de testgroep): Als je het model daarna test op mensen van andere etnische achtergronden (in dit onderzoek: Afro-Amerikanen), werkt het veel slechter. De voorspellingen zijn onnauwkeurig.

De wetenschappers in dit artikel hebben gekeken naar 91 verschillende manieren om het brein te meten en hebben ontdekt dat de voorspellingen voor blanken vaak veel beter waren dan voor Afro-Amerikanen. Dit is gevaarlijk, want als we deze technologie in de toekomst in ziekenhuizen gebruiken, zouden bepaalde groepen mensen misschien slechtere zorg krijgen of over het hoofd worden gezien.

De proef: 4 manieren om de robot te trainen

De onderzoekers hebben geëxperimenteerd met vier verschillende manieren om hun "bakkers" (de modellen) te trainen:

1. Alles door elkaar: Ze gebruikten alle data die ze hadden (vooral blanken). Resultaat: De robot was goed voor blanken, maar slecht voor Afro-Amerikanen.
2. Alleen blanken: Ze gebruikten alleen data van blanken. Resultaat: De robot was heel goed voor blanken, maar totaal nutteloos voor Afro-Amerikanen.
3. Alleen Afro-Amerikanen: Ze gebruikten alleen data van Afro-Amerikanen. Resultaat: De robot was goed voor Afro-Amerikanen, maar slecht voor blanken.
4. De eerlijke mix: Ze namen evenveel blanken als Afro-Amerikanen. Resultaat: Dit was de winnaar! De robot werd net zo goed voor beide groepen, zonder dat de prestaties voor één groep moesten worden opgeofferd.

Niet alle hersenmetingen zijn hetzelfde

Het meest interessante deel van het verhaal is dat niet alle soorten hersenscans even "vooroordeelsvol" zijn.

• De "stijve" foto's (Structuur): Als je kijkt naar de vorm en grootte van het brein (zoals een statische foto), is de robot het meest onrechtvaardig. Dit komt waarschijnlijk omdat de "meters" die we gebruiken om het brein te meten, oorspronkelijk zijn gemaakt op basis van blanken. Het is alsof je probeert schoenen te meten met een maatstok die alleen voor grote voeten is gemaakt.
• De "actieve" filmpjes (Activiteit): Als je kijkt naar wat het brein doet terwijl iemand een taak uitvoert (bijvoorbeeld een spelletje spelen in de scanner), is de robot veel eerlijker. Deze metingen lijken minder gevoelig te zijn voor de achtergrond van de persoon.

De grote ontdekkingen

1. Hoe slimmer de robot, hoe eerlijker? Er bleek een verrassend verband: de modellen die het beste werkten (de "slimste" bakkers), waren vaak ook de eerlijkste. Als het brein en het gedrag sterk met elkaar verbonden zijn, werkt het model voor iedereen beter.
2. Meer data lost het niet op: Je zou denken: "Als we gewoon meer Afro-Amerikanen toevoegen aan de training, wordt het beter." Dat is waar tot een bepaald punt. Maar als je probeert om te veel Afro-Amerikanen toe te voegen door dezelfde mensen steeds opnieuw te gebruiken (een trucje genaamd 'oversampling'), wordt het niet beter. De beste oplossing is simpelweg een gelijke mix.
3. Samenwerken helpt niet altijd: De onderzoekers probeerden ook om alle verschillende hersenmetingen samen te voegen in één super-model. Dit maakte de voorspellingen wel nauwkeuriger, maar het maakte ze niet eerlijker. De onrechtvaardigheid bleef gewoon bestaan.

Wat betekent dit voor de toekomst?

Dit artikel is een wake-up call. Het zegt ons dat we niet zomaar kunnen zeggen: "Onze hersen-robot werkt perfect!" als we niet eerst kijken voor wie hij werkt.

Om eerlijke technologie te bouwen, moeten we:

• Geen "one-size-fits-all" gebruiken: We moeten stoppen met het gebruiken van meetinstrumenten die alleen voor één groep zijn gemaakt.
• Echte diversiteit: We moeten datasets verzamelen die echt de hele wereld (of het hele land) vertegenwoordigen.
• Slimme training: Als we niet genoeg data van minderheidsgroepen hebben, moeten we in de training evenveel mensen van elke groep gebruiken, in plaats van te proberen de data kunstmatig op te blazen.

Kortom: Als we willen dat de geneeskunde van de toekomst voor iedereen werkt, moeten we nu al zorgen dat de robots die we bouwen, getraind zijn op een wereld die eruitziet zoals de echte wereld. Anders blijven we achter met technologie die slechts voor een deel van de mensheid werkt.

Technische samenvatting

Probleemstelling

Voorspellende neuroimaging-modellen beloven doorbraak in precisiegeneeskunde, maar er bestaat een groot risico dat deze modellen bestaande gezondheidsongelijkheden verergeren als ze niet consistent presteren over verschillende etnische groepen heen. Hoewel er bewijs is voor etnische bias in genomica (bijv. polygenische risicoscores), is de omvang en aard van deze bias in de neuroimaging-onderzoeksveld nog niet systematisch in kaart gebracht.

De kernvragen die dit onderzoek adresseert zijn:

1. Is de slechte generalisatie tussen etnische groepen beperkt tot specifieke MRI-phenotypes of komt het voor in het volledige spectrum van neuroimaging-types?
2. Welke factoren (zoals trainingsstichproef-samenstelling of type beeldvorming) beïnvloeden deze dispariteiten?
3. Kunnen strategieën zoals multimodale integratie (stacking) of oversampling van ondervertegenwoordigde groepen de bias verminderen zonder de algehele nauwkeurigheid te verliezen?

Methodologie

Het onderzoek gebruikte data van de Adolescent Brain Cognitive Development (ABCD) studie, een longitudinaal project met een diverse Amerikaanse cohort.

• Deelnemers: De analyse richtte zich op Wit-Amerikaanse (WA) en Afro-Amerikaanse (AA) deelnemers. De groepen werden gematcht op klinische, demografische en sociaaleconomische variabelen om vergelijkbaarheid te garanderen.
• Cognitieve uitkomst: De totale cognitieve compositescore van de NIH Toolbox werd gebruikt als voorspellingsdoelwit vanwege de hoge betrouwbaarheid.
• Neuroimaging Phenotypes: Er werden 91 verschillende phenotypes geanalyseerd:
  • 80 unimodelle phenotypes: Afgeleid van structurele MRI (sMRI), Diffusion Tensor Imaging (DTI), taak-gebaseerde fMRI (fMRI task contrasts) en functionele connectiviteit (FC, zowel rust als taak-gebaseerd).
  • 11 multimodale phenotypes: Gestapelde modellen die voorspellingen van meerdere unimodelle phenotypes combineerden.
• Trainingsstrategieën: Vier strategieën werden vergeleken om het effect van etnische samenstelling te testen:
  1. All: Alle beschikbare data (meerderheid WA).
  2. RandWA-only: Willekeurig geselecteerde WA deelnemers, in aantal gelijk aan de AA-groep.
  3. AA-only: Uitsluitend AA deelnemers.
  4. Balanced AA+RandWA: Een gebalanceerde dataset met alle AA deelnemers en een gelijk aantal willekeurig geselecteerde WA deelnemers.
• Modellen:
  • Unimodelle modellen: Partial Least Squares (PLS) regressie.
  • Multimodale modellen: Random Forest (late fusion) die de voorspellingen van de PLS-modellen combineerde.
• Evaluatiemetrics:
  • Mean Absolute Error (MAE): Lagere waarden duiden op betere voorspelling.
  • Ethnicity Bias Index: Gedefinieerd als het verschil in MAE-gaten tussen WA en AA groepen bij modellen getraind op alleen WA versus alleen AA. Een lagere absolute waarde duidt op minder bias.
  • Permutatietests: Gebruikt om significante verschillen in prestaties tussen groepen te bepalen.

Belangrijkste Resultaten

1. Modality-afhankelijke Bias:

   • Modellen presteerden het beste binnen de etnische groep waarop ze waren getraind.
   • Modellen getraind op de ongebalanceerde "All"-dataset (meerderheid WA) presteerden significant beter voor WA deelnemers dan voor AA deelnemers.
   • Structurele MRI (sMRI) vertoonde de grootste bias. De voorspellingsfouten voor AA deelnemers waren aanzienlijk hoger dan voor WA deelnemers, ongeacht de trainingsstrategie.
   • Taak-gebaseerde fMRI (vooral N-back taken) en functionele connectiviteit waren het minst bevooroordeeld. Bij gebruik van de Glasser-atlas en gebalanceerde training waren de prestaties tussen AA en WA vaak niet significant verschillend.

2. Effect van Trainingsstrategie:

   • Gebalanceerde training (Balanced AA+RandWA) bleek de meest effectieve strategie om dispariteiten te verminderen zonder de algehele nauwkeurigheid voor de meerderheidsgroep (WA) te verliezen. Dit vormt de "bovengrens" voor zowel nauwkeurigheid als eerlijkheid.
   • Oversampling: Het synthetisch verhogen van het aantal AA-deelnemers in de trainingsset (na het bereiken van 50% balans) leverde geen extra winst op en leidde soms zelfs tot een verslechtering van de prestaties voor de WA-groep.

3. Relatie tussen Prestatie en Bias:

   • Er was een significante correlatie tussen hogere algehele voorspellende kracht (lagere MAE) en lagere bias. Phenotypes met sterke hersen-gedrag associaties generaliseerden eerlijker.
   • Multimodale Stacking: Hoewel het samenvoegen van meerdere modaliteiten de algehele voorspellende nauwkeurigheid verhoogde, verminderde dit de etnische bias niet. Multimodale modellen vertoonden een gemiddelde bias die afhankelijk was van de onderliggende phenotypes, maar losten de dispariteiten niet op.

4. Invloed van Atlas en Pre-processing:

   • De keuze van de hersenatlas had invloed: de Glasser-atlas (multimodaal gebaseerd) resulteerde in lagere bias dan de Destrieux-atlas (voornamelijk gebaseerd op anatomische vouwingen), wat suggereert dat anatomische templates die zijn ontwikkeld op Europese populaties bias kunnen introduceren in sMRI-analyses.

Belangrijkste Bijdragen

• Eerste brede benchmark: Dit is de eerste studie die systematisch etnische bias evalueert over een breed spectrum van MRI-phenotypes (structureel, functioneel, taak-gebaseerd) in plaats van zich te beperken tot één type.
• Identificatie van de "Fairness Ceiling": Het onderzoek toont aan dat gebalanceerde steekproeven de meest effectieve, kostenefficiënte strategie zijn om bias te mitigeren, en dat complexe methoden zoals oversampling of multimodale stacking dit niet overtreffen.
• Modality-sensitiviteit: Het onthult dat niet alle neuroimaging-data even kwetsbaar is voor bias; functionele en taak-gebaseerde metingen zijn robuuster dan structurele metingen, waarschijnlijk vanwege de afhankelijkheid van standaardtemplates die niet universeel zijn.

Betekenis en Conclusie

De studie concludeert dat de huidige generatie MRI-voorspellende modellen voor cognitieve functies systematisch bevooroordeeld is en slecht generaliseert naar niet-Wit-Amerikaanse populaties, met name bij gebruik van structurele MRI.

De bevindingen hebben belangrijke implicaties voor de translatie naar de kliniek:

1. Data-diversiteit is cruciaal: Het simpelweg verzamelen van meer data is niet genoeg; de samenstelling moet gebalanceerd zijn.
2. Keuze van fenotype: Voor eerlijke voorspellingen moeten onderzoekers en clinici mogelijk prioriteit geven aan taak-gebaseerde of functionele connectiviteit-phenotypes boven structurele phenotypes.
3. Geen automatische oplossing: Hogere nauwkeurigheid (door stacking of betere algoritmen) garandeert geen eerlijkheid. Zonder expliciete bias-mitigatiestrategieën (zoals gebalanceerde training) zullen deze tools bestaande gezondheidsongelijkheden kunnen versterken.

Kortom, het bereiken van eerlijke en generaliseerbare neuroimaging-modellen vereist een fundamentele verschuiving in hoe datasets worden samengesteld en welke beeldvormingsmodaliteiten worden geselecteerd, waarbij gebalanceerde steekproeven de gouden standaard vormen.