Investigating Demographic Bias in Brain MRI Segmentation: A Comparative Study of Deep-Learning and Non-Deep-Learning Methods

Deze studie toont aan dat hoewel deep-learning-modellen zoals nnU-Net robuust presteren ongeacht demografische overeenstemming, andere methoden aanzienlijke vertekeningen vertonen die leiden tot het verdwijnen van raciale effecten in de gemeten volumes van de nucleus accumbens, terwijl geslachtsverschillen behouden blijven.

De kern

De "Vooroordeel-Check" voor Brein-Scans: Waarom AI soms niet voor iedereen even goed werkt

Stel je voor dat je een zeer slimme, digitale assistent hebt die MRI-scans van hersenen bekijkt. Deze assistent is getraind om specifieke kleine delen in het brein, zoals de nucleus accumbens (een klein gebiedje dat belangrijk is voor beloning en motivatie), precies in te kleuren en te meten. Dit klinkt geweldig voor de geneeskunde, maar er zit een addertje onder het gras: de assistent heeft misschien vooroordelen.

In dit onderzoek kijken wetenschappers of deze slimme computersystemen eerlijk zijn voor mensen van verschillende rassen en geslachten, of ze juist bepaalde groepen "in de steek laten".

De Proef: Vier Groepen, Vier Leraars

Om dit te testen, hebben de onderzoekers vier verschillende soorten "leraren" (de AI-modellen) opgeleid, maar met een knipoog naar onrechtvaardigheid:

1. De Diep-Learning Groep: Drie moderne, geavanceerde AI-systemen (UNesT, nnU-Net en CoTr).
2. De Oude School: Een traditionele methode (ANTs) die werkt met een soort "atlas" (een kaart van het brein) in plaats van zelf te leren.

Ze hebben deze systemen getraind met data van slechts één specifieke groep:

• Alleen zwarte vrouwen
• Alleen zwarte mannen
• Alleen blanke vrouwen
• Alleen blanke mannen

Het doel? Kijken wat er gebeurt als je een model dat alleen zwarte mannen heeft gezien, test op een blanke vrouw. Is de assistent dan nog steeds goed, of raakt hij in de war?

De Analogie: De Kleermaker en de Maat

Stel je voor dat je een kleermaker hebt die kostuums maakt.

• De slechte kleermaker (ANTs en UNesT): Als deze kleermaker alleen maar heeft geoefend op mensen met een groot formaat, en je vraagt hem nu een kostuum te maken voor iemand met een klein postuur, dan past het niet goed. Hij maakt het te groot. In dit onderzoek zagen we dat modellen die alleen op blanke mensen waren getraind, vaak slechter werkten op zwarte mensen, en vice versa. Het kostuum (de hersenmeting) zat niet goed.
• De slimme kleermaker (nnU-Net): Deze kleermaker is zo slim dat hij, ongeacht of hij op grote of kleine mensen heeft geoefend, altijd een perfect passend kostuum maakt. Hij heeft geleerd om de essentie van een kostuum te begrijpen, in plaats van alleen de maat van de mensen om wie hij heeft geoefend. Dit model bleek het meest eerlijk en stabiel.

Wat Vonden Ze? (De Verbluffende Resultaten)

1. Ras telt meer dan geslacht
Het was verrassend om te zien dat het ras van de training veel meer invloed had op de kwaliteit van de meting dan het geslacht.

• Als een model getraind was op zwarte mensen, werkte het vaak slechter op blanke mensen (en andersom).
• Of het nu een man of een vrouw was, dat maakte voor de meeste modellen minder uit. De "ras-bril" van de AI leek veel sterker te zijn dan de "geslachts-bril".

2. De "Gouden Standaard" verdwijnt
De onderzoekers hadden ook handmatig ingekleurde scans van echte artsen (de "gouden standaard"). Met die handmatige metingen zagen ze duidelijk dat het brein van zwarte en blanke mensen soms iets anders grootteverschillen vertoonde.

• Het probleem: Toen ze de AI-modellen gebruikten, verdwenen deze ras-gerelateerde verschillen bijna volledig! De AI zag ze niet meer.
• De conclusie: Als een AI vooroordeelt, kan hij belangrijke medische feiten "wegcensureren". Hij maakt het brein van zwarte mensen misschien onterecht gelijk aan dat van blanke mensen, terwijl er in werkelijkheid verschillen zijn. Dit is gevaarlijk voor de diagnose van ziektes.

3. Niet alle AI is gelijk

• nnU-Net was de held van de dag: het deed het overal goed, ongeacht wie er getraind was.
• ANTs en UNesT waren de "slachtoffers" van hun eigen training. Ze waren erg gevoelig voor de groep waar ze van hadden geleerd.

Waarom is dit belangrijk?

Stel je voor dat een dokter een diagnose stelt op basis van de grootte van een hersendeel. Als de AI die de meting doet, vooroordeelt en de meting van een zwarte patiënt verkeerd berekent, kan de dokter denken dat er niets aan de hand is, terwijl er wel degelijk iets is (of andersom).

Dit onderzoek is een wake-up call:

• Diverse data is cruciaal: Je kunt AI niet trainen met alleen maar data van één groep en verwachten dat het voor iedereen werkt.
• Controle is nodig: We moeten niet blindelings vertrouwen op de "standaard" AI. We moeten testen of ze eerlijk zijn voor iedereen.
• De oplossing: We hebben meer en diverse data nodig (zoals de "Baseline 120" in het onderzoek) om modellen te trainen die voor iedereen even goed werken.

Kortom: Net zoals een goede leraar niet alleen kinderen uit één buurt moet kennen om de hele school te kunnen onderwijzen, moet een medische AI ook het hele spectrum van de mensheid hebben gezien om eerlijke diagnoses te kunnen stellen. Anders riskeert de technologie om bestaande ongelijkheden in de zorg juist te verergeren.

Technische samenvatting

Probleemstelling

Hoewel deep-learning-modellen de medische beeldanalyse, en specifiek de segmentatie van MRI-afbeeldingen, aanzienlijk hebben verbeterd, bestaat er een groeiende bezorgdheid over de inherente bias in deze modellen. Er is een risico dat modellen oneerlijke prestaties leveren voor specifieke subgroepen op basis van gevoelige attributen zoals ras en geslacht. Dit kan leiden tot misdiagnoses of onderdiagnoses in klinische toepassingen.

Terwijl veel onderzoek zich richt op bias in classificatietaken, heeft segmentatiebias relatief weinig aandacht gekregen, ondanks de directe impact op klinische besluitvorming en morfometrische analyses (zoals volumebepaling). Bestaande studies evalueren vaak slechts één type deep-learning-model en missen een vergelijking met traditionele methoden. Dit onderzoek vult deze lacune door de demografische bias systematisch te onderzoeken in zowel deep-learning- als niet-deep-learning-methoden voor de segmentatie van hersenstructuren.

Methodologie

1. Dataset en Ground Truth

• Data: Gebruik werd gemaakt van de Human Connectome Project (HCP) Young Adult dataset (T1-gewogen MRI's, resolutie 0.7mm isotroop).
• Subgroepen: De dataset is onderverdeeld in vier demografische groepen: zwarte vrouwen, zwarte mannen, blanke vrouwen en blanke mannen.
• Anatomische focus: De segmentatie richtte zich op de linker- en rechter nucleus accumbens (NAc), een subcorticale structuur die relevant is als biomarker voor psychiatrische aandoeningen.
• Gold Standard: Handmatig gelabelde segmentaties door een neuroanatomist werden gebruikt als ground truth voor training en evaluatie.

2. Geëvalueerde Modellen
Er werden vier verschillende methoden getest, waarbij voor elke methode vier specifieke modellen werden getraind, elk uitsluitend op data van één demografische groep (om bias intentioneel te introduceren en te meten):

• UNesT: Een deep-learning-model met een hiërarchische transformer-encoder.
• nnU-Net: Een adaptief deep-learning-model dat automatisch de beste configuratie kiest voor een dataset.
• CoTr: Een hybride model dat convolutie-neurale netwerken (CNN) combineert met een deformable Transformer (DeTrans) voor lange-afstandsafhankelijkheden.
• ANTs (Multi-Atlas Label Fusion): Een traditionele, niet-deep-learning methode die gebruikmaakt van atlassen (handgelabelde referentieafbeeldingen) en label-fusietechnieken.

3. Evaluatiemetrics
Naast de standaard Dice Similarity Coefficient (DSC) en Normalized Surface Dice (NSD) voor nauwkeurigheid, werd een nieuwe metric gebruikt om eerlijkheid te kwantificeren:

• ESSP (Equity-Scaled Segmentation Performance): Een metric die de algehele nauwkeurigheid combineert met een straf voor prestatieverschillen tussen demografische groepen. Een hogere ESSP betekent betere algehele prestatie en minder bias.
• Statistische Analyse: Lineaire gemengde modellen (Linear Mixed Models) werden gebruikt om de invloed van "zelfde ras", "zelfde geslacht" en hun interactie op de segmentienauwkeurigheid en de afgeleide volumes te analyseren.

Belangrijkste Resultaten

1. Prestatieverschillen per Model

• Robuustheid: nnU-Net bleek het meest robuust tegen demografische bias. De prestaties waren consistent, ongeacht of de trainings- en testdata van hetzelfde ras of geslacht waren.
• Bias in andere modellen: ANTs en UNesT toonden aanzienlijke bias. Wanneer deze modellen werden getraind en getest op data van hetzelfde ras, was de segmentienauwkeurigheid significant hoger.
  • ANTs toonde de grootste daling in prestatie (ESSP) wanneer getraind op zwarte subgroepen vergeleken met blanke subgroepen.
  • UNesT presteerde beter dan ANTs, maar was toch gevoeliger voor ras-bias dan nnU-Net.
• Geslacht vs. Ras: Ras bleek een veel sterkere factor voor bias te zijn dan geslacht. Hoewel geslachtsverschillen in volumes wel werden vastgehouden, had het matchen van geslacht tussen training en test weinig invloed op de segmentienauwkeurigheid.

2. Impact op Volumetrische Analyse

• Manuele segmentatie: Toonde duidelijke effecten van zowel geslacht als ras op het volume van de NAc.
• Automatische (bevooroordeelde) segmentatie:
  • Het geslachteffect bleef behouden in de resultaten van alle modellen.
  • Het raseffect verdween echter bijna volledig in de resultaten van de automatische modellen (behalve bij één specifieke configuratie van CoTr). Dit betekent dat bevooroordeelde modellen de biologische verschillen tussen rassen in hersenvolumes kunnen "verwischen" of niet correct kunnen detecteren.
• Onderschatting: Modellen getraind op zwarte subgroepen (zoals ANTs getraind op zwarte mannen) toonden een aanzienlijke onderschatting van het NAc-volume (bijna 28% kleiner dan handmatige annotaties).

3. Dataset Grootte en Balans

• Experimenten met grotere, demografisch gebalanceerde datasets (bijv. 120 onderwerpen in plaats van 30) toonden aan dat bias bij deep-learning-modellen (UNesT) significant afnam.
• Bij de traditionele ANTs-methode leidde het simpelweg vergroten van de atlas-set met gebalanceerde data echter niet noodzakelijk tot eerlijkere resultaten; de prestatieverschillen bleven groot.

Belangrijkste Bijdragen

1. Vergelijkende Studie: Dit is een van de eerste studies die deep-learning-modellen (UNesT, nnU-Net, CoTr) direct vergelijkt met een traditionele atlas-gebaseerde methode (ANTs) specifiek op het vlak van demografische bias in hersen-MRI.
2. Kwantificering van Eerlijkheid: Toepassing van de ESSP-metric om niet alleen de nauwkeurigheid, maar ook de rechtvaardigheid van segmentatie over verschillende groepen heen te meten.
3. Inzicht in Bias-Transmissie: Het aantonen dat terwijl automatische modellen geslachtsverschillen in volumes kunnen behouden, ze vaak demografische (ras-gebaseerde) verschillen verliezen, wat leidt tot een vertekend beeld in morfometrische studies.
4. Architectuur-afhankelijkheid: Het bewijs dat de keuze van het model (bijv. nnU-Net vs. UNesT) cruciaal is voor de mate van bias, waarbij nnU-Net door zijn adaptieve data-augmentatie robuuster blijkt.

Significantie en Conclusie

De studie onderstreept dat de ontwikkeling van eerlijke medische beeldvormingsmodellen niet alleen afhankelijk is van de algoritmen, maar ook van de samenstelling van de trainingsdata.

• Klinische Impact: Bias in segmentatie kan leiden tot onjuiste biomarkers (zoals NAc-volume), wat gevolgen heeft voor het diagnosticeren van aandoeningen zoals depressie.
• Aanbeveling: Voor eerlijke en generaliseerbare resultaten zijn diverse en gebalanceerde datasets essentieel. Modellen zoals nnU-Net lijken beter bestand tegen bias door hun ingebouwde strategieën, terwijl traditionele methoden en sommige transformer-architecturen extra aandacht nodig hebben bij het trainen op onbalans.
• Toekomst: Er is meer onderzoek nodig naar bias in andere hersenstructuren, bij andere leeftijdsgroepen (kinderen, ouderen) en met klinische patiëntendata, aangezien deze studie beperkt was tot gezonde volwassenen en één anatomische structuur.