How does machine learning bias in prediction of behavioral phenotypes relate to individual characteristics?
Deze studie analyseert voorspellingsfouten in hersengebaseerde modellen over meerdere cohorten en gedragsmatige metingen heen, waarbij wordt onthuld dat individuele kenmerken zoals hoofdbeweging, hoofd morfologie en geslacht/gender significant bijdragen aan machine learning-bias, met name voor socioaffectieve en mentale gezondheidsfenotypen in ontwikkelende populaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je de toekomst van een persoon probeert te voorspellen op basis van een kaart van hun brein. Decennialang hebben wetenschappers gehoopt dat ze, door de bedrading van het brein te scannen, konden voorzien hoe een persoon zal denken, voelen of zich zal gedragen. Dit idee vormt de basis van een veld genaamd precisiegeneeskunde, waarbij artsen op een dag hersenscans zouden kunnen gebruiken om mentale gezondheidsrisico's te signaleren nog voordat de symptomen verschijnen. Om dit te doen, gebruiken onderzoekers krachtige computerprogramma's, vaak machine learning genoemd, om patronen in hersendata te vinden die overeenkomen met specifiek gedrag. Deze computerprogramma's zijn echter niet perfect. Ze maken soms fouten, en die fouten zijn niet willekeurig. Net zoals een weersvoorspelling minder accuraat kan zijn voor een specifieke regio vanwege de lokale geografie, worstelen deze hersenlezende programma's vaak meer met bepaalde groepen mensen dan met andere. Zo hebben eerdere studies aangetoond dat deze modellen vaak minder accuraat zijn voor mensen uit minderheidsgroepen vergeleken met witte Amerikanen. De grote vraag is geweest: waarom gebeurt dit? Komt het doordat het brein zelf anders is, of is het iets aan de manier waarop de data is verzameld?
Een team van onderzoekers zette zich af om dit puzzelstuk op te lossen door duizenden hersenscans en gedragsverslagen van jongeren te bestuderen. Ze wilden weten of de fouten die deze computermodellen maakten, verbonden waren aan specifieke kenmerken van de gescande individuen. Het team verzamelde data van drie grote groepen: bijna 4.300 kinderen tussen de negen en elf jaar, ongeveer 430 kinderen en tieners tussen de vijf en eenentwintig jaar, en ongeveer 780 jonge volwassenen tussen de tweeëntwintig en zevenendertig jaar. In totaal onderzochten ze meer dan 100 verschillende gedragingen, variërend van hoe goed iemand emoties kan herkennen tot hoe zij met stress omgaan of problemen oplossen. Ze trainden hun computermodellen om deze gedragingen te voorspellen met behulp van alleen de hersenscandata. Zodra de modellen hun voorspellingen hadden gedaan, berekenden de onderzoekers het verschil tussen wat het model raadde en de werkelijke score van de persoon op de test. Dit verschil is de voorspellingsfout.
De onderzoekers stelden vervolgens een eenvoudige maar cruciale vraag: komen deze fouten vaker voor bij mensen met bepaalde kenmerken? Ze keken naar acht verschillende factoren, waaronder leeftijd, geslacht, ras, opleiding, gezinsinkomen, hoofdomvang en hoeveel de persoon met het hoofd bewoog terwijl diegene in de scanner lag. Ze ontdekten dat de fouten inderdaad verbonden waren aan deze kenmerken, maar niet op een eenvoudige manier. Het meest consistente patroon was dat de modellen het meest moeite hadden met het voorspellen van sociale en emotionele gedragingen, zoals het herkennen van gevoelens of het omgaan met angst, vooral bij de jongere groepen. Voor deze moeilijk te voorspellen eigenschappen was de fout van de computer sterk verbonden met drie specifieke zaken: hoeveel de persoon met het hoofd bewoog tijdens de scan, de grootte van het brein en het geslacht.
De studie toonde aan dat mensen die meer met hun hoofd bewogen tijdens de scan, de neiging hadden tot grotere voorspellingsfouten te hebben. Dit is logisch, omdat beweging de hersenbeelden kan vervagen, waardoor het voor de computer moeilijker wordt om de fijne details van de hersenverbindingen te zien. Op dezelfde manier deed de grootte van iemands brein ertoe. De modellen waren minder accuraat voor individuen met een kleinere intracraniële volume, oftewel de totale ruimte binnen de schedel die het brein bevat. Dit was met name het geval bij kinderen en bij maten van gedragsproblemen. Ten slotte ontdekten de onderzoekers dat mannelijke deelnemers over het algemeen grotere voorspellingsfouten hadden dan vrouwelijke deelnemers, vooral wanneer de modellen cognitieve vermogens of gedragsproblemen probeerden te raden.
Misschien wel de belangrijkste ontdekking was dat deze factoren diep met elkaar verbonden zijn. De studie toonde aan dat ras en etniciteit niet alleen verbonden zijn met sociale factoren zoals inkomen of opleiding, maar ook verbonden zijn met deze scan-gerelateerde kwesties. Bijvoorbeeld, de data lieten zien dat bepaalde raciale groepen de neiging hadden tot meer hoofdbewegingen tijdens scans of een ander gemiddeld hersenvolume hadden. Dit suggereert dat wanneer een computermodel slechter presteert voor een specifieke raciale groep, dit mogelijk niet komt doordat het brein zelf fundamenteel anders is op een manier die het model niet kan begrijpen. In plaats daarvan kan de fout voortkomen uit deze fysieke en technische verschillen in de data, zoals beweging of hersengrootte, die toevallig vaker voorkomen in die groep.
De onderzoekers concludeerden dat de bias in deze hersenvoorspellende modellen geen enkelvoudig probleem is, maar een mix van vele kleine factoren die samenwerken. Ze ontdekten dat het simpelweg verwijderen van de voor de hand liggende sociale factoren uit de data tijdens de computertraining niet voldoende was om het probleem op te lossen. De fouten bleven bestaan, wat suggereert dat de standaardmanieren waarop wetenschappers hersenscandata opschonen en voorbereiden nog niet goed genoeg zijn om deze subtiele verschillen aan te pakken. Dit is een cruciale bevinding voor iedereen die hoopt hersenscans te gebruiken om mentale gezondheidstoestanden vroegtijdig te diagnosticeren. Als een hulpmiddel minder accuraat is voor bepaalde groepen mensen, kan dit leiden tot gemiste diagnoses of onjuiste risicobeoordelingen voor degenen die hulp het hardst nodig hebben. De studie beweert het probleem niet opgelost te hebben, maar heeft duidelijk in kaart gebracht waar de problemen liggen, en laat zien dat om eerlijkere instrumenten te bouwen, wetenschappers nauwlettend aandacht moeten schenken aan hoe hoofdbeweging, hersengrootte en geslacht de data beïnvloeden, vooral bij het werken met kinderen en jonge mensen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.