Current gaps in downstream applications of fMRI foundation models: lessons learned from BrainLM & BrainHarmonix on Prevent-AD

Het menselijk brein is een uitgestrekt, gonzend netwerk van miljarden cellen die communiceren via elektrische signalen. Om te begrijpen hoe dit netwerk werkt, gebruiken wetenschappers vaak een krachtige camera genaamd functionele magnetische resonantie beeldvorming, of fMRI. Deze machine maakt geen statische foto; in plaats daarvan legt het een film van het brein vast terwijl het rust, waarbij de subtiele golven van activiteit die door verschillende regio's rimpelen, worden opgenomen. Door te kijken naar hoe deze regio's synchroon stijgen en dalen, kunnen onderzoekers de functionele verbindingen van het brein in kaart brengen, vergelijkbaar met het volgen van de verkeersstroom op een stadskaart om te zien welke wijken nauw met elkaar verbonden zijn. Jarenlang was de standaardmanier om deze kaarten te analyseren het meten van de sterkte van de verbindingen tussen elk paar regio's. Deze methode, bekend als functionele connectiviteit, is de werkpaard geweest voor het voorspellen van zaken zoals iemands leeftijd of geslacht, en voor het proberen te ontdekken van vroege tekenen van ziekten zoals Alzheimer.

Onlangs heeft een nieuwe golf van kunstmatige intelligentie de wetenschap overspoeld, met de belofte de manier waarop we complexe gegevens begrijpen te revolutioneren. In velden zoals taal en visie zijn "foundation models" (fundamentele modellen) beroemd geworden. Dit zijn enorme computerprogramma's die getraind zijn op enorme hoeveelheden gegevens om de onderliggende patronen van de wereld te leren zonder dat ze specifieke antwoorden krijgen voorgelegd. Ze leren te voorspellen wat er volgt in een zin of hoe een afbeelding eruitziet, waardoor ze een diep, flexibel begrip opbouwen dat kan worden toegepast op nieuwe, kleinere taken. Onderzoekers in de hersenwetenschap waren enthousiast om deze aanpak te proberen, in de hoop soortgelijke reusachtige modellen te trainen op duizenden hersenscans, zodat ze de algemene "grammatica" van hersenactiviteit zouden kunnen leren. De hoop was dat deze modellen krachtige instrumenten zouden worden die elke arts of wetenschapper zou kunnen gebruiken om ziekten te diagnosticeren of te voorspellen wie problemen met het geheugen zou ontwikkelen, zelfs met zeer weinig eigen gegevens.

Een team van onderzoekers begon een test om te zien of deze belofte echt was voor hersenbeeldvorming. Ze kozen twee van de nieuwste en meest geavanceerde foundation models voor fMRI, genaamd BrainLM en BrainHarmonix, en onderwierpen deze aan een test op een uitdagende, echte dataset. Deze dataset kwam uit de PREVENT-AD-studie, die honderden gezonde oudere volwassenen volgt met een familiegeschiedenis van de ziekte van Alzheimer. Het doel was om te zien of deze nieuwe AI-modellen de oude, vertrouwde methoden van functionele connectiviteit konden overtreffen bij het voorspellen van vier specifieke zaken: het geslacht van een persoon, hun leeftijdsgroep, of zij in de toekomst milde cognitieve stoornissen zouden ontwikkelen, en of zij een specifiek type eiwitophoping in hun brein hadden die wijst op Alzheimer. De onderzoekers wilden weten of deze modellen klaar waren voor onafhankelijke wetenschappers om te gebruiken, of dat ze nog te moeilijk toe te passen waren buiten de laboratoria waar ze voor zijn ontwikkeld.

De reis begon met een aanzienlijke hindernis: simpelweg de modellen aan het werk krijgen op nieuwe gegevens was verre van eenvoudig. Wanneer het team de softwarecode probeerde te gebruiken die door de makers van BrainLM was geleverd, bleek deze niet te werken met hun gegevens. De code vertrouwde op een aangepaste, zelfgebouwde manier om de hersenscans te reinigen, die incompatibel was met de standaardtools die door de meeste neurowetenschappers worden gebruikt. De onderzoekers moesten de stappen voor gegevensverwerking herschrijven en overstappen op een breed geaccepteerde, standaardmethode die door de bredere gemeenschap wordt gebruikt. Pas nadat ze deze substantiële wijzigingen hadden aangebracht, begon het model goed te leren. Het tweede model, BrainHarmonix, presenteerde een ander soort probleem. De documentatie legde niet uit hoe men nieuwe gegevens voor het model moest voorbereiden, waardoor het team moest gissen naar de juiste manier om de signalen te normaliseren. Ze moesten verschillende benaderingen testen om erachter te komen welke een stabiele resultaten opleverde. Deze initiële worstelingen onderstreepten een grote kloof: hoewel de modellen krachtig waren, waren ze nog niet op een manier verpakt die het onafhankelijke onderzoekers mogelijk maakte om ze gemakkelijk te gebruiken zonder aanzienlijke technische problemen op te lossen.

Zodra de modellen draaiden, vergeleek het team hun voorspellingen met de standaardmethode van functionele connectiviteit en een eenvoudige "dummy"-classifier die telkens het meest voorkomende antwoord raadt. Voor het voorspellen van het geslacht was de oude methode van functionele connectiviteit eigenlijk de winnaar. Het identificeerde het geslacht van de deelnemers vaker dan de kenmerken die uit de nieuwe foundation models werden geëxtraheerd. Voor het voorspellen van leeftijdsgroepen presteerde één kenmerk uit het BrainHarmonix-model, dat afkomstig was van structurele hersenbeelden in plaats van de functionele activiteit, iets beter dan de standaardmethode, maar het verschil was zo klein dat het gemakkelijk door toeval had kunnen gebeuren. De resultaten waren nog soberder voor de klinische doelstellingen. Bij het proberen te voorspellen wie milde cognitieve stoornissen zou ontwikkelen of wie de Alzheimer-gerelateerde eiwitophoping had, kon geen van de foundation models de eenvoudige dummy-classifier verslaan op basis van de algehele nauwkeurigheid. Dit kwam grotendeels doordat de groepen mensen met deze aandoeningen erg klein waren in vergelijking met de gezonde groep, waardoor het voor elk model moeilijk was om een signaal te vinden zonder simpelweg de meerderheid te raden.

Het verhaal was echter niet uitsluitend een verhaal van falen. Wanneer de onderzoekers nauwkeuriger naar de specifieke details van de voorspellingen keken, vonden ze een subtiele hint van belofte. Hoewel de modellen niet nauwkeurig genoeg waren om als diagnostisch instrument te worden gebruikt, waren sommige kenmerken van de foundation models beter in het identificeren van de weinige mensen die daadwerkelijk de ziekte hadden dan de standaardmethode dat was. Met andere woorden, wanneer het model een positieve voorspelling deed, was het iets waarschijnlijker dat het correct was, ook al miste het veel gevallen. Dit suggereert dat de modellen misschien een ander, wellicht subtieler signaal in de hersendata opvangen dat de standaardmethode mist. Toch, omdat deze verbeteringen niet statistisch significant waren, konden de onderzoekers niet beweren dat de modellen het probleem definitief hadden opgelost. De bevindingen suggereren dat de krachtige overdracht van kennis die te zien is bij taalmodellen, nog niet is gereproduceerd in de hersenbeeldvorming.

De studie concludeert dat deze foundation models nog niet klaar zijn voor onafhankelijke onderzoekers om voor klinisch gebruik te adopteren. Ze vereisen te veel technische aanpassing, en ze hebben nog niet bewezen dat ze de gevestigde, eenvoudigere methoden kunnen overtreffen die al decennia worden gebruikt. De auteurs betogen dat voor deze modellen echt nuttig te worden, het veld behoefte heeft aan gestandaardiseerde softwaretools die het gemakkelijk maken om ze te installeren en te draaien, en dat toekomstige studies altijd de nieuwe modellen moeten vergelijken met de standaard functionele connectiviteit-baseline. Tot die tijd blijft de droom van een universeel hersenmodel dat instantaan Alzheimer kan diagnosticeren of geheugenachteruitgang kan voorspellen, precies dat: een droom, wachtend op meer rigoureuze tests en betere engineering om werkelijkheid te worden.