Neuro-JEPA: Building and Evaluating Health-System Scale Neuroimaging Foundation Models with Mixture of Experts
Neuro-JEPA is een schaalbaar, multimodaal fundatiemodel dat gebruikmaakt van een sparse Mixture-of-Experts-architectuur en latente predictieve leerprocessen op 1,55 miljoen klinische MRI-scans om een state-of-the-art, robuuste generalisatie over diverse neurologische beeldvormingstaken en gezondheidssystemen te bereiken, waarbij het vaak grotere modellen met aanzienlijk minder pretraining-data overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het menselijk brein is een complex orgaan, en het begrijpen van de gezondheid ervan berust vaak op het kijken naar de binnenkant ervan zonder een enkele snee te maken. Artsen gebruiken magnetische resonantie-imaging, of MRI, om gedetailleerde beelden van hersenweefsel te maken. Deze beelden zijn niet allemaal hetzelfde; ze worden opgenomen met verschillende instellingen die verschillende kenmerken benadrukken, vergelijkbaar met het aanpassen van de focus op een camera om ofwel de textuur van een blad of het water erin te zien. De ene instelling toont de structuur van de hersenen duidelijk, een andere benadrukt vloeistof, en een derde onderdrukt die vloeistof om zwelling of ziekte duidelijker zichtbaar te maken. Voor een menselijke expert vereist het lezen van de gezondheid van een patiënt het samen bekijken van al deze verschillende weergaven, waarbij de aanwijzingen uit elk beeld worden gecombineerd om tot een volledige diagnose te komen. Het trainen van computers om dit te doen is echter moeilijk gebleken. De meeste systemen voor kunstmatige intelligentie zijn getraind om slechts naar één type beeld tegelijk te kijken, waardoor ze de rijke verbindingen tussen de verschillende weergaven missen. Dit laat een kloof achter tussen hoe menselijke artsen denken en hoe huidige computerprogramma's werken.
Een team van onderzoekers van de New York University en Stanford University heeft een nieuw soort kunstmatige intelligentie gebouwd die ontworpen is om deze kloof te overbruggen. Ze creëerden een systeem genaamd Neuro-JEPA, een computermodel dat getraind is om het brein te begrijpen door gelijktijdig naar alle drie de soorten MRI-beelden te kijken. In plaats van te leren van een kleine collectie tekstboekvoorbeelden, bestudeerde dit model een enorm archief van 1,55 miljoen hersenscans van bijna 430.000 patiënten. Deze scans kwamen uit een groot ziekenhuisnetwerk en besloegen een breed scala aan aandoeningen, van beroertes en tumoren tot neurodegeneratieve ziekten zoals Alzheimer. De onderzoekers voerden de gegevens niet simpelweg in een standaard computerprogramma; ze bouwden een gespecialiseerde architectuur die het model in staat stelt om te leren van de relaties tussen de verschillende typen beelden. Door dit te doen, leerde het model een verenigd begrip van de hersenen te creëren dat werkt over verschillende ziekenhuizen, verschillende scanners en verschillende ziekten heen.
De resultaten van dit werk laten zien dat het nieuwe model aanzienlijk beter is in het begrijpen van hersenbeelden dan eerdere systemen. Wanneer het werd getest op tientallen taken, zoals het identificeren van een beroerte, het voorspellen van hoe een patiënt zal herstellen, of het bepalen of iemand vroege tekenen van dementie heeft, presteerde het nieuwe model consequent beter dan bestaande hulpmiddelen. Het slaagde er zelfs in wanneer het moest werken met zeer weinig gelabelde gegevens, een veelvoorkomend probleem in de geneeskunde waar deskundige artsen nodig zijn om beelden te markeren voor training. In sommige gevallen verbeterde het model de AUC met wel 0,15 vergeleken met de beste vorige systemen, met name voor aandoeningen zoals multiple sclerose en hersenontsteking. Cruciaal was dat het model deze resultaten behaalde terwijl het werd getraind op minder dan een derde van de gegevens die door andere leidende modellen werden gebruikt, wat suggereert dat het ontwerp van het model belangrijker was dan simpelweg meer gegevens hebben.
De onderzoekers testten ook of het model om kon gaan met uitdagingen in de echte wereld, zoals het bekijken van patiënten van een ander ziekenhuis of het gebruiken van een type scan dat het nog nooit eerder had gezien. Het model behield zijn hoge prestaties over deze verschillende omgevingen, wat bewees dat het algemene principes over de hersenanatomie en ziekte heeft geleerd in plaats van alleen specifieke beelden te hebben onthouden. Het kon zelfs uitkomsten voorspellen zoals hoe lang een patiënt in het ziekenhuis zou verblijven of of een milde geheugenprobleem zou uitmonden in volledige dementie, gebruikmakend van enkel de standaard MRI-scans die al deel uitmaken van de routinezorg. Deze capaciteit is essentieel omdat het artsen in staat kan stellen om meer informatie te halen uit scans die ze al maken, waardoor ziekten mogelijk eerder ontdekt kunnen worden of behandelingen effectiever gepland kunnen worden zonder dat er dure of invasieve aanvullende tests nodig zijn.
Om dit systeem te bouwen, moesten de onderzoekers verschillende specifieke problemen oplossen. Ze ontdekten dat het simpelweg kopiëren van bestaande methoden die voor andere soorten gegevens worden gebruikt, niet goed werkte voor hersenscans. Ze ontdekten dat het model een speciale manier nodig had om delen van de afbeelding tijdens de training te verbergen, om het model te dwingen de belangrijkste details te leren, in plaats van simpelweg patronen te raden. Ze introduceerden ook een mechanisme waarmee het model zijn aandacht kon richten op het hersenweefsel zelf, waarbij de lege ruimte rond de schedel werd genegeerd, wat het leerproces veel efficiënter maakte. Bovendien gebruikten ze een ontwerp dat het model in staat stelde om verschillende "experts" te activeren voor verschillende delen van de afbeelding, waardoor het systeem de enorme variëteit aan hersenvormen en pathologieën die het tegenkwam, kon afhandelen. Deze aanpak stelde het model in staat om effectief op te schalen, waardoor het krachtiger werd naarmate het meer gegevens en meer rekenkracht kreeg.
De studie daagt expliciet de opvatting uit dat de enige manier om een betere medische AI te bouwen het verzamelen van meer gegevens is. Hoewel data belangrijk zijn, hebben de onderzoekers aangetoond dat het ontwerp van het model en de kwaliteit van het trainingsproces doorslaggevende factoren zijn. Ze lieten zien dat een zorgvuldig ontworpen model, getraind op een gecureerde set van 1,55 miljoen scans, modellen kon overtreffen die getraind waren op meer dan vijf miljoen scans. Ze weerlegden ook het idee dat deze modellen alleen werken in het specifieke ziekenhuis waar ze voor getraind zijn, door te bewijzen dat de verkregen kennis overdraagbaar is naar andere instellingen en zelfs naar andere soorten medische beeldvorming. Het werk suggereert dat de toekomst van medische beeldvorming niet ligt in het creëren van een apart computerprogramma voor elke afzonderlijke ziekte, maar in het bouwen van één enkel, veelzijdig systeem dat het brein als geheel kan begrijpen en zich kan aanpassen aan nieuwe vragen en nieuwe patiënten.
Dit onderzoek vormt een belangrijke stap naar het maken van kunstmatige intelligentie tot een betrouwbare partner in de neurologische zorg. Door aan te tonen dat een enkel model kan leren van diverse gegevens en die kennis kan toepassen op een breed scala aan klinische problemen, heeft het team een kader geboden dat uiteindelijk de artsen kan ondersteunen bij het nemen van snellere en nauwkeurigere beslissingen. Het vermogen van het model om ziekteprogressie en patiëntuitkomsten te voorspellen vanuit routinematige scans, opent de deur naar eerdere interventies en een beter beheer van chronische aandoeningen. Terwijl de onderzoekers deze instrumenten blijven verfijnen en hun training uitbreiden naar nog diversere populaties en typen beeldvorming, groeit het potentieel van deze systemen om de patiëntenzorg te verbeteren, waarbij het vakgebied verschuift van experimentele prototypes naar praktische, algemene instrumenten voor het begrijpen van het menselijk brein.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.