🤖 machine learning

NeuroAtlas: Benchmarking Foundation Models for Clinical EEG and Brain-Computer Interfaces

Het artikel introduceert NeuroAtlas, de tot nu toe grootste EEG-benchmark bestaande uit 42 datasets en 260.000 uur aan data, om aan te tonen dat huidige foundation-modellen in klinische toepassingen nog niet consequent beter presteren dan supervised baselines of generieke tijdreeksmodellen, waarbij wordt benadrukt dat er een kritieke behoefte bestaat aan gespecialiseerde klinische evaluatiemetrics in plaats van standaard machine learning-scores.

Oorspronkelijke auteurs: Konstantinos Kontras, Trui Osselaer, Stylianos G. Mouslech, Angeliki-Ilektra Karaiskou, Guido Gagliardi, Thomas Strypsteen, Mohammad Hossein Badiei, Anku Rani, Maarten Vanmarcke, Miguel Bhagubai, Chan

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Konstantinos Kontras, Trui Osselaer, Stylianos G. Mouslech, Angeliki-Ilektra Karaiskou, Guido Gagliardi, Thomas Strypsteen, Mohammad Hossein Badiei, Anku Rani, Maarten Vanmarcke, Miguel Bhagubai, Chanakya Ekbote, Jaedong Hwang, Christos Chatzichristos, Paul Pu Liang, Maarten De Vos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme bibliotheek voor met hersengolfopnames (EEG) van duizenden mensen. Wetenschappers proberen al jaren een "universele vertaler" voor deze hersengolven te bouwen: een enkel, superintelligent AI-model (een Foundation Model) dat elke hersengolf kan lezen, begrijpt wat er gebeurt en artsen helpt bij het diagnosticeren van epilepsie, het analyseren van slaap of zelfs het besturen van computers met gedachten.

Het artikel "NeuroAtlas" is als een enorme, strenge "rapportkaart" voor deze AI-modellen. De auteurs hebben de grootste testsuite ooit gecreëerd voor hersengolf-AI om te zien of deze modellen de verwachtingen waarmaken of dat ze alleen maar overgehypet zijn.

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. De Opzet: Een Enorme "Smaaktest"

Stel je de onderzoekers voor als gastronomen. In plaats van één gerecht te proeven, bereidden ze 42 verschillende "maaltijden" (datasets) voor, die vier hoofdgerechten vertegenwoordigen:

Epilepsie: Het opsporen van aanvallen (zoals het zien van een plotselinge storm in de hersenen).
Slaap: Het analyseren van slaapklassen (zoals het sorteren van een nachtrust in diepe, lichte en droomfasen).
Hersenenleeftijd: Het inschatten hoe "oud" een brein eruitziet op basis van zijn activiteit (zoals controleren of het geluid van een motorkap past bij een nieuw of oud voertuig).
BCI (Brain-Computer Interfaces): Het proberen gedachten te lezen om een cursor te bewegen (zoals het vertalen van "Ik wil naar links" in een muisklik).

Ze testten 20 verschillende AI-modellen (inclusief de nieuwe "hersenspecifieke" modellen en generieke tijdreeksmodellen) op al deze gerechten. Cruciaal: ze lieten de modellen niet "leren" voor de toets; ze bevriezen de modellen en vroegen ze direct om de taak te verrichten, wat een realistische "out-of-the-box"-situatie simuleert.

2. De Grote Verrassingen (De Bevindingen)

Verrassing #1: De "hersenspecifieke" chefs zijn niet altijd de besten.
Je zou denken dat een chef die alleen hersengolven kookt (een EEG Foundation Model) beter zou zijn dan een chef die alles kookt (een Generiek Tijdreeksmodel).

De Realiteit: Het artikel vond dat de "hersenspecialist"-chefs niet consequent beter scoorden dan de "generalist"-chefs. Soms deden de generalisten het net zo goed, of zelfs beter. Het blijkt dat het feit dat een model specifiek is getraind op hersendata niet automatisch betekent dat het een meester van het brein wordt.

Verrassing #2: De cijfers op de "rapportkaart" waren misleidend.
In het verleden beoordeelden wetenschappers deze modellen met standaard wiskundige scores (zoals "Nauwkeurigheid" of "AUROC").

De Analogie: Stel je een arts voor die hartaanvallen diagnoseert. Als je alleen telt hoe vaak ze "ziek" of "gezond" goed hebben geraden, kun je het feit missen dat ze gezonde mensen naar de spoedeisende hulp sturen (vals alarm) of echte hartaanvallen missen.
De Realiteit: De auteurs vonden dat standaard wiskundige scores de echte problemen vaak verborgen. Toen ze overschakelden naar klinische metrieken (zoals "Hoeveel aanvallen hebben we echt opgepikt zonder vals alarm?" of "Heeft het model correct de totale tijd in diepe slaap berekend?"), veranderden de ranglijsten volledig. Een model dat op papier als een "A"-leerling leek, bleek een "C"-leerling in een echte ziekenhuisomgeving.

Verrassing #3: Er bestaat nog geen enkele "Super-model".
De droom was om één model te hebben dat perfect werkt voor alles.

De Realiteit: De resultaten waren rommelig. Een model dat geweldig was in het opsporen van aanvallen in één ziekenhuisdataset, faalde vaak jammerlijk in de dataset van een ander ziekenhuis. Er was geen enkele "Koning van de Heuvel". Het beste model voor epilepsie was niet het beste voor slaap, en het beste voor slaap niet het beste voor hersenenleeftijd.
De Conclusie: Op dit moment zijn deze modellen niet klaar om "plug-and-play"-tools voor artsen te zijn. Ze zijn nog te gevoelig voor het specifieke type apparatuur dat wordt gebruikt of de specifieke groep patiënten.

3. De "Hersenenleeftijd"-Twist

Voor de taak "Hersenenleeftijd" (het voorspellen hoe oud een brein is), vonden de onderzoekers iets interessants:

Het voorspellen van de exacte leeftijd van een persoon was moeilijk voor de geavanceerde AI-modellen.
Echter, de modellen waren wel enigszins goed in het opsporen of een brein "ouder" leek dan het zou moeten zijn (een teken van cognitieve problemen).
Maar: Zelfs hier worstelden de "out-of-the-box"-modellen om gezonde hersenen betrouwbaar te scheiden van die met cognitieve stoornissen. De "kloof" tussen een gezonde hersen en een zieke hersen was niet duidelijk genoeg voor de AI om consistent te detecteren.

4. De "Eye-Tracking"-Valstrik (BCI)

In de Brain-Computer Interface-tests ontdekten de onderzoekers dat sommige modellen aan het valsspelen waren.

De Analogie: Stel je een student voor die een toets maakt en niet de vragen leest, maar alleen kijkt waar de leraar met zijn vinger wijst.
De Realiteit: Sommige modellen pikten oogbewegingen of spierartefacten (ruis) op in plaats van de daadwerkelijke hersensignalen. Toen de onderzoekers de data schoonmaakten om deze "valsspelers" te verwijderen, daalde de prestatie van de modellen aanzienlijk, wat bewees dat ze niet echt "dachten" zoals we hoopten.

Het Uitspraak

NeuroAtlas is een realiteitscheck. Het zegt:

"We hebben de grootste, eerlijkste test voor hersengolf-AI gebouwd. De resultaten tonen aan dat hoewel deze modellen veelbelovend zijn, ze nog niet de wonderkogel zijn die we hoopten. Ze slaan niet consequent eenvoudige modellen, ze falen vaak als je kijkt naar de echte klinische vragen, en ze worstelen om te werken over verschillende ziekenhuizen en patiënten heen zonder zware aanpassingen."

Het artikel concludeert dat we moeten stoppen met alleen naar standaard wiskundige scores te kijken en moeten beginnen met het testen van modellen met realistische klinische metrieken als we ooit willen dat ze artsen in de toekomst helpen. Tot die tijd blijft het "out-of-the-box" verenigde hersenmodel een belofte, geen product.

Technische Samenvatting: NeuroAtlas

Probleemstelling

Funderingsmodellen (Foundation Models, FMs) beloven verenigde representaties te extraheren die generaliseren over downstream-taken, een vaardigheid die aanzienlijk succes heeft geboekt in gebieden zoals computervisie en natuurlijke taalverwerking. In elektro-encefalografie (EEG) zijn diverse FMs voorgesteld met als doel cross-domein generaliseerbare embeddings af te leiden uit enorme, diverse datasets. Echter, bestaande evaluaties van EEG-FMs lijden onder drie kritieke beperkingen die hun ware klinische bruikbaarheid en generalisatievermogen verduisteren:

Generalisatie binnen domein: De meeste benchmarks reduceren een klinisch domein tot één enkele dataset, waardoor ze geen rekening houden met aanzienlijke prestatievariaties veroorzaakt door verschillen in opnameapparatuur, elektrode-indeling, referentieschema's en populatiefenotypen.
Klinische relevantie van metrieken: Standaard geaggregeerde metrieken (bijv. AUROC, nauwkeurigheid) verbergen vaak faalmodi die kritiek zijn voor implementatie in de echte wereld, zoals hoge vals-positieve tarieven bij detectie van epileptische aanvallen of het onvermogen om klinisch betekenisvolle hypnogramkenmerken te herstellen bij slaapstadiëring.
Vergelijking met alternatieven: Bestaande benchmarks vergelijken EEG-FMs doorgaans alleen met elkaar, waardoor de waarde van EEG-specifiek voortrainen ongetoetst blijft in vergelijking met algemene tijdreeks-funderingsmodellen (TS-FMs) en modellen die met supervisie zijn voorgetraind op specifieke EEG-taken (Supervised-Pre).

Consequent blijft het onduidelijk of huidige EEG-FMs hun potentieel werkelijk waarmaken of dat hun prestaties voortkomen uit generieke temporele voortraining in plaats van EEG-specifieke architecturale keuzes.

Methodologie

De auteurs introduceren NeuroAtlas, de tot nu toe grootste EEG-benchmark, ontworpen om funderingsmodellen rigoureus te evalueren over vier distincte klinische domeinen: Epilepsie, Slaap, Hersenleeftijd en Brain-Computer Interfaces (BCI).

Omvang van de Benchmark

NeuroAtlas omvat 42 datasets en ongeveer 260.000 uur EEG-data:

Epilepsie: 7 datasets (~58k uur) die detectie van aanvallen bestrijken over neonatale, pediatrische en volwassen cohorten.
Slaap: 15 datasets (~201k uur) inclusief slaapstadiëring, detectie van micro-arousals, respiratoire gebeurtenissen en diagnose van cognitieve stoornissen.
Hersenleeftijd: 10 cohorten (~193k uur) met focus op voorspelling van chronologische leeftijd en de "Brain-Age Gap" (BAG) als marker voor cognitieve stoornissen.
BCI: 17 datasets (~170 uur) die Motor Imagery (MI), Event-Related Potentials (ERP), Steady-State Visually Evoked Potentials (SSVEP) en cognitieve/affectieve taken bestrijken.

Geëvalueerde Modelfamilies

De benchmark vergelijkt drie distincte families van modellen onder een uniek bevroren-encoder probe-protocol om de kwaliteit van voorgetrainde representaties te isoleren van fine-tuning of architectuurspecifieke aanpassing:

EEG Funderingsmodellen (EEG-FMs): 10 modellen (bijv. BIOT, LaBraM, EEGPT, NeuroLM, REVE) voorgetraind op EEG-data via zelftoezicht-objectieven (gemaskeerde reconstructie, contrastief leren).
Tijdreeks Funderingsmodellen (TS-FMs): 3 families (Chronos, Moirai, MOMENT) voorgetraind op diverse niet-EEG temporele corpora zonder EEG-specifieke architectuur.
Supervised-Pre Modellen: 7 taakspecifieke modellen voorgetraind op specifieke EEG-taken (bijv. Seizure-TF, SleepTransformer, EEGNet) die fungeren als gespecialiseerde baselines.

Willekeurige Initialisatie: Een willekeurig geïnitialiseerde versie van CBraMod is opgenomen om de bijdrage van voortraining te isoleren van de architectuur.

Evaluatieprotocol

Unificatie Lineaire Probing: Alle modellen worden geëvalueerd als vaste feature-extractors. Een lineaire probe (logistische regressie of ridge-regressie) wordt per fold aangepast op de bevroren embeddings zonder fine-tuning van de backbone.
Domeinspecifieke Metrieken: Naast standaard metrieken hanteert de benchmark klinisch onderbouwde maatstaven:
- Epilepsie: Gebeurtenis-niveau sensitiviteit bij vaste vals-positieve tarieven (Event-Sens@FA) in plaats van alleen venster-niveau AUROC.
- Slaap: Macrostructurele kenmerken afgeleid van het hypnogram (bijv. REM-latentie, totale slaaptijd) en gebeurtenisdetectie (micro-arousals).
- Hersenleeftijd: Voorspelling van chronologische leeftijd en de Brain-Age Gap (BAG) om scheiding van cognitieve stoornissen te beoordelen.
- BCI: Genormaliseerde gebalanceerde nauwkeurigheid met strikte statistische significantietests (binomiale tests) om rekening te houden met eindige steekproefgroottes en variërende klassenaantallen, samen met analyse van confound-filtering om afhankelijkheid van niet-neurale artefacten te detecteren.

Belangrijkste Resultaten

De evaluatie levert drie primaire bevindingen op:

Inconsistentie tussen Datasets: Modelrangschikkingen en absolute prestaties variëren aanzienlijk binnen hetzelfde domein over verschillende datasets. Een model dat op één dataset als eerste scoort, presteert vaak slecht op een andere, waardoor single-dataset benchmarks onbetrouwbare voorspellers zijn van algemeen gedrag.
EEG-FMs versus TS-FMs: EEG-specifieke funderingsmodellen presteren niet consequent beter dan generieke tijdreeks-funderingsmodellen. In veel gevallen bereiken TS-FMs (die geen EEG-specifieke architecturen of voortraining hebben) prestaties die gelijkwaardig zijn aan EEG-FMs. Dit suggereert dat gerapporteerde winsten in EEG-benchmarks voortkomen uit generieke grootschalige temporele voortraining in plaats van domeinspecifiek ontwerp.
Beperkingen van Geaggregeerde Metrieken: Standaard metrieken falen vaak om klinische bruikbaarheid te vangen.
- Bij Epilepsie kunnen modellen met een hoge AUROC onaanvaardbare vals-positieve tarieven genereren; gebeurtenis-niveau metrieken onthullen andere modelrangschikkingen.
- Bij Slaap garandeert hoge overeenkomst per epoch (Cohen's $\kappa$ ) geen accurate herstel van klinisch vitale hypnogramkenmerken (bijv. REM-latentie).
- Bij Hersenleeftijd produceren modellen die chronologische leeftijd goed voorspellen niet noodzakelijk een robuuste Brain-Age Gap die cognitief gestoorde patiënten kan scheiden van gezonde controles.
- Bij BCI wordt prestatie vaak gedreven door niet-neurale confounds (bijv. oogbewegingen); wanneer deze worden gefilterd, dalen veel modellen tot of onder willekeurig niveau.

Slechts een paar specifieke modellen (opvallend NeuroLM en REVE) scoren consequent in de top-tier over meerdere datasets en domeinen, maar zelfs zij vertonen geen universeel "out-of-the-box" vermogen.

Betekenis en Claims

Het artikel beweert dat NeuroAtlas een kloof blootlegt tussen de belofte van verenigde EEG-funderingsmodellen en hun huidige realiteit. De auteurs concluderen dat:

Voorgetrainde modellen grotendeels gelijk presteren aan elkaar, met slechts smalle voordelen voor een paar specifieke modellen.
Huidige modellen de belofte van een verenigd, "out-of-the-box" EEG-model dat robuust generaliseert over diverse klinische taken en datasets, nog niet waarmaken.
De benchmark de benodigde datasets, preprocessing-pipelines en klinisch onderbouwde metrieken biedt om de volgende generatie verenigde EEG-funderingsmodellen te sturen.

Het werk benadrukt dat toekomstige vooruitgang vereist dat men verder gaat dan single-dataset evaluaties en geaggregeerde metrieken, richting rigoureuze, multi-dataset testen met maatstaven die real-world klinische besluitvorming weerspiegelen.