🤖 machine learning

DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations

Het artikel introduceert DIVER-1, een zelftoezichtend fundamenteel model voor intracraniële EEG dat is getraind op een enorm, divers dataset en dat state-of-the-art overdraagbare representaties bereikt voor cognitieve decoding en aanvalsdetectie, terwijl het aantoont dat dataschaal en trainingsduur kritischer zijn dan het aantal parameters voor effectieve schaling.

Oorspronkelijke auteurs: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je hersenen een enorme, drukke stad zijn. Wanneer artsen willen begrijpen wat er in die stad gebeurt, plaatsen ze soms tiny microfoons (elektroden) direct op de straten of binnenin de gebouwen. Dit heet intracraniale EEG (iEEG). Het geeft een kristalheldere opname, seconde voor seconde, van de activiteit in de stad.

Er is echter een enorm probleem: elke stad ziet er anders uit. De ene patiënt heeft microfoons aan de noordkant, de ander aan de zuidkant; de ene heeft 10 microfoons, de ander 100. Vanwege dit feit is het tot nu toe ongelooflijk moeilijk geweest om een 'universele vertaler' (een AI) te bouwen die naar het brein van elke patiënt kan luisteren en het kan begrijpen. Eerdere pogingen met deze vertalers waren als het proberen een student te onderwijzen met slechts één specifiek lesboek, alleen om erachter te komen dat ze een ander niet kunnen lezen.

Maak kennis met DIVER-1. Denk aan DIVER-1 als een super slimme, aanpasbare student die elk beschikbare hersenopname heeft gelezen, niet slechts één specifiek type. Hier is hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: De "Eén-maat-voldoet-voor-geen" Puzzel

Eerdere AI-modellen waren als stijve Lego-setjes. Als je probeerde een kasteel te bouwen met een set die voor een ruimteschip was ontworpen, viel het uit elkaar.

Het Probleem: Hersenopnames variëren enorm. Sommige hebben elektroden in een rooster, andere in een lijn. Sommige nemen een fractie van een seconde op, anderen minutenlang.
De Oude Manier: Eerdere modellen dwongen alle data in één vaste vorm, waardoor belangrijke details verloren gingen of ze faalden in het verbinden van de punten tussen verschillende delen van het brein.

2. De Oplossing: De "Vormveranderende" Hersenen

DIVER-1 is anders opgebouwd. Het dwingt de data niet in een doos; het vormt zich naar de data toe.

De "Elke-Variabele" Aandacht: Stel je een groep mensen voor in een ruimte waar iedereen direct met iedereen kan praten, ongeacht waar ze staan of hoe laat het is. DIVER-1 doet dit met hersensignalen. Het laat elke 'microfoon' op elk moment in de tijd met elke andere 'microfoon' praten, en bedenkt hoe ze samenwerken zonder een vaste kaart nodig te hebben.
De "Aanpasbare" Invoer: Als je DIVER-1 een opname geeft met 5 elektroden, werkt het. Als je het 50 geeft, werkt het ook. Het geeft niets om de indeling; het leert de relaties tussen de signalen, niet alleen hun posities.

3. De Training: De "Marathon" versus de "Sprint"

De onderzoekers trainden DIVER-1 niet op een kleine dataset. Ze voerden het een enorme hoeveelheid data toe: 5.310 uur aan hersenopnames van 37 verschillende mensen.

De Schaal: Dit is ongeveer 54 keer meer data dan wat eerdere modellen gebruikten. Het is het verschil tussen het lezen van één enkel stripboek en het lezen van de volledige Library of Congress.
De Methode: In plaats van alleen naar het rauwe geluid te luisteren, werd DIVER-1 getraind om 'de gaten in te vullen'. De onderzoekers verbergden delen van de opname (zoals een liedje een paar seconden dempen) en vroegen de AI om te raden wat er ontbrak op basis van de rest van het lied. Dit dwong de AI om de diepe structuur van hersenactiviteit te leren.

4. De Resultaten: De Experts Verslaan

Het team testte DIVER-1 op twee zeer verschillende uitdagingen:

De "Filmkijker"-test (Neuroprobe): Ze vroegen de AI om te raden waarover een persoon dacht terwijl die naar een film keek (bijvoorbeeld: "Is het volume luid?" "Wordt er een woord gesproken?").
- Het Resultaat: DIVER-1 was het eerste model dat een eenvoudige, standaard baseline versloeg. Hoewel het was getraind op andere mensen dan degenen die werden getest, begreep het de hersensignalen beter dan modellen die op precies dezelfde mensen waren getraind.
De "Epileptische Aanval"-test (MAYO): Ze vroegen de AI om epileptische aanvallen te detecteren (plotselinge elektrische stormen in het brein).
- Het Resultaat: DIVER-1 was het beste in het opsporen van deze gebeurtenissen en presteerde beter dan alle eerdere modellen.

5. De Grote Ontdekking: Data boven Grootte

De meest verrassende bevinding ging over hoe je een betere AI bouwt.

Het Oude Geloof: "Als je een slimmere AI wilt, maak hem dan gewoon groter (voeg meer parameters/hersencellen toe)."
De DIVER-1 Ontdekking: "Nee, laat de AI eerst meer boeken lezen."
- De onderzoekers ontdekten dat voor hersendata meer data en langere training veel belangrijker zijn dan het model enorm maken.
- De Analogie: Stel je voor dat je een chef traint. Je kunt hen een grote, dure keuken geven (een enorm model), maar als ze slechts één recept één dag lang oefenen, worden ze geen meester. Het is beter om hen een kleine keuken te geven, maar ze duizenden verschillende maaltijden te laten koken gedurende een lange tijd. DIVER-1 bewees dat voor hersensignalen variatie en herhaling belangrijker zijn dan pure grootte.

Samenvatting

DIVER-1 is een nieuw type AI dat naar elk brein kan luisteren, ongeacht hoe de elektroden zijn gerangschikt. Door te trainen op een enorme, diverse bibliotheek van hersenopnames en zich te richten op het leren van patronen in plaats van alleen posities te memoriseren, is het de beste tool tot nu toe geworden om gedachten te decoderen en epileptische aanvallen te detecteren. De belangrijkste les? In de wereld van hersen-AI wint hoeveelheid en diversiteit van data elke keer modelgrootte.

Technische Samenvatting: DIVER-1

Probleemstelling

Intracraniële EEG (iEEG) biedt directe, op milliseconden gebaseerde opnames van menselijke neurale activiteit, wat het waardevol maakt voor cognitieve decodering, brain-computer interfaces en precisie-neuromedische toepassingen. Het ontwikkelen van herbruikbare foundation modellen voor iEEG is echter gehinderd door drie primaire knelpunten:

Beperkte Attention-architecturen: Bestaande modellen behandelen elektroden vaak onafhankelijk van elkaar of scheiden ruimtelijke en temporale verwerking, waardoor ze directe interacties tussen kanalen en over tijd missen die essentieel zijn voor het modelleren van de vertraagde interregionale coördinatie van het brein.
Vaste Pretraining-interfaces: Klinische iEEG-data varieert aanzienlijk tussen patiënten in het aantal kanalen, anatomische dekking, elektrodetype (SEEG versus ECoG) en referentieschema's. Huidige modellen gaan uit van vaste invoerwindows en kanaalindelingen, wat hun vermogen beperkt om te generaliseren naar variabele klinische scenario's of verschillende temporale contexten (bijvoorbeeld sub-seconden decodering versus detectie van aanvallen over meerdere seconden).
Ondergeschaalde Pretraining: Eerdere iEEG foundation modellen (zoals BrainBERT, PopT, BaRISTA) zijn getraind op relatief kleine datasets (bijvoorbeeld de ~40–43 uur durende BrainTreeBank), vaak beperkt tot opnames van kinderen die naar films kijken. Dit beperkt de schaal en diversiteit van pretraining in vergelijking met de enorme, heterogene data die beschikbaar is in klinische monitoring. Bovendien ontbreekt het in het veld aan gecontroleerde, rekenkracht-bewuste schaalwetten om te bepalen of prestatiewinst moet komen uit het vergroten van datavolume, modelparameters of trainingsduur.

Methodologie: DIVER-1 Architectuur en Training

De auteurs introduceren DIVER-1, een zelftoezichtend iEEG foundation model dat deze knelpunten aanpakt via een innovatieve architectuur en een grootschalige pretrainingstrategie.

Kernarchitectuurcomponenten

Any-Variate Electrode–Time Attention: In tegenstelling tot standaard Transformers die attention beperken tot temporale of ruimtelijke assen, maakt DIVER-1 gebruik van volledige self-attention over alle electrode-tijd tokens. Om dit expressief te maken zonder een vaste montage aan te nemen, injecteert het ruimtelijk-temporale structuur direct in het attention-mechanisme met behulp van:
- RoPE (Rotary Positional Embeddings): Codeert temporale offsets.
- Leerbaar Bias: Onderscheidt tussen interacties binnen hetzelfde kanaal en tussen kanalen, waarbij kanaalpermutatie-equivalentie behouden blijft zelfs zonder expliciete ruimtelijke metadata.
Input-geconditioneerde Encoding: Om om te gaan met variabele elektrode-indelingen en referentieschema's, maakt DIVER-1 gebruik van:
- Spatio-Temporal Conditional Positional Embedding (STCPE): Een schuifvenstermechanisme gebaseerd op de MOIRAI-architectuur dat lokale ruimtelijk-temporale bias biedt zonder afhankelijk te zijn van een vaste kanaalvolgorde of absolute coördinaten.
- Spatio-Temporal Resampling (STR): Tijdens pretraining samplet het model willekeurige subsets van kanalen en temporale patches uit segmenten van 30 seconden. Dit dwingt het model om robuuste representaties te leren uit variabele invoergroottes en contexten.
- Multi-Domain Reconstruction (MDRO): Het model wordt getraind om gemaskeerde patches te reconstrueren over meerdere signaaldomeinen (ruwe tijd-domein, FFT-frequentiespectra en STFT tijd-frequentie representaties), in plaats van alleen ruwe golfvormen.
Positionele en Spectrale Embeddings: Het model neemt kanaalmetadata (3D MNI-coördinaten, elektrodetype) en spectrale kenmerken (FFT-getransformeerde patches) op als invoerembeddings.

Pretraining en Schaalstudie

Dataset: DIVER-1 is voorgeïmplementeerd op 5.310 uur aan iEEG-data (352k kanaal-uren) verspreid over 37 proefpersonen, bestaande uit zowel ECoG- als SEEG-opnames van meerdere centra. Dit volume is ongeveer 54× groter dan het BrainTreeBank-corpus dat voor eerdere modellen werd gebruikt.
Modelvarianten: Twee varianten zijn geïmplementeerd om verschillende temporele granulariteiten te matchen: DIVER-1-0.1s (50-steekproefpatches) en DIVER-1-1s (500-steekproefpatches).
Schaalwet-analyse: De auteurs hebben de eerste gecontroleerde, rekenkracht-bewuste schaalstudie uitgevoerd voor zelftoezichtende iEEG-pretraining. Zij varieerden dataschaal, aantal proefpersonen, trainingsduur en modelgrootte (tot 1,83 miljard parameters) met behulp van maximal update parameterization (µP) om stabiele hyperparameter-overdracht over modelbreedtes te garanderen.

Belangrijkste Resultaten

Downstream Prestaties

DIVER-1 werd geëvalueerd op twee vastgehouden benchmarks: Neuroprobe (15-taken natuurlijke cognitieve decodering) en MAYO (detectie van aanvallen).

Neuroprobe: DIVER-1-0.1s behaalde de beste gemiddelde AUROC onder alle geëvalueerde iEEG foundation modellen en supervised baselines. Opmerkelijk is dat het de lineaire spectrogram-decoder voorbijstreefde, waardoor de eerdere bevinding dat voorgeïmplementeerde iEEG-modellen onder prestaties van eenvoudige lineaire baselines lijden bij evaluatie met lekkagebewustzijn, werd omgedraaid. Het bereikte dit ondanks dat het was voorgeïmplementeerd op externe volwassen data, terwijl Neuroprobe uit pediatrische data bestaat, wat sterke cross-dataset-overdracht aantoont.
MAYO: DIVER-1-1s behaalde de hoogste AUROC voor detectie van aanvallen, en presteerde beter dan BrainBERT en Brant.
Lineair Probing: Het bevroren DIVER-1-0.1s-model was zeer concurrerend en presteerde vaak beter dan zijn volledig fijn afgestemde tegenhanger op Neuroprobe, wat aangeeft dat de voorgeïmplementeerde representaties al lineair bruikbaar zijn.

Schaalwetbevindingen

De schaalstudie onthulde een data-beperkt regime voor iEEG foundation modellen:

Data versus Parameters: Het vergroten van unieke data-opnames en trainingsduur leverde betrouwbaardere prestatiewinst op dan het alleen vergroten van het aantal parameters.
Rekenkracht-optimale Toewijzing:
- Wanneer nieuwe data beschikbaar is, is de optimale strategie om eerst de data te schalen, vervolgens de trainingsduur, en tot slot de modelparameters.
- Wanneer het corpus vaststaat, is de optimale strategie om langer te trainen (meer passes) op kleinere tot middelgrote modellen in plaats van zeer grote modellen kort te trainen.
Afnemende Opbrengsten: De studie kwantificeerde afnemende opbrengsten voor herhaalde data ( $R^*_D \approx 9,5$ epochs) en excessieve parameters ( $R^*_N \approx 3,4$ ), wat suggereert dat winst het beste wordt behaald door het herhalen van datasets te schalen terwijl modelgroottes gematigd blijven.

Betekenis en Claims

Het artikel beweert dat DIVER-1 een belangrijke stap voorwaarts is in iEEG foundation modeling door:

Overdraagbare Representaties te Realiseren: Het aantonen dat grootschalige, heterogene pretraining representaties kan produceren die overdragen tussen proefpersonen, centra en klinische taken, waardoor de beperkingen van eerdere modellen die op smalle, kleine datasets zijn getraind, worden overwonnen.
Een Nieuw Schaalparadigma te Vestigen: Het leveren van de eerste gecontroleerde bewijzen dat iEEG-pretraining data-beperkt is. De auteurs betogen dat de gemeenschap prioriteit moet geven aan het uitbreiden van unieke opnamevolumes en trainingsduur boven het simpelweg vergroten van het aantal modelparameters, een bevinding die contrasteert met de zware parameter-schaalwetten die vaak worden waargenomen bij taalmodellen.
Architecturale Innovatie: Het introduceren van een architectuur die de variabiliteit van klinische iEEG (variabele kanalen, referenties en temporale contexten) op natuurlijke wijze verwerkt via any-variate attention en input-geconditioneerde positionele embeddings, waardoor robuuste modellering van ruimtelijk-temporale neurale dynamiek mogelijk wordt zonder vaste montages.

De auteurs concluderen dat het pad vooruit voor iEEG foundation modellen bestaat uit "eerst data schalen, vervolgens langer trainen, en tot slot parameters schalen."