Brain-OF: An Omnifunctional Foundation Model for fMRI, EEG and MEG

Brain-OF is het eerste omnifunctionele fundamentele model dat fMRI-, EEG- en MEG-data gezamenlijk verwerkt via een uniek raamwerk met een Any-Resolution Neural Signal Sampler, DINT-attention en Masked Temporal-Frequency Modeling om superieure prestaties te leveren op diverse neurowetenschappelijke taken.

De kern

Brain-OF: De "Alles-kunnen" Brein-Computer

Stel je voor dat je drie verschillende vertalers hebt die proberen hetzelfde verhaal te vertellen, maar elk in een heel andere taal en met een ander tempo:

1. fMRI (De Landkaart): Deze vertelt je waar in het brein iets gebeurt, heel gedetailleerd, maar het verhaal komt met een vertraging. Het is alsof je een foto maakt van een stad, maar de auto's die je ziet, zijn van een uur geleden.
2. EEG (De Snelle Reporter): Deze vertelt je wanneer iets gebeurt, tot op de milliseconde nauwkeurig, maar het is vaag waar het precies gebeurt. Het is alsof je een radio hoort die razendsnel nieuws brengt, maar je ziet de nieuwslezer niet.
3. MEG (De Hybrid): Dit is een mix van beide: snel als de radio, maar iets duidelijker over de locatie dan de EEG.

Tot nu toe hadden wetenschappers aparte modellen voor elke "taal". Ze leerden de computer alleen de landkaart te lezen, of alleen de snelle radio. Maar het brein werkt niet zo; het gebruikt alles tegelijk.

Wat is Brain-OF?
De onderzoekers hebben Brain-OF bedacht. Dit is de eerste "Alles-kunnen" (omnifunctionele) brein-model. Het is als een super-intelligente vertaler die alle drie de talen tegelijk spreekt en begrijpt. Door alle drie de signalen samen te voegen, kan het model een completer en scherper beeld vormen van wat er in je hoofd gebeurt.

Hoe werkt het? (De Magische Trucs)

Om deze drie verschillende signalen samen te laten werken, gebruiken ze drie slimme trucjes:

• De "Alles-in-Één" Vertaler (ARNES):
  Stel je voor dat je een brief krijgt in een taal met 100 woorden per zin, en een andere in een taal met 10 woorden. Brain-OF gebruikt een slimme "sampler" (een soort vertaal-apparaat) die alle signalen omzet naar één standaard formaat. Het maakt de snelle signalen iets langzamer en de trage signalen iets sneller, zodat ze allemaal op hetzelfde "papier" passen. Zo kan het model ze allemaal tegelijk lezen zonder in de war te raken.

• De Expert-Panel (MoE):
  Soms zijn de signalen heel anders van aard. Om dit op te lossen, heeft Brain-OF een team van experts in dienst.

  • Er zijn algemene experts die de dingen begrijpen die voor alle drie de signalen hetzelfde zijn (bijvoorbeeld: "oh, dit is een gedachte").
  • Er zijn gespecialiseerde experts die alleen kijken naar de unieke kenmerken van één signaal (bijvoorbeeld: "dit is specifiek voor de snelle EEG").
    Het model schakelt slim tussen deze experts. Zo leert het niet alleen van één signaal, maar ook van de verschillen tussen ze.

• De Dubbele Check (MTFM):
  Normaal gesproken proberen AI-modellen alleen te raden wat er later gebeurt in de tijd. Brain-OF doet iets unieks: het leert ook te kijken naar de frequentie (de trillingen) van het signaal.
  Het is alsof je niet alleen leest wat er staat, maar ook luistert naar de toonhoogte van de stem. Door het model te dwingen om het signaal te reconstrueren in zowel de tijd als de trillingen, leert het de diepere, biologische betekenis van de hersenactiviteit veel beter begrijpen.

Waarom is dit geweldig?

• Het leert van elkaar: Omdat het model fMRI, EEG en MEG samen ziet, kan het de snelheid van EEG gebruiken om de vertraging van fMRI te compenseren, en de scherpe locatie van fMRI gebruiken om de vaagheid van EEG op te lossen. Het is een perfecte samenwerking.
• Het werkt overal: Het model is getraind op enorme hoeveelheden data van bijna 40 verschillende studies. Hierdoor werkt het goed voor heel veel taken: het kan hersenactiviteit gebruiken om ziektes zoals Alzheimer te detecteren, epileptische aanvallen te voorspellen, of zelfs om te raden hoe oud iemand is.
• Het is slim en snel: Zelfs als je maar weinig data hebt (bijvoorbeeld in een klein ziekenhuis), werkt dit model al heel goed, omdat het al zoveel heeft geleerd tijdens zijn "opleiding".

Kortom:
Brain-OF is als het bouwen van een universele vertaler voor het menselijk brein. In plaats van te kiezen tussen een snelle maar vage beschrijving of een trage maar scherpe kaart, combineert het de beste eigenschappen van alle drie. Dit opent de deur naar betere diagnoses, snellere behandelingen en een dieper begrip van hoe ons brein echt werkt.

Technische samenvatting

Titel: Brain-OF: Een Omnifunctioneel Fundamenteel Model voor fMRI, EEG en MEG

Auteurs: Hanning Guo, Farah Abdellatif, Hanwen Bi, Andrei Galbenus, Jon N. Shah, Abigail Morrison, Jürgen Dammers.
Publicatiedatum: Maart 2026 (Preprint).

---

1. Het Probleem

Bestaande fundamentele modellen voor de hersenen (brain foundation models) hebben aanzienlijke vooruitgang geboekt in diverse neurowetenschappelijke taken. Echter, deze modellen zijn doorgaans beperkt tot één functionele modality (bijv. alleen fMRI, alleen EEG of alleen MEG). Dit creëert drie belangrijke beperkingen:

1. Data-schaal en diversiteit: Door zich te beperken tot één modality, kunnen deze modellen niet profiteren van de collectieve schaal van data over verschillende beeldvormingstechnieken heen.
2. Complementaire dynamiek: fMRI, EEG en MEG hebben fundamenteel verschillende fysische meetprincipes en spatiotemporale resoluties. fMRI heeft een hoge ruimtelijke resolutie maar lage temporele resolutie (hemodynamisch signaal), terwijl EEG en MEG een uitstekende temporele resolutie hebben maar lagere ruimtelijke precisie. Bestaande modellen missen de kans om deze complementariteit te benutten voor een holistische karakterisering van hersendynamiek.
3. Heterogeniteit: Het integreren van deze data is technisch uitdagend vanwege variaties in scanapparatuur, bemonsteringssnelheden, opnameprotocollen en de inherente ruis in hersensignalen (laag signaal-ruisverhouding).

2. Methodologie: Brain-OF Architectuur

Brain-OF is het eerste omnifunctionele fundamentele model dat gezamenlijk wordt voorgeïntroduceerd (pretrained) op fMRI, EEG en MEG binnen één unified framework. De architectuur bestaat uit de volgende kerncomponenten:

A. Any-Resolution Neural Signal Sampler (ARNESS)

Om de heterogene spatiotemporale resoluties te reconciliëren, projecteert ARNESS diverse hersensignalen naar een gedeelde semantische ruimte.

• Het gebruikt een Perceiver-style cross-attention mechanisme.
• Het transformeert inputsignalen met variërende lengtes en kanalen naar een vaste, compacte reeks van learnable latent tokens ($Z$).
• Dit maakt het mogelijk voor de achterliggende backbone om alle inputs uniform te verwerken, ongeacht de oorspronkelijke modality of resolutie, en verlaagt de computationele kosten voor high-dimensional signalen.

B. DINT Attention Mechanisme

Om het probleem van "attention noise" aan te pakken (waarbij het model irrelevant ruis of fluctuaties in de hersensignalen te veel aandacht geeft), introduceert het model Differential-Integral (DINT) Attention.

• Differentiële component: Berekent het verschil tussen twee attention distributies om ruis te onderdrukken.
• Integrale component: Berekent een globale belangrijkheidsscore om globale afhankelijkheden te vangen.
• Dit zorgt voor een scherpere focus op biologisch betekenisvolle patronen in plaats van irrelevante fluctuaties.

C. Sparse Mixture of Experts (SMoE)

Om de semantische heterogeniteit tussen de modaliteiten te hanteren zonder dat verbetering in één modality ten koste gaat van een andere (het "modality seesaw" effect), gebruikt Brain-OF een SMoE architectuur.

• Shared Experts: Vangen modality-invariante representaties (gemeenschappelijke kennis).
• Routed Experts: Specialiseren zich in modality-specifieke semantiek.
• Tokens worden dynamisch gerouteerd naar de juiste experts, wat zorgt voor een gebalanceerde belasting zonder extra auxiliary losses.

D. Masked Temporal-Frequency Modeling (MTFM)

In plaats van alleen tijd-domein reconstructie, introduceert Brain-OF een dual-domain pretraining doel.

• Signalen worden gemaskeerd in zowel het tijdsdomein als het frequentiedomein (via Fourier-transformatie).
• Het model moet zowel de gemaskeerde tijdsstappen als de frequentiecomponenten reconstrueren.
• Dit dwingt het model om de onderliggende gekoppelde dynamiek van neurale signalen te internaliseren, waarbij de hoge temporele resolutie van EEG/MEG de latentie van fMRI compenseert en vice versa.

3. Belangrijkste Bijdragen

1. Unificatie van Modaliteiten: Brain-OF is het eerste model dat fMRI, EEG en MEG gezamenlijk verwerkt, waardoor generalisatie over modaliteiten, taken, locaties en proefpersonen wordt verbeterd.
2. Grootste Corpus: Het model is getraind op een corpus van ongeveer 40 datasets met meer dan 32.000 unieke deelnemers en bijna 6 miljoen samples.
3. Nieuwe Architectuur: De combinatie van ARNESS, DINT Attention en SMoE biedt een robuuste oplossing voor heterogene neurale data.
4. Dual-Domain Pretraining: De MTFM methode stelt het model in staat om zowel temporele als spectrale kenmerken actief te leren, in plaats van passief te extraheren.

4. Resultaten

Brain-OF werd geëvalueerd op 7 downstream taken (waaronder emotieherkenning, epilepsiedetectie, Alzheimer-diagnose, ADHD-identificatie en hersenleeftijdsvoorspelling) over 11 experimenten.

• State-of-the-Art Performance: De "Brain-OF Huge" variant (1.7B parameters, 500M actieve parameters) behaalde de beste resultaten in 7 van de 9 taken, met een gemiddelde rang van 1,8 over alle settings.
• Schalbaarheid: Er is een consistente prestatieverbetering waargenomen naarmate het model groter wordt (van Base naar Large naar Huge).
• Multimodale Fusie: Bij multimodale taken (bijv. fMRI + MEG) presteerde het model significant beter dan unimodale baselines. De fusie leverde complementaire ruimtelijke en temporele informatie op die de voorspellende kracht verhoogde.
• Ablatie Studies:
  • Het verwijderen van MTFM leidde tot prestatieverlies, wat aantoont dat dual-domain reconstructie essentieel is.
  • Het verwijderen van één modality tijdens training leidde niet altijd tot een catastrofaal verlies op die specifieke modality, wat bewijst dat het model robuuste, modality-invariante representaties heeft geleerd die kennis kunnen overdragen.
• Interpreteerbaarheid: Visualisaties (occlusie-methoden) toonden aan dat het model biologisch plausibele kenmerken leert (bijv. focus op het fusiform gyrus bij Alzheimer-diagnose), in plaats van spurious correlaties.

5. Betekenis en Impact

• Doorbraak in Neuro-AI: Brain-OF overbrugt de kloof tussen verschillende neurobeeldvormingstechnieken, waardoor onderzoekers de hoge ruimtelijke resolutie van fMRI kunnen combineren met de temporele precisie van EEG/MEG.
• Klinische Toepassingen: Het model belooft betere diagnose en monitoring voor aandoeningen zoals epilepsie, neurodegeneratieve ziekten (Alzheimer) en cognitieve stoornissen.
• Transfer Learning: Het model kan kennis overdragen van dure modaliteiten (fMRI/MEG) naar betaalbare, draagbare modaliteiten (EEG), wat de implementatie van neurotechnologie in de praktijk versnelt.
• Open Source: De release van Brain-OF Huge als open-source model verlaagt de drempel voor onderzoekers die geen middelen hebben om grote modellen vanaf nul te trainen.

Conclusie:
Brain-OF vertegenwoordigt een significante stap naar een algemeen toepasbaar, schaalbaar en interpreteerbaar fundamenteel model voor de hersenen. Door de heterogeniteit van neurale signalen te omarmen in plaats van te negeren, en door gebruik te maken van dual-domain pretraining, stelt het de basis voor de volgende generatie neurowetenschappelijke en klinische AI-toepassingen.