NeuroNarrator: A Generalist EEG-to-Text Foundation Model for Clinical Interpretation via Spectro-Spatial Grounding and Temporal State-Space Reasoning

NeuroNarrator is het eerste algemene EEG-naar-tekst fundamenteel model dat, ondersteund door de grote NeuroCorpus-160K-dataset, elektrofysiologische signalen vertaalt naar klinisch betekenisvolle narratieven door spectro-spatiale verankering en tijdsgebonden state-space-resoneren te combineren.

De kern

Stel je voor dat een EEG-scan (een hersenmeting) een heel snel, chaotisch en onleesbaar boek is. De lijnen dansen wild over het papier, en voor een arts is het een enorme klus om te vertalen wat die lijnen eigenlijk zeggen. Meestal kijken computers naar deze lijnen en zeggen ze alleen: "Dit is een epileptische aanval" of "Dit is slaap". Maar ze vertellen niet waarom, of hoe het eruit ziet, of hoe het zich ontwikkelt.

Deze paper introduceert NeuroNarrator, een slimme computer die dit boek niet alleen leest, maar er een verhaal van maakt.

Hier is hoe het werkt, vertaald in alledaags taalgebruik:

1. Het Grote Verzamelpunt: NeuroCorpus-160K

Stel je voor dat je wilt leren hoe je een taal spreekt. Je hebt duizenden boeken nodig. NeuroNarrator heeft een enorme bibliotheek gekregen genaamd NeuroCorpus-160K.

• Het probleem: Vroeger hadden wetenschappers losse EEG-opnames en losse medische verslagen. Ze waren niet aan elkaar gekoppeld.
• De oplossing: De onderzoekers hebben 160.000 stukjes EEG (elk 10 seconden lang) gekoppeld aan een precies, menselijk geschreven verslag. Het is alsof ze 160.000 korte filmpjes hebben gemaakt met een ondertitel die precies uitlegt wat er in dat filmpje gebeurt. Dit is de "school" waar de computer leert.

2. De Twee Ogen: Tijd en Ruimte

Om een goed verhaal te vertellen, moet je twee dingen tegelijk zien:

1. De Tijd (De golflijn): Hoe bewegen de lijnen? Springen ze omhoog? Dalen ze?
2. De Ruimte (Het hoofdkaartje): Waar op het hoofd gebeurt het? Is het links, rechts, vooraan of achteraan?

De Analogie:
Stel je voor dat je naar een orkest kijkt.

• De tijd is de muziek die je hoort (de melodie).
• De ruimte is waar de muzikanten zitten (de violisten links, de trompetters rechts).
• Als je alleen naar de muziek luistert, weet je niet wie het speelt. Als je alleen naar de muzikanten kijkt, hoor je niets.
• NeuroNarrator heeft twee "ogen": één kijkt naar de golflijnen (tijd) en één kijkt naar een kaart van het hoofd (ruimte). Het koppelt deze twee aan elkaar, zodat het weet: "Ah, die snelle piek in de muziek komt van de muzikant rechtsvoor."

3. De "Tijdmachine": Het Verleden Meenemen

Hersenactiviteit verandert voortdurend. Een aanval begint vaak langzaam en bouwt zich op. Als je alleen naar één moment kijkt, mis je het verhaal.

De Analogie:
Stel je voor dat je een film kijkt. Als je alleen naar één frame kijkt, zie je een man die rent. Je weet niet of hij rent omdat hij een trein mist, of omdat hij wordt achtervolgd.

• NeuroNarrator kijkt niet alleen naar het huidige plaatje, maar ook naar de laatste paar frames (de voorafgaande seconden).
• Dit noemen ze "State-Space Reasoning". Het is alsof de computer een tijdmachine heeft die hem laat zien hoe de hersenen zich in de laatste paar seconden hebben ontwikkeld. Zo kan het zeggen: "De activiteit begon rustig en is nu langzaam steiler geworden," in plaats van alleen "Er is activiteit."

4. Het Vertalen naar Mensentaal

Uiteindelijk moet de computer een tekst schrijven die een arts begrijpt.

• Oude methode: De computer zegt: "Klassificatie: Epilepsie." (Te kort, te saai).
• NeuroNarrator methode: De computer zegt: "In dit segment van 10 seconden zien we een scherpe piek die begint in de rechterkant van het hoofd en zich uitbreidt. De frequentie neemt toe, wat wijst op een beginnende aanval."

Het gebruikt een Grote Taalmodel (zoals een super-slimme chatbot) dat is getraind om deze technische details om te zetten in een vloeiend, medisch verhaal.

Waarom is dit belangrijk?

Vroeger waren computers als stempels: ze stempelden iets als "Goed" of "Slecht".
NeuroNarrator is als een verteller. Het helpt artsen door:

1. Sneller te werken: De computer schrijft het ruwe verslag al voor.
2. Betere diagnoses: Omdat het de ontwikkeling van de hersenen beschrijft, niet alleen het eindresultaat.
3. Minder fouten: Het let op details die een mens misschien over het hoofd ziet omdat het zo snel gaat.

Kortom: NeuroNarrator is de eerste computer die niet alleen "weet" wat er in je hersenen gebeurt, maar het ook weet te vertellen in een verhaal dat een arts kan begrijpen, waarbij het let op de tijd, de plek en de veranderingen in je hersengolven.

Technische samenvatting

Probleemstelling

Elektroencefalografie (EEG) biedt een niet-invasief venster op neurale dynamiek met hoge temporale resolutie en is cruciaal voor klinische neurowetenschappen. Desondanks zijn bestaande computationele benaderingen voor EEG-analyse grotendeels beperkt tot:

1. Taakspecifieke classificatie: Modellen zijn geoptimaliseerd voor gesloten sets van labels (bijv. "aanval" vs. "geen aanval") in plaats van open-ended interpretatie.
2. Grofkorrelige patronen: Bestaande methoden genereren vaak samenvattingen op het niveau van de hele opname, waardoor de fijne, tijdsgebonden evolutie van pathologische gebeurtenissen (zoals de opbouw van een epileptische aanval) verloren gaat.
3. Gebrek aan semantische gronding: Bestaande foundation modellen vertalen EEG-signalen naar abstracte latente representaties zonder expliciete koppeling aan klinische taal of ruimtelijke topografie.

Klinische rapportage vereist echter gedetailleerde, segment-level beschrijvingen die de morfologie van het golfpatroon, de spectrale structuur, de ruimtelijke lokalisatie en de tijdsafhankelijke evolutie expliciet beschrijven.

Methodologie: Het NeuroNarrator Framework

NeuroNarrator is de eerste generalistische foundation model die EEG-segmenten vertaalt naar nauwkeurige, klinisch onderbouwde natuurlijke taal. Het framework bestaat uit drie kerncomponenten:

1. NeuroCorpus-160K: Een Gecombineerde Dataset

De auteurs hebben een nieuw, harmoniserend dataset samengesteld genaamd NeuroCorpus-160K.

• Omvang: Bevat meer dan 160.000 EEG-segmenten (10 seconden per segment) gekoppeld aan gestructureerde, klinisch onderbouwde natuurlijke taalbeschrijvingen.
• Diversiteit: Geïntegreerd uit 16 heterogene openbare datasets die variëren in hardware, protocollen en klinische toepassingen (bijv. epilepsie, slaap, ADHD, motorische imagery).
• Preprocessing: Een strikte pijplijn normaliseert signalen (bandpass-filtering, notch-filtering, hersampling naar 200 Hz) en harmoniseert elektrode-montage.
• Data Generatie: Gestructureerde features (gebeurtenissen, frequentie-domein, ruimtelijke energie) worden gegenereerd en vervolgens verrijkt tot vloeiende klinische narratives door GPT-4.1, waarbij expliciete aandacht wordt besteed aan temporale context (voorgaande segmenten).

2. Spectro-Spatiale Gronding (Spectro-Spatial Grounding)

Om de kloof tussen het signaal en de taal te overbruggen, wordt een dual-stream architectuur gebruikt:

• Temporale Stream: Een vooraf getrainde EEG-encoder (LaBraM-Base) verwerkt de multichannel golfvormen om temporale afhankelijkheden te extraheren.
• Ruimtelijke Stream: Voor elk segment wordt een topografische kaart (scalp map) gegenereerd. Een bevroren CLIP ViT-Large vision encoder verwerkt deze kaart om ruimtelijke patronen te extraheren.
• Contrastieve Alignering: Een contrastief leerdoel (SigLIP-geïnspireerd) projecteert beide streams naar een gedeelde semantische manifold. Dit dwingt een strikte correspondentie af tussen de spectrale dynamiek (tijd/frequentie) en de ruimtelijke energieverdeling, wat de "grounding" van het model garandeert.

3. State-Space Geïnspireerde Generatie

Het model behandelt EEG niet als statische snapshots, maar als een continue traject door een latente ruimte van hersentoestanden.

• Context: De generatie van de tekst voor een huidig segment ($x_t$) is conditioneel op een korte geschiedenis van voorgaande segmenten ($x_{t-N} \dots x_{t-1}$).
• Architectuur: De gealigneerde embeddings (zowel van het huidige segment als de historische trajecten) worden als "soft prompts" ingebracht in een Large Language Model (LLM), specifiek Qwen3-4B-Instruct.
• Doel: Dit stelt het model in staat om de evolutie van hersentoestanden (bijv. de progressie van een aanval) te modelleren en coherent, tijdsgebonden narratives te genereren.

Kernbijdragen

1. NeuroCorpus-160K: De eerste grote, open-vocabulary corpus die EEG-segmenten koppelt aan gestructureerde klinische narratives, met een strikte subject-disjoint splitsing voor robuuste evaluatie.
2. Contrastieve Spectro-Spatiale Alignering: Een mechanisme dat de ambiguïteit van single-modality encoding oplost door expliciete koppeling van tijdsdynamiek en ruimtelijke topografie.
3. Universeel State-Space Framework: Een multimodaal LLM-architectuur die historische context integreert om niet-stationaire neurale dynamiek te modelleren, in plaats van alleen statische classificatie.

Resultaten

De evaluatie omvatte diverse benchmarks, zero-shot transfer en ablatiestudies:

• Spectro-Spatiale Alignering: De contrastieve training resulteerde in een hoge precisie bij cross-modale retrieval (EEG naar topografische kaart en omgekeerd), met een gemiddelde Recall@1 van 84,19% en 86,09%.
• Kwaliteit van Narratives: NeuroNarrator behaalde een gemiddelde BERTScore van 0,731 en een hoge Fact-F1 (0,703), wat aantoont dat de gegenereerde teksten semantisch accuraat en feitelijk consistent zijn met het signaal.
• Klinische Validatie: Een multi-dimensionale evaluatie (via GPT-4.1 als adjudicator) beoordeelde de output op vijf assen (gebeurtenisidentificatie, lokalisatie, frequentie, trend, niet-dominante spectrale veranderingen). Het model scoorde consistent hoog.
• Vergelijking met Baselines: Hoewel NeuroNarrator een open-vocabulary generatief model is (en dus niet direct vergelijkbaar met gesloten-set classifiers), presteerde het robuust op diverse datasets zonder dataset-specifieke fine-tuning. Het overtrof gespecialiseerde discriminatieve modellen in termen van algemene interpretatiecapaciteit.
• Zero-Shot Generalisatie: Het model toonde vermogen om zich aan te passen aan volledig nieuwe datasets (Depression-122, Siena, SEED-IV) zonder parameter-aanpassing, met balanced accuracies van respectievelijk 52,94%, 62,53% en 43,04%.
• Ablatie: Het verwijderen van de historische context leidde tot de grootste prestatiedaling, wat het belang van state-space reasoning bevestigt.

Betekenis en Toekomstperspectief

NeuroNarrator markeert een paradigmaverschuiving in de EEG-analyse:

• Van Classificatie naar Interpretatie: Het verlegt de focus van het voorspellen van discrete labels naar het genereren van uitgebreide, klinisch onderbouwde narratives die de complexiteit van het signaal behouden.
• Tijdsgebonden Inzicht: Door de integratie van historische context en ruimtelijke topografie, kan het model niet-stationaire dynamiek (zoals de opbouw van een epileptische crisis) beter interpreteren dan eerdere "snapshot"-benaderingen.
• Klinische Werkstroom: Het systeem kan clinici helpen bij het snel identificeren van verdachte periodes en het standaardiseren van rapportage, terwijl de uiteindelijke beslissing bij de expert blijft.
• Toekomst: De auteurs zien een toekomst waarin EEG-interpretatie volledig wordt geformuleerd als signaal-gebaseerde taalgeneratie, wat de weg vrijmaakt voor real-time, continue interpretatie in klinische en onderzoeksmilieu's.

Samenvattend biedt NeuroNarrator een fundamenteel raamwerk voor het begrijpen van elektrofysiologische data door deze te vertalen naar menselijk taalgebruik, waarbij de fysieke, ruimtelijke en temporale eigenschappen van het hersensignaal nauwkeurig worden gerespecteerd.