PRISM: Exploring Heterogeneous Pretrained EEG Foundation Model Transfer to Clinical Differential Diagnosis

Dit paper introduceert PRISM, een EEG-foundationmodel dat aantoont dat pretraining op een geografisch diverse dataset leidt tot robuustere en beter aanpasbare representaties voor klinische differentiaaldiagnose dan modellen die uitsluitend op smalle, westerse bronnen zijn getraind, terwijl het ook kritische methodologische inconsistenties in bestaande benchmarks blootlegt.

De kern

PRISM: De "Wereldreiziger" versus de "Lokale Expert" in de Hersenwereld

Stel je voor dat je een superintelligente robot wilt bouwen die hersenactiviteit (EEG) kan lezen. Deze robot moet ziektes zoals epilepsie kunnen herkennen, maar ook andere aandoeningen die er heel veel op lijken.

De onderzoekers van dit paper (PRISM) hebben een groot probleem ontdekt: de meeste robots die we nu bouwen, worden getraind op data van slechts één soort mensen uit één soort landen (voornamelijk Europa en de VS). Het is alsof je een robot alleen leert rijden op de straten van Amsterdam, en hem daarna de test geeft om te rijden in de modderige wegen van India of de smalle steegjes van Bangkok. Misschien werkt hij daar wel, maar misschien faalt hij ook.

De onderzoekers hebben een nieuwe robot gebouwd, PRISM, en hebben gekeken wat er gebeurt als je hem niet alleen leert op "lokale" data, maar op een wereldwijde mix van data.

Hier zijn de drie belangrijkste lessen, vertaald naar alledaagse taal:

1. De "Lokale Expert" vs. De "Wereldreiziger"

De onderzoekers hebben twee versies van hun robot getraind:

• Versie A (De Lokale Expert): Getraind op data van alleen Europa en de VS.
• Versie B (De Wereldreiziger): Getraind op diezelfde data, PLUS data van duizenden patiënten uit Zuid-Azië, met verschillende apparatuur en verschillende culturen.

Het verrassende resultaat:

• Als je de robot vraagt iets te doen dat precies lijkt op wat hij al heeft geoefend (een simpele test), wint Versie A vaak. Hij kent de regels van die specifieke test uit zijn hoofd.
• Maar als je de robot vraagt om zich aan te passen aan een nieuwe, moeilijke taak (zoals een echte diagnose stellen), wint Versie B vaak. Omdat hij al veel verschillende soorten mensen en apparatuur heeft gezien, kan hij sneller leren en zich beter aanpassen.

De les: Het is niet altijd nodig om een enorme hoeveelheid data van dezelfde soort mensen te hebben. Een kleinere hoeveelheid data, maar dan van heel verschillende mensen (diversiteit), is vaak beter dan een gigantische hoeveelheid data van slechts één groep.

2. De "Moeilijkste Test" (Epilepsie vs. De Verkeerde Diagnose)

De echte kracht van de "Wereldreiziger" bleek bij de allerlastigste test: het onderscheid maken tussen epilepsie en psychogene aanvallen (aanvallen die eruitzien als epilepsie, maar geen epilepsie zijn). Dit is een enorme uitdaging voor echte artsen; ze maken hier vaak fouten in.

• De "Lokale Expert" (Versie A) faalde bijna op deze test.
• De "Wereldreiziger" (Versie B) was 12% beter in het maken van de juiste diagnose.

Waarom? Omdat de "Wereldreiziger" had geleerd om het echte hersensignaal te onderscheiden van de "ruis" van de apparatuur en de achtergrond. Hij zag de essentie van de ziekte, ongeacht waar de patiënt vandaan kwam. Dit bewijst dat diversiteit in training cruciaal is voor echte medische toepassingen.

3. De "Vreemde Scorebordjes" (Waarom tests elkaar tegenspreken)

Een ander groot probleem dat ze ontdekten, is dat er twee verschillende "scoreborden" (benchmarks) bestaan in de wetenschap om deze robots te testen.

• Scorebord X zegt: "Robot A is de beste!"
• Scorebord Y zegt: "Nee, Robot B is de beste!"

En dit gebeurt met exact dezelfde robots en dezelfde data!

De analogie:
Stel je voor dat je twee voetbalteams meet.

• Team A meet of je kunt schieten op een stilstaande bal.
• Team B meet of je kunt schieten terwijl je rent en de wind in je gezicht waait.
  Als je Team A laat spelen in de test van Team B, verliezen ze. Maar als je Team B laat spelen in de test van Team A, winnen ze misschien niet omdat ze niet geoefend hebben op stilstaande ballen.

De onderzoekers hebben ontdekt dat kleine verschillen in de regels (hoe lang de test duurt, hoe de data wordt schoongemaakt, welk moment je kiest om te meten) de uitslag volledig kunnen omdraaien. Ze pleiten daarom voor één groot, eerlijk scorebord waar iedereen zich aan houdt, zodat we niet meer in de war raken door willekeurige cijfers.

Samenvattend: Wat betekent dit voor ons?

1. Kwaliteit boven kwantiteit: Je hoeft niet per se 92 verschillende databases te verzamelen om een goede AI te maken. Als je 3 databases hebt met heel verschillende mensen, kan dat net zo goed (of zelfs beter) werken dan 92 databases met dezelfde mensen.
2. Diversiteit is een superkracht: Om AI te maken die echt helpt bij medische diagnoses, moet je trainen met data van mensen over de hele wereld, niet alleen uit rijke landen.
3. Eerlijke tests: Wetenschappers moeten stoppen met het gebruiken van verschillende, verwarrende testmethoden. We moeten één standaard hebben, zodat we weten wie er echt de beste is.

Kortom: De "Wereldreiziger" (PRISM) heeft bewezen dat een brede kijk op de wereld je slimmer maakt dan het herhaaldelijk oefenen op dezelfde oude taken. En voor medische AI is dat het verschil tussen een simpele oefening en een levensreddende diagnose.

Technische samenvatting

Probleemstelling

Bestaande EEG-foundationmodellen (zelftoezichtende modellen voor hersengolfdata) worden overwegend getraind op smalle, homogene datasets afkomstig uit Europese en Noord-Amerikaanse klinische archieven (zoals TUH en PhysioNet). Dit leidt tot twee fundamentele problemen:

1. Onzekerheid over representaties: Het is onduidelijk of deze modellen daadwerkelijk neurale fysiologie leren of dat ze slechts artefacten van de opnameomgeving (bijv. specifieke versterkers, protocollen) hebben gememoriseerd.
2. Inconsistentie in benchmarks: De twee meest gebruikte evaluatieframeworks, EEG-Bench en EEG-FM-Bench, gebruiken verschillende methodologische keuzes (zoals splitsing van data, segmentlengte en normalisatie). Dit zorgt ervoor dat modelrangschikkingen op dezelfde datasets soms volledig omkeren (tot 24% verschil), waardoor vergelijkingen onbetrouwbaar zijn.
3. Klinische lacune: Er is geen eerdere evaluatie van foundationmodellen voor het onderscheiden van epilepsie van diagnostische nabootsers (zoals psychogene niet-epileptische aanvallen of PNES) op basis van interictale EEG-data, een uiterst uitdagende klinische taak.

Methodologie: PRISM

De auteurs introduceren PRISM (Population-Representative Invariant Signal Model), een gemaskerde autoencoder (MAE) die is ontworpen om het effect van de samenstelling van de pretrainingspopulatie te isoleren.

• Architectuur: PRISM is gebaseerd op de REVE-architectuur met 4D-positional encoding (ruimtelijke coördinaten van elektroden + tijdsindex), wat toelating geeft tot willekeurige montageconfiguraties zonder hertraining. Het bestaat uit een 12-laags encoder en een 4-laags decoder.
• Trainingsdoel: Het model wordt getraind met een primaire L1-reconstructieverlies en een secundair verlies via een "auxiliary path" die een globale embedding gebruikt om gemaskeerde patches te reconstrueren.
• Experimenteel Ontwerp (Ablatie): De auteurs trainen twee checkpoints met exact dezelfde architectuur en hyperparameters, maar met verschillende datasets:
  • D1 (Narrow-source): Bestaande datasets (TUH + PhysioNet), voornamelijk EU/US.
  • D2 (Multi-source): D1 uitgebreid met klinische opnames van 9.663 onderwerpen uit Zuid-Azië (India), wat diversiteit introduceert in geografie, demografie en opnamesystemen (Natus, Nihon Kohden, BPL).
• Evaluatiestrategieën: De modellen worden getest op zes standaard benchmarks (bijv. slaapstaging, motor imagery) en een nieuwe klinische taak (epilepsie vs. nabootsers). Er worden vier aanpassingsstrategieën getest: lineaire probing, volledige fine-tuning (single- en dual-stage), en gedeeltelijke fine-tuning.

Belangrijkste Resultaten

1. Populatieheterogeniteit verandert de aard van representaties:

   • Bij lineaire probing (vaste encoder) presteert het smalle model (D1) vaak beter op benchmarks die overeenkomen met de trainingsdistributie.
   • Bij fine-tuning presteert het diverse model (D2) gelijkwaardig of beter op de meeste taken. Dit suggereert dat diverse pretraining representaties leert die meer aanpasbaar zijn, maar een niet-lineaire adaptatie vereisen om optimaal te presteren.

2. Klinisch doorbraak: Epilepsie vs. Nabootsers:

   • Op de nieuwe, klinisch uitdagende taak (onderscheid epilepsie vs. PNES/syncope op basis van interictale EEG) overtreft het diverse checkpoint (D2) het smalle checkpoint (D1) met +12,3% gebalanceerde nauwkeurigheid.
   • Dit is het grootste prestatieverschil van alle evaluaties en bewijst dat diverse pretraining essentieel is voor het leren van robuuste neurale signalen die subtiele pathologische verschillen kunnen onderscheiden, zelfs wanneer de evaluatiegegevens uit één centrum komen.

3. Datasetgrootte is een verwarrende variabele:

   • PRISM, getraind op slechts 3 broncorpora, presteert gelijkwaardig aan of beter dan REVE (getraind op 92 datasets, >60.000 uur), op de meerderheid van de taken.
   • Dit weerlegt de aanname dat "meer data" altijd leidt tot betere representaties; gerichte diversiteit kan indiscriminate schaal vervangen.

4. Benchmarks en Methodologische Inconsistenties:

   • De auteurs identificeren zes specifieke methodologische verschillen tussen EEG-Bench en EEG-FM-Bench (o.a. train/validatie splitsing, checkpoint selectie, segmentlengte, normalisatie).
   • Deze verschillen kunnen leiden tot rangschikkingen die volledig omkeren (tot 24% verschil). Ze werken niet additief maar compouderend, wat betekent dat modelvergelijkingen zonder gestandaardiseerde protocollen onbetrouwbaar zijn.

Bijdragen en Betekenis

• Klinische Impact: Het paper introduceert de eerste foundationmodel-evaluatie voor het differentiëren van epilepsie van nabootsers, een probleem waar tot nu toe geen AI-oplossing voor bestond. De resultaten tonen aan dat demografische diversiteit in trainingsdata direct leidt tot betere klinische prestaties.
• Paradigmaverschuiving in Data: Het paper daagt de huidige trend uit om steeds grotere datasets uit dezelfde regio's te verzamelen. Het stelt dat gerichte diversiteit (bijv. toevoegen van data uit Zuid-Azië) effectiever is dan het simpelweg vergroten van de datasetgrootte binnen een homogene populatie.
• Standaardisatie van Evaluatie: Door de specifieke bronnen van inconsistente resultaten in bestaande benchmarks te ontleed, roept het paper op tot een gemeenschapsconsensus over evaluatiemethodologie (bijv. strikte subject-splitsen, uniforme checkpoint-selectie).
• Open Science: De auteurs publiceren een nieuw dataset van 200 onderwerpen (epilepsie vs. nabootsers) en de code, wat een nieuwe standaard zet voor klinisch relevante EEG-evaluatie.

Conclusie:
PRISM demonstreert dat de samenstelling van de pretrainingspopulatie een kritieke factor is die vaak wordt over het hoofd gezien. Voor klinische toepassingen, en vooral voor moeilijke differentiaaldiagnoses, is een diverse dataset essentieel om modellen te trainen die robuust zijn tegen opnameartefacten en echte neurale pathologie kunnen onderscheiden. Tegelijkertijd waarschuwt het paper dat huidige benchmark-rangschikkingen vaak kunstmatig zijn door methodologische inconsistenties en dat datasetgrootte geen betrouwbare proxy is voor modelkwaliteit.