Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

Titel: Voorbij Nauwkeurigheid: Robuustheid, Interpretatie en Expressiviteit van EEG-Fundatiemodellen

Probleemstelling
Elektro-encefalografie (EEG)-fundatiemodellen (EEG-FMs) zijn naar voren gekomen als een veelbelovende aanpak voor Brain-Computer Interfaces (BCI's), met als doel algemene representaties te leren uit grote ongelabelde corpora via zelftoezicht. Echter, de huidige evaluaties van deze modellen zijn voornamelijk beperkt tot "schone", in-distributie nauwkeurigheidsmetrieken. Deze focus negeert kritieke factoren voor implementatie in de echte wereld: de inherente ruis van EEG-signalen (door elektrode-impedantie, beweging en omgevingsartefacten), de noodzaak van interpretatie in hoog-risico klinische domeinen, en de daadwerkelijke kwaliteit van de geleerde representaties. Vorige benchmarks hebben aangetoond dat EEG-FMs vaak slechts marginale winsten bieden ten opzichte van supervised baselines zoals EEGNet, terwijl de onderliggende oorzaken—of dit nu slechte robuustheid, misaligneerde feature learning is, of representaties van lage kwaliteit—onbestudeerd blijven.

Methodologie
De auteurs voerden een systematische benchmarkstudie uit met zes state-of-the-art EEG-FMs (BIOT, CBraMod, LaBraM, NeuroRVQ, BrainOmni en REVE) en een supervised baseline (EEGNet) over acht diverse datasets die motor imagery, motor execution, event-related potentials (ERP), werkgeheugen, slaapstadiëring en oogtoestand-classificatie bestrijken. De studie hanteerde drie distincte lagen van analyse:

1. Robuustheidsanalyse: Modellen getraind op schone data werden tijdens de testfase geëvalueerd onder vijf verstoringcondities: additieve witte en roze ruis (bij variërende Signal-to-Noise Ratios), willekeurige kanaal-dropout (zero-padding), regio-gebaseerde kanaal-dropout (zero-padding en ware verwijdering), en regio-specifieke ruisinjectie.
2. Interpretatieanalyse: De studie paste Attention-Aware Layer-Wise Relevance Propagation (AttnLRP) toe om modelvoorspellingen toe te schrijven aan specifieke hersengebieden. Voor modellen waarbij AttnLRP numeriek instabiel was (NeuroRVQ en BrainOmni), werd Gradient × Input (G×I) gebruikt. De analyse onderzocht of modellen zich richtten op neurofysiologisch plausibele gebieden en hoe deze attentiekarten verschoven onder verstoring.
3. Expressiviteitsanalyse: Met behulp van blokgewijze lineaire probing onderzochten de auteurs waar taakrelevante informatie binnen de transformer-architectuur naar voren komt (vroege versus late blokken) en of voorgetrainde representaties voldoende zijn voor downstream-taken. Een specifieke focus lag op de impact van pooling-strategieën (mean pooling versus token flattening) op de prestaties van "head-only" (bevroren backbone) adaptatie.

Belangrijkste Resultaten

• Robuustheid: Geen enkel model domineert alle faalmodi.

  • Ruis: BrainOmni toonde de hoogste robuustheid tegen additieve ruis, met slechts een verlies van 5,4% nauwkeurigheid bij -5 dB, vergeleken met 14–21% voor andere modellen.
  • Dropout: Paradoxaal genoeg was BrainOmni een van de meest fragiele modellen onder willekeurige kanaal-dropout wanneer kanalen zero-gepadded waren (-13,3% degradatie). Echter, wanneer gedropte kanalen volledig verwijderd werden (ware dropout) in plaats van zero-gepadded, herstelden variabele-kanaalmodellen (inclusief BrainOmni) significant. Dit suggereert dat hun fragiliteit voortkomt uit de verwerking van nul-waardige invoer en niet uit een gebrek aan taakinformatie.
  • Regimes: Bij extreme ruisniveaus convergeerden alle modellen naar een taak-specifiek prestatieplafond, wat wijst op een signaal-beperkt regime waar architectuur minder belangrijk wordt. Bij matige ruis bleven architecturale verschillen doorslaggevend.

• Interpretatie:

  • Ruimtelijke Alignering: Alle modellen concentreerden de relevantie breed op taak-appropriete hersengebieden (bijvoorbeeld centrale elektroden voor motorische taken, occipitale locaties voor ERP), in overeenstemming met bekende neurofysiologie.
  • Stabiliteit onder Verstoring: Onder verstoring bleven attributiekarten ruimtelijk stabiel, zelfs naarmate de voorspellingsnauwkeurigheid degradeerde. Dit suggereert dat modellen zich blijven richten op de juiste hersengebieden, maar falen in het decoderen van de corrumpeerde signaalinhoud.
  • Uitzonderingen: BrainOmni produceerde diffuse attentiekarten, waarschijnlijk vanwege hun werking over abstracte latente tokens in plaats van fysieke elektroden.

• Expressiviteit:

  • Bloksgewijze Probing: Taakrelevante lineair decodeerbare signalen waren aanwezig in vroege blokken van voorgetrainde modellen. Fine-tuning hergebruikte voornamelijk late blokken om zich te specialiseren voor de downstream-taak, een patroon dat consistent is met bevindingen in NLP-transformers.
  • Pooling-artefacten: De eerder waargenomen slechte prestaties van head-only adaptatie voor modellen zoals LaBraM en NeuroRVQ werden grotendeels toegeschreven aan hun gebruik van mean pooling, wat token-niveau informatie samenvoegt. Het vervangen van mean pooling door token flattening verbeterde de head-only prestaties aanzienlijk (winsten van 14–21%), waardoor deze modellen dichter bij de EEGNet-baseline kwamen. Dit geeft aan dat EEG-FMs voldoende representatiecapaciteit bezitten wanneer token-niveau embeddings behouden blijven.

Betekenis en Claims
Het paper claimt de eerste systematische beoordeling te bieden van robuustheid, interpretatie en expressiviteit voor EEG-fundatiemodellen. De auteurs betogen dat:

1. Robuustheid taak- en verstoring-afhankelijk is: Rangschikkingen van modelprestaties veranderen op basis van het type corruptie (ruis versus dropout) en het specifieke taaksignaal.
2. Ruimtelijke gronding bestaat maar is onvoldoende: Hoewel modellen ruimtelijk gegronde representaties leren die consistent zijn met neurofysiologie, garandeert dit geen betrouwbare voorspelling onder corruptie.
3. Pooling-strategieën verstoren evaluatie: De waargenomen "lage kwaliteit" van voorgetrainde representaties in head-only settings is vaak een artefact van pooling-ontwerp (mean pooling versus flattening) en niet van de representaties zelf.
4. Toekomstige Richtingen: De studie benadrukt de noodzaak voor toekomstige evaluaties concatenatie-gebaseerde pooling te gebruiken om pooling-ontwerp niet te verwarren met representatiekwaliteit, en ware kanaalverwijdering in plaats van zero-padding te overwegen bij het testen van variabele-kanaalmodellen.

De auteurs concluderen dat hoewel EEG-FMs veelbelovend zijn, hun ontwikkeling rigoureuze evaluatie vereist die verder gaat dan schone nauwkeurigheid om betrouwbaarheid in klinische en real-world BCI-settings te waarborgen.