Technische Samenvatting: EEG-FM-Audit

Probleemstelling

Hoewel grote EEG-basismodellen (Foundation Models, FMs) potentie hebben aangetoond voor het decoderen van EEG-signalen over diverse cognitieve taken, lijdt het veld onder drie kritieke beperkingen in de bestaande literatuur:

1. Ondoorzichtige Baseline-tuning: Vergelijkingen tussen FMs en traditionele supervised modellen missen vaak transparantie in de optimalisatie van supervised baselines. Traditionele deep learning-modellen worden doorgaans vanaf nul getraind en zijn zeer gevoelig voor hyperparameterconfiguraties, maar ze worden toch vaak vergeleken met FMs met suboptimale of standaardinstellingen. Dit leidt tot een "optimalisatiekloof" waarbij gerapporteerde FM-voordelen kunnen voortkomen uit slechte baseline-tuning in plaats van inherente architecturale superioriteit.
2. Ongeverifieerde Leerparadigma's: Bestaande studies richten zich vaak op modellagen in plaats van op de effectiviteit van de onderliggende leerparadigma's (bijv. grootschalige pretraining, integratie van voorgeöorde taalmodel-ruggengraten). Het blijft onduidelijk of de toegenomen complexiteit van FM-architecturen tastbare prestatiewinst oplevert of dat specifieke componenten louter overbodig zijn.
3. Gebrek aan Neurofysiologische Interpretatie: Huidige evaluaties behandelen FMs vaak als "black boxes", zonder rigoureuze analyse van of deze modellen geldige temporale, ruimtelijke en spectrale EEG-eigenschappen benutten die consistent zijn met gevestigde neurowetenschappelijke bevindingen.

Methodologie: EEG-FM-Audit-pijplijn

Om deze hiaten aan te pakken, stellen de auteurs EEG-FM-Audit voor, een systematische evaluatie- en analysepijplijn bestaande uit drie hoofdcomponenten:

1. ASHA-gedreven Benchmarkprotocol

Om eerlijke vergelijkingen te waarborgen, implementeren de auteurs een tweestaps benchmarkprotocol gedreven door het Asynchronous Successive Halving Algorithm (ASHA):

• Fase 1 (Hyperparameterzoektocht): ASHA wordt gebruikt om de hyperparameterruimte ($\Omega$) te doorzoeken voor elk supervised baseline-model, waarbij de optimale configuratie ($\Theta^*$) wordt geïdentificeerd op basis van gebalanceerde validatie-accuraatheid. Cruciaal is dat testdata strikt wordt uitgesloten van deze zoektocht om datalekken te voorkomen.
• Fase 2 (Volledige Hertraining & Benchmarking): Baselines worden vanaf nul hergetraind met zowel de geoptimaliseerde configuratie ($\Theta^*$) als standaardconfiguraties ($\Theta_{def}$). De uiteindelijke gerapporteerde prestatie weerspiegelt het superieure resultaat tussen deze twee versies, zodat de baseline zijn maximale mogelijke implementatie vertegenwoordigt.

2. Paradigm-niveau Ablatiestudies

De auteurs deconstrueren FMs om de bijdragen van specifieke leerparadigma's te isoleren via drie ablatiestudies:

• Pretraining-bron Ablatie: Vergelijkt volledige FMs met varianten die alleen op de doeldataset zijn voorgeöorde om de noodzaak van grootschalige heterogene pretraining te evalueren.
• LLM-Rep Ablatie: Reconstrueert de FM-encoder tot een traditioneel supervised kader (verwijdering van pretraining) om te bepalen of winst voortkomt uit de pretrainingstrategie of de onderliggende architectuur.
• No-GPT Ablatie: Vervangt voorgeöorde taalmodel-ruggengraten (bijv. GPT-2) door willekeurig geïnitialiseerde self-attention-lagen om de specifieke bijdrage van linguïstische priors aan neurale decoding te beoordelen.

3. Neurofysiologische Probing (NPP)-kader

Dit kader maakt gebruik van surrogaatsignalen om de afhankelijkheid van het model van specifieke fysiologische kenmerken te kwantificeren:

• Temporale Probing: Gebruikt Fourier-faserandomisatie (FPR) om fase-gelockte temporele structuren te vernietigen terwijl ruimtelijke covariantie en vermogensspectra behouden blijven.
• Ruimtelijke Probing: Injecteert signaal-bewust Gaussisch ruis in vooraf gedefinieerde Regions of Interest (ROIs) die overeenkomen met specifieke hersenkwabben om ruimtelijke afhankelijkheid te beoordelen.
• Spectrale Probing: Voert spectrale ablatie uit door selectief standaard EEG-frequentiebanden (bijv. Alpha, Delta, Beta) te verwijderen om de afhankelijkheid van frequentiespecifieke kenmerken te meten.

Experimentele Opstelling

De pijplijn is toegepast op:

• Vier State-of-the-Art EEG-FMs: NeuroGPT, LaBraM-Base, NeuroLM-B en EEGPT-Large.
• Vijf Supervised Baselines: EEGNet, CSPNet, TS-SEFFNet, MSCFormer en CTNet.
• Drie Publieke Datasets: TUEV (gebeurtenisdetectie), TUAB (afwijkingdetectie) en BCI Competition IV-2b (motorische imaginatie).

Belangrijkste Resultaten

1. Eerlijke Benchmarkresultaten

• Concurrerende Baselines: Goed afgestemde supervised baselines kunnen geavanceerde FMs evenaren of overtreffen, vooral op kleinere datasets (bijv. BCI IV 2b) en specifieke klinische taken (TUAB). Bijvoorbeeld, op BCI IV 2b presteerde een eenvoudige EEGNet met ASHA-optimalisatie ongeveer 0,035 beter in gebalanceerde accurate dan de beste FM.
• Parameter-efficiëntie: Deze hoogpresterende baselines vereisen aanzienlijk minder parameters (bijv. ~1,6k–337k) in vergelijking met FMs (bijv. ~5,8M–253M).
• Impact van Optimalisatie: Systematische hyperparameteroptimalisatie via ASHA leverde aanzienlijke prestatiewinst op voor supervised baselines (bijv. verbeteringen van 0,028–0,074 in gebalanceerde accurate), wat benadrukt dat eerdere studies de mogelijkheden van baselines mogelijk hebben onderschat.

2. Paradigm-niveau Inzichten

• Noodzaak van Pretraining: De effectiviteit van grootschalige pretraining is sterk afhankelijk van modelarchitectuur en dataschaal. Discrete tokenisatiemodellen (LaBraM, NeuroLM) zijn sterk afhankelijk van grootschalige pretraining, terwijl continu-representatiemodellen (NeuroGPT, EEGPT) concurrerende prestaties kunnen behalen met alleen doeldoel-pretraining. Echter, alle modellen degradeerden op kleine datasets wanneer beperkt tot alleen doeldoel-pretraining.
• LLM-ruggengraten: De bijdrage van voorgeöorde linguïstische modellen varieert per architectuur. Voor generatie-gebaseerde FMs (NeuroLM) veroorzaakte het verwijderen van de linguïstische ruggengraat een ineenstorting van de voorspellingen. Voor directe classificatie-FMs (NeuroGPT) verbeterde het voorgeöorde GPT-component de generalisatie op domein-buiten-taken, maar bood marginale of licht negatieve effecten op domein-binnen-taken.

3. Neurofysiologische Validiteit

• Temporale Afhankelijkheid: Alle geëvalueerde FMs vertoonden prestatiedegradatie wanneer temporele fasestructuren gerandomiseerd werden, wat bevestigt dat ze temporele afhankelijkheden benutten. Continu-representatiemodellen vertoonden een grotere gevoeligheid voor fase-randomisatie dan discrete modellen.
• Ruimtelijke en Spectrale Uitlijning: FMs toonden taak-congruente regionale focus (bijv. frontale/temporale kwabben voor epilepsiedetectie) en spectrale gevoeligheid (bijv. Delta-banden voor epilepsie, Alpha/Beta voor motorische imaginatie) die overeenkomen met gevestigde neurowetenschappelijke literatuur.

Betekenis en Aanspraken

Het artikel beweert dat EEG-FM-Audit de gemeenschap voorziet van een rigoureuze, gevestigde pijplijn voor de eerlijke en uitgebreide evaluatie van EEG-basismodellen. De belangrijkste bijdragen zijn:

1. Correctie van Evaluatiebias: Door aan te tonen dat geoptimaliseerde supervised baselines FMs kunnen evenaren, daagt het werk de aanname uit dat FMs inherent superieure prestaties hebben, wat suggereert dat veel gerapporteerde winsten artefacten kunnen zijn van suboptimale baseline-tuning.
2. Ontwarren van Complexiteit: De ablatiestudies onthullen dat de "handtekeningen" van FMs (temporaal, ruimtelijk, spectraal) niet uniform gunstig zijn; hun effectiviteit is afhankelijk van dataschaal en specifieke architecturale keuzes.
3. Etableren van Interpretatie: Het NPP-kader vestigt een methode om te verifiëren dat FMs betekenisvolle neurale representaties leren die consistent zijn met fysiologische bevindingen, en gaat voorbij aan black-box prestatie-metrics.

De auteurs concluderen dat hoewel FMs veelbelovend zijn, ze nog geen definitief voordeel hebben in EEG-classificatie over alle scenario's heen, en dat hun nut sterk afhankelijk is van de schaal van beschikbare data en het specifieke ontwerp van het leerparadigma.