ASPEN: Spectral-Temporal Fusion for Cross-Subject Brain Decoding

Probleemstelling

Cross-subject generalisatie (het toepassen van een model op nieuwe gebruikers zonder individuele kalibratie) blijft een fundamentele bottleneck in EEG-gebaseerde Brain-Computer Interfaces (BCI's). Modellen die zijn getraind op data van meerdere personen, presteren vaak aanzienlijk slechter wanneer ze worden ingezet bij nieuwe gebruikers. Dit komt door inherente verschillen tussen individuen, zoals schedeldikte, corticale vouwing en variaties in de plaatsing van elektroden. Deze factoren leiden tot grote variaties in signaalamplitude, timing en ruimtelijke verdeling.

Bestaande oplossingen richten zich voornamelijk op geavanceerde temporale modellering (bijv. CNN's, Transformers), maar tijdsreeksen (waveforms) zijn extreem gevoelig voor faseverschuivingen, jitter in latentie en amplitude-schaling tussen verschillende personen. De auteurs stellen de hypothese dat spectrale representaties (frequentiedomein) stabielere kenmerken bieden voor cross-subject transfer, omdat ze de precieze timing negeren maar wel de oscillerende handtekeningen (zoals $\mu$- en $\beta$-ritmen) behouden die essentieel zijn voor BCI-paradigma's.

Methodologie: ASPEN

De auteurs introduceren ASPEN (Adaptive Spectral Encoder Network), een hybride architectuur die EEG-signalen verwerkt via parallelle tijds- en spectrale stromen, die worden gecombineerd via een unieke multiplicatieve fusie.

1. Signal Processing & Input:

   • Temporale Stroom: Verwerkt de ruwe EEG-data na bandpassfiltering en Z-score normalisatie. De architectuur is geïnspireerd op EEGNet en leert frequentie-specifieke filters en ruimtelijke combinaties.
   • Spectrale Stroom: Past de Short-Time Fourier Transform (STFT) toe op het voorverwerkte signaal om spectrogrammen (tijd-frequentie representaties) te genereren. Deze stroom gebruikt een CNN met Squeeze-and-Excitation (SE) attention blokken om frequentie-tijd patronen te extraheren.

2. Multiplicatieve Fusie (Kerninnovatie):

   • In tegenstelling tot eerdere werken die kenmerken optellen of concateneren, gebruikt ASPEN elementsgewijze vermenigvuldiging (Hadamard product) na lineaire projecties:
     $$z = (W_s x_s) \odot (W_t x_t)$$
   • Mechanisme: Dit fungeert als een "cross-modal gating" mechanisme. Een kenmerk wordt alleen geactiveerd in de gefuseerde representatie als beide stromen (temporaal en spectraal) sterke activaties vertonen.
   • Voordeel: Artefacten of ruis die prominent voorkomen in slechts één domein (bijv. spierpieken in de tijd, maar niet in het frequentiepatroon) worden onderdrukt. Alleen neurale patronen die consistent zijn in beide domeinen worden versterkt.

3. Analyse van Correlatie:

   • Voorafgaand aan het modelontwerp voerden de auteurs correlatieanalyses uit. Ze stelden vast dat spectrale representaties een aanzienlijk hogere cross-subject gelijkenis vertonen dan ruwe tijdsreeksen, wat de keuze voor een spectrale basis onderbouwt.

Belangrijkste Bijdragen

• Hypothese-gedreven Architectuur: Het paper valideert dat spectrale features robuuster zijn voor cross-subject generalisatie dan temporale waveforms en bouwt hierop een hybride model.
• Multiplicatieve Fusie: Introduceert een nieuwe fusiestrategie die cross-modale overeenkomst vereist, fungerend als een logische "AND-poort" om ruis te filteren en echte neurale signalen te isoleren.
• Dynamische Balans: Het model past zich dynamisch aan het specifieke paradigma aan. Bijvoorbeeld, P300-taken profiteren sterk van spectrale dominantie, terwijl Motor Imagery (MI) meer bijdrage van de temporale stroom vereist.
• Uitgebreide Validatie: Het model is getest op zes benchmark datasets over drie verschillende paradigma's (SSVEP, P300, Motor Imagery).

Resultaten

ASPEN werd geëvalueerd tegen vijf state-of-the-art baselines (waaronder EEGNet, EEGConformer, TSformer-SA en MultiDiffNet) op zes datasets.

• Prestatie: ASPEN behaalde de beste cross-subject nauwkeurigheid op drie van de zes datasets:
  • Lee2019 SSVEP (87,53%)
  • BNCI2014 P300 (88,57%)
  • Lee2019 Motor Imagery (76,27%)
• Vergelijking: Het presteerde beter dan gespecialiseerde temporale modellen en recente multimodale transformers. Op de BNCI2014 P300-taak versloeg het TSformer-SA met bijna 2%, wat suggereert dat de multiplicatieve gating effectiever is in het filteren van inter-subject ruis.
• Ablatie Studies:
  • De standalone spectrale encoder (SPEN) faalde op Motor Imagery-taken (slechts 26,91% op BNCI2014-001), wat aantoont dat temporale dynamiek essentieel is voor deze taak.
  • ASPEN herstelde de prestaties aanzienlijk (van 53,50% naar 76,27% op Lee2019 MI), bewijzend dat fusie noodzakelijk is.
  • De analyse toonde aan dat de streams complementair zijn (lage correlatie $\rho$ tussen 0,15 en 0,31), wat bevestigt dat ze verschillende informatie vastleggen.

Betekenis en Toekomstperspectief

Dit werk demonstreert dat multiplicatieve multimodale fusie een krachtige methode is om de generalisatieproblematiek in BCI's aan te pakken. Door te forceren dat temporale en spectrale bewijzen overeenkomen, kan het model robuust zijn tegen individuele variaties en artefacten.

De auteurs wijzen op toekomstige richtingen, zoals het automatiseren van de STFT-configuratie via leerbare tijd-frequentie transformaties om een "one-size-fits-all" zero-shot model te creëren, en het integreren van zelf-supervised pre-training op grote EEG-corpora om de gedeelde latente ruimte verder te verrijken.

Kortom, ASPEN biedt een nieuw paradigma voor cross-subject EEG-decodering dat verder gaat dan het simpelweg combineren van features, en in plaats daarvan een strikte overeenkomst eist tussen verschillende signaalrepresentaties om betrouwbare BCI-systemen te realiseren.