Technische Samenvatting: Temporele Feature Extractors in EEG Foundation Models

Probleemstelling

EEG-foundation models streven ernaar om generaliseerbare representaties te leren van grootschalige hersenopnames om uitdagingen zoals hoge dimensionaliteit, niet-stationariteit, lage signaal-ruisverhoudingen en substantiële inter-subject variabiliteit aan te pakken. Hoewel deze modellen doorgaans een embedding-module gebruiken om ruwe EEG-data te transformeren voordat ze worden verfijnd met een transformer-backbone, blijft de specifieke rol van temporele feature extractors onderbelicht.

Bestaande benaderingen variëren sterk: sommige gebruiken lichtgewicht 1D-convolutionele encoders (vaak gecombineerd met frequentiedomein-features), terwijl andere uitsluitend vertrouwen op lineaire projectielagen. Echter, verschillen in embedding-modules zijn vaak verstrengeld met variaties in de algehele architectuur en trainingsparadigma's, wat een systematische studie naar het directe effect van temporele feature extractie verhindert. Bovendien is het onduidelijk of pre-trained time-series foundation models (TSFMs), die algemene temporele representaties leren van diverse datasets, effectief kunnen worden overgedragen naar het EEG-domein als bevroren (frozen) temporele feature extractors.

Methodologie

De auteurs voeren een gecontroleerde vergelijking uit van drie verschillende temporele feature extractie-strategieën binnen een verenigd EEG-foundation model framework. Om het effect van de extractor te isoleren, worden alle andere componenten—inclusief inputrepresentatie, patching-strategie, masking-procedure, sferische positionele encoding en de transformer-backbone—constant gehouden.

1. Inputrepresentatie en Patching

• Input: Multichannel EEG-opnames ($X \in \mathbb{R}^{C \times T}$).
• Patching: Volgens de praktijken van Vision Transformers worden de opnames verdeeld in patches van 2 seconden.
• Normalisatie:
  • Voor de MOMENT (pre-trained TSFM) setup wordt de native preprocessing van het model (Reversible Instance Normalization) gebruikt.
  • Voor de Lineaire en Convolutionele baselines wordt absolute maximum normalisatie toegepast om nulpunt-overschrijdingen (zero-crossings) en signaalpolariteit te behouden.

2. Temporele Feature Extractor Strategieën

De studie vergelijkt drie verschillende benaderingen:

• Lineaire Projectie: Een minimale baseline waarbij elke EEG-patch via een enkele lineaire laag in de embedding-ruimte van het model wordt geprojecteerd.
• Convolutionele Temporele Encoder: Een depthwise separable convolutionele encoder die gedeelde temporele filters toepast op elke kanaal-patch token. Het maakt gebruik van kernels van variërende grootte langs de temporele dimensie, gevolgd door pointwise convolutie en flattening.
• Pre-trained TSFM (MOMENT): Het bevroren MOMENT-small model wordt gebruikt als feature extractor. In tegenstelling tot forecasting-georiënteerde TSFMs, is MOMENT getraind met een gemaskeerde reconstructie-objective die ontworpen is voor representatieleer.
  • Adaptatie: Omdat MOMENT sequenties van lengte 512 verwacht en de EEG-patches 200 tijdpunten bevatten, worden links-zijde zero-padding en input masking toegepast.
  • Aggregatie: Mean reduction wordt toegepast over interne patch-representaties om een fixed-dimensional embedding te produceren.
  • Bevriezen: De MOMENT-encoder wordt bevroren gehouden tijdens zowel de pre-training als de downstream training; embeddings worden offline berekend.

3. Modelarchitectuur en Training

• Positionele Encoding: Spherical Positional Encoding (SPE) wordt gebruikt voor ruimtelijke informatie (elektrodelocaties), en standaard sinusvormige encoding wordt gebruikt voor de temporele patch-indices.
• Backbone: Een transformer encoder met self-attention en feed-forward lagen.
• Objective: Gemaskeerde reconstructie ($L = \|\hat{X}_M - \tilde{X}_M\|_2^2$) over gemaskeerde patches.
• Datasets:
  • Pre-training: Healthy Brain Network EEG (HBN-EEG) met ~3.000 participanten.
  • Downstream Taken: PhysioNet Motor Imagery (MI) en FACED (Emotieherkenning).

Belangrijkste Bijdragen

1. Systematische Analyse: Het artikel biedt een gecontroleerde analyse van de rol van temporele feature extractors in EEG-foundation models over twee verschillende downstream taken (motorische verbeelding en emotieherkenning).
2. Evaluatie van TSFM Transfer: Het evalueert een pre-trained, domein-generieke TSFM (MOMENT) als een bevroren temporele feature extractor binnen een EEG-foundation model, en vergelijkt dit met standaard lineaire en convolutionele embedding-strategieën.

Resultaten

De modellen werden geëvalueerd met lineaire probing (bevroren backbone) en fine-tuning protocollen.

• Motorische Verbeelding (PhysioNet-MI):
  • In de lineaire probing setting presteerden eenvoudige lineaire en convolutionele modellen competitief, terwijl het MOMENT-model een lagere gemiddelde prestatie vertoonde.
  • In de fine-tuning setting behaalde het lineaire model de hoogste gemiddelde prestatie, gevolgd door MOMENT.
• Emotieherkenning (FACED):
  • Zowel de convolutionele als de MOMENT-modellen presteerden beter dan de lineaire baseline onder beide protocollen.
  • De emotie-dataset profiteerde meer van rijkere temporele modellering (convolutioneel en TSFM) vergeleken met de motorische verbeelding-dataset.
• Statistische Significantie: Friedman-testen gaven significante verschillen aan tussen de modellen voor de meeste settings. Echter, post-hoc vergelijkingen met de Holm-Bonferroni correctie toonden geen significante paarwijze verschillen aan, waardoor de auteurs zich concentreerden op consistente trends in de gemiddelde prestaties.

Betekenis en Claims

Het artikel concludeert dat geen enkele enkele temporele feature extractie-strategie consistent de anderen overtreft over alle benchmarks.

• Taakafhankelijkheid: Eenvoudige lineaire projecties zijn competitief voor motorische verbeeldingstaken, terwijl emotieherkenning profiteert van rijkere temporele modellering (convolutioneel of TSFM-gebaseerd).
• TSFM Leefbaarheid: Hoewel niet specifief aangepast aan EEG, dient de pre-trained TSFM (MOMENT) als een effectieve temporele feature extractor. Dit suggereert dat algemene temporele representaties kunnen worden overgedragen als bevroren extractors binnen EEG-foundation models.
• Beperkingen: De auteurs merken op dat de bevroren transfer-setting de capaciteit van het model kan beperken om de specifieke temporele dynamiek van EEG-signalen volledig te vatten, en dat de bredere conclusies beperkt worden door de evaluatieomvang. Toekomstig werk wordt voorgesteld om de adaptatie van TSFMs tijdens pre-training te onderzoeken en ze over een breder scala aan taken te evalueren.