Technische Samenvatting: CWA-T (Een Channelwise Autoencoder met Transformer voor EEG-abnormaliteitsdetectie)

1. Probleemstelling

Elektro-encefalogram (EEG) signalen zijn essentieel voor het diagnosticeren van hersenaandoeningen zoals epilepsie, Alzheimer en de ziekte van Parkinson. Het analyseren van deze signalen vormt echter aanzienlijke uitdagingen vanwege hun hoge dimensionaliteit, complexiteit en gevoeligheid voor ruis. Bestaande deep learning-benaderingen kampen met een afruil:

• Preprocessing-afhankelijke methoden (bijv. wavelet-transformaties) verminderen ruis, maar vereisen complexe, handmatige feature engineering.
• End-to-end Deep Learning (DL) modellen (bijv. CNN's, RNN's) leren direct van ruwe data, maar hebben vaak moeite met langetermijn temporele afhankelijkheden of missen interpreteerbaarheid.
• Transformer-gebaseerde modellen blinken uit in het vastleggen van langetermijn afhankelijkheden, maar zijn computationeel duur en fungeren vaak als "black boxes", wat hun nut beperkt in klinische omgevingen die lichtgewicht en interpreteerbare oplossingen vereisen.

Het artikel adresseert de behoefte aan een framework dat een balans vindt tussen computationele efficiëntie, interpreteerbaarheid en hoge prestaties bij het detecteren van abnormale EEG-signalen, specifiek voor langdurige opnames.

2. Methodologie

Het voorgestelde framework, CWA-T, integreert een channelwise CNN-gebaseerde autoencoder met een single-head transformer classifier. De architectuur werkt in twee primaire stadia:

A. Channelwise Autoencoder (Feature Extractie & Compressie)

De eerste fase comprimeert ruwe EEG-signalen ($x \in \mathbb{R}^{C \times T}$) tot een compacte latente representatie ($z \in \mathbb{R}^{C \times D}$, waarbij $D \ll T$).

• Channel Onafhankelijkheid: In tegenstelling tot standaard convoluties die kanaalinformatie mengen, gebruikt CWA-T grouped convolutions (waarbij het aantal groepen gelijk is aan het aantal kanalen, $C$). Dit zorgt ervoor dat elk EEG-kanaal onafhankelijk wordt verwerkt, waardoor de natuurlijke ruimtelijke structuur van de data behouden blijft en inter-kanaal afhankelijkheden worden voorkomen.
• Efficiëntie: Dit ontwerp vermindert de computationele kosten aanzienlijk. Het artikel merkt op dat channelwise convolutie de kosten van standaard convolutie vermindert met een factor $1/C$.
• Normalisatie: De autoencoder maakt gebruik van Layer Normalization in plaats van Batch Normalization. Deze keuze is cruciaal voor het behoud van kanaalonafhankelijkheid, aangezien BatchNorm over de batch-dimensie normaliseert en onbedoeld statistieken tussen kanalen mengt.

B. Single-Head Transformer Classifier

De gecomprimeerde latente representaties worden ingevoerd in een lichtgewicht classifier.

• Single-Head Attention: Om de efficiëntie te behouden, vervangt het model het standaard multi-head self-attention mechanisme door een single-head variant. Dit vermindert het aantal parameters drastisch (van $3 \cdot d \cdot D_{orig} \cdot d_k$ in multi-head naar $3 \cdot d \cdot d_k$ in single-head) terwijl het vermogen behouden blijft om langetermijn temporele afhankelijkheden te modelleren.
• Architectuur: De classifier bestaat uit een single-head self-attention mechanisme gevolgd door een position-wise feed-forward netwerk, met residual connections en layer normalization om convergentie te bevorderen.

C. Data Preprocessing

Het framework verwerkt ruwe EEG-data met minimale preprocessing:

1. Downsampling: Resampled naar 100 Hz.
2. Segmentatie: Verdeeld in niet-overlappende segmenten van 2 minuten.
3. z-Normalisatie: Amplitudes worden genormaliseerd om variabiliteit door elektrodeplaatsing of fysiologie te mitigeren.
   Er worden geen complexe frequentiedomein-transformaties (zoals FFT of Wavelets) toegepast voorafgaand aan de input.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: De integratie van een channelwise autoencoder met een single-head transformer specifiek afgestemd op EEG-abnormaliteitsdetectie.
2. Behoud van Channel Onafhankelijkheid: Door EEG-kanalen onafhankelijk te behandelen in de autoencoder, sluit het model aan bij de biologische structuur van EEG-signalen, wat de interpreteerbaarheid voor neurowetenschappelijk onderzoek versterkt.
3. Computationele Efficiëntie: Het framework bereikt een balans tussen de hoge prestaties van transformers en de lage kosten van CNN's. Het vermijdt de zware computationele last van standaard transformers door data te comprimeren vóór classificatie.
4. End-to-End Capaciteit: Het model verwerkt direct langdurige ruwe EEG-signalen, waardoor de noodzaak voor complexe, handmatig vervaardigde preprocessing-pipelines vervalt.

4. Experimentele Resultaten

Het model werd geëvalueerd op de TUH Abnormal EEG Corpus (v3.0.1), bestaande uit 2.993 opnames verdeeld in trainings- en evaluatiesets.

Prestatie-metrieken

Geëvalueerd op per-case niveau (met behulp van majority voting over de signalen voor een enkel subject), behaalde CWA-T:

• Accuratesse: 85,0%
• Sensitiviteit: 76,2%
• Specificiteit: 91,2%

Deze resultaten presteerden beter dan baseline modellen inclusief EEGNet, EEG-ARNN, Deep4Conv en FusionCNN. Opvallend genoeg, terwijl EEGNet een hoge sensitiviteit (100%) vertoonde op per-case niveau, had het een specificiteit van 0%, wat wijst op een ernstige bias. CWA-T behield een betere balans tussen sensitiviteit en specificiteit.

Computationele Efficiëntie

• FLOPs: 202M
• Parameters: 2,9M
• Vergelijking: CWA-T is aanzienlijk efficiënter dan een standalone single-head transformer (die 11,9G FLOPs en 1,3G parameters vereist voor dezelfde input) en is competitief met of efficiënter dan andere CNN-gebaseerde baselines zoals FusionCNN (4,5G FLOPs).

Ablatie-studies

• Transformer vs. MLP: De single-head transformer classifier presteerde beter dan Multi-Layer Perceptrons (MLP's) in zowel per-signaal als per-case evaluaties.
• Normalisatie: Het gebruik van LayerNorm werd gevalideerd als essentieel voor het behoud van kanaalonafhankelijkheid vergeleken met BatchNorm.

5. Betekenis en Claims

Het artikel claimt dat CWA-T een praktische en interpreteerbare oplossing biedt voor EEG-abnormaliteitsdetectie, met name voor langdurige opnames.

• Interpreteerbaarheid: Het channelwise ontwerp stelt het model in staat om biologisch betekenisvolle kenmerken te behouden. De auteurs demonstreren dit door aan te tonen dat de autoencoder-outputs specifieke pathologische patronen kunnen detecteren, zoals abnormale bèta-activiteit (13–30 Hz) en tekortkomingen in alfa-activiteit (8–13 Hz), die overeenkomen met bekende klinische markers.
• Klinische Bruikbaarheid: Door de computationele kosten te verlagen terwijl de hoge accuratesse behouden blijft, is het framework gepositioneerd als een levensvatbaar hulpmiddel voor omgevingen met beperkte middelen en scenario's van continue monitoring.
• Toekomstig Potentieel: De auteurs suggereren dat het framework een fundament legt voor toekomstig onderzoek naar functionele hersenconnectiviteit door de gelijkenismatrices geanalyseerd via het self-attention mechanisme te bestuderen, hoewel dit als toekomstig werk wordt voorgesteld in plaats van een huidig resultaat.

Samenvattend adresseert CWA-T de "black box"- en computationele kostenproblemen van transformer-modellen in EEG-analyse door een kanaal-preserverende compressiefase te introduceren, waarmee een robuuste afruil wordt bereikt tussen efficiëntie, interpreteerbaarheid en diagnostische prestaties.