Sintesi Tecnica: CWA-T (Un Autoencoder per Canale con Transformer per il Rilevamento di Anomalie EEG)

1. Definizione del Problema

I segnali elettroencefalografici (EEG) sono essenziali per la diagnosi di disturbi cerebrali come l'epilessia, l'Alzheimer e la malattia di Parkinson. Tuttavia, l'analisi di questi segnali presenta sfide significative a causa della loro alta dimensionalità, complessità e suscettibilità al rumore. Gli approcci esistenti di deep learning affrontano un compromesso:

• Metodi dipendenti dal pre-processing (es. trasformate wavelet) riducono il rumore ma richiedono un'ingegneria delle caratteristiche complessa e manuale.
• Modelli di Deep Learning (DL) end-to-end (es. CNN, RNN) apprendono direttamente dai dati grezzi ma spesso faticano con le dipendenze temporali a lungo termine o mancano di interpretabilità.
• I modelli basati su Transformer eccellono nel catturare dipendenze a lungo raggio ma sono computazionalmente costosi e spesso funzionano come "black box", limitando la loro utilità in contesti clinici che richiedono soluzioni leggere e interpretabili.

Il documento affronta la necessità di un framework che bilanci efficienza computazionale, interpretabilità e alte prestazioni nel rilevamento di segnali EEG anormali, specificamente per registrazioni a lungo termine.

2. Metodologia

Il framework proposto, CWA-T, integra un autoencoder basato su CNN per canale con un classificatore transformer a singola testa. L'architettura opera in due fasi primarie:

A. Autoencoder per Canale (Estrazione delle Caratteristiche e Compressione)

La prima fase comprime i segnali EEG grezzi ($x \in \mathbb{R}^{C \times T}$) in una rappresentazione latente compatta ($z \in \mathbb{R}^{C \times D}$, dove $D \ll T$).

• Indipendenza dei Canali: A differenza delle convoluzioni standard che mescolano le informazioni dei canali, CWA-T impiega convoluzioni raggruppate (dove il numero di gruppi è uguale al numero di canali, $C$). Ciò garantisce che ogni canale EEG sia elaborato indipendentemente, preservando la naturale struttura spaziale dei dati e prevenendo dipendenze inter-canale.
• Efficienza: Questo design riduce significativamente i costi computazionali. Il documento nota che la convoluzione per canale riduce il costo della convoluzione standard di un fattore di $1/C$.
• Normalizzazione: L'autoencoder utilizza la Layer Normalization invece della Batch Normalization. Questa scelta è critica per mantenere l'indipendenza dei canali, poiché la BatchNorm normalizzerebbe attraverso la dimensione del batch e mescolerebbe involontariamente le statistiche tra i canali.

B. Classificatore Transformer a Singola Testa

Le rappresentazioni latenti compresse vengono inviate a un classificatore leggero.

• Attenzione a Singola Testa: Per mantenere l'efficienza, il modello sostituisce il meccanismo standard di multi-head self-attention con una variante a singola testa. Ciò riduce drasticamente il numero di parametri (da $3 \cdot d \cdot D_{orig} \cdot d_k$ in multi-head a $3 \cdot d \cdot d_k$ in single-head) mantenendo la capacità di modellare dipendenze temporali a lungo termine.
• Architettura: Il classificatore consiste in un meccanismo di self-attention a singola testa seguito da una rete feed-forward per posizione, con connessioni residue e layer normalization per favorire la convergenza.

C. Pre-processing dei Dati

Il framework elabora i dati EEG grezzi con un pre-processing minimo:

1. Downsampling: Ricampionamento a 100 Hz.
2. Segmentazione: Diviso in segmenti non sovrapposti di 2 minuti.
3. z-Normalization: Le ampiezze sono normalizzate per mitigare la variabilità derivante dal posizionamento degli elettrodi o dalla fisiologia.
   Non vengono applicate trasformazioni complesse nel dominio della frequenza (es. FFT, Wavelet) prima dell'input.

3. Contributi Chiave

1. Architettura Novativa: L'integrazione di un autoencoder per canale con un transformer a singola testa specificamente progettato per il rilevamento di anomalie EEG.
2. Preservazione dell'Indipendenza dei Canali: Trattando i canali EEG indipendentemente nell'autoencoder, il modello si allinea con la struttura biologica dei segnali EEG, migliorando l'interpretabilità per la ricerca neuroscientifica.
3. Efficienza Computazionale: Il framework raggiunge un equilibrio tra le alte prestazioni dei transformer e il basso costo delle CNN. Evita l'onere computazionale pesante dei transformer standard comprimendo i dati prima della classificazione.
4. Capacità End-to-End: Il modello elabora direttamente segnali EEG a lungo termine con un pre-processing minimo, eliminando la necessità di pipeline di pre-processing complesse e artigianali.

4. Risultati Sperimentali

Il modello è stato valutato sul TUH Abnormal EEG Corpus (v3.0.1), composto da 2.993 registrazioni suddivise in set di addestramento e valutazione.

Metriche di Prestazione

Valutato a livello di caso (utilizzando la votazione a maggioranza tra i segnali per un singolo soggetto), CWA-T ha ottenuto:

• Accuratezza: 85,0%
• Sensibilità: 76,2%
• Specificità: 91,2%

Questi risultati hanno superato i modelli baseline inclusi EEGNet, EEG-ARNN, Deep4Conv e FusionCNN. In particolare, mentre EEGNet mostrava un'alta sensibilità (100%) a livello di caso, aveva una specificità dello 0%, indicando un forte bias. CWA-T ha mantenuto un migliore equilibrio tra sensibilità e specificità.

Efficienza Computazionale

• FLOPs: 202M
• Parametri: 2.9M
• Confronto: CWA-T è significativamente più efficiente di un transformer standalone a singola testa (che richiede 11,9G FLOPs e 1,3G parametri per lo stesso input) ed è competitivo o più efficiente di altri baseline basati su CNN come FusionCNN (4,5G FLOPs).

Studi di Ablazione

• Transformer vs. MLP: Il classificatore transformer a singola testa ha superato i Multi-Layer Perceptrons (MLP) sia nelle valutazioni per singolo segnale che per singolo caso.
• Normalizzazione: L'uso di LayerNorm è stato validato come essenziale per preservare l'indipendenza dei canali rispetto a BatchNorm.

5. Significato e Rivendicazioni

Il documento afferma che CWA-T offre una soluzione pratica e interpretabile per il rilevamento di anomalie EEG, particolarmente per le registrazioni a lungo termine.

• Interpretabilità: Il design per canale permette al modello di conservare caratteristiche biologicamente significative. Gli autori dimostrano questo mostrando che gli output dell'autoencoder possono rilevare pattern patologici specifici, come l'attività beta anomala (13–30 Hz) e le carenze nell'attività alpha (8–13 Hz), che si allineano con i marcatori clinici noti.
• Utilità Clinica: Riducendo i costi computazionali pur mantenendo un'alta accuratezza, il framework si posiziona come uno strumento vitale per ambienti con risorse limitate e scenari di monitoraggio continuo.
• Potenziale Futuro: Gli autori suggeriscono che il framework pone le basi per la ricerca futura sulla connettività funzionale del cervello analizzando le matrici di similarità generate dal meccanismo di self-attention, sebbene ciò sia proposto come lavoro futuro piuttosto che come risultato attuale.

In sintesi, CWA-T affronta i problemi della "black box" e del costo computazionale dei modelli transformer nell'analisi EEG introducendo una fase di compressione che preserva i canali, raggiungendo un robusto compromesso tra efficienza, interpretabilità e prestazioni diagnostiche.