Sintesi Tecnica: Estrattori di Caratteristiche Temporali nei Modelli Fondativi EEG

Problematica

I modelli fondativi per l'elettroencefalografia (EEG) mirano ad apprendere rappresentazioni generalizzabili da registrazioni cerebrali su larga scala per affrontare sfide quali l'alta dimensionalità, la non stazionarietà, i bassi rapporti segnale-rumore e la sostanziale variabilità inter-soggetto. Sebbene questi modelli impieghino tipicamente un modulo di embedding per trasformare i dati EEG grezzi prima di raffinarli con un backbone transformer, il ruolo specifico degli estrattori di caratteristiche temporali rimane poco esplorato.

Gli approcci esistenti variano ampiamente: alcuni utilizzano leggeri encoder convoluzionali 1D (spesso combinati con caratteristiche nel dominio della frequenza), mentre altri si affidano esclusivamente a strati di proiezione lineare. Tuttavia, le differenze nei moduli di embedding sono spesso intrecciate con variazioni nell'architettura complessiva e nei paradigmi di addestramento, impedendo uno studio sistematico dell'effetto diretto dell'estrazione delle caratteristiche temporali. Inoltre, non è chiaro se i modelli fondativi per serie temporali pre-addestrati (TSFM), che apprendono rappresentazioni temporali generiche da dataset diversificati, possano essere trasferiti efficacemente al dominio EEG come estrattori di caratteristiche temporali congelati.

Metodologia

Gli autori conducono un confronto controllato di tre strategie di estrazione delle caratteristiche temporali all'interno di un framework unificato di modello fondativo EEG. Per isolare l'effetto dell'estrattore, tutti gli altri componenti — inclusi la rappresentazione dell'input, la strategia di patching, la procedura di masking, l'encoding posizionale sferico e il backbone transformer — sono mantenuti costanti.

1. Rappresentazione dell'Input e Patching

• Input: Registrazioni EEG multicanale ($X \in \mathbb{R}^{C \times T}$).
• Patching: Seguendo le pratiche dei Vision Transformer, le registrazioni sono divise in patch di 2 secondi.
• Normalizzazione:
  • Per la configurazione MOMENT (TSFM pre-addestrato), viene utilizzata la pre-elaborazione nativa del modello (Reversible Instance Normalization).
  • Per i baseline Lineare e Convoluzionale, viene applicata una normalizzazione del massimo assoluto per preservare gli incroci dello zero e la polarità del segnale.

2. Strategie di Estrattore di Caratteristiche Temporali

Lo studio confronta tre approcci distinti:

• Proiezione Lineare: Un baseline minimale in cui ogni patch EEG viene proiettata nello spazio di embedding del modello tramite un singolo strato lineare.
• Encoder Temporale Convoluzionale: Un encoder convoluzionale depthwise separable che applica filtri temporali condivisi a ogni token canale-patch. Utilizza kernel di dimensioni variabili lungo la dimensione temporale, seguiti da convoluzione pointwise e appiattimento (flattening).
• TSFM Pre-addestrato (MOMENT): Il modello MOMENT-small pre-addestrato viene utilizzato come estrattore di caratteristiche. A differenza dei TSFM orientati alla previsione (forecasting), MOMENT è pre-addestrato con un obiettivo di ricostruzione mascherata progettato per l'apprendimento di rappresentazioni.
  • Adattamento: Poiché MOMENT si aspetta sequenze di lunghezza 512 e le patch EEG contengono 200 punti temporali, vengono applicati zero-padding a sinistra e masking dell'input.
  • Aggregazione: Viene applicata la riduzione media (mean reduction) sulle rappresentazioni interne delle patch per produrre un embedding a dimensionalità fissa.
  • Congelamento: L'encoder MOMENT è mantenuto congelato sia durante il pre-addestramento che durante l'addestramento downstream; gli embedding sono calcolati offline.

3. Architettura del Modello e Addestramento

• Encoding Posizionale: Viene utilizzato l'Encoding Posizionale Sferico (SPE) per l'informazione spaziale (posizioni degli elettrodi), mentre l'encoding sinusoidale standard è usato per gli indici delle patch temporali.
• Backbone: Un encoder transformer con strati di self-attention e feed-forward.
• Obiettivo: Ricostruzione mascherata ($L = \|\hat{X}_M - \tilde{X}_M\|_2^2$) sulle patch mascherate.
• Dataset:
  • Pre-addestramento: Healthy Brain Network EEG (HBN-EEG) con circa 3.000 partecipanti.
  • Task Downstream: PhysioNet Motor Imagery (MI) e FACED (Emotion Recognition).

Contributi Chiave

1. Analisi Sistematica: Il documento fornisce un'analisi controllata del ruolo degli estrattori di caratteristiche temporali nei modelli fondativi EEG attraverso due distinti task downstream (motor imagery e riconoscimento delle emozioni).
2. Valutazione del Trasferimento TSFM: Valuta un TSFM pre-addestrato e domain-general (MOMENT) come estrattore di caratteristiche temporali congelato all'interno di un modello fondativo EEG, confrontandolo con le standard strategie di embedding lineare e convoluzionale.

Risultati

I modelli sono stati valutati utilizzando protocolli di linear probing (backbone congelato) e fine-tuning.

• Motor Imagery (PhysioNet-MI):
  • Nel setting di linear probing, i modelli lineari e convoluzionali semplici hanno ottenuto prestazioni competitive, mentre il modello MOMENT ha mostrato una performance media inferiore.
  • Nel setting di fine-tuning, il modello lineare ha raggiunto la performance media più elevata, seguito da MOMENT.
• Emotion Recognition (FACED):
  • Sia i modelli convoluzionali che MOMENT hanno superato il baseline lineare sotto entrambi i protocolli.
  • Il dataset delle emozioni ha beneficiato maggiormente di una modellazione temporale più ricca (convoluzionale o TSFM) rispetto al dataset di motor imagery.
• Significatività Statistica: I test di Friedman hanno indicato differenze significative tra i modelli nella maggior parte dei setting. Tuttavia, i confronti post-hoc con correzione Holm-Bonferroni non hanno rivelato differenze a coppie significative, portando gli autori a concentrarsi sui trend coerenti delle prestazioni medie.

Significato e Rivendicazioni

Il documento conclude che nessuna singola strategia di estrazione delle caratteristiche temporali supera costantemente le altre in tutti i benchmark.

• Dipendenza dal Task: Proiezioni lineari semplici sono competitive per i task di motor imagery, mentre il riconoscimento delle emozioni beneficia di una modellazione temporale più ricca (convoluzionale o basata su TSFM).
• Viabilità dei TSFM: Sebbene non specificamente adattato all'EEG, il TSFM pre-addestrato (MOMENT) funge da efficace estrattore di caratteristiche temporali. Ciò suggerisce che le rappresentazioni temporali generiche possono essere trasferite come estrattori congelati all'interno dei modelli fondativi EEG.
• Limitazioni: Gli autori osservano che l'impostazione di trasferimento congelato può limitare la capacità del modello di catturare pienamente le dinamiche temporali specifiche dei segnali EEG, e le conclusioni generali sono limitate dall'ambito di valutazione. Si propone come lavoro futuro l'investigazione dell'adattamento dei TSFM durante il pre-addestramento e la valutazione su un range più ampio di task.