Riepilogo Tecnico: STAMP: Adattatore Spazio-Temporale con Pooling Multi-Testa

Enunciato del Problema

I modelli fondazione per serie temporali (TSFM), pre-addestrati su domini diversificati, hanno dimostrato prestazioni solide in vari compiti di modellazione. Parallelamente, sono stati sviluppati modelli fondazione specifici per i dati di elettroencefalografia (EEG) (EEGFM) per catturare le caratteristiche spazio-temporali uniche dell'attività elettrica cerebrale. Tuttavia, non è stata ancora effettuata un'analisi comparativa tra i TSFM generali e i modelli fondazione specifici per l'EEG su compiti EEG. Inoltre, mentre gli EEGFM incorporano spesso architetture complesse per modellare le dipendenze spaziali e temporali, i TSFM generali trattano tipicamente gli input come serie temporali univariate, rendendoli naturalmente inefficaci per i compiti EEG, dove le relazioni spaziali tra i canali e l'evoluzione temporale sono critiche. L'applicazione ingenua dei TSFM ai dati EEG (ad esempio, utilizzando un semplice pooling medio) produce prestazioni vicine al caso casuale.

Metodologia

Gli autori introducono STAMP (Adattatore Spazio-Temporale con Pooling Multi-Testa), un adattatore leggero e flessibile progettato per essere posizionato sopra i TSFM generici per abilitare una modellazione EEG efficace. STAMP sfrutta gli embedding univariate prodotti da un TSFM congelato e modella implicitamente le caratteristiche spazio-temporali dei dati EEG attraverso tre componenti fondamentali:

1. Codifiche Posizionali (PE): Per colmare la mancanza di contesto spaziale e temporale negli embedding standard dei TSFM, STAMP aggiunge embedding posizionali apprendibili. Questi includono embedding posizionali a livello di token ($p_{ij}$), embedding a livello spaziale ($s_i$) e embedding a livello temporale ($t_j$). L'embedding modificato è calcolato come $\tilde{e}_{ij} = e'_{ij} + p_{ij} + s_i + t_j$, dove $e'_{ij}$ è l'embedding del TSFM ridotto dimensionalmente. Gli studi di ablazione indicano che l'uso di tutti e tre i tipi di codifiche produce le prestazioni migliori.

2. CC-GMLP (Criss-Cross Gated MLP): Per catturare le relazioni attraverso la griglia spazio-temporale, STAMP impiega una nuova architettura CC-GMLP ispirata al Transformer Criss-Cross (CC-TF) e ai Gated MLP (GMLP). Questo modulo separa la modellazione delle relazioni spaziali e temporali. Elabora la griglia di input $\tilde{E}$ attraverso una serie di blocchi in cui le unità di gating temporale ($g_T$) e spaziale ($g_S$) operano indipendentemente lungo i rispettivi assi prima della concatenazione. Ciò consente un apprendimento efficiente in termini di parametri delle relazioni tra canali indipendentemente dall'evoluzione temporale specifica del segnale.

3. Pooling Multi-Testa con Attenzione (MHAP): Per aggregare gli embedding misti dei token per una previsione finale, STAMP utilizza MHAP. Questo meccanismo impara a pesare l'importanza di ciascun token rispetto al compito finale. Proietta i token in spazi a dimensionalità inferiore, calcola i punteggi di attenzione rispetto ai vettori di query e aggrega i risultati. Un passo finale di aggregazione attraverso le query determina l'importanza complessiva di ciascuna testa, producendo un vettore di riepilogo. Questo viene combinato con una connessione residua alla media degli embedding misti dei token prima di una proiezione lineare finale.

L'adattatore viene addestrato sopra un TSFM congelato (principalmente MOMENT Large, ma testato anche con MOMENT Small/Base, Chronos e TSPulse). Il numero totale di parametri addestrabili in STAMP è di circa 750.000, una frazione dei milioni di parametri presenti negli EEGFM tipici.

Contributi Chiave

• Prima Analisi Comparativa: Il documento fornisce la prima analisi comparativa dei modelli fondazione specifici per l'EEG rispetto ai TSFM generali su compiti specifici per l'EEG.
• Nuova Architettura di Adattatore: L'introduzione di STAMP, che adatta con successo gli embedding univariate dei TSFM per dati EEG multivariati spazio-temporali senza richiedere il riaddestramento del TSFM su dati EEG.
• Efficienza: STAMP raggiunge prestazioni paragonabili agli EEGFM all'avanguardia (come CBraMod e LaBraM) utilizzando significativamente meno parametri addestrabili (circa 0,74M contro 29M per CBraMod e 5,8M per LaBraM).
• Valutazione Completa: Il metodo è stato valutato su 8 dataset di riferimento EEG che coprono compiti clinici diversificati, tra cui immaginazione motoria, calcolo mentale, riconoscimento delle emozioni e classificazione di eventi.

Risultati

• Prestazioni rispetto alle Baseline: STAMP produce prestazioni simili o migliori rispetto agli EEGFM (CBraMod, LaBraM) e supera nettamente i modelli EEG non fondazione (EEG Conformer, ST-Transformer) sulla maggior parte dei dataset.
• Studi di Ablazione:
  • Codifica Posizionale: L'inclusione di tutti e tre i tipi di codifica posizionale (token, spaziale, temporale) ha migliorato costantemente le prestazioni, con l'esclusione delle PE che ha prodotto i risultati peggiori.
  • Miscelazione dei Token: L'architettura CC-GMLP ha superato sia i GMLP di base che le strategie di miscelazione basate su Transformer (B-TF, CC-TF) su tutti i dataset.
  • Aggregazione dei Token: Sebbene MHAP e il pooling medio abbiano prodotto prestazioni simili sulla maggior parte dei dataset, MHAP ha fornito un significativo aumento delle prestazioni sul dataset BCIC-IV-2a, suggerendo la sua utilità nella cattura di relazioni complesse tra i token.
• Compatibilità TSFM: STAMP ha funzionato bene con gli embedding provenienti da vari TSFM (MOMENT, Chronos, TSPulse), anche quelli non pre-addestrati su dati EEG (Chronos, TSPulse), dimostrando la generalizzabilità dell'adattatore.
• Limitazioni: STAMP ha mostrato prestazioni inferiori rispetto ad altri metodi sui dataset di riconoscimento delle emozioni (SEED-V e FACED). Gli autori ipotizzano che i TSFM attuali potrebbero non estrarre caratteristiche rilevanti per il riconoscimento delle emozioni a grana fine, poiché le prestazioni non sono migliorate significativamente nemmeno passando agli embedding di Chronos.

Significato e Affermazioni

Il documento afferma che STAMP dimostra come i modelli fondazione per serie temporali generici possano essere adattati con successo per i compiti EEG con un numero minimo di parametri aggiuntivi addestrabili. Gli autori sostengono che, sebbene i TSFM possano apparire sottoperformanti rispetto agli EEGFM "fuori dalla scatola", relativamente poche adattazioni—specificamente l'aggiunta di codifiche posizionali e una strategia di miscelazione dei token—sono sufficienti per ottenere risultati competitivi.

Il significato risiede nel potenziale di ridurre costi e tempi di sviluppo delle soluzioni EEG sfruttando TSFM pre-addestrati su larga scala esistenti, invece di addestrare modelli fondazione massicci e specifici per il dominio da zero. Gli autori notano che, sebbene la generazione degli embedding iniziali richieda risorse computazionali, questo può essere fatto in anticipo e in parallelo. Concludono che STAMP offre un percorso flessibile ed efficiente in termini di parametri per la modellazione dei dati EEG, sebbene riconoscano che è necessaria un'ulteriore esplorazione per i compiti in cui i TSFM attuali faticano, come il riconoscimento delle emozioni a grana fine.