Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

Titolo: Oltre l'accuratezza: Robustezza, Interpretabilità ed Espressività dei Modelli Fondamentali EEG

Enunciato del Problema
I Modelli Fondamentali per l'Elettroencefalografia (EEG-FM) sono emersi come un approccio promettente per le Interfacce Cervello-Computer (BCI), con l'obiettivo di apprendere rappresentazioni a scopo generale da grandi corpora non etichettati tramite auto-supervisione. Tuttavia, le valutazioni attuali di questi modelli sono prevalentemente limitate a metriche di accuratezza "pulite" e in-distribuzione. Questa focalizzazione trascura fattori critici per il dispiegamento nel mondo reale: il rumore intrinseco dei segnali EEG (dovuto all'impedenza degli elettrodi, al movimento e ad artefatti ambientali), la necessità di interpretabilità in domini clinici ad alto rischio e la qualità effettiva delle rappresentazioni apprese. I precedenti benchmark hanno mostrato che gli EEG-FM offrono spesso guadagni marginali rispetto a baseline supervisionate come EEGNet, eppure le cause profonde — sia esse una scarsa robustezza, un apprendimento di caratteristiche non allineato o rappresentazioni pre-addestrate di bassa qualità — rimangono inesaminate.

Metodologia
Gli autori hanno condotto uno studio sistematico di benchmarking coinvolgendo sei EEG-FM all'avanguardia (BIOT, CBraMod, LaBraM, NeuroRVQ, BrainOmni e REVE) e una baseline supervisionata (EEGNet) su otto dataset diversificati che coprono immaginazione motoria, esecuzione motoria, potenziali correlati agli eventi (ERP), memoria di lavoro, stadi del sonno e classificazione dello stato oculare. Lo studio ha impiegato tre livelli distinti di analisi:

1. Analisi della Robustezza: I modelli addestrati su dati puliti sono stati valutati al momento del test in cinque condizioni di perturbazione: rumore bianco e rosa additivo (a diversi rapporti segnale-rumore), dropout casuale dei canali (con padding a zero), dropout di canali basato su regioni (con padding a zero e rimozione effettiva) e iniezione di rumore specifica per regione.
2. Analisi dell'Interpretabilità: Lo studio ha applicato la Propagazione della Rilevanza a Livello di Strato Consapevole dell'Attenzione (AttnLRP) per attribuire le previsioni del modello a specifiche regioni cerebrali. Per i modelli in cui AttnLRP era numericamente instabile (NeuroRVQ e BrainOmni), è stato utilizzato Gradient × Input (G×I). L'analisi ha esaminato se i modelli si focalizzavano su regioni neurofisiologicamente plausibili e come queste mappe di attenzione si spostavano sotto perturbazione.
3. Analisi dell'Espressività: Utilizzando un probing lineare basato su blocchi, gli autori hanno indagato dove emergono le informazioni rilevanti per il compito all'interno dell'architettura transformer (blocchi iniziali vs. finali) e se le rappresentazioni pre-addestrate siano sufficienti per i compiti a valle. Un focus specifico è stato posto sull'impatto delle strategie di pooling (pooling medio vs. appiattimento dei token) sulle prestazioni dell'adattamento "solo testa" (backbone congelato).

Risultati Chiave

• Robustezza: Nessun singolo modello domina tutti i modi di fallimento.

  • Rumore: BrainOmni ha dimostrato la massima robustezza al rumore additivo, perdendo solo il 5,4% di accuratezza a -5 dB rispetto al 14–21% per gli altri.
  • Dropout: Paradossalmente, BrainOmni è stato tra i più fragili sotto dropout casuale dei canali quando i canali venivano riempiti con zeri (-13,3% di degradazione). Tuttavia, quando i canali eliminati venivano rimossi completamente (dropout vero) invece di essere riempiti con zeri, i modelli a canali variabili (incluso BrainOmni) si sono ripresi significativamente, suggerendo che la loro fragilità deriva dalla gestione di input a valore zero piuttosto che da una mancanza di informazioni sul compito.
  • Regimi: A livelli di rumore estremi, tutti i modelli convergono verso un pavimento di prestazioni specifico per il compito, indicando un regime limitato dal segnale in cui l'architettura conta meno. A rumore moderato, le differenze architetturali rimangono decisive.

• Interpretabilità:

  • Allineamento Spaziale: Tutti i modelli hanno concentrato ampiamente la rilevanza su regioni cerebrali appropriate per il compito (ad esempio, elettrodi centrali per compiti motori, siti occipitali per ERP), allineandosi alla neurofisiologia nota.
  • Stabilità alla Perturbazione: Sotto perturbazione, le mappe di attribuzione sono rimaste spazialmente stabili anche mentre l'accuratezza delle previsioni si degradava. Ciò suggerisce che i modelli continuano a prestare attenzione alle regioni cerebrali corrette ma falliscono nel decodificare il contenuto del segnale corrotto.
  • Eccezioni: BrainOmni ha prodotto mappe di attenzione diffuse, probabilmente a causa della sua operazione su token latenti astratti piuttosto che su elettrodi fisici.

• Espressività:

  • Probing basato su Blocchi: Segnali linearmente decodificabili rilevanti per il compito erano presenti nei blocchi iniziali dei modelli pre-addestrati. Il fine-tuning ha principalmente riproposto i blocchi finali per specializzarsi nel compito a valle, un pattern coerente con le scoperte nei transformer NLP.
  • Artifatti del Pooling: La scarsa prestazione precedentemente osservata dell'adattamento "solo testa" per modelli come LaBraM e NeuroRVQ è stata attribuita in gran parte al loro uso del pooling medio, che collassa le informazioni a livello di token. Sostituire il pooling medio con l'appiattimento dei token ha migliorato significativamente le prestazioni "solo testa" (guadagni del 14–21%), avvicinando questi modelli alla baseline EEGNet. Ciò indica che gli EEG-FM possiedono una capacità rappresentazionale sufficiente quando gli embedding a livello di token sono preservati.

Significato e Affermazioni
Il documento afferma di fornire la prima valutazione sistematica di robustezza, interpretabilità ed espressività per i modelli fondamentali EEG. Gli autori sostengono che:

1. La robustezza dipende dal compito e dalla perturbazione: Le classifiche delle prestazioni del modello cambiano in base al tipo di corruzione (rumore vs. dropout) e al segnale specifico del compito.
2. Esiste un ancoraggio spaziale ma è insufficiente: Sebbene i modelli apprendano rappresentazioni ancorate spazialmente coerenti con la neurofisiologia, ciò non garantisce una previsione fedele sotto corruzione.
3. Le strategie di pooling confondono la valutazione: La presunta "bassa qualità" delle rappresentazioni pre-addestrate in contesti "solo testa" è spesso un artefatto della progettazione del pooling (pooling medio vs. appiattimento) piuttosto che delle rappresentazioni stesse.
4. Direzioni Future: Lo studio evidenzia la necessità che le future valutazioni utilizzino pooling basato su concatenazione per evitare di confondere la progettazione del pooling con la qualità della rappresentazione e di considerare la rimozione effettiva dei canali invece del padding a zero quando si testano modelli a canali variabili.

Gli autori concludono che, sebbene gli EEG-FM mostrino promesse, il loro sviluppo richiede una valutazione rigorosa oltre l'accuratezza su dati puliti per garantire l'affidabilità in contesti clinici e reali di BCI.