EvoBrain: Continual Learning of EEG Foundation Models Across Heterogeneous BCI Tasks

Sintesi Tecnica: EvoBrain

Definizione del Problema
I modelli di base per l'elettroencefalografia (EEG), pre-addestrati su massicci corpora non etichettati, offrono un quadro unificato per la decodifica universale del cervello. Tuttavia, le attuali strategie di post-addestramento si affidano all'adattamento statico isolato per task (ad esempio, il fine-tuning completo per ogni nuovo task). Questo paradigma presenta due criticità fondamentali:

1. Ostacolo al Trasferimento di Conoscenza: Impedisce la sintesi di pattern neurali invarianti di ordine superiore attraverso task BCI eterogenei (ad esempio, stadiazione del sonno, immaginazione motoria, riconoscimento delle emozioni), confinando il modello entro stretti confini di task.
2. Colli di Bottiglia della Scalabilità: L'adattamento a un nuovo task richiede il ri-addestramento da zero e la memorizzazione di set di parametri separati, causando un overhead computazionale e di archiviazione che scala linearmente con il numero di task.

Sebbene l'Apprendimento Continuo (Continual Learning - CL) offra una soluzione teorica, l'applicazione ai modelli di base EEG è unicamente complessa a causa della eterogeneità multi-livello. Diversi paradigmi BCI presentano impostazioni di acquisizione, semantica delle etichette, morfologie del segnale e pattern neuro-spettrali distinti. I metodi standard di CL spesso non riescono ad affrontare la specifica necessità di ricalibrare le risposte spettrali dipendenti dal task preservando al contempo la geometria della risposta dei task precedenti, portando al "catastrophic forgetting" (oblio catastrofico) o al trasferimento negativo.

Metodologia: EvoBrain
Gli autori propongono EvoBrain, un framework di apprendimento continuo dinamico e consapevole del task, progettato per far evolvere un singolo modello di base EEG attraverso un flusso di task eterogenei. Il framework bilancia la plasticità dell'apprendimento (adattamento a nuovi task) e la stabilità della memoria (ritenzione delle vecchie conoscenze) attraverso due componenti complementari:

1. Normalizzazione Neuro-Spettrale del Task (NSN):

   • Obiettivo: Potenziare la plasticità allineando i task in arrivo con le statistiche storiche e ricalibrando le risposte spettrali specifiche del task.
   • Meccanismo:
     • Normalizzazione Temporale Guidata dai Prototipi (PTN): Utilizza i prototipi dei task storici (medie mobili esponenziali delle medie dei dati per task) per stabilizzare le statistiche temporali cross-task. Impiega parametri di gating dei momenti apprendibili per riscalare e traslare dinamicamente i dati del task corrente, riducendo il drift distributivo senza forzare rigidamente una corrispondenza.
     • Modulazione del Residuo Spettrale Condizionata al Task (SRM): Modella esplicitamente i pattern spettrali specifici del task. Calcola lo spettro di Fourier reale dell'input normalizzato, applica gate di banda morbidi apprendibili per le bande di frequenza EEG standard ($\delta, \theta, \alpha, \sigma, \beta, \gamma$) e modula il residuo spettrale. Ciò consente al modello di potenziare o sopprimere specifiche bande di frequenza in base alla firma neuro-spettrale del task.

2. Distillazione dell'Affinità di Risposta (RAD):

   • Obiettivo: Potenziare la stabilità preservando l'organizzazione della risposta dei vecchi task e promuovendo un trasferimento di conoscenza selettivo.
   • Meccanismo:
     • Replay Tempo-Dipendente: Campiona i task storici con una probabilità maggiore per i task più vecchi (che sono più vulnerabili all'oblio) per fornire dati di replay.
     • Distillazione della Geometria della Risposta (RGD): Preserva la geometria relazionale dei campioni riprodotti facendo corrispondere le voci fuori diagonale delle matrici relazionali sample-wise tra il modello studente corrente e un modello insegnante congelato (lo stato del modello dopo l'apprendimento del task riprodotto). Ciò mantiene le relazioni strutturali delle risposte dei vecchi task.
     • Allineamento dell'Affinità Spettrale (SAA): Allinea le statistiche di risposta (media, varianza, covarianza) tra il task corrente e quelli riprodotti solo quando presentano firme spettrali compatibili. Ciò è ottenuto calcolando un "indice di affinità spettrale firmato" basato sulla somiglianza dei gate di banda condizionati dal task. Questo evita l'allineamento indiscriminato tra paradigmi non correlati, mitigando il trasferimento negativo.

La funzione obiettivo complessiva combina la perdita di classificazione specifica del task con la perdita RAD, pesata per bilanciare plasticità e stabilità.

Contributi Chiave

• Pionierismo nel CL Cross-Task per l'EEG: Questo lavoro è il primo a esplorare l'apprendimento continuo cross-task per i modelli di base EEG, andando oltre il CL a singolo paradigma o singolo soggetto.
• Framework Innovativo (EvoBrain): Introduce un framework plug-and-play che consente a un singolo modello unificato di generalizzare su diversi task EEG senza dover ricominciare il fine-tuning isolato per task.
• Agnosticismo Architetturale: Il framework è validato su quattro diversi backbone di base, inclusi architetture basate su Transformer (CBraMod, CSBrain, DeeperBrain) e Mamba (EEGMamba), dimostrando la sua efficacia indipendentemente dal backbone sottostante.
• Design del Meccanismo: Propone NSN e RAD per affrontare specificamente il compromesso plasticità-stabilità nel contesto dell'eterogeneità neuro-spettrale, piuttosto che affidarsi a un generico allineamento distributivo.

Risultati Sperimentali
Gli autori hanno valutato EvoBrain su sei task BCI distinti (Stadiazione del Sonno, Immaginazione Motoria, Riconoscimento delle Emozioni, Linguaggio Immaginato, Diagnosi di Disturbi Mentali) utilizzando quattro modelli di base sotto tre diversi ordini di arrivo dei task.

• Performance: EvoBrain ha superato costantemente i baseline di apprendimento continuo allo stato dell'arte (inclusi EWC, LwF, DER++, AGEM e AdaptFormer) su tutti i backbone.
• Compromesso Stabilità-Plasticità: Il metodo ha raggiunto un basso Tasso di Oblio Relativo (RFR) (tipicamente inferiore al 4,0%), indicando una forte ritenzione dei task precedenti pur mantenendo un'alta accuratezza sui nuovi task. In alcuni casi, le prestazioni sui task precedenti sono migliorate dopo l'apprendimento dei successivi, suggerendo un trasferimento positivo.
• Robustezza: Il framework ha dimostrato robustezza attraverso diverse sequenze di task e architetture di backbone.
• Studi di Ablazione: La rimozione di NSN o RAD ha degradato significativamente le prestazioni, confermando i loro ruoli complementari. Nello specifico, RGD è stato identificato come il componente chiave per preservare le strutture relazionali dei vecchi task.
• Confronto con i Paradigmi Statici: EvoBrain ha mantenuto il 91,3% delle prestazioni del fine-tuning isolato per singolo task, utilizzando un unico backbone condiviso, offrendo un'alternativa scalabile alla crescita lineare dei costi del fine-tuning statico.

Significato e Rivendicazioni
Il paper sostiene di far avanzare la realizzazione di un sistema di decodifica EEG "one-for-all" (uno per tutti). Formulando l'adattamento a valle come un problema di apprendimento continuo cross-task, EvoBrain affronta i limiti fondamentali delle strategie di post-addestramento statiche e isolate per task. Gli autori pongono il loro lavoro come un passo necessario verso sistemi di decodifica neurale scalabili e general-purpose, capaci di acquisire incrementalmente conoscenza da eterogenei task BCI senza oblio catastrofico. Lo studio enfatizza che il successo dell'adattamento continuo nell'EEG richiede non solo una normalizzazione generica, ma una specifica ricalibrazione neuro-spettrale e una preservazione della risposta consapevole dell'affinità.

Il paper conclude che, sebbene lo studio attuale utilizzi un protocolo incrementale controllato, il framework proposto fornisce una direzione pratica di post-addestramento per modelli di base EEG scalabili, aprendo la strada a future esplorazioni in contesti online più flessibili.