Lightweight Transformer for EEG Classification via Balanced Signed Graph Algorithm Unrolling

Questo articolo presenta un metodo di classificazione EEG basato su un algoritmo di denoising per grafi firmati bilanciati, che viene "srotolato" in una rete neurale leggera e interpretabile per distinguere pazienti epilettici da soggetti sani con un numero di parametri drasticamente inferiore rispetto alle architetture deep learning tradizionali.

L'essenziale

🧠 Il "Detective" Leggero che Ascolta il Cervello

Immagina di dover distinguere tra due tipi di persone: pazienti epilettici e persone sane, ascoltando solo i loro segnali cerebrali (le onde EEG). È come cercare di capire se una persona sta cantando una canzone felice o se sta gridando per il dolore, ma devi farlo guardando solo le vibrazioni della sua voce, senza vedere il viso.

Fino a poco tempo fa, i computer più intelligenti (le "Intelligenze Artificiali" o Deep Learning) facevano questo lavoro, ma erano come giganti ingombranti: pesavano tantissimo, consumavano molta energia e, soprattutto, erano delle "scatole nere". Nessuno sapeva come arrivavano alla conclusione, il che è pericoloso in medicina.

Gli autori di questo studio (dalle università di Pechino, York e NYU) hanno creato una soluzione diversa: un piccolo detective intelligente, leggero e trasparente, che usa la matematica per "pulire" il rumore e capire cosa sta succedendo.

Ecco come funziona, passo dopo passo, con delle metafore semplici:

1. Il Cervello è una Rete di Amici e Nemici

Immagina i sensori dell'EEG come persone in una stanza.

• A volte, due sensori "si capiscono" perfettamente: se uno si muove, l'altro fa lo stesso. Sono amici (correlazione positiva).
• Altre volte, fanno l'opposto: se uno sale, l'altro scende. Sono nemici o opposti (correlazione negativa).

La maggior parte delle intelligenze artificiali attuali ignora i "nemici" o li tratta male. Questo studio, invece, dice: "Aspetta! I nemici sono importanti! Dobbiamo tenerne conto". Usano una mappa speciale chiamata Grafo Segnato Bilanciato.

• Metafora: È come organizzare una festa dove ci sono gruppi di amici che si piacciono e gruppi che si litigano. Se la festa è "bilanciata", significa che non ci sono situazioni confuse (come tre persone che si odiano a vicenda in un cerchio). Questo permette di creare regole matematiche molto precise.

2. La Tecnica del "Sgraffio" (Unrolling)

Invece di costruire una rete neurale gigante e misteriosa, gli autori hanno usato un trucco chiamato "Unrolling" (srotolamento).

• Metafora: Immagina di avere un algoritmo matematico che è come un ricetta per pulire una finestra sporca. La ricetta dice: "Passa il panno, controlla, passa di nuovo".
• Invece di far fare questo lavoro a un computer che impara tutto a caso, hanno preso ogni singolo passaggio della ricetta e lo hanno trasformato in un "livello" di una rete neurale.
• Il risultato? Una rete che sa esattamente cosa sta facendo perché è fatta di passaggi logici che possiamo vedere e capire. Non è magia, è matematica pulita.

3. Il Filtro Magico (Low-Pass Filter)

Una volta creata la mappa dei sensori (amici e nemici), il sistema deve togliere il "rumore" (come il fruscio di una radio).

• Usano un filtro passa-basso.
• Metafora: Immagina di ascoltare una conversazione in una stanza rumorosa. Il filtro lascia passare le voci basse e chiare (i segnali importanti) e blocca i rumori acuti e fastidiosi (il rumore di fondo).
• La cosa geniale è che questo filtro non è fisso: il sistema impara da solo quanto deve essere "stretto" il filtro per ogni tipo di cervello, adattandosi perfettamente.

4. Il Confronto tra Due Detective

Per decidere se un paziente ha l'epilessia o no, il sistema non usa un solo "giudice", ma ne addestra due:

1. Il Detective Sano: Impara a ricostruire come dovrebbe suonare il cervello di una persona sana.
2. Il Detective Epilettico: Impara a ricostruire come suona il cervello di un paziente.

Quando arriva un nuovo segnale, lo fanno ascoltare a entrambi i detective:

• Se il "Detective Sano" riesce a ricostruire il segnale quasi perfettamente (pochi errori), allora il paziente è sano.
• Se il "Detective Sano" sbaglia molto, ma il "Detective Epilettico" ricostruisce il segnale bene, allora il paziente ha l'epilessia.

È come far ascoltare una canzone a due musicisti: se uno la suona stonata e l'altro la suona perfetta, sai chi è il musicista giusto per quel brano.

🏆 Perché è così speciale?

1. È leggerissimo: I modelli attuali sono come camion che trasportano tonnellate di dati. Questo modello è una bicicletta. Usa meno dell'1% dei parametri (i "mattoncini" di cui è fatto il cervello artificiale) rispetto ai modelli più famosi.
2. È veloce: Si allena in 2 ore, mentre gli altri ne impiegano 20.
3. È preciso: Raggiunge un'accuratezza del 97,6%, battendo molti modelli giganti che si fermano all'85%.
4. È trasparente: Sappiamo esattamente come prende le decisioni. Non è una scatola nera, è un processo logico che i medici possono verificare.

In sintesi

Gli autori hanno preso un problema complesso (capire il cervello), hanno usato la matematica dei "grafi bilanciati" (per gestire amici e nemici nei segnali), e hanno costruito un sistema intelligente che è piccolo, veloce e onesto su come lavora. È un passo enorme per portare l'intelligenza artificiale nei dispositivi medici portatili, dove non c'è spazio per computer giganti.

Sommario tecnico

1. Il Problema

La classificazione dei segnali elettroencefalografici (EEG) per distinguere pazienti con epilessia da soggetti sani è un compito critico. Sebbene i modelli di Deep Learning (DL) basati su CNN e Transformer abbiano raggiunto risultati allo stato dell'arte (SOTA), presentano due gravi limiti per l'implementazione pratica su dispositivi EEG con risorse limitate:

1. Elevato consumo di parametri: I modelli Transformer, in particolare, richiedono un numero enorme di parametri, rendendoli pesanti e costosi in termini computazionali.
2. Mancanza di interpretabilità: Funzionano come "scatole nere", il che ostacola la fiducia clinica e la comprensione dei meccanismi decisionali.

Inoltre, i segnali EEG presentano spesso anti-correlazioni (relazioni negative) tra i sensori, che i grafi tradizionali (con solo pesi positivi) non riescono a modellare efficacemente.

2. Metodologia

Gli autori propongono un approccio innovativo basato sull'unrolling di algoritmi (srotolamento di algoritmi) e sull'elaborazione di segnali su grafi (Graph Signal Processing - GSP).

A. Grafo Bilanciato Segnato (Balanced Signed Graph)

• Modellazione delle Anti-correlazioni: Invece di ignorare le relazioni negative, il metodo costruisce un grafo segnato dove gli archi possono avere pesi positivi o negativi.
• Condizione di Bilanciamento: Viene utilizzato un grafo bilanciato, definito come un grafo privo di cicli con un numero dispari di archi negativi. Questo è cruciale perché, secondo il Teorema di Cartwright-Harary, un grafo bilanciato può essere mappato in un grafo positivo equivalente tramite una trasformazione di similarità della matrice Laplaciana.
• Frequenze Definite: Grazie a questa mappatura, il grafo segnato eredita le proprietà spettrali ben definite dei grafi positivi, permettendo l'applicazione di filtri spettrali standard.

B. Unrolling dell'Algoritmo di Denoising

Il cuore del metodo è la costruzione di una rete neurale "simile a un Transformer" ma interpretabile, ottenuta srotolando un algoritmo iterativo di denoising:

1. Costruzione del Grafo: Si apprende un grafo bilanciato segnato dai dati EEG. I pesi degli archi sono derivati dalle distanze tra le feature dei nodi (sensori), con la polarità dei nodi ($\beta_i \in \{1, -1\}$) ottimizzata per massimizzare la coerenza del grafo (minimizzando il regolarizzatore Laplaciano).
2. Filtraggio Passa-Basso (LPF): Si applica un filtro passa-basso ideale sul grafo positivo corrispondente per rimuovere il rumore. L'implementazione efficiente avviene tramite l'approssimazione di Lanczos, che evita la decomposizione spettrale completa ($O(N^3)$) a favore di una complessità lineare ($O(N)$).
3. Struttura a Blocchi: La rete è composta da blocchi ripetuti che alternano un modulo di apprendimento del grafo (BGL) e un modulo di filtraggio (LPF).
   • Il modulo BGL aggiorna le feature e i pesi degli archi.
   • Il modulo LPF esegue la proiezione sul sottospazio a bassa frequenza.
   • Meccanismo di Attenzione: Il modulo di apprendimento del grafo con pesi normalizzati funge matematicamente da meccanismo di self-attention, ma con un numero di parametri drasticamente ridotto rispetto ai Transformer classici (non si apprendono matrici Key/Query dense, ma solo parametri per una CNN leggera e una matrice metrica).

C. Strategia di Classificazione

Invece di addestrare un classificatore diretto, il metodo utilizza un approccio generativo-discriminativo:

1. Vengono addestrati due denoisers specifici per classe ($\Psi_0$ per soggetti sani, $\Psi_1$ per pazienti epilettici).
2. Ogni denoiser impara a ricostruire il segnale "pulito" tipico della sua classe (apprendendo la probabilità a posteriori della classe).
3. Decisione: Per classificare un nuovo segnale, si calcola l'errore di ricostruzione per entrambi i denoisers. La classe assegnata è quella che produce l'errore di ricostruzione minimo (principio di massima verosimiglianza).
4. Loss Contrastiva: Durante l'addestramento, viene utilizzata una funzione di loss contrastiva per massimizzare la differenza tra la ricostruzione della classe corretta e quella della classe errata, migliorando la discriminazione.

3. Contributi Chiave

1. Estensione ai Grafi Segnati: Estensione del lavoro precedente (focalizzato su grafi positivi) all'unrolling di algoritmi su grafi bilanciati segnati, permettendo di modellare esplicitamente le anti-correlazioni EEG.
2. Efficienza Computazionale: Implementazione di filtri passa-basso ideali su grafi positivi corrispondenti tramite approssimazione di Lanczos in tempo lineare, senza decomposizione spettrale completa.
3. Interpretabilità e Leggerezza: Creazione di un "Transformer a scatola bianca" dove ogni strato corrisponde a un'iterazione di un algoritmo di ottimizzazione matematico. Il modello utilizza meno dell'1% dei parametri rispetto ai Transformer SOTA.
4. Ponte Generativo-Discriminativo: Un nuovo approccio che utilizza denoisers addestrati per la ricostruzione come base per la classificazione binaria, offrendo interpretabilità sia nel processo di denoising che nella decisione finale.

4. Risultati Sperimentali

Il metodo è stato valutato sul Turkish Epilepsy EEG Dataset (10.356 registrazioni, 121 partecipanti) e sul TUH Abnormal EEG Corpus.

• Prestazioni:
  • Nel setting di default (split 8:1:1), il modello ha raggiunto un'accuratezza del 97.57% e un F1-score del 98.01%.
  • Nel setting più difficile LOSO (Leave-One-Subject-Out), che testa la generalizzazione su nuovi soggetti, ha ottenuto un'accuratezza del 90.06% e un F1-score del 92.59%, superando metodi basati su grafi come DGCNN e GIN.
• Efficienza:
  • Il modello utilizza solo 14.787 parametri.
  • Confronto con i SOTA: Il modello Transformer di riferimento [5] ha un'accuratezza dell'85.12% con 1,8 milioni di parametri. Un modello CNN basato su STFT [3] raggiunge il 99.20% ma con 11,5 milioni di parametri.
  • Il tempo di addestramento è di circa 2 ore e 14 minuti (vs 22 ore per FBCSPNet) e l'inferenza richiede solo 55 secondi.
• Ablation Study:
  • L'uso di un grafo bilanciato segnato è risultato superiore sia ai grafi puramente positivi che ai grafi segnati non bilanciati, confermando l'importanza di modellare correttamente le anti-correlazioni mantenendo la definizione di frequenza.
  • La loss contrastiva ha migliorato significativamente le prestazioni rispetto alla sola loss MSE.

5. Significato e Impatto

Questo lavoro dimostra che è possibile ottenere prestazioni di classificazione EEG competitive con i modelli Deep Learning più complessi, riducendo drasticamente il carico computazionale e rendendo il processo decisionale interpretabile.

• Praticità: La leggerezza del modello lo rende ideale per dispositivi medici portatili o embedded con risorse limitate.
• Fondamento Teorico: Fornisce un ponte solido tra l'elaborazione di segnali su grafi (GSP) e le architetture Transformer, dimostrando che l'attenzione può essere implementata in modo efficiente attraverso la struttura del grafo e il filtraggio spettrale.
• Interpretabilità Clinica: La capacità di visualizzare il grafo appreso e i pesi degli archi offre ai clinici insight su come il modello sta distinguendo i pattern epilettici da quelli sani, un aspetto fondamentale per l'adozione clinica dell'IA.