What Causes Performance Degradation in Cross-Subject EEG Classification?

Titolo: Cosa causa il degrado delle prestazioni nella classificazione EEG cross-soggetto?

1. Il Problema

La classificazione EEG (elettroencefalogramma) cross-soggetto è fondamentale per le interfacce cervello-computer (BCI) e l'analisi clinica, poiché i modelli devono generalizzare a soggetti non visti durante l'addestramento. Tuttavia, è ampiamente osservato che le prestazioni nella configurazione cross-soggetto (indipendente dal soggetto) sono significativamente inferiori rispetto alla configurazione dipendente dal soggetto (dove i dati di addestramento e test provengono dagli stessi individui).
Sebbene il "gap" di prestazioni sia noto, le cause sottostanti non sono state studiate sistematicamente. La letteratura attribuisce comunemente questo fenomeno alla variabilità inter-soggetto (differenze anatomiche, posizionamento degli elettrodi, ecc.). Tuttavia, gli autori ipotizzano che questa spiegazione sia insufficiente, specialmente per certi tipi di compiti, e che un secondo fattore, il learning di scorciatoie (shortcut learning), giochi un ruolo cruciale.

2. Metodologia

Gli autori hanno progettato una serie di esperimenti controllati per isolare le cause del degrado delle prestazioni, confrontando due categorie di compiti EEG:

• MCPS (Multi-Class Per Subject): Ogni soggetto attraversa più stati di classe nel tempo (es. immaginazione motoria, riconoscimento delle emozioni).
• SCPS (Single-Class Per Subject): Ogni soggetto ha un'etichetta fissa che non cambia nel tempo (es. rilevamento di malattie come Alzheimer o Parkinson).

Dati e Setup:

• Sono stati utilizzati tre dataset: mTBI-ODD (MCPS), ADFTD (SCPS) e AOPD (contiene sia compiti MCPS che SCPS).
• È stato utilizzato un modello standardizzato, EEGConformer, per eliminare la varianza dovuta all'architettura.
• Sono stati confrontati due setup di valutazione:
  • Subject-Dependent: I soggetti sono condivisi tra training e test.
  • Subject-Independent: I soggetti nel training e nel test sono disgiunti (nessuna sovrapposizione).

Esperimenti Chiave:

1. Valutazione del Degrado: Confronto delle prestazioni (F1-score, AUROC) tra setup dipendenti e indipendenti dal soggetto su diversi dataset.
2. Controllo dei Confondenti: Utilizzo del dataset AOPD per confrontare direttamente un compito MCPS e uno SCPS sullo stesso set di dati, isolando l'effetto della formulazione del compito rispetto alle differenze del dataset.
3. Esperimento di Discriminazione del Soggetto: Addestramento di un modello per classificare l'ID del soggetto (50 classi) per verificare se i segnali EEG contengono informazioni forti sull'identità del soggetto.
4. Esperimento di Permutazione delle Etichette:
   • Per i compiti SCPS: Le etichette sono permutate a livello di soggetto (ogni soggetto riceve un'etichetta casuale fissa). Se il modello impara scorciatoie basate sull'identità, manterrà alte prestazioni nonostante l'assenza di correlazione reale tra segnale e compito.
   • Per i compiti MCPS: Le etichette sono permutate a livello di campione. Questo serve come baseline per verificare che, senza mappatura statica soggetto-etichetta, il modello non possa fare affidamento su scorciatoie.

3. Risultati Chiave

• Differenza nel Degrado: Il degrado delle prestazioni passando da Subject-Dependent a Subject-Independent è drastico per i compiti SCPS (calo di ~49% nell'F1-score su ADFTD), mentre è minimo per i compiti MCPS (calo di ~1.8% su mTBI-ODD).
• Ruolo del Dataset: L'esperimento sul dataset AOPD ha confermato che la differenza non è dovuta al dataset, ma alla formulazione del compito. Anche sullo stesso set di dati, il compito SCPS crolla mentre l'MCPS rimane stabile.
• Identità del Soggetto come Scorciatoia: L'esperimento di discriminazione ha mostrato che i modelli possono identificare il soggetto con un'accuratezza del 98.59%, confermando che i segnali EEG contengono forti caratteristiche specifiche del soggetto.
• Prova del Shortcut Learning:
  • Nel compito SCPS, dopo la permutazione delle etichette, le prestazioni in Subject-Dependent rimangono altissime (98%), indicando che il modello ha memorizzato l'identità del soggetto associata all'etichetta originale, ignorando il contenuto neurale reale. In Subject-Independent, le prestazioni crollano al livello casuale (49%).
  • Nel compito MCPS, la permutazione delle etichette fa crollare le prestazioni al livello casuale in entrambi gli scenari, dimostrando che il modello non può fare affidamento sull'identità del soggetto come scorciatoia perché l'etichetta cambia all'interno dello stesso soggetto.

4. Contributi Principali

1. Identificazione di Due Meccanismi Distinti: Il paper dimostra che il degrado delle prestazioni cross-soggetto non è causato da un unico fattore, ma da due meccanismi diversi a seconda del tipo di compito:
   • Variabilità Inter-Soggetto: È il fattore dominante nei compiti MCPS, causando uno spostamento del dominio (domain shift).
   • Shortcut Learning: È il fattore dominante nei compiti SCPS, dove i modelli imparano a mappare l'identità del soggetto (o artefatti specifici) direttamente all'etichetta del compito, ignorando i veri segnali neurali.
2. Analisi Critica dei Protocolli di Valutazione: Il lavoro evidenzia che le valutazioni Subject-Dependent per compiti SCPS sono fuorvianti e sovrastimano drasticamente le prestazioni reali, poiché i modelli possono "barare" imparando scorciatoie basate sull'identità.
3. Analogia Visiva: Gli autori forniscono un'analogia con l'immagine (stile vs. contenuto) per spiegare intuitivamente come i modelli apprendano scorciatoie quando l'identità del soggetto è correlata all'etichetta.

5. Significato e Implicazioni

• Riprogettazione dei Protocolli di Ricerca: È imperativo utilizzare valutazioni Subject-Independent per tutti i compiti EEG, specialmente per la rilevazione di malattie (SCPS), per evitare risultati ottimistici ma privi di valore pratico.
• Sviluppo di Nuovi Algoritmi: La ricerca futura deve concentrarsi sullo sviluppo di metodi che disaccoppino le caratteristiche specifiche del soggetto (identità) dalle caratteristiche rilevanti per il compito durante l'addestramento, piuttosto che limitarsi a gestire lo spostamento del dominio.
• Comprensione dei Dati: Il paper solleva interrogativi sulla natura delle "scorciatoie": se siano artefatti fisici, differenze nell'hardware, o caratteristiche neurali stabili nel tempo, suggerendo la necessità di ulteriori indagini.

In conclusione, questo studio smonta l'ipotesi che la variabilità inter-soggetto sia l'unica causa del fallimento dei modelli cross-soggetto, rivelando che per molti compiti clinici (SCPS), il problema principale è l'inganno statistico (shortcut learning) che i modelli sfruttano quando valutati in modo non rigoroso.