🤖 AI

Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models

Questo articolo valuta cinque strategie di codifica posizionale all'interno dell'architettura transformer CBraMod per modelli fondazionali EEG, rivelando che nessuna strategia supera universalmente le altre in tutti i compiti, con la Codifica Posizionale Sferica che eccelle nell'immaginazione motoria e la Codifica Posizionale Condizionale Asimmetrica che offre prestazioni più coerenti in scenari di decodifica diversificati.

Autori originali: Ayse Betul Yuce, Sebastian Stober

Pubblicato 2026-05-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ayse Betul Yuce, Sebastian Stober

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il tuo cervello come un'orchestra massiccia, e EEG (Elettroencefalografia) è la tecnica che utilizziamo per registrare la musica che suona. Per comprendere questa musica, gli scienziati utilizzano potenti modelli di intelligenza artificiale chiamati Transformers. Questi modelli sono come direttori d'orchestra super-intelligenti che possono ascoltare la registrazione e capire cosa stanno facendo i musicisti (le tue cellule cerebrali).

Tuttavia, c'è un problema: i Transformers sono naturalmente "sordi al tono" riguardo a dove le cose stanno accadendo. Se mescoli l'ordine dei musicisti nell'orchestra, il Transformer ascolta esattamente la stessa canzone. Ma nel mondo reale, la posizione di un elettrodo sulla tua testa conta enormemente. Un elettrodo sulla fronte ascolta una "musica" diversa rispetto a uno sulla parte posteriore della testa.

Questo articolo è una prova di assaggio per vedere quale metodo funziona meglio nell'insegnare a questi direttori d'orchestra AI dove si trovano gli elettrodi. I ricercatori hanno preso un modello AI standard (chiamato CBraMod) e hanno sostituito la sua "guida di posizione" con cinque strategie diverse per vedere quale aiutava l'AI a comprendere meglio i segnali cerebrali.

Ecco una panoramica delle cinque "guide di posizione" che hanno testato:

1. La strategia "Nessuna Mappa" (NoPE)

Questo è il gruppo di controllo. All'AI vengono forniti i segnali cerebrali ma nessuna informazione su dove si trovano gli elettrodi. È come dare a un direttore uno spartito ma dirgli: "Non hai bisogno di sapere quale strumento sta suonando quale nota; indovina pure."

Risultato: L'AI ha faticato di più. Ha dimostrato che sapere da dove provengono i segnali è fondamentale per l'apprendimento.

2. La guida "Vicinato Flessibile" (ACPE)

Questo metodo è come una mappa intelligente che guarda al vicinato immediato di ogni segnale. Invece di guardare una mappa fissa dell'intera testa, chiede: "Chi è seduto accanto a questo elettrodo in questo momento?" Utilizza un trucco matematico speciale (convoluzioni) per determinare la disposizione in modo dinamico.

Risultato: Questo è stato il performer più coerente. Ha ottenuto buoni risultati sia nell'"Immaginazione Motoria" (immaginare di muovere la mano) che nel "Riconoscimento delle Emozioni" (provare gioia o tristezza). È come un direttore che si adatta alla sala ogni volta che entra.

3. La guida "Globo" (SPE - Spherical Positional Encoding)

Gli autori hanno inventato questa. Poiché la testa umana è rotonda, hanno trattato gli elettrodi come punti su un globo. Hanno mappato ogni elettrodo utilizzando angoli (come latitudine e longitudine) piuttosto che una griglia piatta.

Risultato: Questo è stato uno specialista.
- Per l'Immaginazione Motoria: È stato il campione. Immaginare il movimento sembra dipendere fortemente dalla forma specifica della testa, quindi questa mappa "globale" ha funzionato perfettamente.
- Per le Emozioni: Ha inciampato. Le emozioni potrebbero non curarsi tanto della forma geometrica esatta della testa, quindi questa mappa rigida non è stata altrettanto utile.

4. La guida "Globo con un Traduttore" (SPE+Proj)

Questa è la guida "Globo", ma con una svolta: hanno aggiunto un piccolo strato apprendibile che cerca di "tradurre" la mappa globale in qualcosa che all'AI piace di più.

Risultato: Non ha aiutato molto. Sembra che la mappa originale "Globo" fosse già abbastanza buona, e il traduttore ha solo reso le cose leggermente confuse.

5. La guida "Tavola Pulita" (Learnable PE)

Qui, all'AI viene data una mappa vuota e le viene detto: "Scopri tu stesso le posizioni mentre impari." Inizia senza conoscenze e impara le posizioni degli elettrodi da zero per ogni nuovo compito.

Risultato: È stato un vincitore a sorpresa per le Emozioni. Quando all'AI è stato permesso di reimparare la mappa specificamente per il compito delle emozioni, ha ottenuto i migliori risultati. Tuttavia, questo è un compito pesante; richiede all'AI di reimparare tutto ogni volta che cambia compito, il che non è sempre efficiente.

La Grande Conclusione

I ricercatori hanno scoperto che non esiste una singola "mappa perfetta" per tutti i compiti cerebrali.

Se vuoi rilevare pensieri di movimento, una mappa geometrica che rispetta la forma rotonda della testa (SPE) è eccellente.
Se vuoi rilevare emozioni, una mappa flessibile basata sul vicinato (ACPE) o lasciare che l'AI impari la mappa da zero (Learnable PE) funziona meglio.
Se hai bisogno di una soluzione che funzioni coerentemente bene attraverso diversi compiti senza dover riaddestrare tutto, la guida Vicinato Flessibile (ACPE) è la scelta più affidabile.

In breve, proprio come non useresti una mappa stradale piatta per navigare in una catena montuosa, non dovresti usare una singola "guida di posizione" per ogni tipo di attività cerebrale. La strategia migliore dipende interamente da cosa sta facendo il cervello in quel momento.

Riepilogo Tecnico: Benchmarking delle Strategie di Codifica Posizionale per Modelli Fondamentali EEG Basati su Transformer

Enunciato del Problema

L'elettroencefalografia (EEG) è una tecnica non invasiva critica per le applicazioni di interfaccia cervello-computer (BCI), tuttavia i modelli di decodifica supervisionata faticano a generalizzare attraverso compiti, soggetti e dataset a causa di bassi rapporti segnale-rumore e di un'alta variabilità inter-soggetto. Per affrontare questo problema, sono emersi modelli fondamentali basati su transformer addestrati con apprendimento auto-supervisionato. Tuttavia, i transformer sono intrinsecamente invarianti alla permutazione e richiedono una codifica posizionale (PE) esplicita per modellare le dipendenze strutturali.

A differenza dei token testuali, gli elettrodi EEG possiedono una specifica distribuzione spaziale sul cuoio capelluto. I modelli fondamentali EEG basati su transformer attuali impiegano meccanismi diversificati e spesso incomparabili per codificare questa struttura spazio-temporale, inclusi embedding specifici per canale, codifica temporale relativa e embedding appresi. Manca una valutazione sistematica su quale strategia di codifica posizionale sia ottimale per la decodifica EEG, in particolare data la significatività anatomica del posizionamento degli elettrodi e la variabilità delle montature dei canali tra i dataset.

Metodologia

Gli autori hanno condotto un benchmark controllato all'interno dell'architettura di base CBraMod, un modello fondamentale EEG auto-supervisionato che utilizza un meccanismo di attenzione a croce incrociata per catturare le dipendenze spazio-temporali. Per isolare l'impatto del design posizionale, lo studio ha mantenuto l'architettura transformer originale, i protocolli di addestramento e gli iperparametri, sostituendo esclusivamente il modulo di codifica posizionale.

Strategie di Codifica Posizionale Valutate

Sono state confrontate cinque strategie:

Nessuna Codifica Posizionale (NoPE): Una baseline senza informazioni posizionali esplicite.
Codifica Posizionale Condizionale Asimmetrica (ACPE): Un metodo in cui le rappresentazioni posizionali sono generate dinamicamente dai vicinato spazio-temporali delle patch EEG utilizzando convoluzioni 2D profonde con kernel asimmetrici ( $k_s > k_t$ ). Questo cattura le dipendenze inter-canale a lungo raggio e il contesto temporale a corto raggio senza fare affidamento su coordinate assolute.
Codifica Posizionale Sferica (SPE): Una strategia nuova proposta in questo lavoro che sfrutta la geometria sferica del posizionamento degli elettrodi. Calcola gli angoli di azimut ( $\theta$ ) e inclinazione ( $\phi$ ) per ogni elettrodo e li mappa in rappresentazioni a lunghezza fissa utilizzando funzioni sinusoidali multi-frequenza. Questo codifica le relazioni angolari invarianti rispetto alla dimensione della testa e al ridimensionamento, senza parametri apprendibili.
SPE con Proiezione (SPE+Proj): Un'estensione della SPE in cui gli embedding di canale e patch vengono passati attraverso proiezioni lineari apprendibili separate prima della somma.
PE Apprendibile: Embedding di canale e patch completamente apprendibili sommati per formare la codifica finale. Questi vengono reinizializzati e appresi da zero durante il fine-tuning se la montatura a valle differisce da quella pre-addestrata.

Configurazione Sperimentale

Pre-addestramento: Condotto sul dataset Healthy Brain Network EEG (HBN-EEG) (>3.000 partecipanti, 128 canali) utilizzando un obiettivo di ricostruzione di patch mascherate.
Compiti a valle:
- Immaginazione Motoria (MI): Classificazione sul dataset PhysioNet MI (64 canali, 4 classi).
- Riconoscimento delle Emozioni: Classificazione sul dataset FACED (32 canali, 9 classi).
Protocolli di Valutazione: I modelli sono stati valutati sotto linear probing (backbone congelato, classificatore addestrato) e fine-tuning (tutti i pesi aggiornati).
Metriche: Accuratezza Bilanciata, Kappa di Cohen e Punteggio F1 Pesato.

Risultati Chiave

Lo studio ha rilevato che nessuna singola strategia di codifica posizionale ha superato costantemente le altre in tutti i compiti e protocolli. Le prestazioni sono state altamente dipendenti dal compito:

Immaginazione Motoria (PhysioNet-MI):
- SPE ha ottenuto le migliori prestazioni nel protocollo di linear probing, suggerendo che i prior geometrici espliciti sono benefici quando i pattern di attivazione spaziale sono distinti.
- ACPE ha ottenuto le migliori prestazioni nel protocollo di fine-tuning.
- NoPE è stata costantemente la più debole nel linear probing ma è rimasta competitiva dopo il fine-tuning, indicando che il backbone può recuperare parzialmente la struttura posizionale attraverso l'ottimizzazione end-to-end.
Riconoscimento delle Emozioni (FACED):
- ACPE e PE Apprendibile hanno prodotto i migliori risultati.
- SPE ha ottenuto prestazioni significativamente inferiori rispetto ad altre strategie in entrambi i protocolli, suggerendo che i prior geometrici rigidi potrebbero non beneficiare le rappresentazioni legate alle emozioni tanto quanto l'immaginazione motoria.
Perdita di Pre-addestramento: L'assenza di codifica posizionale ha risultata nella perdita di ricostruzione mascherata più alta, confermando che le informazioni posizionali sono cruciali per la qualità della rappresentazione durante il pre-addestramento. PE Apprendibile e SPE+Proj hanno ottenuto le perdite di validazione più basse.

Significato e Conclusioni

Il documento conclude che la strategia di codifica posizionale ottimale per i modelli fondamentali EEG è dipendente dal compito, senza una soluzione universale.

Specificità del Compito: Le strategie che codificano una geometria anatomica esplicita (SPE) sono vantaggiose per compiti con forte distinguibilità spaziale (ad esempio, immaginazione motoria) ma possono essere subottimali per compiti in cui i pattern spaziali sono meno rigidi (ad esempio, riconoscimento delle emozioni).
Generalizzabilità vs. Adattabilità: ACPE dimostra prestazioni coerenti imparando pattern di vicinato locali dal contenuto delle patch, rendendola robusta attraverso compiti diversificati senza richiedere conoscenze esplicite delle coordinate. Al contrario, la PE Apprendibile, sebbene richieda una reinizializzazione per montature diverse, può superare le strategie fisse quando il modello è autorizzato ad apprendere strutture spaziali specifiche del compito da zero sul dataset target.
Implicazioni Pratiche: SPE offre un'alternativa leggera, priva di parametri e agnostica rispetto alla montatura, precalcolata dagli angoli degli elettrodi, rendendola un'opzione praticabile quando la struttura spaziale è rilevante e il ri-addestramento è indesiderato.

Gli autori sottolineano che, sebbene le differenze di prestazioni siano state relativamente piccole, sono misurabili e significative dato che è stato alterato solo il modulo di codifica posizionale. Si suggerisce un lavoro futuro per esplorare queste strategie su compiti EEG più diversificati, montature di elettrodi e dataset di pre-addestramento più ampi per valutare ulteriormente la generalizzabilità della codifica consapevole della topologia.