Routing on the Stiefel Manifold: When Does Adaptive Subspace Selection Help for Cross-Domain EEG Decoding?

Sintesi Tecnica: Routing sul Manifold di Stiefel per la Decodifica EEG Cross-Domain

1. Definizione del Problema

La decodifica EEG cross-domain rimane una sfida significativa nelle interfacce cervello-computer (BCI). Sebbene i metodi di deep learning riemanniano (ad esempio, SPDNet) abbiano fatto avanzare il campo rappresentando i segnali neurali come matrici di covarianza sul manifold SPD (Symmetric Positive Definite), essi faticano a gestire l'elevata variabilità inter-soggetto.

• Il Problema Centrale: Diversi soggetti occupano regioni sistematicamente distinte del manifold SPD a causa delle variazioni nel posizionamento degli elettrodi, nella conduttività del cuoio capelluto e nei pattern neurali.
• La Limitazione: I metodi standard di adattamento del dominio richiedono o dati di calibrazione del dominio target o apprendono componenti specifiche per il soggetto che non riescono a generalizzare.
• Il Disallineamento del Design: Le reti deep esistenti utilizzano una proiezione di sottospazio fissa (un singolo filtro BiMap $W$) per tutti gli input. Questa architettura è consapevole geometricamente della struttura intra-soggetto del manifold, ma è "cieca" rispetto alla struttura inter-soggetto. Una singola proiezione condivisa non può tenere conto della specifica regione del manifold SPD che un input occupa, portando alla saturazione delle prestazioni.

2. Metodologia: Domain-Adaptive Stiefel Pool (DASP)

Gli autori propongono il Domain-Adaptive Stiefel Pool (DASP), uno strato progettato per instradare dinamicamente ogni matrice di covarianza di input verso un filtro di proiezione specifico per il campione sul manifold di Stiefel $St(n, k)$, senza necessità di riaddestramento o calibrazione.

L'Approccio Naive e il suo Fallimento:
L'idea iniziale prevedeva un pool di $K$ filtri esperti $\{W_j\}$ e l'instradamento degli input tramite un baricentro riemanniano pesato. Tuttavia, gli autori dimostrano che un'implementazione ingenua collassa in una soluzione degenerata:

• Collasso del Routing: I pesi di routing $\alpha_i$ diventano uniformi ($\approx 1/K$) per tutti i campioni.
• Conseguenza: Il filtro adattivo si riduce a un singolo filtro fisso (la media di Fréchet degli esperti). Il guadagno di prestazioni osservato è dovuto esclusivamente alla diversità dell'ensemble, non all'adattamento per singolo campione.
• Meccanismo: Si tratta di una degenerazione del gradiente auto-rinforzante. Quando gli esperti sono simili, la deviazione di un singolo esperto dalla media pesata è trascurabile, non fornendo alcun segnale di gradiente per differenziarli. Il routing uniforme impedisce la specializzazione, che a sua volta mantiene la somiglianza.

La Soluzione: Tre Correzioni Strutturali
Per rompere questa degenerazione, gli autori introducono tre componenti strutturali, ispirate al Learning to Prompt (L2P) per l'apprendimento continuo:

1. Ancora Simmetrica ($W_{base}$):

   • Invece di ancorare l'interpolazione a un baricentro dinamico o a un esperto specifico (ad esempio, $W_1$), viene introdotto un parametro apprendibile dedicato $W_{base} \in St(n, k)$.
   • Funzione: Elimina il "bias di prossimità", assicurando che nessun singolo esperto abbia un vantaggio geometrico, permettendo a tutti gli esperti di ricevere segnali di gradiente uguali per la specializzazione.

2. Encoder di Query Discriminativo per il Dominio Congelato (DSP):

   • Gli MLP standard addestrati end-to-end apprendono caratteristiche discriminanti per la classe, il che è il tipo di bias induttivo errato per il routing (che richiede invece la discriminazione del dominio).
   • Funzione: Una matrice di proiezione congelata ($P_{DSP}$) viene applicata allo spazio tangente della log-covarianza. Questa matrice è derivata dalla matrice di dispersione tra i domini dei dati di addestramento. Agisce come un estrattore di caratteristiche fisso che fornisce informazioni sull'identità del dominio al meccanismo di routing, disaccoppiando esso dall'ottimizzazione del task.
   • Adattamento: Questo è abilitato solo quando il rapporto tangente-dominio $\rho = \frac{n(n+1)/2}{D}$ è elevato (specificamente $\rho > 50$), dove i segnali del dominio sono sepolti nel rumore ad alta dimensione.

3. Decoupled Key Alignment Loss:

   • Addestrare le chiavi degli esperti esclusivamente tramite cross-entropy crea un problema di "target mobile" in cui le chiavi si spostano per aiutare la classificazione piuttosto che l'identità del dominio.
   • Funzione: Una perdita di allineamento separata ($L_{align}$) addestra le chiavi degli esperti esclusivamente verso attrattori di dominio stabili. Utilizza un meccanismo "winner-take-all" (aggiornando solo la chiave con il peso di routing più alto) e un stop-gradient sulla query per evitare che le chiavi derivino con il task di classificazione.

Metodologia di Scaling Unificata:
Gli autori propongono una regola basata sui dati basata sul rapporto $\rho$ (dimensione del tangente vs numero di domini) per determinare automaticamente gli iperparametri:

• $\rho$ Elevato ($>50$): Il DSP è abilitato e il disaccoppiamento della chiave è attivo.
• $\rho$ Basso ($\le 50$): Il DSP è disabilitato e le chiavi sono addestrate congiuntamente con il task.
• Conteggio Esperti ($K$): Scala sub-linearmente con il numero di domini $D$.

3. Contributi Chiave

• Dimostrazione Teorica: Il documento dimostra che il routing adattivo ingenuo sul manifold di Stiefel collassa in una soluzione degenerata indistinguibile da un filtro fisso, caratterizzando il responsabile meccanismo del gradiente.
• Metrica Diagnostica: Introduzione del gap proxy $K=1$ ($\Delta_{K=1}$), definito come la differenza di accuratezza tra il modello adattivo e un singolo filtro fisso (la media dell'ensemble). Un $\Delta_{K=1}$ positivo è una condizione necessaria per provare che sta avvenendo un vero routing, distinguendolo dal semplice averaging dell'ensemble.
• Layer DASP: Un sostituto "drop-in" per i normali layer BiMap che integra le tre correzioni strutturali per ottenere un vero routing strutturato per dominio.
• Scaling Unificato: Una metodologia basata su regole per la selezione degli iperparametri (DSP, perdita di allineamento, $K$) che non richiede la ricerca di parametri specifici per il dataset e si generalizza attraverso geometrie contrastanti.
• Estensione: Viene descritta un'estensione teorica a matrici rettangolari a pieno rango, consentendo la scalatura dell'ampiezza oltre alla rotazione del sottospazio.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset di motor imagery con diverse dimensionalità e conteggi di domini:

• Weibo2014: $\rho$ elevato (203).
• BNCI2015001: $\rho$ basso (3.3).
• BNCI2014001: $\rho$ intermedio (28).

Risultati Chiave:

• Guadagni di Prestazioni: DASP ha migliorato l'accuratezza bilanciata in tutti i dataset:
  • Weibo2014: $0.773 \to 0.823$
  • BNCI2015001: $0.757 \to 0.809$
  • BNCI2014001: $0.801 \to 0.839$
• Validazione del Routing: Fondamentalmente, il modello adattivo ingenuo mostrava $\Delta_{K=1} \approx 0$ su Weibo2014, confermando il suo fallimento nel routing. Al contrario, DASP ha ottenuto un $\Delta_{K=1}$ positivo in 4/5 fold (Weibo) e 5/5 fold (dataset BNCI), provando che il routing è genuino.
• Ablation: Rimuovere una qualsiasi delle tre correzioni strutturali (Ancora Simmetrica, DSP Congelato o Allineamento Disaccoppiato) ha portato a un ritorno alla degenerazione o a una riduzione delle prestazioni, confermandone la necessità.
• Qualità del Routing: DASP ha ottenuto una minore entropia di routing (routing più "impegnato") e un rapporto di allineamento del dominio più elevato rispetto ai baseline.

5. Significato e Rivendicazioni

Il documento sostiene di presentare il primo routing genuinamente impegnato e strutturato per dominio sui manifold SPD.

• Affronta il limite fondamentale delle proiezioni di sottospazio fisse nella decodifica EEG cross-domain.
• Fornisce un diagnostico rigoroso (gap proxy $K=1$) per prevenire la cattiva interpretazione della diversità dell'ensemble come routing adattivo.
• Dimostra che mutuando i principi strutturali dal Learning to Prompt (encoder congelati, perdite disaccoppiate) e adattandoli alla geometria riemanniana, è possibile ottenere un adattamento del dominio robusto e senza calibrazione.
• Gli autori sottolineano che il loro approccio non richiede dati di calibrazione del dominio target né una ricerca di iperparametri specifica per il dataset, affidandosi invece a una singola regola di scaling basata sui dati.