Sintesi Tecnica: Apprendimento di Correzioni Cinematiche Residue per la Decodifica Neurale Continua tramite Reinforcement Learning

Definizione del Problema

La decodifica della motilità immaginata (MI) continua in tre dimensioni (3D) tramite elettroencefalografia (EEG) non invasiva rimane una sfida significativa a causa della variabilità del segnale, della non stazionarietà e dei persistenti errori di decodifica residui. Le architetture di deep learning, specificamente i modelli ibridi Convolutional Neural Network–Long Short-Term Memory (CNN–LSTM), hanno dimostrato una capacità superiore nel catturare la dinamica spaziale e temporale rispetto alla regressione lineare tradizionale, tuttavia persistono errori sistematici nelle traiettorie predette. Gli approcci esistenti che integrano il Reinforcement Learning (RL) nelle interfacce cervello-computer (BCI) spesso si affidano a segnali di ricompensa derivati direttamente dalle caratteristiche EEG o richiedono aggiornamenti online laboriosi. Questi metodi possono soffrire di una guida instabile a causa del rumore EEG e sono spesso impraticabili per l'implementazione nel mondo reale a causa della necessità di un'interazione continua dell'utente durante l'addestramento.

Metodologia

Gli autori propongono un framework di decodifica a due stadi, denominato CNN–LSTM–RL, che scinde il processo di correzione dal rumore neurale diretto applicando un apprendimento per rinforzo residuo offline agli output di un decoder pre-addestrato.

1. Decoder di Base e Raccolta Dati

• Architettura: Un decoder CNN–LSTM è addestrato per mappare i segnali EEG in velocità di arti 3D continue. L'input consiste in immagini 2D di Event-Related Spectral Perturbation (ERSP) (40×40 pixel) derivate da 17 canali EEG centrati sulla corteccia sensorimotoria. La CNN estrae le caratteristiche spaziali, che vengono poi fornite a strati LSTM impilati per catturare le dipendenze temporali.
• Dataset: Gli esperimenti hanno coinvolto 10 partecipanti che hanno completato 10 sessioni in ambienti di feedback alternati tra schermo 2D e Realtà Virtuale (VR) immersiva. Ogni sessione includeva 256 prove di compiti di raggiungimento dell'arto superiore (eseguito ed immaginato) verso quattro target.
• Protocollo: La prima sessione viene utilizzata per calibrare e congelare il decoder CNN–LSTM. Questo decoder fisso viene poi implementato per la raccolta dati online nelle sessioni successive, dove l'assistenza alla traiettoria fonde la traiettoria decodificata dalla BCI con la traiettoria del target.

2. Formulazione del Reinforcement Learning (RL) Residuo

• Definizione del Problema: Il compito di RL è formulato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP) a tempo discreto per il controllo residuo.
• Stato e Osservazione: L'agente non riceve l'input EEG diretto. Invece, lo spazio delle osservazioni ($o_t$) consiste nelle velocità del decoder di base ($v^{BCI}_t$), nelle velocità precedentemente corrette ($v_{t-1}$) e nel passo temporale corrente ($t$). La vera velocità del target ($v^*_t$) viene utilizzata per il calcolo della ricompensa ma è nascosta all'agente durante l'inferenza.
• Azione: L'agente produce una velocità residua continua ($v^{res}_t$). La velocità finale corretta è $v_t = v^{BCI}_t + v^{res}_t$.
• Funzione di Ricompensa: La ricompensa è definita come la distanza euclidea negativa tra la velocità corretta e la velocità target ($r_t = -d(v_t, v^*_t)$), con l'obiettivo di minimizzare l'errore di traiettoria.
• Algoritmo: Viene utilizzato l'algoritmo Soft Actor-Critic (SAC) per l'addestramento. La funzione obiettivo massimizza sia il ritorno atteso che l'entropia della policy per incoraggiare l'esplorazione. Lo spazio delle azioni è scalato per dimensione (x, y, z) per accomodare diverse necessità di correzione, con un calcolo della log-probabilità modificato per tenere conto di questi fattori di scala.

3. Strategia di Addestramento

• Addestramento Offline: L'agente RL viene addestrato interamente offline utilizzando i dati della prima sessione. Impara una policy residua per correggere gli errori sistematici del decoder CNN–LSTM congelato.
• Valutazione: L'agente RL addestrato viene poi applicato ai dati delle sessioni successive (Sessioni 2–5) senza ulteriori aggiornamenti online, testando la sua capacità di generalizzare attraverso il tempo e l'adattamento dell'utente.

Contributi Chiave

1. Nuova Architettura a Due Stadi: Il documento introduce un framework che utilizza un decoder CNN–LSTM congelato per l'estrazione delle caratteristiche, consentendo al contempo a un agente RL offline di essere addestrato indipendentemente dall'interazione live dell'utente. Ciò separa la raccolta dati dall'addestramento RL.
2. Correzione Cinetica Residua: L'agente RL esegue correzioni basandosi esclusivamente sull'output del decoder e sul contesto temporale, isolando efficacemente il processo di correzione dai segnali EEG ad alto rumore. Questo design mira a correggere gli errori sistematici del decoder senza richiedere ulteriori dati neurali.
3. Guadagni di Prestazione: Il framework raggiunge miglioramenti significativi nell'accuratezza della decodifica, con aumenti della correlazione media fino al 41,5% e riduzioni dell'Errore Quadratico Medio (RMSE) fino al 40,2% rispetto al decoder di base da solo.

Risultati

Il framework è stato valutato utilizzando i coefficienti di correlazione di Pearson ($r$) e l'RMSE attraverso 10 partecipanti in ambienti di feedback 2D e VR.

• Miglioramenti della Correlazione:
  • Feedback 2D: La correlazione media è migliorata da 0,5076 (solo CNN–LSTM) a 0,7181 (CNN–LSTM–RL), un guadagno relativo del 41,5% ($p=0,0005$).
  • Feedback VR: La correlazione media è migliorata da 0,6420 a 0,7780, un guadagno relativo del 21,2% ($p=0,0059$).
• Riduzione dell'Errore (RMSE):
  • Feedback 2D: L'RMSE è diminuito da 0,0890 a 0,0532, una riduzione relativa del 40,2% ($p<0,0001$).
  • Feedback VR: L'RMSE è diminuito da 0,0714 a 0,0441, una riduzione relativa del 38,2% ($p<0,0001$).
• Stabilità: L'approccio CNN–LSTM–RL ha dimostrato una stabilità superiore tra le sessioni, mostrando fluttuazioni di prestazione minori rispetto alle strategie di Generalizzazione del Decoder Fisso (FDG), Addestramento Adattivo Sequenziale (SAT) e Ricostruzione Intra-Sessione (WSR).
• Significatività Statistica: I miglioramenti rispetto alle strategie di base sono stati statisticamente significativi in entrambe le modalità di feedback, con ampi effetti (Cohen's $d$ compresi tra 1,84 e 4,52).

Significato e Rivendicazioni

Il documento sostiene che questo framework scalabile fa progredire lo stato dell'arte per la decodifica continua della motilità 3D tramite BCI. Correggendo gli errori cinematici tramite RL residuo offline senza richiedere dati neurali extra o aggiornamenti della policy online, il metodo affronta i limiti della variabilità del segnale e degli errori residui inerenti all'EEG non invasivo.

Gli autori affermano che questo approccio fornisce una soluzione robusta per migliorare il controllo BCI 3D continuo, con potenziali applicazioni nella riabilitazione neurofunzionale, nelle protesi e nell'interazione virtuale. Lo studio stabilisce un nuovo benchmark di prestazione, dimostrando che la correzione residua offline può spingere la prestazione di decodifica oltre i limiti raggiungibili dai soli decoder CNN–LSTM, anche in presenza di apprendimento dell'utente e deriva del segnale tra le sessioni.

Limitazioni Riconosciute:
Gli autori notano che le prestazioni del framework sono sensibili agli iperparametri di scala dell'azione e dipendono fortemente dalla qualità del decoder di base iniziale. Inoltre, l'attuale implementazione dipende dall'informazione temporale esplicita (time step $t$), il che pone una sfida per le applicazioni BCI asincrone e invarianti nel tempo, sebbene ciò non fosse un vincolo nel paradigma sperimentale guidato utilizzato. L'attuale ambito è limitato a un compito di raggiungimento a quattro target discreti.