Technische Samenvatting: Leren van Residuele Kinematische Correcties voor Continue Neurale Decodering via Reinforcement Learning

Probleemstelling

Het decoderen van continue driedimensionale (3D) motorische verbeelding (MI) met behulp van niet-invasieve elektro-encefalografie (EEG) blijft een grote uitdaging vanwege signaalvariabiliteit, niet-stationariteit en hardnekkige residuele decoderingsfouten. Deep learning-architecturen, specifief hybride Convolutional Neural Network–Long Short-Term Memory (CNN–LSTM) modellen, hebben een superieure nauwkeurigheid aangetoond in het vastleggen van ruimtelijke en temporele dynamiek vergeleken met traditionele lineaire regressie, maar systematische fouten in voorspelde trajecten blijven bestaan. Bestaande benaderingen die Reinforcement Learning (RL) integreren in Brain-Computer Interfaces (BCI's) vertrouwen vaak op directe EEG-kenmerken als beloningssignalen of vereisen tijdrovende online updates. Deze methoden kunnen lijden onder instabiele begeleiding door EEG-ruis en zijn vaak onpraktisch voor real-world implementatie vanwege de noodzaak van voortdurende gebruikersinteractie tijdens de training.

Methodologie

De auteurs stellen een tweestaps-decoderingsframework voor, getiteld CNN–LSTM–RL, dat het correctieproces ontkoppelt van directe neurale ruis door offline residuele reinforcement learning toe te passen op de outputs van een vooraf getrainde decoder.

1. Baseline Decoder en Datacollectie

• Architectuur: Een CNN–LSTM-decoder is getraind om EEG-signalen te mappen naar continue 3D ledensnelheden. De input bestaat uit 2D Event-Related Spectral Perturbation (ERSP) afbeeldingen (40×40 pixels) afgeleid van 17 EEG-kanalen gecentreerd over de sensorimotorische cortex. De CNN extraheert ruimtelijke kenmerken, die worden gevoed aan gestapelde LSTM-lagen om temporele afhankelijkheden te vangen.
• Dataset: Experimenten omvatten 10 deelnemers die 10 sessies voltooiden in zowel alternerende 2D scherm- als immersieve Virtual Reality (VR) feedbackomgevingen. Elke sessie bevatte 256 trials van upper-limb reiktaken (uitgevoerd en verbeeld) naar vier doelen.
• Protocol: De eerste sessie wordt gebruikt om de CNN–LSTM-decoder te kalibreren en te bevriezen. Deze vaste decoder wordt vervolgens ingezet voor online datacollectie in opeenvolgende sessies, waarbij trajectassistentie de gedecodeerde BCI-traject met het doel-traject mengt.

2. Residuele Reinforcement Learning (RL) Formulering

• Probleemdefinitie: De RL-taak wordt geformuleerd als een discrete-tijd Partially Observable Markov Decision Process (POMDP) voor residuele controle.
• Toestand en Observatie: De agent ontvangt geen directe EEG-input. In plaats daarvan bestaat de observatieruimte ($o_t$) uit de snelheid van de baseline decoder ($v^{BCI}_t$), de eerder gecorrigeerde snelheden ($v_{t-1}$) en de huidige tijdstap ($t$). De ware doel-snelheid ($v^*_t$) wordt gebruikt voor de beloningsberekening, maar is verborgen voor de agent tijdens de inferentie.
• Actie: De agent geeft een continue residuele snelheid uit ($v^{res}_t$). De uiteindelijke gecorrigeerde snelheid is $v_t = v^{BCI}_t + v^{res}_t$.
• Beloningsfunctie: De beloning wordt gedefinieerd als de negatieve Euclidische afstand tussen de gecorrigeerde snelheid en de doel-snelheid ($r_t = -d(v_t, v^*_t)$), met als doel de trajectfout te minimaliseren.
• Algoritme: Het Soft Actor-Critic (SAC) algoritme wordt gebruikt voor training. De objectieffunctie maximaliseert zowel de verwachte return als de beleidsentropie om exploratie te stimuleren. De actieruimte is dimensie-specifiek geschaald (x, y, z) om variërende correctiebehoeften te accommoderen, met een aangepaste log-waarschijnlijkheidsberekening om rekening te houden met deze schaalfactoren.

3. Trainingsstrategie

• Offline Training: De RL-agent wordt volledig offline getraind met gegevens uit de eerste sessie. Het leert een residueel beleid om de systematische fouten van de bevroren CNN–LSTM-decoder te corrigen.
• Evaluatie: De getrainde agent wordt vervolgens toegepast op gegevens uit opeenvolgende sessies (Sessies 2–5) zonder verdere online updates, waarbij de capaciteit wordt getest om te generaliseren over de tijd en gebruikersadaptatie.

Belangrijkste Bijdragen

1. Nieuw Tweestaps-architectuur: Het artikel introduceert een framework dat een bevroren CNN–LSTM-decoder gebruikt voor feature extractie, terwijl een offline RL-agent onafhankelijk kan worden getraind zonder live gebruikersinteractie. Dit scheidt datacollectie van RL-training.
2. Residuele Kinematische Correctie: De RL-agent voert correcties uit op basis van uitsluitend de output van de decoder en de temporele context, waardoor het correctieproces effectief wordt geïsoleerd van de hoog-ruisige EEG-signalen. Dit ontwerp richt zich op systematische decoderfouten zonder aanvullende neurale data nodig te hebben.
3. Prestatiewinsten: Het framework bereikt significante relatieve verbeteringen in decoderingsnauwkeurigheid, met gemiddelde correlatieverhogingen van maximaal 41,5% en RMSE-reducties van maximaal 40,2% vergeleken met de baseline-decoder alleen.

Resultaten

Het framework werd geëvalueerd met behulp van Pearson correlatiecoëfficiënten ($r$) en RMSE bij 10 deelnemers in zowel 2D- als VR-feedbackomgevingen.

• Correlatieverbeteringen:
  • 2D Feedback: De gemiddelde correlatie verbeterde van 0,5076 (alleen CNN–LSTM) naar 0,7181 (CNN–LSTM–RL), een relatieve winst van 41,5% ($p=0,0005$).
  • VR Feedback: De gemiddelde correlatie verbeterde van 0,6420 naar 0,7780, een relatieve winst van 21,2% ($p=0,0059$).
• Foutreductie (RMSE):
  • 2D Feedback: RMSE daalde van 0,0890 naar 0,0532, een relatieve reductie van 40,2% ($p<0,0001$).
  • VR Feedback: RMSE daalde van 0,0714 naar 0,0441, een relatieve reductie van 38,2% ($p<0,0001$).
• Stabiliteit: De CNN–LSTM–RL aanpak vertoonde superieure cross-sessie stabiliteit, met kleinere prestatieschommelingen vergeleken met Fixed Decoder Generalization (FDG), Sequential Adaptive Training (SAT) en Within-Session Reconstruction (WSR) strategieën.
• Statistische Significantie: De verbeteringen ten opzichte van de baseline-strategieën waren statistisch significant in beide feedbackmodaliteiten, met grote effectgroottes (Cohen's $d$ variërend van 1,84 tot 4,52).

Betekenis en Claims

Het artikel beweert dat dit schaalbare framework de state-of-the-art voor continue 3D BCI motorische verbeelding decoding vooruit helpt. Door kinematische fouten te corrigeren via offline residuele RL zonder extra neurale data of online beleidsupdates te vereisen, adresseert de methode de beperkingen van signaalvariabiliteit en de resterende fouten die inherent zijn aan niet-invasieve EEG.

De auteurs stellen dat deze aanpak een robuuste oplossing biedt voor het verbeteren van continue 3D BCI-controle, met potentiële toepassingen in neurorevalidatie, prothesiologie en virtuele interactie. De studie vestigt een nieuwe prestatiebenchmark, waarbij wordt aangetoond dat offline residuele correctie de prestaties van de decodering kan verhogen voorbij de limieten die bereikbaar zijn door CNN–LSTM-decoders alleen, zelfs in aanwezigheid van gebruikersleren en signaaldrift over sessies heen.

Erkende Beperkingen:
De auteurs merken op dat de prestaties van het framework gevoelig zijn voor actie-schaleringshyperparameters en sterk afhangen van de kwaliteit van de initiële baseline-decoder. Daarnaast is de huidige implementatie afhankelijk van expliciete temporele informatie (tijdstap $t$), wat een uitdaging vormt voor asynchrone, tijd-invariante BCI-toepassingen, hoewel dit geen beperking was in het gecueerde experimentele paradigma dat werd gebruikt. De huidige scope is beperkt tot een discrete vier-doel reiktaak.