Copilot-Assisted Second-Thought Framework for Brain-to-Robot Hand Motion Decoding

Probleemstelling

Het decoderen van motorische kinematica (bewegingstrajecten) uit elektro-encefalografie (EEG) signalen is een cruciale researchrichting voor de ontwikkeling van bewegingsgerelateerde Brain-Computer Interfaces (BCI's). Hoewel traditionele methoden vaak gebruikmaken van CNN's of RNN's, kampen deze met beperkingen bij het modelleren van lange EEG-sequenties. Daarnaast hebben EEG-signalen een laag signaal-ruisverhouding (SNR) door de sommatie van stromen en interferentie tussen weefselslagen, wat de nauwkeurigheid van het decoderen van complexe handbewegingen (zoals grijpen en tillen) bemoeilijkt. Bestaande modellen worstelen vaak met de precisie van trajectvoorspelling en de generalisatie tussen verschillende proefpersonen (cross-subject).

Methodologie

De auteurs stellen een geavanceerde architectuur voor die bestaat uit drie hoofdblokken:

1. CNN-Attention Hybride Model:

   • Architectuur: Het model combineert een Multi-Convolution Block (geïnspireerd op EEGNet, met grote en kleine convolutie-kernen voor multi-schaal tijdsafhankelijkheid) met een Squeeze-and-Excitation (SE) block om informatieve kanalen te benadrukken.
   • Attention Mechanisme: Een Self-Attention block (Transformer-achtig) wordt gebruikt om lange-afstandsafhankelijkheden in de EEG-sequenties te modelleren, wat superieur is aan traditionele RNN's voor lange tijdreeksen.
   • Input: Voorgeverwerkte EEG-data (32 kanalen, 0.1–40 Hz gefilterd) en optioneel EMG-data (spieractiviteit).
   • Output: Voorspelling van 3D-coördinaten (X, Y, Z) voor de duim en wijsvinger.

2. Multimodale Fusie (EEG + EMG):

   • Het model fuseert EEG- en EMG-signalen binnen het embedding-module. EMG-signalen worden eerst verwerkt via dezelfde convolutie- en SE-blokken als EEG, waarna ze worden samengevoegd om de kinematica te decoderen. Dit benut de directe relatie tussen spieractiviteit en beweging om de EEG-ruis te compenseren.

3. Copilot Framework (Second-Thought):

   • Om de betrouwbaarheid van de gedecodeerde trajecten te verbeteren, introduceren de auteurs een "Copilot"-systeem.
   • Componenten: Een decoderingsmodel, een labelvoorspellingsmodel (voor bewegingstoestanden zoals zoeken, tillen, houden, zetten, terugkeren), en een Critic-model dat betrouwbaarheidsscores schat.
   • Werking: Een eindige toestandsmachine (Finite State Machine), aangestuurd door een kennisgrafiek en sensorinformatie, filtert punten met een lage betrouwbaarheid. Onbetrouwbare punten worden verwijderd voordat ze naar de robotarm worden gestuurd.

4. Validatie en Simulatie:

   • Gebruik van de WAY-EEG-GAL dataset (12 deelnemers, grijp-en-tak-taken).
   • Simulatie van de gedecodeerde trajecten op een Franka Panda robotarm in de MuJoCo omgeving.

Belangrijkste Bijdragen

1. Nieuwe Hybride Architectuur: Een CNN-attention model dat specifiek is ontworpen voor 3D handkinematica uit EEG, wat presteert beter dan bestaande baselines (EEGNet, DeepConvNet, TCN).
2. Multimodale Fusie: Demonstratie dat het combineren van EEG en EMG de decoderingsnauwkeurigheid aanzienlijk verhoogt en de variabiliteit tussen proefpersonen vermindert.
3. Copilot Framework: Een innovatieve post-processing laag die onbetrouwbare decoderingspunten filtert op basis van bewegingstoestanden en betrouwbaarheid, waardoor de trajectkwaliteit verbetert zonder de meeste data te verliezen.
4. Robotica-integratie: Succesvolle implementatie en simulatie van de gedecodeerde bewegingen op een fysieke robotarm in een simulatieomgeving.

Resultaten

De resultaten tonen aanzienlijke verbeteringen in vergelijking met bestaande methoden:

• Within-Subject (Binnen-proefpersoon):
  • EEG alleen: Het hybride model bereikte een gemiddelde PCC (Pearson Correlation Coefficient) van 0.8728.
  • EEG + EMG: De prestaties steeg naar een PCC van 0.9707 (specifiek: X=0.9854, Y=0.9946, Z=0.9065).
• Cross-Subject (Tussen-proefpersonen):
  • EEG alleen: PCC daalde naar ongeveer 0.66.
  • EEG + EMG: De multimodale aanpak behield een sterke generalisatie met een totale PCC van 0.9063 (X=0.9643, Y=0.9795, Z=0.5852). De Z-as (diepte) blijft de grootste uitdaging.
• Invloed van Venstergrootte en Vertraging:
  • De beste prestaties werden behaald met een invoervenster van 750 samples en een kinematische vertraging van 200 ms.
• Effect van Copilot:
  • Na toepassing van het Copilot-filter (waarbij minder dan 20% van de datapunten werd verwijderd), steeg de algehele PCC van EEG-only decoding naar 0.93.
  • Het filter elimineerde duidelijk omgekeerde bewegingen (reversals) en onnauwkeurige trajecten, wat leidde tot vloeiendere robotbewegingen.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat de combinatie van diepe leerarchitecturen (CNN-Transformer hybriden) en multimodale sensorfusie (EEG+EMG) de barrières voor nauwkeurige, niet-invasieve BCI-besturing van robotarmen significant verlaagt. Het voorgestelde Copilot Framework biedt een nieuwe richting voor het verbeteren van BCI-veiligheid en -nauwkeurigheid door dynamisch te filteren op basis van context en vertrouwen, in plaats van alleen te vertrouwen op ruwe decoderingsuitvoer.

Hoewel de resultaten veelbelovend zijn, wijzen de auteurs erop dat voor zeer lage nauwkeurigheidstrajecten het huidige systeem alleen punten kan filteren, niet corrigeren. Toekomstig werk richt zich op het integreren van extra sensoren en het ontwikkelen van robuustere modellen om de precisie van niet-invasieve EEG-decodering verder te verbeteren voor praktische toepassingen in de robotica en revalidatie.