EEG-Driven Intention Decoding: Offline Deep Learning Benchmarking on a Robotic Rover

Deze studie presenteert een reproduceerbaar benchmark voor het offline decoderen van besturingsintenties van een robotische rover op basis van EEG-signalen, waarbij ShallowConvNet als het meest effectieve diep-leermodel werd geïdentificeerd voor het voorspellen van zowel acties als intenties.

De kern

Stel je voor dat je een robotbestelwagen kunt besturen, niet met een joystick of een stuurwiel, maar puur met je gedachten. Dat klinkt als sciencefiction, maar dit onderzoek maakt een grote stap in die richting. Het is een soort "brein-robot" experiment, en hier is hoe het werkt, vertaald naar alledaagse taal.

De Droom: Besturen met je Brein

In de toekomst kunnen mensen met een handicap of in gevaarlijke situaties voertuigen besturen zonder hun handen te gebruiken. Dit noemen ze BCI (Brain-Computer Interface). Het idee is simpel: je denkt aan "naar links", en de robot draait naar links.

Maar tot nu toe was dit vooral een laboratoriumproefje. Mensen zaten stil in een kamer, keken naar schermen en probeerden te denken aan bewegingen. De echte wereld is echter chaotisch: er is wind, zonlicht, en de robot moet over ongelijk terrein rijden.

Wat hebben ze gedaan?

De onderzoekers hebben een experiment opgezet dat meer voelt als een echte rit dan een labproefje:

1. De Robot: Een vierwielaangedreven rover (een soort kleine jeep) die buiten reed.
2. De Mensen: 12 vrijwilligers zaten in een kamer voor een scherm. Ze zagen wat de robot zag (eerste-persoonsbeeld) en bestuurden de robot via een Xbox-controller.
3. De Hoed: Terwijl ze bestuurden, droegen ze een speciale hoofdband met 16 sensoren (een EEG-muts). Deze band luisterde naar de elektrische signalen in hun hersenen.
4. De Opdracht: Ze moesten de robot laten rijden, achteruitrijden, linksaf, rechtsaf of stoppen.

Het Grote Geheim: Voorspellen in plaats van Reageren

Dit is het meest spannende deel. Normaal gesproken denk je: "Ik wil linksaf" -> hersenactivering -> robot draait. Maar dat duurt te lang voor een echte rit.

De onderzoekers wilden weten: Kunnen we de robot laten reageren voordat de persoon de knop indrukt?
Ze keken naar de hersensignalen die net voor de beweging plaatsvonden.

• Stel: Je denkt aan linksaf. Je hersenen sturen een signaal.
• Het Experiment: Ze keken of de computer dit signaal kon zien op het moment dat je er nog niet aan dacht om de knop in te drukken, maar 300 milliseconden (een flits) voor dat moment.

Het is alsof je een vriend ziet die zijn hand optilt om te zwaaien. Je hoeft niet te wachten tot de hand boven je hoofd is; je ziet het al in de beweging van zijn schouder. De computer probeerde die "schouderbeweging" in de hersenen te zien.

De Wedstrijd: Welke "Brein-Vertaler" is de Beste?

Om dit te testen, lieten ze 11 verschillende soorten kunstmatige intelligentie (AI) modellen strijden. Je kunt deze modellen zien als 11 verschillende vertalers die proberen een geheim taal (hersensignalen) om te zetten in commando's (links, rechts, etc.).

• De Oude Garde (RNN's): Deze modellen zijn gewend om naar tijdlijnen te kijken, alsof ze een verhaal lezen.
• De Moderne Reuzen (Transformers): Dit zijn de slimme modellen die vaak grote taalmodellen aandrijven. Ze zijn erg krachtig, maar hebben veel "leermateriaal" nodig.
• De Compacte Specialisten (CNN's): Dit zijn modellen die specifiek zijn ontworpen om patronen in hersensignalen te zien, zoals een detective die naar vingerafdrukken kijkt.

De Uitslag: De Overwinnaar

Na veel rekenen en testen bleek dat de ShallowConvNet de beste vertaler was.

• Waarom? Het is een slim, maar simpel model. Het is niet te complex (zoals de grote Transformers die hier te veel data nodig hadden) en niet te traag. Het zag de patronen in de hersensignalen het snelst en het nauwkeurigst.
• De Score: Het kon de bedoeling van de bestuurder met ongeveer 66% tot 67% nauwkeurigheid voorspellen. Dat klinkt misschien niet als 100%, maar in de wereld van hersensignalen is dat een enorme prestatie, zeker als je bedenkt dat het buiten gebeurde met ruis en afleiding.

Wat betekent dit voor de toekomst?

Dit onderzoek is als het bouwen van de eerste betrouwbare brug tussen onze gedachten en machines in de echte wereld.

• Voorspelling werkt: Het bewijst dat we niet hoeven te wachten tot iemand een knop indrukt. De robot kan al reageren op de intentie.
• Echte wereld: Het werkt niet alleen in een rustige kamer, maar ook als de robot buiten rijdt.
• De weg vooruit: Nu weten we welke "vertaler" (AI-model) het beste werkt. De volgende stap is om dit online te maken, zodat de robot in real-time reageert, en misschien zelfs voor meerdere mensen tegelijkertijd.

Kortom: We zijn een stap dichter bij het moment waarop je gewoon kunt denken "naar links", en de robot doet het al voordat je je hand hebt bewogen.

Technische samenvatting

Titel

EEG-gestuurde intentie-decodering: Offline Deep Learning Benchmarking op een Robotische Rover

1. Het Probleem

Hoewel Brain-Computer Interfaces (BCI's) veelbelovend zijn voor hands-free besturing van mobiele robots, blijft het decoderen van gebruikersintenties tijdens echte navigatie een uitdaging. Bestaande onderzoek heeft vaak de volgende beperkingen:

• Beperkte omgevingen: De meeste studies vinden plaats in gecontroleerde laboratoria of virtuele simulatoren, niet in realistische, buitenomgevingen.
• Beperkte commando's: Veel studies focussen op discrete commando's (zoals alleen remmen) of simpele twee-klasse scenario's, in plaats van complexe, multi-commando navigatie.
• Gebrek aan voorspellende dekoding: Er is weinig onderzoek naar het voorspellen van intenties voorafgaand aan de daadwerkelijke beweging (anticipatoire dekoding) over verschillende tijdsvensters.
• Ontbrekende benchmarks: Er is geen systematische vergelijking van diverse Deep Learning (DL) architecturen (zoals CNN, RNN en Transformers) onder consistente preprocessing- en evaluatieprotocollen voor BCI-gedreven voertuigen.

2. Methodologie

Experimenteel Opzet:

• Deelnemers: 12 gezonde volwassenen (6 man, 6 vrouw) hebben deelgenomen.
• Taak: Deelnemers hebben een 4WD Rover Pro robot bestuurd via een Xbox-controller langs een vooraf bepaalde buitenroute.
• Commando's: Vijf navigatiecommando's moesten worden uitgevoerd: vooruit, achteruit, links, rechts en stoppen.
• Data-acquisitie:
  • EEG: Opgenomen met een 16-kanaals OpenBCI Cyton/Daisy systeem (gelvrije elektroden) volgens het 10-20 systeem.
  • Synchronisatie: EEG-data werd gesynchroniseerd met joystick-input (motorlabels) via ROS (Robot Operating System) met sub-millisecond nauwkeurigheid.
  • Sensoren: De rover was uitgerust met een ZED stereo-camera, GNSS, IMU en een Lux-sensor voor multimodale data, hoewel alleen EEG-data voor het modeltraining werd gebruikt.

Data-Labeling en Preprocessing:

• Labeling-strategie: Joystick-data werd omgezet in discrete labels. Er werden twee soorten labels gegenereerd:
  1. Actie-decodering: Real-time (∆ = 0 ms).
  2. Intentie-decodering: Anticipatoire voorspelling voor toekomstige tijdsvensters (∆ = 300 tot 1000 ms).
• Preprocessing: Een gestandaardiseerde pipeline (PyPREP/MNE-Python) werd toegepast, inclusief high-pass filtering (1 Hz), adaptieve notch filtering (50 Hz), ruisdetectie en interpolatie van slechte kanalen, en Z-score normalisatie.
• Train/Test Split: Een tijdsbewuste, label-gesplitste methode werd gebruikt om datalekken te voorkomen. Data werd chronologisch gesorteerd en opgedeeld in chunks (70% train, 30% test), gevolgd door een sliding window van 1 seconde (125 samples) met 50% overlap.

Model Benchmarking:

• Architecturen: 11 state-of-the-art Deep Learning-modellen werden getest, verdeeld over drie families:
  • CNN: EEGNet, DeepConvNet, ShallowConvNet, STNet, TSCeption, CCNN, CNN1D.
  • RNN: LSTM, GRU.
  • Transformer: ViT (Vision Transformer), EEGConformer.
• Training: Within-subject within-session training (per deelnemer en sessie apart) om cross-session lekken te voorkomen. Gebruik van Adam-optimizer, gewogen cross-entropy loss en oversampling voor class imbalance.

3. Belangrijkste Bijdragen

1. Realistisch BCI-experiment: Een nieuw framework dat buiten-navigatie van een robot combineert met gesynchroniseerde EEG- en gedragslabeling voor vijf commando's.
2. Tijdsbewuste Evaluatie: Introductie van een pipeline die temporale datalekken minimaliseert en robuuste offline benchmarks ondersteunt voor zowel actie- als intentievoorspelling.
3. Uitgebreide DL Benchmark: De eerste systematische vergelijking van 11 modellen (inclusief Transformers) in een real-world multi-commando BCI-context, wat rigoureuze prestatiebaselines vastlegt.

4. Resultaten

• Beste Prestatie: ShallowConvNet (een compacte CNN-architectuur) presteerde het beste in alle scenario's.
  • Bij ∆ = 0 ms (actie): F1-score van 67% (Accuracy 83%).
  • Bij ∆ = 300 ms (intentie): F1-score van 66% (Accuracy 82%).
• Anderen:
  • EEGNet en CNN1D leverden ook sterke resultaten (F1-score rond 62-64%).
  • GRU (RNN) was de beste recurrente architectuur en presteerde vergelijkbaar met de CNN's op korte termijn (F1 ~62-63%), maar toonde meer variabiliteit tussen deelnemers.
  • EEGConformer (Transformer) leverde consistente, gematigde resultaten (F1 ~60-61%).
  • ViT en DeepConvNet presteerden slecht (F1 < 50%), waarschijnlijk door overparametrisatie en het gebrek aan voldoende trainingsdata voor complexe modellen.
• Tijdsrobustheid: De beste modellen (ShallowConvNet, EEGNet, GRU) behielden een F1-score boven de 60% tot een voorspellingshorizon van 900 ms. Dit suggereert dat het mogelijk is om gebruikersacties tot bijna een seconde van tevoren te voorspellen.
• Confusiematrices: Toonden dat ShallowConvNet stabiel bleef over alle klassen heen, terwijl complexere modellen meer verwarring vertoonden tussen de commando's.

5. Betekenis en Conclusie

Deze studie bewijst dat compacte Convolutional Neural Networks (CNN's), en specifiek ShallowConvNet, superieur zijn aan complexe RNN's en Transformers voor real-time en anticipatoire EEG-decodering in real-world robotbesturing.

• Praktische Toepassing: De resultaten tonen aan dat BCI-systemen betrouwbaar kunnen anticiperen op bestuurdersintenties binnen een venster van ~0,9 seconden, wat essentieel is voor veilige en vloeiende gedeelde autonomie in voertuigen.
• Architecturale Inzicht: Complexiteit is niet altijd beter; in beperkte datasets (zoals EEG van individuele gebruikers) leiden lichtere, goed geoptimaliseerde CNN's tot betere generalisatie en robuustheid dan data-hongerige Transformers of zware netwerken.
• Toekomst: De geïntroduceerde benchmark biedt een reproduceerbaar fundament voor toekomstig onderzoek naar online BCI-systemen, cross-subject generalisatie en multimodale fusie voor neuroadaptieve voertuigen.