Multi-modal Ensemble Approach for Decoding Player Intentions in Table Tennis

Stel je voor dat je probeert te raden wat je vriend zometeen gaat doen. Misschien reikt hij naar een koekje, of misschien staat hij op het punt om op en neer te springen. Meestal kijk je gewoon naar zijn lichaamstaal. Als zijn hand richting de pot beweegt, weet je dat er een koekje aankomt. Maar wat als je ook zijn gedachten kon lezen? Wat als je de elektrische vonken in zijn hersenen zou kunnen zien vuren voordat zijn hand zelfs maar bewoog? Dit is de opwindende wereld van "brain-computer interfaces" en "bewegingsvoorspelling". Wetenschappers proberen voortdurend uit te vinden hoe ze kunnen combineren wat we zien (lichaamsbeweging) met wat we waarnemen (hersenactiviteit) om menselijke intenties te voorspellen. Het is alsof je een mysterie probeert op te lossen waarbij je twee verschillende sets aanwijzingen hebt: één set laat de voetstappen zien, en de andere set laat de gedachten zien van de persoon die ze maakte. Waarom is dit belangrijk? Omdat als we echt goed worden in het raden wat mensen willen doen voordat ze het daadwerkelijk doen, we geweldige hulpmiddelen kunnen bouwen om atleten te helpen harder te trainen of om mensen met een beperking te helpen een robotarm te besturen met alleen hun gedachten.

Laten we nu inzoomen op een specifiek mysterie: tafeltennis. Het is een sport die zo snel gaat dat het bijna een waas is. Een nieuwe studie besloot te kijken of ze precies konden voorspellen welke kant een speler op zou slaan — links of rechts — door naar twee dingen tegelijk te kijken: hun lichaamsbewegingen en hun hersengolven. De onderzoekers gebruikten een speciale dataset waarin negen echte spelers (zeven mannen en twee vrouwen, allemaal tussen de 18 en 30 jaar oud) werden opgenomen terwijl ze speelden. Ze bouwden twee verschillende "detectives" om het puzzelstukje op te lossen. De eerste detective keek alleen naar de video van de spelers. Deze gebruikte een wiskundig model om hun houdingen te volgen, zoals een robot die leert een tenniszwaai te herkennen door alleen naar de video te kijken. De tweede detective luisterde alleen naar de hersenen. Deze gebruikte een speciale computerbrein (een neuraal netwerk) om de elektrische signalen (EEG) te lezen die uit de hoofden van de spelers kwamen.

Hier wordt het fascinerend. De "lichaamsdetective" was erg snel in het raden van de intentie en ontdekte het slechts 100 milliseconden voordat het racket de bal raakte. De "hersendetective" was iets langzamer maar nog steeds indrukwekkend; deze ving de intentie op 500 milliseconden vóór de klap. Beiden waren vrij goed in het raden van links of rechts gerichte aanvallen op hun eigen. Maar de echte magie gebeurde toen de onderzoekers ze lieten samenwerken als een team. Door de aanwijzingen van de video en de hersensignalen te combineren in één "superdetective", werd het team nog beter in het raden. Ze bereikten een score van 0,563 (een specifieke maatstaf voor hoe nauwkeurig ze waren), wat een kleine maar duidelijke verbetering was ten opzichte van het gebruik van alleen het lichaam of alleen de hersenen alleen. Het artikel suggereert dat omdat elke detective onafhankelijk werkt, we in de toekomst gemakkelijk meer zintuigen aan het team kunnen toevoegen, zoals hartslag of spiersignalen. Hoewel dit niet betekent dat we al een magische gedachtenlezende helm klaar hebben voor de Olympische Spelen, suggereren de resultaten dat deze aanpak een nuttig hulpmiddel kan zijn voor sporttraining of zelfs voor het bouwen van toekomstige neurale prothesen die mensen helpen weer te bewegen.