Multi-modal Ensemble Approach for Decoding Player Intentions in Table Tennis

Stell dir vor, du versuchst zu erraten, was dein Freund als Nächstes tun wird. Vielleicht greift er nach einem Keks, oder vielleicht ist er kurz davor, auf und ab zu springen. Normalerweise beobachtest du einfach seine Körpersprache. Wenn seine Hand in Richtung des Glases wandert, weißt du, dass ein Keks kommt. Aber was wäre, wenn du auch seinen Verstand lesen könntest? Was wäre, wenn du die elektrischen Funken in seinem Gehirn sehen könntest, die dort feuern, noch bevor sich seine Hand auch nur zuckt? Dies ist die aufregende Welt der „Gehirn-Computer-Schnittstellen“ und der „Bewegungsvorhersage“. Wissenschaftler versuchen ständig herauszufinden, wie sie das, was wir sehen (Körperbewegung), mit dem kombinieren können, was wir spüren (Hirnaktivität), um menschliche Absichten vorherzusagen. Es ist, als würde man versuchen, ein Rätsel zu lösen, bei dem man zwei verschiedene Sätze von Hinweisen hat: Ein Satz zeigt die Fußspuren, und der andere zeigt die Gedanken der Person, die sie gemacht hat. Warum ist das wichtig? Weil wir, wenn wir richtig gut darin werden, zu erraten, was Menschen tun wollen, bevor sie es tatsächlich tun, erstaunliche Werkzeuge bauen könnten, um Sportlern beim härteren Training zu helfen oder Menschen mit Behinderungen dabei, Roboterarme allein durch ihre Gedanken zu steuern.

Lass uns nun auf ein spezifisches Rätsel zoomen: Tischtennis. Es ist ein Sport, der so schnell abläuft, dass er fast ein Verschwimmen ist. Eine neue Studie entschied zu sehen, ob sie genau vorhersagen könnten, in welche Richtung ein Spieler den Ball schlagen würde – links oder rechts –, indem sie zwei Dinge gleichzeitig betrachteten: die Körperbewegungen und die Gehirnwellen. Die Forscher verwendeten einen speziellen Datensatz, der neun echte Spieler aufzeichnete (sieben Männer und zwei Frauen, alle zwischen 18 und 30 Jahre alt), während diese spielten. Sie bauten zwei verschiedene „Detektive“, um das Rätsel zu lösen. Der erste Detektiv beobachtete nur das Video der Spieler. Er nutzte ein mathematisches Modell, um deren Posen zu verfolgen, wie ein Roboter, der lernt, einen Tennis-Schwung allein durch das Beobachten des Videos zu erkennen. Der zweite Detektiv hörte nur auf das Gehirn. Er nutzte einen speziellen Computer-Verstand (genannt neuronales Netzwerk), um die elektrischen Signale (EEG) zu lesen, die aus den Köpfen der Spieler kamen.

Hier wird es faszinierend. Der „Körper-Detektiv“ war sehr schnell darin, die Absicht zu erraten, und fand sie bereits 100 Millisekunden vor dem Aufschlag des Schlägers heraus. Der „Gehirn-Detektiv“ war etwas langsamer, aber immer noch beeindruckend und erfasste die Absicht 500 Millisekunden vor dem Schlag. Beide waren ziemlich gut darin, Angriffe nach links oder rechts für sich allein zu erraten. Aber die wahre Magie geschah, als die Forscher sie dazu brachten, als Team zusammenzuarbeiten. Durch die Kombination der Hinweise aus dem Video und den Gehirnsignalen zu einem einzigen „Super-Detektiv“ wurde das Team noch besser im Raten. Sie erreichten einen Wert von 0,563 (ein spezifisches Maß dafür, wie genau sie waren), was eine kleine, aber deutliche Verbesserung gegenüber der Verwendung von nur dem Körper oder nur dem Gehirn allein war. Das Paper legt nahe, dass wir, da jeder Detektiv unabhängig arbeitet, in Zukunft leicht weitere Sinne wie Herzfrequenz oder Muskelsignale zum Team hinzufügen könnten. Dies bedeutet zwar nicht, dass wir schon einen magischen Gedankenlese-Helm für die Olympischen Spiele bereit haben, aber die Ergebnisse deuten darauf hin, dass dieser Ansatz ein hilfreiches Werkzeug für das Sporttraining oder sogar für den Bau zukünftiger neuronaler Prothesen sein könnte, die Menschen helfen, sich wieder zu bewegen.