Multi-modal Ensemble Approach for Decoding Player Intentions in Table Tennis

Imaginez que vous essayiez de deviner ce que votre ami est sur le point de faire ensuite. Peut-être qu'il tend la main vers un biscuit, ou peut-être qu'il est sur le point de sauter de joie. D'habitude, vous vous contentez d'observer son langage corporel. Si sa main se dirige vers le bocal, vous savez qu'un biscuit arrive. Mais et si vous pouviez aussi lire dans ses pensées ? Et si vous pouviez voir les étincelles électriques dans son cerveau s'activer avant même que sa main ne tressaute ? C'est le monde passionnant des « interfaces cerveau-ordinateur » et de la « prédiction de mouvement ». Les scientifiques essaient constamment de comprendre comment combiner ce que nous voyons (le mouvement du corps) avec ce que nous ressentons (l'activité cérébrale) pour prédire les intentions humaines. C'est comme essayer de résoudre un mystère où vous avez deux ensembles différents d'indices : un ensemble montre les empreintes de pas, et l'autre montre les pensées de la personne qui les a laissées. Pourquoi cela importe-t-il ? Parce que si nous parvenons à devenir très doués pour deviner ce que les gens veulent faire avant qu'ils ne le fassent réellement, nous pourrions construire des outils incroyables pour aider les athlètes à s'entraîner plus intensément ou pour aider les personnes handicapées à contrôler des bras robotiques par la simple pensée.

Maintenant, zoomons sur un mystère spécifique : le tennis de table. C'est un sport qui se déroule si vite que c'en est presque un flou. Une nouvelle étude a décidé de voir s'ils pouvaient prédire exactement de quel côté un joueur allait frapper la balle — à gauche ou à droite — en observant deux choses à la fois : les mouvements du corps et les ondes cérébrales. Les chercheurs ont utilisé un ensemble de données spécial qui enregistrait neuf vrais joueurs (sept hommes et deux femmes, tous âgés de 18 à 30 ans) pendant qu'ils jouaient. Ils ont construit deux « détectives » différents pour résoudre l'énigme. Le premier détective ne faisait que regarder la vidéo des joueurs. Il utilisait un modèle mathématique pour suivre leurs postures, comme un robot apprenant à reconnaître un swing de tennis juste en regardant la vidéo. Le second détective écoutait uniquement le cerveau. Il utilisait un cerveau informatique spécial (appelé réseau de neurones) pour lire les signaux électriques (EEG) provenant de la tête des joueurs.

C'est ici que cela devient fascinant. Le « détective du corps » était très rapide pour deviner l'intention, la comprenant seulement 100 millisecondes avant que la raquette ne frappe la balle. Le « détective du cerveau » était un peu plus lent mais tout de même impressionnant, captant l'intention 500 millisecondes avant le coup. Les deux étaient plutôt bons pour deviner les attaques à gauche ou à droite de manière indépendante. Mais la véritable magie s'est produite lorsque les chercheurs les ont fait travailler ensemble comme une équipe. En combinant les indices de la vidéo et les signaux cérébraux en un seul « super détective », l'équipe est devenue encore meilleure pour deviner. Ils ont atteint un score de 0,563 (une mesure spécifique de leur précision), ce qui est une amélioration légère mais claire par rapport à l'utilisation du corps ou du cerveau seuls. L'article suggère que, puisque chaque détective travaille indépendamment, nous pourrions facilement ajouter d'autres sens à l'équipe à l'avenir, comme le rythme cardiaque ou les signaux musculaires. Bien que cela ne signifie pas qu'un casque de lecture mentale magique soit prêt pour les Jeux Olympiques, les résultats suggèrent que cette approche pourrait être un outil utile pour l'entraînement sportif ou même pour la construction de futures prothèses neurales qui aident les gens à bouger à nouveau.