Multi-modal Ensemble Approach for Decoding Player Intentions in Table Tennis

想象一下，你正在试图猜猜你的朋友接下来要做什么。也许他们正伸手去拿一块饼干，又或者他们正准备跳起来蹦跳。通常情况下，你只需观察他们的肢体语言。如果他们的手向着罐子移动，你就知道一颗饼干即将到来。但如果除了观察，你还能读取他们的思想呢？如果你能在他们的手甚至还没抽动之前，就看到他们大脑中闪烁的电火花呢？这就是“脑机接口”和“运动预测”这一令人兴奋的世界。科学家们一直在尝试如何将我们所看到的（身体动作）与我们所感知的（大脑活动）结合起来，以预测人类的意图。这就像是在试图解开一个谜题，而你拥有两套不同的线索：一套显示的是足迹，另一套显示的则是制造这些足迹的人的思想。为什么这很重要？因为如果我们能非常擅长在人们实际行动之前就猜出他们的意图，我们就能制造出神奇的工具，来帮助运动员进行更艰苦的训练，或者帮助残障人士仅凭思想来控制机械臂。

现在，让我们把目光聚焦到一个特定的谜题：乒乓球。这是一项速度极快、快到几乎变成一道残影的运动。一项新的研究决定看看他们是否可以通过同时观察两件事——球员的身体动作和他们的脑电波——来预测球员究竟会向左还是向右击球。研究人员使用了一个特殊的数据库，记录了九名真实球员（七男二女，年龄在18至30岁之间）比赛时的表现。他们构建了两个不同的“侦探”来破解这个谜题。第一个侦探只观察球员的视频。它使用一个数学模型来追踪他们的姿态，就像一个机器人通过观看视频来学习识别网球挥拍动作一样。第二个侦探只倾听大脑。它使用一种特殊的计算机大脑（称为神经网络）来读取来自球员头部传来的电信号（EEG）。

精彩之处就在这里。这个“身体侦探”在猜测意图方面非常迅速，在球拍击中球之前的仅100毫秒就得出了结论。而“大脑侦探”稍慢一些，但依然令人印象深刻，在击球前500毫秒就捕捉到了意图。两者在单独猜测向左或向右的进攻时都表现得相当不错。但真正的魔力发生在研究人员让他们作为团队协作时。通过将视频中的线索和大脑信号合并为一个“超级侦探”，这个团队变得更加出色了。他们达到了0.563的分数（这是一个衡量准确性的特定指标），这比仅使用身体或仅使用大脑本身都有了小幅但明显的提升。论文指出，由于每个侦探都是独立工作的，我们将来可以轻松地为团队增加更多的感官，比如心率或肌肉信号。虽然这并不意味着我们已经为奥运会准备好了一顶神奇的读心头盔，但研究结果表明，这种方法可以成为体育训练或甚至用于构建帮助人们重新行动的未来神经假体的有用工具。