Multi-modal Ensemble Approach for Decoding Player Intentions in Table Tennis

あなたの友人が次に何をしようとしているのか、それを推測しようとしている場面を想像してみてください。もしかしたらクッキーに手を伸ばそうとしているのかもしれませんし、あるいは、ぴょんぴょんと跳ね回ろうとしているのかもしれません。通常、あなたはただ相手のボディランゲージを見ているだけです。もし彼らの手が瓶の方へ動けば、クッキーが来るだろうと分かります。しかし、もしあなたの脳内を読み取ることができたらどうでしょう？もし、彼らの手がわずかに動くよりも前に、脳内で火花が散っている電気信号を見ることができたら？これが、「ブレイン・コンピューター・インターフェース」と「動作予測」というエキサイティングな世界です。科学者たちは、私たちが目にするもの（体の動き）と、私たちが感知するもの（脳の活動）をどのように組み合わせれば、人間の意図を予測できるかを常に解明しようとしています。それは、2つの異なる手がかりを使って謎を解こうとするようなものです。一方の手がかりは足跡を示し、もう一方の手がその足跡を作った人の思考を示すのです。なぜこれが重要なのでしょうか？なぜなら、もし人々が実際に動く前に、何をしたいのかを推測することが非常に上手くなれば、アスリートがよりハードにトレーニングするのを助けたり、障害を持つ人々が思考だけでロボットアームを操れるようにしたりするための、素晴らしいツールを構築できるからです。

では、特定のミステリー、卓球にズームアップしてみましょう。卓球は、ほとんどブレて見えるほど速いスピードで行われるスポーツです。新しい研究では、プレイヤーがボールをどちらの方向（左か右か）に打とうとしているのかを、体の動きと脳波という2つの要素を同時に見ることで、正確に予測できるかどうかを検証することに決めました。研究者たちは、9人の実際のプレイヤー（18歳から30歳の男性7人と女性2人）がプレーしている様子を記録した特別なデータセットを使用しました。彼らは、このパズルを解くために2人の異なる「探偵」を作り上げました。1人目の探偵は、プレイヤーのビデオだけを観察します。これは、ビデオを見るだけでテニスのスイングを認識することを学ぶロボットのように、数学モデルを用いてプレイヤーのポーズを追跡します。2人目の探偵は、脳の声だけを聞きます。これは、プレイヤーの頭部から発せられる電気信号（EEG）を読み取るための、特別なコンピュータ・ブレイン（ニューラルネットワークと呼ばれるもの）を使用します。

ここからが非常に興味深いところです。「体の探偵」は意図を推測するのが非常に速く、ラケットがボールに当たるわずか100ミリ秒前にそれを突き止めました。「脳の探偵」は少し遅かったものの、それでも印象的で、ヒットの500ミリ秒前に意図を捉えました。どちらも、単独でも左への攻撃か右への攻撃かを推測するのにかなり優秀でした。しかし、本当の魔法は、研究者が彼らをチームとして協力させた時に起こりました。ビデオからの手がかりと脳の信号を一つの「スーパー探偵」へと統合することで、チームの推測精度はさらに向上しました。彼らは0.563というスコア（正確さを示す特定の指標）に達し、これは体または脳のどちらか一方だけを使用した場合よりも、わずかながら明確な改善となりました。論文は、各探偵が独立して機能しているため、将来的には心拍数や筋肉の信号といった、より多くの感覚をチームに容易に追加できる可能性があることを示唆しています。これは、オリンピックのための魔法のマインドリーディング・ヘルメットがすぐに完成するという意味ではありませんが、このアプローチがスポーツのトレーニングや、あるいは人々が再び動けるようになるための未来の神経義肢（ニューラル・プロステーシス）を構築するための、有用なツールになり得ることを示唆しています。