Multi-modal Ensemble Approach for Decoding Player Intentions in Table Tennis

당신이 친구가 다음에 무엇을 할지 추측하려고 노력하고 있다고 상상해 보세요. 아마도 친구가 쿠키를 향해 손을 뻗으려 하거나, 혹은 제자리에서 폴짝폴짝 뛰려고 하는 중일 수도 있습니다. 보통은 그저 친구의 몸짓을 관찰하곤 합니다. 만약 친구의 손이 쿠키 병 쪽으로 움직인다면, 당신은 곧 쿠키를 먹게 될 것임을 알 수 있습니다. 하지만 만약 당신이 친구의 마음까지 읽을 수 있다면 어떨까요? 만약 친구의 손이 움찔하기도 전에 뇌 속에서 일어나는 전기적 불꽃을 볼 수 있다면 어떨까요? 이것이 바로 "뇌-컴퓨터 인터페이스(BCI)"와 "동작 예측"이라는 흥미로운 세계입니다. 과학자들은 인간의 의도를 예측하기 위해 우리가 보는 것(신체 움직임)과 우리가 느끼는 것(뇌 활동)을 어떻게 결합할 수 있을지 끊임없이 연구하고 있습니다. 이는 마치 두 가지 서로 다른 단서 세트를 가지고 미스터리를 풀려는 것과 같습니다. 한 세트는 발자국을 보여주고, 다른 한 세트는 그 발자국을 만든 사람의 생각을 보여주는 것이죠. 이것이 왜 중요할까요? 왜냐하면 우리가 사람들이 실제로 행동하기 전에 그들이 무엇을 원하는지 아주 잘 추측할 수 있게 된다면, 운동선수들이 더 열심히 훈련하도록 돕는 놀라운 도구를 만들거나, 장애가 있는 사람들이 오직 생각만으로 로봇 팔을 조종할 수 있도록 돕는 도구를 만들 수 있기 때문입니다.

이제 탁구라는 특정 미스터리에 초점을 맞춰 보겠습니다. 탁구는 너무 빨라서 거의 잔상처럼 보일 정도의 스포츠입니다. 한 새로운 연구는 플레이어의 신체 움직임과 뇌파라는 두 가지를 동시에 관찰함으로써, 플레이어가 공을 왼쪽이나 오른쪽 중 어느 방향으로 칠 것인지를 정확하게 예측할 수 있는지 알아보기로 했습니다. 연구진은 실제 선수 9명(18세에서 30세 사이의 남성 7명과 여성 2명)이 경기를 하는 동안 기록된 특별한 데이터셋을 사용했습니다. 그들은 이 퍼즐을 풀기 위해 두 명의 서로 다른 "탐정"을 만들었습니다. 첫 번째 탐정은 플레이어의 영상을 관찰하기만 했습니다. 이 탐정은 수학 모델을 사용하여 플레이어의 포즈를 추적했는데, 마치 로봇이 비디오를 보기만 해도 테니스 스윙을 인식하는 법을 배우는 것과 같았습니다. 두 번째 탐정은 오직 뇌의 소리에만 귀를 기울였습니다. 이 탐정은 플레이어의 머리에서 나오는 전기 신호(EEG)를 읽기 위해 특별한 인공 신경망(뉴럴 네트워크)을 사용했습니다.

여기서 정말 매혹적인 부분이 등장합니다. "신체 탐정"은 매우 빠르게 의도를 파악하여, 라켓이 공을 치기 불과 100밀리초(ms) 전에 의도를 알아냈습니다. "뇌 탐정"은 조금 더 느렸지만 여전히 인상적이었는데, 타격 500밀리초 전에 의도를 포착했습니다. 두 탐정 모두 각각의 방식만으로도 왼쪽 또는 오른쪽 공격을 꽤 잘 맞혔습니다. 하지만 진짜 마법은 연구진이 이들을 하나의 팀으로 협력하게 만들었을 때 일어났습니다. 영상의 단서와 뇌 신호를 하나의 "슈퍼 탐정"으로 결합했을 때, 팀은 예측 능력이 더욱 향가졌습니다. 그들은 0.563(정확도를 나타내는 특정 수치)이라는 점수에 도달했는데, 이는 신체나 뇌 중 하나만을 사용했을 때보다 작지만 분명한 개선을 보여준 결과였습니다. 논문은 각 탐정이 독립적으로 작동하기 때문에, 미래에는 심박수나 근육 신호와 같은 더 많은 감각을 팀에 쉽게 추가할 수 있다고 제안합니다. 이것이 당장 올림픽을 위한 마법 같은 독심술 헬멧이 준비되었다는 뜻은 아니지만, 이 접근 방식이 스포츠 훈련을 위한 유용한 도구가 되거나 혹은 사람들이 다시 움직일 수 있도록 돕는 미래의 신경 의족(neural prosthetics)을 만드는 데 도움이 될 수 있음을 시사합니다.