Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

당신의 근육이 보내는 아주 작은 전기적 속삭임을 듣고서, 로봇 손이 당신의 손이 하는 것과 똑같이 행동하도록 가르치는 것을 상상해 보십시오. 이것이 바로 의수 제어(prosthetic control)의 세계입니다. 과학자들은 센서를 사용하여 근육이 수축할 때 발생하는 전기적 소음인 '표면 근전도(sEMG)' 신호를 읽어냅니다. 이 신호들을 마치 잡음과 음악이 뒤섞여 나오는 혼란스러운 라디오 방송국이라고 생각한다면, 목표는 그 방송에 채널을 맞추어 정확히 어떤 노래(또는 손 동작)가 나오고 있는지 알아내는 것입니다. 수십 년 동안 연구자들은 이 전기적 속삭임을 인공 사지의 부드럽고 자연스러운 움직임으로 바꾸는 '번역기'를 만들기 위해 노력해 왔습니다. 하지만 여기에는 함정이 있습니다. 가능한 손 동작의 수가 많아지고 복잡해질수록, 기존의 번역기들은 혼란을 느껴 실수를 더 자주 저지르게 됩니다. 이들은 마치 단어 전체의 맥락을 파악하지 못한 채 개별 글자만 보고 사전 전체를 암기하려는 학생과 같습니다.

이제 그 학생이 물체를 잡으려는 사람의 눈이 어디를 향하는지 볼 수 있거나, 팔이 흔들리는 움직임을 느낄 수 있다고 상상해 보십시오. 바로 이 지점에서 새로운 연구가 등장하며, 더 똑똑한 방식으로 '듣는 법'을 제안합니다. 단순히 근육 신호만을 쳐다보는 대신, 이 새로운 시스템은 근육의 전기 신호, 팔의 움직임 센서, 심지어 눈이 어디를 향하고 있는지와 같은 다양한 출처에서 단서를 모으는 매우 조직적인 탐정처럼 행동하여 "이것은 어떤 손 동작인가?"라는 미스터리를 해결합니다. 이 논문은 EMG-CrossFormer라는 새로운 종류의 똑똑한 소프트웨어를 소개합니다. 이 모델은 다양한 유형의 데이터를 결합하여 손 움직임을 그 어느 때보다 잘 이해하도록 설계된 멀티태스킹의 달인이며, 특히 팔을 잃고 의수가 자신의 몸처럼 느껴지기를 원하는 사람들을 위해 만들어졌습니다.

탐정의 새로운 도구 상자: EMG-CrossFormer

이 논문의 저자인 페데리코 델 펍(Federico Del Pup), 엘리사 텐토리(Elisa Tentori), 만프레도 아초리(Manfredo Atzori)는 손 동작을 해독하는 기존 방식이 한계에 부딪혔다는 점을 깨달았습니다. 강력하지만 시야가 좁은 컴퓨터와 같은 전통적인 딥러닝 모델들은 작은 국소적 세부 사항(예: 단일 근육의 경련)을 보는 데는 뛰어나지만, 시간의 흐름에 따라 혹은 서로 다른 유형의 신호 간에 점들을 연결하는 데는 어려움을 겪습니다. 이들은 양파를 완벽하게 다지는 법은 알지만, 그것을 소금, 후추와 어떻게 조합하여 수프를 만들어야 하는지는 모르는 요리사와 같습니다. 손 동작의 목록이 길어지면(예: 40가지 다른 움직임), 이러한 오래된 모델들은 종종 성능이 더 단순한 구형 방식보다 떨어지며 실패하기 시작합니다.

이를 해결하기 위해 팀은 고성능 오케스트라 지휘자처럼 작동하는 하이브리드 모델인 EMG-CrossFormer를 구축했습니다. 이 시스템은 단순히 한 명의 연주자가 하나의 악기를 연주하는 것이 아니라, 여러 '섹션'을 한데 모읍니다.

1. 연주자들 (인코더): 먼저, 원시 데이터를 듣습니다. 이 모델은 근육 신호(sEMG)를 읽는 특별한 '백본(backbones, 연주자)'을 가지고 있습니다. 또한 팔이 공간에서 어떻게 움직이는지를 추적하는 가속도계 데이터나, 사람이 어디를 보고 있는지를 보여주는 시선 추적 데이터와 같은 추가 단서까지 읽을 수 있습니다.
2. 지휘자 (교차 주의 집중, Cross-Attention): 이것이 마법 같은 부분입니다. 과거의 시스템들은 이러한 단서들을 그냥 한데 쏟아붓고 결과가 좋기를 바랐습니다. 하지만 EMG-CrossFormer는 '교차 주의 집중(cross-attention)'이라는 기술을 사용합니다. 지휘자가 근육 섹션을 향해 "헤이, 지금 무엇이 느껴지니?"라고 묻고, 다시 시선 섹션을 향해 "당신은요, 그들이 어디를 보고 있나요?"라고 묻는 장면을 상상해 보십시오. 이 시스템은 서로 다른 신호들이 서로 대화하도록 강제하며, 그들의 이야기를 하나의 완벽한 이해로 혼합합니다.
3. 솔로 연주자 (쿼리 기반 디코더): 마지막으로, 시스템은 '학습 가능한 동작 쿼리(learnable gesture queries)'를 사용합니다. 이것을 특정 손 동작(예: "컵 잡기" 또는 "손 흔들기")을 나타내는 마법 카드 세트라고 생각해 보십시오. 시스템은 이 카드들에게 "우리가 방금 들은 이야기가 이 동작과 일치하나요?"라고 묻고 승자를 선택합니다.

그들이 발견한 것: 팀워크의 힘

연구진은 NinaPro DB2, DB3, DB7, DB10이라는 네 가지 서로 다른 데이터셋(실제 사람, 즉 팔이 있는 사람과 없는 사람 모두로부터 얻은 데이터 모음)을 통해 이 새로운 시스템을 테스트했습니다. 그들은 누가 손 동작을 가장 잘 예측하는지 알아보기 위해 EMG-CrossFormer를 6개의 다른 최상급 모델들과 경쟁시켰습니다.

근육 신호만 사용했을 때의 결과:
오직 근육 신호(sEMG)만을 사용했을 때도 새로운 모델은 이미 챔피언이었지만, 그 승리는 다소 완만한 수준이었습니다.

• DB2 데이터셋에서 **72.33%**의 정확도를 달성했습니다.
• 절단 환자가 포함된 DB3에서는 **52.48%**를 기록했습니다.
• DB7에서는 **79.16%**에 도달했습니다.
• DB10에서는 **73.49%**를 기록했습니다.
  이 모델이 최고였지만, 논문은 이 새로운 모델과 차석 모델 사이의 격차가 작다는 점을 언급했습니다. 이는 신호에 잡음이 많거나 동작이 매우 유사할 경우, 아무리 똑똑한 근육 전용 번역기라도 어려움을 겪는다는 것을 시사합니다.

더 많은 단서를 추가했을 때의 마법:
그 후, 그들은 추가 센서를 가동했습니다. 가속도계 데이터(팔의 움직임을 추적)를 추가했을 때 결과는 급격히 상승했습니다.

• DB2에서 정확도가 **90.66%**로 뛰어올랐습니다.
• 절단 환자인 DB3에서는 **80.40%**로 치솟았습니다.
• DB7에서는 **92.79%**를 기록했습니다.
• DB10에서는 **92.06%**에 도달했습니다.

이 엄청난 개선은 근육 신호만으로는 전체 이야기를 전달하기에 부족하다는 것을 시사합니다. 가속도계로부터 '움직임' 단서를 추가함으로써, 시스템은 근육에서는 비슷해 보이지만 팔의 움직임은 다르게 느껴지는 동작들을 마침내 구별해 낼 수 있었습니다.

시선 추적의 반전:
그들은 또한 시선 추적 데이터(사람이 어디를 보고 있는지)를 혼합하여 시도했습니다. 흥적으로, 이것이 항상 상황을 개선하는 것은 아니었습니다. 일부 데이터셋에서는 시선 데이터를 추가해도 근육과 팔의 움직임만을 사용했을 때보다 점수가 크게 높아지지 않았습니다. 저자들은 이것이 시선 추적이 현재 '무엇을 하고 있는지'를 해독하기보다는, 다음에 '무엇을 하고 싶어 하는지'를 예측하는 데 더 적합하기 때문일 수 있다고 설명합니다. 이는 누군가의 눈을 보고 그 사람이 무엇을 먹고 있는지 추측하려는 것과 비슷합니다. 도움이 될 수는 있지만, 입안에 있는 음식을 직접 느끼는 것만큼 직접적이지는 않습니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 논문은 국소적 세부 사항(지금 근육이 무엇을 하고 있는지)과 전역적 맥antext(팔이 어떻게 움직이고 눈이 어디를 향하는지)를 결합하는 것이 복잡한 손 동작을 풀어내는 열쇠라고 결론짓습니다. 새로운 모델인 EMG-CrossFormer는 유연하게 설계되었습니다. 이 모델은 어떤 수의 신호도 처리할 수 있어, 의수를 위한 미래 지향적인 도구가 될 수 있습니다.

하지만 저자들은 결과에 대해 과장하지 않도록 주의를 기울였습니다. 그들은 수치는 훌륭해 보이지만, 이 시스템은 여전히 '블랙박스'라는 점을 지적합니다. 즉, 우리는 이것이 왜 그렇게 잘 작동하는지는 알지만, 신경층 내부에서 정확히 왜 그렇게 잘 작동하는지는 완전히 이해하지 못한다는 것입니다. 또한 테스트가 특정 데이터셋을 대상으로 수행되었으며, 실제 세상의 의수는 땀이나 움직임으로 인한 신호 잡음과 같은 훨씬 더 많은 문제에 직면해 있다는 점도 언급했습니다.

논문은 복잡한 작업을 수행하기 위해 오래된 단순한 모델들이 충분하다는 생각을 명시적으로 부정합니다. 그러한 모델들은 단순히 규모를 키울 수 없습니다. 또한 나쁜 시스템에 단순히 더 많은 데이터를 쏟아붓는 것이 도움이 되지 않는다는 점도 시사합니다. 중요한 것은 데이터를 결합하는 방법(즉, '융합 전략')입니다. 저자들은 자신들의 '교차 주의 집중' 방식이 단순히 데이터를 이어 붙이는 것보다 우월하다고 제안하는데, 이는 시스템이 서로 다른 신호 간의 관계를 진정으로 이해하도록 강제하기 때문입니다.

결론적으로, 이 연구는 완벽한 의수를 만드는 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 강력한 새로운 청사진을 제시합니다. 만약 우리가 로봇이 인간처럼 움직이기를 원한다면, 단 하나의 목소리에만 귀를 기울이는 것이 아니라 신호의 전체 오케스트라를 지휘하기 시작해야 한다는 것을 보여줍니다. 앞으로의 길은 단순히 똑똑한 시스템을 만드는 것을 넘어, 근육, 움직임, 그리고 착용자의 시선으로부터 배울 준비가 된, 적응력이 뛰어난 시스템을 구축하는 데 있습니다.