Metric-Based Few-Shot Learning Framework for User-Defined Vocabulary Registration in Electromyography-Based Silent Speech Interfaces

소리를 내지 않고 컴퓨터와 대화하는 것을 상상해 보세요. 여러분은 '무언(silent speech)'을 단순히 속삭이는 것으로 생각할 수도 있지만, 부상이나 질병으로 인해 말을 할 수 없는 많은 사람들에게는 속삭이는 것조차 불가능할 수 있습니다. 여기서 **근전도(Electromyography, EMG)**가 등장합니다. EMG를 근육을 위한 초정밀 청진기라고 생각하면 쉽습니다. 여러분이 소리 없이 단어를 말하려고 노력할 때, 소리가 나오지 않더라도 얼굴과 목의 근육은 여전히 미세하게 떨리며 작은 전기 신호를 보냅니다. EMG 센서는 이러한 '전기적 속삭임'을 포착할 수 있습니다.

이제 컴퓨터에게 이러한 무언의 근육 떨림을 이해하도록 가르치는 장면을 상상해 보세요. 보통은 컴퓨터가 인식하길 원하는 모든 단어에 대해, 그 단어를 말하는 수백 가지의 예시를 보여주며 학습시켜야 합니다. 이는 마치 강아지에게 새로운 기술을 가르치기 위해 명령어를 수천 번 반복하여 마침내 이해할 때까지 연습하는 것과 같습니다. 하지만 만약 내일 새로운 단어를 추가하고 싶다면 어떻게 될까요? 전체 학습 과정을 처음부터 다시 시작해야 하며, 이는 느리고 번거로운 일입니다. 이것이 바로 '사용자 정의 어휘(user-defined vocabulary)'의 문제입니다. 즉, 전체 시스템을 다시 훈련시키지 않고도 사용자가 쉽게 새로운 단어를 추가할 수 있는 방법은 무엇일까요?

**퓨샷 러닝(Few-Shot Learning)**을 만나보세요. 이것은 인공지능 분야의 영리한 기법으로, 모델이 단 몇 개의 예시(때로는 단 하나나 세 개만으로도)를 통해 새로운 것을 인식하도록 학습하는 방식입니다. 이는 마치 강아지에게 새로운 장난감 사진을 한 번 보여주었을 뿐인데, 강아지가 즉시 "아, 저건 공이구나!"라고 알아차리는 것과 같습니다. 이 연구의 목표는 이 '퓨샷(few-shot)'의 마법을 사용하여 사람들이 자신의 EMG 기기에 새로운 단어를 빠르고 쉽게 등록할 수 있는지 확인하는 것입니다. 거대한 슈퍼컴퓨터를 이용해 전체를 다시 훈련시킬 필요 없이 말이죠.

---

무언의 퍼즐: 컴퓨터가 당신의 마음을 읽게 하는 법 (독심술 없이 말이죠)

이 연구에서 한양대학교의 전혜성, 손장재, 임창환 연구진은 까다로운 문제에 도전했습니다: 어떻게 하면 몇 시간 동안 재학습을 거치지 않고도 자신만의 맞춤형 단어를 추가할 수 있는 무언 음성 장치를 만들 수 있을까? 그들은 **메트릭 기반 퓨샷 러닝(Metric-Based Few-Shot Learning)**을 사용하는 새로운 프레임워크를 제안했습니다.

현재 이러한 시스템이 작동하는 방식을 경직된 도서관이라고 생각해 보세요. 만약 새로운 책(새로운 단어)을 추가하고 싶다면, 도서관의 전체 카탈로그 시스템을 다시 구축해야 합니다. 여기서 제안된 새로운 방식은 이미 온갖 종류의 책의 '모양'을 기억하고 있는 똑똑한 사서와 같습니다. 새로운 책을 가져오면, 사서는 도서관을 다시 구축할 필요 없이 그저 새 책을 보고 이미 알고 있는 것들과 모양을 비교한 뒤, "아, 이 책은 추리 소설과 비슷하군요!"라고 말하는 식입니다.

실험: 20명의 참가자, 100개의 단어, 그리고 무언의 도전

이를 테스트하기 위해 연구진은 20명의 자원봉사자를 모집했습니다. 참가자들은 화면 앞에 앉아 100개의 서로 다른 영어 단어를 무언으로 입 모양만 만들어 말했습니다. 이 과정에서 얼굴과 턱에 붙인 6개의 작은 전극이 근육의 전기적 활동을 기록했습니다.

연구진은 이 100개의 단어를 두 그룹으로 나누었습니다:

1. 시스템 단어 (80개): 컴퓨터의 뇌를 처음에 훈련시키는 데 사용되었습니다. 이것이 컴퓨터가 학습하는 '도서관'입니다.
2. 사용자 단어 (20개): 컴퓨터가 이전에 본 적 없는 '새로운 책'들입니다. 목표는 컴퓨터가 단 몇 개의 예시(하나, 둘, 셋 또는 넷)만 보고도 이 새로운 단어들을 인식할 수 있는지 확인하는 것이었습니다.

연구진은 어떤 '똑똑한 사서' 전략(알고리즘)이 이 매칭 게임에 가장 적합한지 확인하기 위해 네 가지 전략을 테스트했습니다:

• 샴 네트워크 (Siamese Network): 새로운 단어를 자신이 본 모든 예시와 직접 비교합니다. 마치 사진첩 속의 얼굴들을 하나씩 대조해 보는 것과 같습니다.
• 프로토타이컬 네트워크 (Prototypical Network): 각 단어의 '완벽한 평균치' 버전(프로토 타입)을 만든 뒤, 새로운 단어를 그 평균값과 비교합니다.
• 매칭 네트워크 (Matching Network): 복잡한 어텐션(attention) 시스템을 사용하여 새로운 단어가 예시들과 얼마나 닮았는지 가중치를 둡니다.
• 릴레이션 네트워크 (Relation Network): 두 대상을 비교하는 특정한 규칙을 학습합니다.

또한, 이들은 기존 방식인 '파인 튜닝(Fine-Tuning, 미세 조정)' 방식과도 비교했습니다. 파인 튜닝은 새로운 데이터로 모델을 다시 훈련시키는 전통적인 방식입니다.

주요 결과: "평균"의 승리

결과는 명확하고 흥미로웠습니다. **프로토타이컬 네트워크(Prototypical Network)**가 우승을 차지했습니다.

이 모델이 승리한 이유는 다음과 같습니다: 단어의 모든 개별 예시를 암기하려고 애쓰는 대신, 단어의 '본질' 또는 '평균적인 모양'을 찾아냈기 때문입니다. 사용자가 새로운 단어를 추가하고 싶을 때, 시스템은 사용자가 제공한 몇 가지 예시를 취해 이를 평균 내어 '프로토타입'을 만들고 이를 저장합니다. 사용자가 그 단어를 다시 말하면, 시스템은 새로운 근육 움직임이 그 프로토타입과 닮았는지 확인하기만 하면 됩니다.

• 원샷(One-Shot) 성공: 시스템이 새로운 단어의 예시를 단 하나만 보았을 때, 프로토타이컬 네트워크의 정확도는 **82.85%**였습니다.
• 쓰리샷(Three-Shot) 성공: 예시를 세 개 보았을 때, 정확도는 **90.17%**로 뛰어올랐습니다.

이와 대조적으로, 기존의 "파인 튜닝" 방식(모델 전체를 재학습시키는 방식)은 고전했습니다. 단 하나의 예시만 있었을 때, 이 방식은 약 **66%**의 정확도만을 보였습니다. 거대한 뇌를 단 몇 개의 예시로 재학습시키려 하면 오히려 혼란을 주는 반면, 단순한 '평균' 참조점을 만드는 것이 훨씬 효과적이라는 사실이 드러났습니다.

이것이 미래의 가젯에 중요한 이유

이 연구는 이러한 접근 방식이 스마트워치나 보청기처럼 우리가 착용하는 소형 배터리 구동 기기, 즉 **엣지 디바이스(edge devices)**에 완벽하다는 점을 시사합니다.

• 재학습 불필요: 데이터를 클라우드 서버로 보내거나 거대한 업데이트를 기다릴 필요가 없습니다. 기기는 그저 당신의 새 단어에 대한 '프로토타입'을 저장하기만 하면 됩니다.
• 공간 절약: 새로운 단어를 추가할 때마다 소프트웨어의 새로운 버전을 통째로 저장할 필요가 없습니다. 아주 작은 수학적 벡터(프로토타입) 하나만 저장하면 됩니다.
• 적은 데이터로도 작동: 초기 학습 단계에서 80개가 아닌 40개의 단어만 가지고 학습했더라도, 프로토타이컬 네트워크는 다른 방식들이 80개를 가지고 수행한 성능보다 더 나은 성과를 보였습니다. 이는 시스템이 시작할 때 방대한 라이브러리를 가질 필요가 없으며, 적은 양의 데이터로도 새로운 단어를 잘 처리할 수 있음을 의미합니다.

한계와 미래

결과는 유망하지만, 저자들은 이 실험이 건강한 자원봉사자들을 대상으로 한 통제된 실험실 환경에서 이루어졌다는 점을 주의 깊게 언급했습니다. 특정 100개의 영어 단어 목록을 사용했습니다. 따라서 이 방식이 모든 언어나 모든 언어 장애인을 가진 사람들에게 완벽하게 적용된다고 주장하는 것은 아닙니다. 또한, 수학적으로는 소형 기기에서 작동해야 한다고 하지만, 실제 웨어러블 하드웨어에서 얼마나 빠르게 실행되는지 또는 배터리 소모량이 어느 정도인지에 대한 테스트는 아직 이루어지지 않았습니다.

하지만 핵심 아이디어는 견고합니다. '프로토타입' 접근 방식을 사용함으로써, 우리는 끝없는 훈련 과정의 번거로움 없이도 사용자가 직접 커스텀 명령어를 추가할 수 있는 유연하고 빠른 무언 음성 인터페이스를 만들 수 있습니다. 이는 당신의 기기가 당신이 새로 배우기로 결정한 어떤 단어라도 이해할 수 있는, 당신의 침묵하는 생각을 읽는 미래를 향한 한 걸음입니다.