침묵의 속삭임: 소리 없이 단어를 포착하다

속삭임조차 메아리칠 정도로 조용한 도서관에서 대화를 시도하거나, 혹은 말을 크게 할 수 없는 상황을 상상해 보세요. 목소리를 잃었을 수도 있고, 혹은 아무도 당신의 말을 들을 수 없는 시끄러운 공장에 있을 수도 있습니다. 수 세기 동안 인류는 생각을 공유하기 위해 음파에 의존해 왔지만, 만약 소리를 전혀 내지 않고도 대화할 수 있다면 어떨까요? 이것이 바로 **무성 음성 인터페이스(Silent Speech Interfaces, SSIs)**의 세계입니다. 이것을 당신의 입을 위한 비밀 해독 반지라고 생각해보세요. 이 장치들은 당신의 목소리를 듣는 대신, 당신이 소리 없이 "말할" 때 입술, 턱, 그리고 목이 만드는 작고 보이지 않는 움직임을 감지합니다.

이를 위해 과학자들은 다양한 도구를 사용합니다. 어떤 이들은 카메라를 사용하여 입술의 움직임을 관찰하고, 다른 이들은 근육에서 발생하는 전기적 신호를 감지하는 센서를 사용합니다. 하지만 더 새롭고 멋진 도구가 있습니다. 바로 **가속도계(accelerometer)**입니다. 여러분도 스마트폰을 기울이거나 흔들 때 작동하는 가속도계를 알고 계실 것입니다. 이 연구에서 과학자들은 얼굴과 목에 아주 작은 가속도계를 부착합니다. 이 센서들은 전기나 카메라에는 관심이 없습니다. 오직 움직임에만 관심이 있습니다. 당신이 소리 없이 "apple"이라고 말할 때, 턱은 내려가고 입술은 오므라지며 목은 움직입니다. 가속도계는 그 미세한 툭 치는 듯한 움직임을 느끼고 이를 데이터의 구불구불한 선으로 기록합니다. 하지만 문제는 바로 이것입니다. 어디에 이 센서들을 배치해야 할까요? 한 곳에 모두 모아두면 중요한 동작을 놓칠 수 있습니다. 너무 많이 배치하면 장치가 무겁고 불편한 덩어리가 되어버립니다. 완벽한 위치를 찾는 것은 마치 목에 담이 걸리지 않으면서 공연 전체를 볼 수 있는 극장의 명당자리를 찾는 것과 같습니다.

위대한 센서 탐색: 최적의 지점을 찾아서

이 연구에서 한양대학교의 연구팀은 인간의 얼굴을 대상으로 센서를 이용한 거대한 "월리를 찾아라" 게임을 하기로 했습니다. 그들은 사람의 하안부와 목에 가속도계를 가장 효율적으로 부착하여 100개의 서로 다른 영어 단어를 무성으로 해독하는 방법을 알아내고자 했습니다. 그들은 단순히 추측하지 않았습니다. 10개의 센서로 만들 수 있는 모든 가능한 조합을 테스트했습니다. 10명의 친구가 있고, 그중 어떤 그룹이 함께 문제를 푸는 데 가장 적합한지 알고 싶다고 상상해 보세요. 한 명의 그룹부터 두 명, 그리고 열 명 전체에 이르기까지 모든 조합을 시도할 수 있습니다. 그것이 바로 그들이 한 일이며, 20명의 자원봉사자를 대상으로 1,000개가 넘는 서로 다른 센서 배치 방식을 테스트했습니다.

자원봉사자들은 화면 앞에 앉아 센서를 착용한 채 "hello", "stop", "blue"와 같은 100개의 단어를 소리 없이 입 모양으로 따라 했습니다. 그 후 똑똑한 컴퓨터 프로그램(딥 러닝이라 불리는 인공지능의 일종)이 센서에서 나온 구불구불한 선을 바탕으로 어떤 단어가 말해지고 있는지 추측했습니다.

연구 결과는 다음과 같았습니다.

1. 많다고 항상 좋은 것은 아니다 (수익 체감의 법칙)
처음에는 센서를 추가할수록 컴퓨터의 추측 능력이 향상되었습니다. 센서가 하나일 때는 정확도가 75%였고, 두 개일 때는 80% 이상으로 뛰었습니다. 하지만 반전이 있었습니다. 다섯 개의 센서에 도달하자, 그 이상을 추가해도 큰 도움이 되지 않았습니다. 정확도는 "천장" 혹은 정체기에 도달했습니다. 여섯 개, 일곱 개, 혹은 열 개를 모두 사용하더라도 그 개선 효과는 통계적으로 유의미하지 않을 정도로 미미했습니다. 이는 주방에 요리사를 더 많이 투입하는 것과 같습니다. 일정 수준을 넘어서면 요리의 맛을 더 좋게 만들기보다는 서로의 방해가 될 뿐입니다.

2. 황금의 다섯 손가락
연구진은 가장 잘 작동하는 특정 다섯 개 센서 그룹을 찾아냈습니다. 이 "드림팀"은 다음 위치에 배치된 센서들로 구성되었습니다:

• 인중 (코와 윗입술 사이의 작은 홈)
• 아랫입술/턱 부위 (두 곳)
• 턱선 (두 곳)
• 턱 아래/목 부위

**{1, 4, 5, 7, 8}**번 센서로 명명된 이 특정 조합은 **92.30 ± 4.64%**의 정확도를 달단했습니다. 이는 10개의 센서를 모두 사용하는 것과 거의 맞먹는 성능이었지만, 하드웨어는 절반밖에 사용하지 않았습니다.

3. "분산 배치" 전략
가장 흥ante로운 발견은 단순히 얼마나 많은 센서를 사용했느냐가 아니라, 어디에 배치했느냐였습니다. 연구진은 얼굴을 세 가지 움직임 영역으로 나누었습니다:

• 구순 영역 (입술): 입술이 움직이는 곳.
• 협설구악 영역 (턱/볼): 턱이 벌어지고 닫히는 곳.
• submental 영역 (턱 아래/목): 목과 혀가 움직이는 곳.

그들은 가장 좋은 센서 설정이 세 영역 모두에 넓게 퍼져 있는 경우라는 것을 발견했습니다. 다섯 개의 센서를 모두 입술에만 배치한 설정(턱과 목을 무시한 경우)은 입술에 하나, 턱에 두 개, 목에 두 개를 배치한 설정보다 훨씬 성적이 좋지 않았습니다. 이는 배우의 손만 보고 영화를 이해하려는 것과 같습니다. 그러면 표정과 몸짓을 놓치게 됩니다. "무성 언어"를 이해하려면 전체 그림을 봐야 합니다. 가장 좋은 구성은 "상호 보완적인" 정보를 포착했습니다. 즉, 센서들이 서로의 빈틈을 메워주며 협력했다는 뜻입니다.

4. 다른 단어에도 적용되는가?
이것이 우연이 아님을 확인하기 위해 연구팀은 다른 100개의 단어 목록으로 실험을 다시 진행했습니다. 정확한 센서 위치는 약간 변했지만(턱에 있던 센서 하나가 목으로 교체됨), 전략은 동일했습니다: 최고의 결과는 항상 입술, 턱, 목에 센서를 분산 배치했을 때 나타났습니다. 이는 "분산 배치" 규칙이 어떤 단어를 말하든 이러한 장치를 구축하는 데 있어 견고한 가이드라인이 될 수 있음을 시사합니다.

5. "마스크" 아이디어
마지막으로 팀은 질문했습니다. "더 단순하게 만들 수 있을까?" 그들은 세 영역을 모두 커버하면서도 단 세 개의 센서만 사용하는 설정을 찾아보았습니다. 입술 하나, 턱 하나, 목 하나를 선택했습니다. 이 작은 삼총사는 여전히 약 90%의 정확도로 단어를 맞혔습니다. 이는 엄청난 성과입니다. 왜냐하면 미래에는 수많은 전선과 센서를 얼굴 여기저기에 붙일 필요 없이, 간단하고 편안한 마스크나 목에 붙이는 작은 패치만으로도 우리의 무성한 생각을 해독할 수 있음을 의미하기 때문입니다.

이것이 미래에 갖는 의미

이 논문은 단순히 마법 같은 센서를 찾아낸 것이 아니라, 이러한 장치를 만드는 방식에 대한 사고를 바꾸어 놓았습니다. 이전에는 과학자들이 근육 센서와 같은 다른 기술의 센서 배치 방식을 그대로 복제하곤 했지만, 이 연구는 그것이 움직임 센서에게 최선인지 묻지 않았습니다. 이 연구는 가속도계의 경우 양보다 위치가 중요하다는 것을 증명했습니다.

연구진은 센서를 쌓아 올리는 대신, "지역적으로 분포된(regionally distributed)" 방식으로 설계해야 한다고 제안합니다. 보안 팀을 생각해보세요. 경비원을 모두 정문 앞에만 두지 않고, 뒷문과 창문, 그리고 로비에도 배치하는 것과 같습니다. 센서를 입과 목의 다양한 움직이는 부위에 분산 배치함으로써, 장치는 무성 언어의 3D 입체적인 그림을 얻게 됩니다.

이 연구는 특정 인물과 특정 단어를 대상으로 수행되었지만, 결과는 이 "분산 배치" 전략이 작고 편안하며 실생활에서 충분히 정확한 무성 언어 장치를 만드는 핵심이라는 점을 강력하게 시사합니다. 목소리를 잃은 사람들이든, 소리 없이 대화해야 하는 비밀 요원이든, 무성 언어의 미래는 바로 적절한 위치에 놓인 몇 개의 작은 센서에 달려 있을지도 모릅니다.