Rapid parameter-efficient calibration for cross-session intracortical speech decoding across multiple datasets

마비나 신경계 질환으로 인해 언어 능력을 상실한 사람들에게 침묵은 고립감을 줍니다. 뇌-컴퓨터 인터페이스(BCI)는 뇌의 전기 신호를 직접 텍스트나 음성으로 변환함으로써 그 침묵으로부터 벗어날 수 있는 길을 제시합니다. 사람이 문장을 생각하면 컴퓨터가 그 생각을 읽어 텍스트로 입력하는 모습을 상상해 보십시오. 이 기술은 이제 공상 과학에서 현실로 옮겨왔으며, 삽입된 전극으로부터 시도된 발화를 놀라운 속도와 정확도로 해독할 수 있는 시스템들이 등장했습니다. 그러나 이러한 시스템이 매끄러운 일상 도구가 되는 것을 가로막는 지속적인 과제가 있습니다. 바로 뇌는 정지해 있지 않다는 점입니다. 신체의 미세한 변화, 전극의 위치 변화, 또는 사용자의 심리 상태 등으로 인해 뇌에서 기록되는 전기 신호는 매일, 혹은 매 시간마다 변합니다. 특정 날에 훈련된 디코더는 다음 날 동일한 생각을 이해하는 데 어려움을 겪는 경우가 많으며, 이로 인해 사용자들은 장치를 다시 사용하기 위해 지루한 재훈련 세션을 거쳐야만 합니다.

새로운 연구는 다음과 같은 단순하지만 어려운 질문을 던지며 이 문제를 다룹니다. "전체 시스템을 처음부터 다시 구축하지 않고도 새로운 날을 위해 음성 디코더를 수정할 수 있을까?" 라지샤히 공과대학교(Rajahshahi University of Engineering and Technology)와 방글라데시 공과대학교(Bangladesh University of Engineering and Technology)의 연구진은 평소보다 훨씬 적은 양의 데이터와 컴퓨팅 파워를 사용하여 이러한 장치를 빠르게 재보정하는 방법을 개발했습니다. 그들은 이 접근 방식의 효과를 검증하기 위해, 서로 다른 개인들이 음성 임플란트 사용법을 익히는 과정에서 생성된 두 개의 대규모 공개 뇌 데이터 컬렉션을 테스트했습니다. 연구진은 음성 패턴을 인식하는 법을 배우는 복잡한 컴퓨터 모델을 새로 훈련시키는 대신, 그 무거운 핵심 구조를 고정하고 잠가 두었습니다. 대신 그들은 시스템의 맨 앞부분에 위치한 아주 작고 특정한 층, 즉 주 디코더에 들어가기 전 가공되지 않은 뇌 신호를 준비하는 수학적 필터를 조정했습니다. 이 작은 필터를 단 몇 개의 새로운 사례—즉, 40회 또는 80회의 짧은 발화 시도—를 사용하여 미세하게 조정함으로써, 그들은 시스템을 사용자의 현재 뇌 상태에 다시 정렬할 수 있었습니다.

결과는 이 경량화된 접근 방식이 놀라울 정도로 잘 작동한다는 것을 보여주었지만, 그 성공 여부는 특정 사용자와 가용 데이터의 양에 따라 달라졌습니다. 시스템을 한동안 사용해 온 참가자의 데이터를 담은 첫 번째 데이터셋의 경우, 이 방법은 매우 효과적이었습니다. 단 6만 5천 개의 파라미터만을 조정한 후에도(이는 전체 모델의 1,000분의 1 미만인 매우 작은 수치입니다), 시스템의 음성 인식 능력은 유의미하게 향상되었습니다. 실제로 향후 기록된 모든 테스트 세션에서 정확도가 상승했습니다. 조정을 가이드하기 위해 단 40개의 발화 시도 사례만을 사용했을 때, 오류율은 11% 이상 감소했습니다. 연구진이 80개의 사례를 제공했을 때는 개선 폭이 15% 이상으로 커졌습니다. 결정적으로, 이 모든 과정은 불과 몇 초 만에 이루어졌으며, 전체 조정 과정은 사용된 컴퓨터 하드웨어에서 8초 미만이 소요되었습니다.

연구진이 동일한 규칙을 다른 사람의 데이터인 두 번째 데이터셋에 적용했을 때 이야기는 약간 더 복잡해졌습니다. 여기서 시스템은 일관되게 개선되지 않았으며, 결과는 날마다 더 많이 차이를 보였습니다. 40개의 적은 사례를 사용했을 때는 개선 효과가 미미했으며, 어떤 경우에는 시스템이 나아지지 않기도 했습니다. 그러나 80개의 더 많은 사례를 사용했을 때는 개선 효과가 훨씬 강력해져서 평균적으로 약 10%의 오류를 줄였습니다. 이러한 차이는 뇌의 일일 변화가 간단하고 빠른 조정을 통해 종종 교정될 수 있지만, 어떤 사용자와 어떤 날에는 더 많은 정보가 적절한 설정을 찾는 데 필요하다는 점을 시사합니다. 연구는 단 하나의 작은 조정이 모든 사용자의 모든 불일치를 해결할 수 있다는 아이디어를 명시적으로 배제했습니다. 대신, 작고 표적화된 수정이 충분한 새로운 사례를 통해 가이드될 때 가장 강력한 도구가 된다는 것을 보여주었습니다.

이 발견이 특히 중요한 이유는 이러한 장치를 사용하는 실질적인 현실을 어떻게 바꾸느냐에 있습니다. 이전에는 새로운 날에 적응하기 위해 사용자의 온전한 주의력이 요구되는 몇 시간의 재훈련이나 복잡한 재보정이 필요했을 수도 있습니다. 이 새로운 방법은 '음성이 어떻게 들리는지'를 배우는 무거운 작업과, '현재의 순간'에 시스템을 맞추는 빠르고 일상적인 작업을 분리합니다. 연구진은 과거의 데이터로 훈련된 시스템을 가져와, 몇 번의 새로운 시도를 통한 간단하고 빠른 조정을 적용하여 즉시 높은 성능을 회복할 수 있음을 입증했습니다. 그들은 서로 다른 뇌 신호 특성을 가진 완전히 다른 두 사람을 대상으로 테스트했으며, 성공의 정도는 달랐을지라도 핵심 원칙은 유지되었습니다. 즉, 거대하고 복잡한 뇌 모델을 매일 다시 학습시킬 필요는 없으며, 오직 작고 특정한 부분만을 살짝 밀어주면 된다는 것입니다.

연구진은 또한 조정 전후에 시스템이 어떤 종류의 실수를 하는지도 면밀히 살펴보았습니다. 그들은 보정 작업이 시스템이 단어를 누락하거나 단어의 일부를 놓치는 흔한 오류인 '삭제(deletion)' 현상을 멈추는 데 도움을 준다는 것을 발견했습니다. 또한 시스템이 하나의 소리를 다른 소리로 바꾸는 현상도 방지하는 데 도움이 되었습니다. 첫 번째 데이터셋의 경우, 조정은 두 가지 유형의 오류를 모두 효율적으로 해결했습니다. 두 번째 데이터셋에서는 작은 조정이 주로 단어 누락 현상은 해결했지만, 때때로 소리 교체 오류를 악화시키기도 했습니다. 하지만 80개의 더 많은 사례를 사용하자 두 가지 오류 모두를 해결할 수 있었습니다. 이러한 상세한 오류 분석은 이 방법이 단순히 통계적인 기교가 아니라, 시스템이 뇌 신호를 해석하는 방식을 실제로 교정하고 있음을 확인시켜 줍니다.

궁극적으로, 이 연구는 뇌-컴패터 인터페이스를 더욱 신뢰할 수 있고 사용자 친화적으로 만들기 위한 명확한 경로를 제시합니다. 디코더가 설정값의 1% 미만을 업데이트함으로써 빠르게 재보정될 수 있음을 증м함으로써, 이 연구는 미래의 장치들이 사용자의 일일 변동성에 거의 즉각적으로 적응할 수 있음을 시사합니다. 이 연구는 모든 사람의 뇌 신호 가변성 문제를 완전히 해결했다고 주장하는 것이 아니라, 문제의 상당 부분에 대해 단순하고 효율적인 해결책이 존재함을 입증한 것입니다. 음성 임플란트에 의존하는 사람에게 이는, 매일 아침 기기가 안정적으로 작동하느냐, 아니면 길고 좌절스러운 설정 과정을 거쳐야 하느냐의 차이를 의미합니다. 단 몇 초의 새로운 데이터를 사용하여 몇 초 만에 성능을 회복할 수 있다는 것은, 끊김 없고 언제나 준비된 의사소통 도구라는 비전을 현실에 훨씬 더 가깝게 가져다 놓았습니다.