Reconstructing the brain’s language network from non-invasive EEG enables interpretable speech decoding

수십 년 동안 과학자들은 입을 움직이는 능력을 상실한 사람들에게 언어 능력을 되찾아주기를 희망하며, 외부에서 뇌의 언어를 직접 읽는 꿈을 꾸어왔습니다. 뇌는 전기적 활동이 일어나는 거대하고 소란스러운 도시와 같으며, 우리가 단어를 생각할 때 특정 구역들이 정밀한 순서에 따라 불을 밝힙니다. 그러나 수술 없이 이러한 활동을 포착하는 것은 마치 붐비는 경기장 주차장에서 경기장 내부의 단 하나의 대화를 들으려고 노력하는 것과 같았습니다. 신호는 약하고, 서로 뒤섞여 있으며, 사람마다 매우 다르게 나타납니다. 이러한 뇌파를 텍ек트로 번역하려는 전통적인 시도들은 종-종 '블랙박스' 역할을 하는 강력한 컴퓨터 프로그램에 의존해 왔습니다. 이 프로그램들은 데이터 속의 통계적 패턴을 포착하여 다음 단어를 추측하는 법을 배우지만, 뇌가 실제로 어떻게 그 생각을 만들어냈는지에 대한 통찰을 제공하지 못하며, 왜 때때로 실패하는지에 대해서도 설명하지 못합니다. 근본적인 메커니즘을 이해하지 못함으로써, 이러한 시스템은 서로 다른 사람이나 서로 다른 유형의 언어 과업 전반에서 안정적으로 작동하는 데 어려움을 겪으며, 보편적인 통신 장치라는 약속을 손에 닿지 않는 곳에 머물게 합니다.

심천과 홍콩의 연구진은 이제 단순한 추측을 넘어 뇌의 언어 네트워크의 실제 지도를 재구성하는 새로운 길을 제시했습니다. 그들은 뇌를 블랙박스가 아니라 특정 규칙을 가진 물리적 시스템으로 취급하는 CAGNNF라는 새로운 프레임워크를 개발했습니다. 이 시스템은 두피에서 측정된 가공되지 않은 전기 신호에서 곧바로 문장 텍스트로 건너뛰는 대신, 먼저 뇌 내부 활동의 역동적인 3차원 모델을 구축합니다. 이들은 '신경 섭동 추론(neural perturbational inference)'이라는 방법을 사용하여, 뇌의 한 부분에서 발생한 활동의 불꽃이 어떻게 외부로 퍼져나가 다른 영역에 영향을 미치는지 추적하는데, 이는 마치 연못에 돌을 던졌을 때 파동이 퍼져나가는 것을 관찰하는 것과 유사합니다. 재구성된 활동이 생물학적 실체에 기반하도록 하기 위해, 연구진은 인간 피질의 실제 모양과 구조에 기반한 기하학적 제약을 추가하였으며, 이를 통해 재구성된 활동이 빈 공간에 떠다니는 것이 아니라 뇌의 자연스러운 고속도로를 따라 흐르도록 보장했습니다.

이 과정의 결과물은 뇌의 언어 네트워크가 작동하는 명확하고 해석 가능한 지도입니다. 연구진은 이 지도가 문장을 이해하는 데 필수적인 경로인 복측 스트림(ventral stream)을 형성하는 측두엽 영역 등, 언어에 결정적인 것으로 알려진 동일한 영역들을 일관되게 강조한다는 것을 발견했습니다. 이것은 단순히 이론적인 연습에 그치지 않았습니다. 이 시스템은 사람들이 중국어와 영어로 글을 소리 내지 않고 읽을 때 기록된 뇌파로부터 텍스트를 성공적으로 해독해 냈습니다. 테스트에서 이 새로운 접근 방식은 기존의 최첨단 방법들보다 뛰어난 성능을 보였으며, 기존의 가장 우수한 모델들과 비교했을 때 해독된 텍스트의 오류를 최대 11%까지 줄였습니다. 결정적으로, 이 시스템은 사람이 화면의 단어를 읽을 때나 말소리를 들을 때나 뇌의 언어 네트워크가 유사하게 작동한다는 것을 입증했으며, 이는 언어의 핵심 기제가 다양한 감각 전반에 걸쳐 공유된다는 점을 시사합니다.

이 연구가 특히 중요한 이유는 디코딩 오류를 진단 도구로 전환했기 때문입니다. 시스템은 언어 처리 단계를 이해하고 있기 때문에, 오류가 정확히 어디에서 발생했는지 짚어낼 수 있습니다. 연구진은 글자의 형태를 인식하는 데 발생하는 오류가 초기 시각 처리 신호와 연결되어 있고, 단어를 놓치는 오류는 주의력 관련 신호와 연결되어 있으며, 의미를 이해하는 데 발생하는 오류는 의미론적 통합과 관련된 신호와 연결되어 있다는 것을 발견했습니다. 이러한 구체적인 실패 지점을 식별함으로써, 시스템은 표적화된 교정을 적용할 수 있었고, 이를 통해 오류율을 8% 이상 추가로 낮추었습니다. 실수의 원인을 뇌의 처리 사슬 중 특정 순간으로 추적할 수 있는 이 능력은 이전의 방법들이 갖지 못했던 명확성을 제공하며, 디코딩 과정을 통계적 추측에서 생리학적으로 근거가 있는 재구성으로 변화시켰습니다.

또한 이 연구는 이 시스템이 새로운 개인에게 빠르게 적응할 수 있음을 보여주었습니다. 매우 적은 사례만으로 모델이 학습할 수 있게 하는 기술을 사용하여, 연구진은 단 100개의 문장 읽기 데이터만으로도 시스템이 새로운 사람의 뇌에 맞춰 조정될 수 있음을 보여주었습니다. 이러한 효율성은 핵심 언어 네트워크가 최소한의 훈련만으로도 포착될 만큼 충분히 안정적이라는 것을 시사하며, 이는 이러한 기술을 장기적인 사용에 실용적으로 만드는 데 있어 중요한 단계입니다. 현재 시스템은 데이터를 기록한 후에 처리하는 오프라인 설정에서 작동하지만, 연구진은 그 속도가 이미 실시간 통신에 필요한 수준에 근접하고 있다고 언급했습니다. 두피의 전기 신호, 재구성된 뇌의 언어 네트워크, 그리고 최종 텍스트 사이의 명확하고 해석 가능한 연결 고리를 확립함으로써, 이 연구는 강력할 뿐만 아니라 이해 가능하고 신뢰할 수 있는 뇌-컴퓨터 인터페이스를 향한 구체적인 발걸음을 내디뎠습니다.