Decoding silent reading from non-invasive EEG

인간의 의사소통은 입, 혀, 성대를 움직여 공기를 소리로 만드는 단순하고 물리적인 행위에 의존합니다. 질병이나 부상으로 이 능력이 파괴되면, 사람의 정신과 외부 세계 사이의 연결이 사라질 수 있습니다. 수십 년 동안 과학자들은 부서진 신체를 우회하여 뇌에서 직접 생각을 읽어내는 방법을 모색해 왔습니다. 지금까지 가장 성공적인 시도들은 두개골 깊숙이 전극을 삽입하여 개별 뉴런의 전기적 신호를 듣는 침습적인 수술을 필요로 했습니다. 이러한 침습적 도구들은 뇌의 언어 중추를 높은 정밀도로 해독할 수 있음을 보여주었지만, 수술적 위험을 동반하며 이를 필요로 하는 대다수의 사람들에게 사용될 수 없다는 한계가 있습니다. 커다란 미해결 과제는 비침습적 방법, 특히 두피에 배치된 센서를 사용하는 방법이 이 찰나의 생각들을 포착할 만큼 충분히 민감해질 수 있는지 여부였습니다.

머리 위 수술 없이 마음을 읽는 데 있어 핵심적인 어려움은 단순히 신호가 약하다는 점뿐만 아니라, '지도'가 없다는 점입니다. 컴퓨터에게 생각을 인식하도록 가르치려면, 특정 뇌 신호가 발생한 바로 그 순간에 사람이 무엇을 생각하고 있었는지 정확히 알아야 합니다. 말하는 경우라면 쉽습니다. 사람이 말을 하면 기록이 시작되기 때문입니다. 하지만 속마음, 즉 '내적 언어(inner speech)'의 경우에는 외부적인 표식이 없습니다. 사람은 문장을 생각할 수는 있지만, 그것을 완벽한 타이밍에 보고할 수는 없습니다. "나는 바나나에 대해 생각하고 있었어"라고 말하는 시점에는 이미 그 생각을 만들어낸 뇌 활동이 오래전에 지나가 버렸기 때문입니다. 정확한 타임스탬프가 없다면 데이터는 흐릿해지며, 내적 언어를 해독하려는 이전의 시도들은 무작위 추측 이상의 수준으로 올라서지 못했습니다.

nubrain의 연구팀은 다른 과업을 훈련의 장으로 활용함으로써 이 타이밍 문제를 우회하기로 했습니다. 참가자들에게 단어를 상상하라고 요청하는 대신, 글을 읽게 했습니다. 독서는 마음속에서 일어나는 언어 처리 과정이지만, 동시에 내장된 '시계'를 가지고 있습니다. 바로 단어가 화면에 나타나는 순간입니다. 연구진은 사람이 글을 읽는 동안의 뇌 활동을 기록함으로써, 전기 신호를 보고 있는 특정 단어와 일치시킬 수 있었고, 이를 통해 방대하고 정밀한 데이터셋을 구축할 수 있었습니다. 그들의 목표는 컴퓨터가 두피의 전기적 패턴만을 보고 특정 단어의 고유한 뇌 시그니처를 인식하는 법을 배울 수 있는지, 그리고 이 기술이 궁극적으로 더 어려운 과제인 무언의 생각을 해독하는 데 적용될 수 있는지 확인하는 것이었습니다.

이 연구에는 한 명의 참가자가 참여했으며, 그는 컴퓨터 화면에서 연속적인 이야기를 거의 49시간 동안 읽었습니다. 텍text는 '연속적 빠른 시각 제시(rapid serial visual presentation)'라고 알려진 방식으로 한 번에 한 단어씩 빠르게 제시되었습니다. 컴퓨터가 단어의 의미를 학습하고 글자의 모양만을 학습하는 것이 아님을 보장하기 위해, 연구진은 모든 단어의 글꼴, 크기, 색상, 간격을 변경했습니다. 이는 뇌가 단순히 글자의 시각적 패턴이 아니라 언어 자체를 처리해야 함을 의미합니다. 참가자는 19개의 건식 전극이 달린 캡을 착용했는데, 이는 사용하기 편리하고 쉬운 설정으로 설계되었으며, 매우 빠른 속도로 뇌의 전기 활동을 기록했습니다.

연구진은 이후 이 뇌 신호들을 읽고 있는 단어들과 매칭하도록 컴퓨터 모델을 훈련시켰습니다. 그들은 거대 언어 모델로부터 유도된 단어의 디지털적 '의미'와 전기 패턴을 비교하는 정교한 시스템을 사용했습니다. 컴퓨터는 단어를 처음부터 추측하는 것이 아니라, 512개의 가능성 목록 중에서 올바른 단어를 선택하도록 요청받았습니다. 결과는 명확했습니다. 시스템은 읽고 있는 단어를 안정적으로 식별해 냈으며, 확률보다 유의미하게 높은 성능을 보였습니다. 이러한 성공은 자주 등장하는 흔한 단어뿐만 아니라 드물고 생소한 단어들에 대해서도 유효했습니다.

결정적으로, 연구진은 두 가지 서로 다른 유형의 성공을 구분하기 위해 주의를 기울였습니다. 예를 들어, 이야기가 농부에 관한 것이라면 "개"라고 추측하는 것처럼 이야기의 일반적인 주제를 알고서 정답을 맞힐 수도 있습니다. 이는 실제 화면의 특정 단어를 인식한 것이 아닙니다. 이를 배제하기 위해 연구진은 특정 단어의 신호를 이야기의 맥락 신호와 분리하는 방법을 개발했습니다. 그 결과, 시스템이 맥ano를 활용하여 도움을 받기는 하지만, 성공의 상당 부분이 특정 단어 자체를 식별하는 데서 온다는 것을 발견했습니다. 또한 연구진은 또 다른 지름길을 확인했습니다. 즉, 컴퓨터가 뇌 신호가 아니라 문장 내 위치를 바탕으로 단어를 추측했을 가능성입니다. 뇌 데이터를 숨기고 위치 정보만 남긴 상태에서 특정 테스트를 수행함으로써, 연구진은 컴퓨터가 위치가 아닌 실제로 뇌 활동을 읽고 있음을 확인했습니다.

또한 이 연구는 데이터의 양이 이전에 생각했던 것보다 더 중요하다는 사실을 밝혀냈습니다. 연구진은 전체 시간의 작은 부분부터 전체 49시간까지 다양한 양의 훈련 데이터로 시스템을 테스트했습니다. 그들은 데이터가 추가됨에 따라 시스템의 정확도가 계속 향상되며, 어떤 한계점에 도달했다는 징후가 없음을 발견했습니다. 이는 더 나은 성능을 가로막는 장벽이 기술의 근본적인 결함이 아니라, 단순히 더 많은 기록 시간이 필요하다는 것을 시사합니다. 나아가, 시각을 처리하는 머리 뒷부분의 전극을 제거했을 때도 시스템은 작동했으나 정확도는 약간 감소했습니다. 이는 글을 읽는 뇌 신호가 단순히 시각적인 것에 그치지 않고, 두피에서도 감지 가능한 더 깊은 언어 처리 영역을 포함하고 있음을 나타냅니다.

이 연구 결과는 비침습적 뇌-컴퓨터 인터페이스를 향한 유망한 길을 제시합니다. 이 연구는 충분한 양의 고품질 데이터가 있다면 두피의 센서만으로 뇌 활동으로부터 특정 단어를 해독하는 것이 가능하다는 것을 입증했습니다. 현재 연구는 독서에 초점을 맞추고 있지만, 저자들은 이 접근 방식이 내적 언어를 해독하기 위한 토대로 쓰일 수 있다고 제안합니다. 먼저 신뢰할 수 있고 시간적으로 고정된 데이터인 독서를 통해 시스템을 훈련시킨 다음, 그 지식을 더 어려운 과제인 무언의 생각으로 전이시킴으로써, 과학자들은 궁극적으로 목소리를 잃은 사람들의 의사소통을 복구할 수 있을 것입니다. 이 연구는 생각을 즉각적으로 읽는 문제를 해결했다고 주장하는 것이 아니라, 충분한 인내와 데이터가 있다면 그 신호는 그곳에 존재하며 찾아지기를 기다리고 있다는 사실을 확립했습니다.