우리가 뇌의 전기적 속삭임을 읽어 마비된 사람들의 팔다리를 움직이도록 돕거나 우리가 어떻게 결정을 내리는지 이해할 수 있는 세상을 상상해 보십시오. 이것은 과학자들이 뉴런의 혼란스럽고 깜빡이는 신호를 컴퓨터를 위한 명확한 명령어로 번역하려고 노력하는 분야인 뇌-컴퓨터 인터페이스(BCI)의 영역입니다. 오랫동안 이를 수행하는 가장 좋은 방법은 강아지에게 기술을 가르치는 것과 같았습니다. 특정 신호를 보여주고 그에 해당하는 정확한 행동(예: "팔이 왼쪽으로 움직임")을 알려주어 두 가지를 일치시키도록 학습시키는 방식입니다. 하지만 이 방법에는 큰 결함이 있습니다. 모든 수업마다 교사가 반드시 존재해야 한다는 점입니다. 현실 세계에는 기록된 방대한 양의 뇌 데이터가 있지만, 여기에는 '교사'가 빠져 있습니다. 즉, 뉴런의 대화는 기록되어 있지만, 그 순간 동물이 무엇을 하고 있었는지 알려주는 라벨(정답)이 없는 상태입니다. 지금까지 대부분의 고급 뇌 판독 모델은 '라벨이 붙은' 데이터로부터만 학습할 수 있었기에, 방대한 양의 '라벨이 없는' 뇌 기록들은 디코더를 개선하는 데 도움을 주지 못한 채 먼지만 쌓인 채 남아 있었습니다.

이제 뇌를 언어처럼 취급하는 새로운 접근법이 등장했습니다. 거대 언어 모델(이야기를 쓰거나 질문에 답하는 모델들)이 인간의 설명 없이도 수십억 권의 책을 읽으며 학습하는 것처럼, 이 새로운 연구는 우리가 뇌의 활동이라는 '문법'을 스스로 이해하도록 뇌 디코딩 모델을 가르칠 수 있음을 시사합니다. 이 논문은 MOJO(Masked autOencoder-based JOint training)라고 불리는 방법을 소개합니다. 이것을 정답이 있는 교과서와 정답지가 없는 거대한 미스터리 소설 도서관을 모두 공부하는 학생이라고 생각해보십시오. 미스터리 소설의 빠진 페이지를 채우려고 노력함으로써, 학생은 이야기의 근본적인 구조를 매우 잘 학습하게 되고, 마침내 교과서로 시험을 볼 때 만점을 받게 됩니다. 연구진은 이 두 가지 학습 스타일을 결합함으로써, 모델이 특히 시작 단계에서 라벨이 붙은 사례가 매우 적을 때 훨씬 더 나은 디코더가 된다는 것을 발견했습니다. 또한 이는 서로 다른 종과 다양한 유형의 뇌 신호에서도 작동했습니다.

문제점: "라벨"이라는 병목 현상

새로운 언어를 배우고 있다고 상상해 보십시오. 당신에게는 "apple"이라는 단어가 빨간 과일을 의미한다고 알려주는 사전이 있습니다. 만약 당신이 이 사전(라벨 데이터)만 가지고 있다면, "apple"이라는 단어를 배울 수 있습니다. 하지만 유창해지고 싶다면, 단어가 어떻게 연결되는지, 문장이 어떻게 흐르는지, 그리고 맥락이 단어의 의미를 어떻게 바꾸는지 이해하기 위해 수천 권의 책, 기사, 이야기를 읽어야 합니다(언라벨 데이터).

수년간 가장 진보된 뇌 디코딩 모델들, 즉 "스파이크-토큰화(spike-tokenizing)" 모델들(POYO 계열과 같은)은 마치 사전만을 가진 학생들과 같았습니다. 이 모델들은 특정 뇌 신호를 특정 움직임에 매칭하는 데는 매우 뛰어났지만, 과학자들이 매 순간 동물이 무엇을 하고 있는지 정밀하게 기록한 데이터로부터만 학습할 수 있었습니다. 이는 데이터를 수집하는 데 비용과 시간이 많이 들고, 특정 실험에서는 불가능한 경우가 많기 때문에 매우 큰 제약입니다. 한편, 신경과학자들은 뉴런이 발화하고 있지만 그 순간 동물이 무엇을 생각하거나 하고 있는지 알 수 없는 '언라벨(unlabeled)' 뇌 데이터를 테라바이트 단위로 수집해 왔습니다. 기존 모델들은 이 보물 창고를 사실상 무시하고 있었던 것입니다.

해결책: MOJO의 "빈칸 채우기" 기술

이 논문의 저자인 Ximeng Mao, Nanda H Krishna 및 그 팀은 이를 해결하기 위해 MOJO를 만들었습니다. 그들은 언어 모델이 책을 통해 학습하는 것처럼, 이 모델들이 언라벨 데이터로부터 학습하도록 가르치고자 했습니다.

이를 위해 그들은 **마스크드 오토인코딩(masked autoencoding)**이라는 영리한 기술을 사용했습니다. "The cat sat on the mat(고양이가 매트 위에 앉았다)"라는 문장이 있다고 가정해 봅시다. 만약 "sat"이라는 단어를 가린다면, 그 단어가 무엇이었는지 추측할 수 있을까요? 고양이에 관한 이야기를 충분히 읽었다면, 맥락을 바탕으로 "sat"이나 "stood" 또는 "jumped"를 추측할 수 있을 것입니다. MOJO는 뇌 신호로 이 작업을 수행합니다. 모델은 신경 스파이크의 시퀀스(즉, "문장")를 가져와서 일부 신호를 무작위로 숨기고(masking), 그 숨겨진 신호가 무엇이었을지 예측하도록 요청합니다.

여기서 마법이 일어납니다. 모델은 이러한 추측을 하기 위해 뉴런들이 서로 어떻게 소통하는지에 대한 숨겨된 규칙을 배워야 합니다. 즉, 뇌의 "문법"을 배우는 것입니다. 하지만 모델은 단순히 추측만 하는 것이 아니라, 라벨 데이터를 사용하여 행동(예: 팔의 움직임)을 예측하는 원래의 임무도 계속 수행합니다. 이 두 가지를 동시에 수행하는 것을 **결합 훈련(joint training)**이라고 합니다. 모델은 언라벨 데이터로부터 뇌의 깊은 구조를 배우며, 이는 라벨 데이터를 훨씬 더 잘 이해하도록 돕습니다.

결과: 더 똑똑하고, 빠르고, 유연하게

연구팀은 세 가지 매우 다른 유형의 뇌 데이터로 MOJO를 테스트했습니다:

1. 원숭이 도달(Monkey Reaching): 화면의 목표물을 향해 손을 뻗는 원숭이.
2. 생쥐 시각(Mouse Vision): 다양한 시각적 패턴을 바라보는 생쥐.
3. 인간 언어(Human Speech): 뇌 표면에 부착된 전극으로부터 기록된 인간의 음절 발화(ECoG).

모든 테스트에서 MOJO는 라벨 데이터만을 사용한 모델보다 뛰어난 성능을 보였습니다. 하지만 가장 흥ral한 부분은 라벨 데이터가 매우 적었을 때 일어난 일이었습니다.

"퓨샷(Few-Shot)"의 초능력
일반적으로 모델에게 가르칠 예시가 매우 적은 경우("퓨샷" 시나리오), 모델은 어려움을 겪습니다. 하지만 MOJO는 이 분야의 챔피언이었습니다. 원숭이 실험에서 연구팀은 단 두 번의 라벨링된 시도(보정 시도)만을 사용하여 모델에게 움직임을 디코딩하도록 가르치려 했습니다. 표준 모델은 처참하게 실패했습니다. 그러나 MOJO는 언라벨 데이터를 사용하여 뇌 활동의 일반적인 "느낌"을 파악했습니다. 단 두 번의 라벨링된 시도를 제공했을 때, MOJO는 전체 데이터셋으로 훈련된 모델 성능의 60% 이상을 달성했습니다. 단 네 번의 시도만으로 **75%**에 도달했습니다. 이는 마치 수천 권의 미스터리 소설을 읽은 후, 단 두 개의 단서만으로 새로운 미스터리를 풀 수 있는 학생과 같았습니다.

종 간 및 양식 간 전이
연구진은 MOJO가 한 종으로부터 학습하여 다른 종에 적용될 수 있는지 테스트했습니다. 그들은 원숭이 도달 데이터로 모델을 사전 훈련(pre-training)한 다음, 생쥐 시각 데이터로 미세 조정(fine-tuning)했습니다. 모델은 지식을 성공적으로 전이했으며, 이는 모델이 학습한 뇌의 "문법"이 다른 동물의 뇌를 이해하는 데 도움이 될 만큼 보편적임을 보여주었습니다.

더 놀랍게는, 연구진은 연속적인 신호인 인간의 언어 데이터(ECoG)에도 MOJO를 적용했습니다. 비록 MOJO가 스파이크(discrete spikes)를 위해 설계되었음에도 불구하고, 모델은 적응하여 연속 신호용으로 제작된 모델만큼이나 잘 작동했습니다. 이는 언라벨 데이터로부터 학습한다는 핵심 아이디어가 다양한 유형의 뇌 기록에 걸쳐 작동하는 강력한 도구임을 시사합니다.

"숨겨진" 통찰력
MOJO의 가장 멋진 부수 효과 중 하나는 모델이 명시적으로 배우지 않았음에도 뇌의 구조를 이해하는 법을 배웠다는 점입니다. 연구진은 모델에게 내부 "임베딩"(디지털 지문)을 보고 뉴런이 뇌의 어느 부분(예: 시각 피질 vs 해마)에서 왔는지 맞혀보라고 요청했습니다. 모델은 명시적으로 분류 훈련을 받지 않았음에도 불구하고 일부 작업에서 **94%**의 정확도로 정답을 맞혔습니다. 또한 모델은 높은 정확도로 뉴런의 발화율을 예측하는 법을 배웠습니다. 이는 모델이 단순히 정답을 암기한 것이 아니라, 뇌가 작동하는 풍부하고 해석 가능한 지도를 실제로 학습했음을 의미합니다.

이것이 왜 중요한가

이 논문은 지도 학습(정답을 가지고 배우는 것)과 자기 지도 학습(데이터의 패턴으로부터 배우는 것)을 결합함으로써, 훨씬 더 유연하고 강력한 뇌-컴퓨터 인터페이스를 구축할 수 있음을 시사합니다. 우리는 이미 보유하고 있는 방대한 양의 언라벨 데이터를 버릴 필요가 없습니다. 대신 그것들을 사용하여 모델에게 뇌의 근본적인 규칙을 가르칠 수 있습니다.

이러-접근법은 아주 적은 보정 시간만으로도 새로운 작업이나 새로운 환자를 위한 모델을 훈련하는 것을 더 쉽게 만듭니다. 또한 이는 "뉴로-파운데이션 모델(neuro-foundation models)", 즉 마비된 사람들을 돕는 것부터 우리가 어떻게 결정을 내리는지 이해하는 것까지 다양한 작업에 적응할 수 있는 거대하고 범용적인 뇌 모델로 가는 문을 열어줍니다. 저자들은 이것이 중요한 진전이지만, 모델이 뇌의 복잡한 역학을 배우기 위해서는 여전히 많은 데이터가 필요하며, 다양한 유형의 신호를 완벽하게 처리하는 방식에는 여전히 과제가 남아 있다고 언급했습니다. 하지만 길은 명확합니다. 뇌를 해독하는 미래는 이 모델들에게 우리의 마음속에 담긴 "라벨 없는" 이야기들을 읽는 법을 가르치는 데 있습니다.