Deep-layer cortical tracking abruptly collapses in the absence of language comprehension

인간의 뇌는 소리의 달인으로, 혼란스러운 진동의 흐름을 일관된 이야기, 명확한 지시, 또는 공유된 농담으로 바꾸어 놓을 수 있는 능력을 갖추고 있다. 수십 년 동안 과학자들은 이러한 변환이 여러 단계에 걸쳐 일어난다는 사실을 알고 있었다. 먼저 귀와 뇌의 초기 부분들이 소리의 물리적 특성인 피치(음높이), 음량, 리듬을 포착한다. 그 후, 뇌의 다른 부분들이 이 소리들을 가져와 단어, 문장, 그리고 의미로 엮어낸다. 하지만 단순히 소음을 듣는 것과 그 말이 무엇을 의미하는지 이해하는 것 사이의 경계가 정확히 어디인지에 대해서는 여전히 미스터리로 남아 있었다. 흘러가는 대화 속에서 물리적인 소리와 그 의미는 너무나 밀접하게 엮여 있어, 어디서 하나가 끝나고 다른 하나가 시작되는지 구분하는 것이 거의 불가능하다. 이 간극은 중요한데, 왜냐하면 이해가 어디서부터 시작되는지 알지 못하면, 심각한 부상 등으로 인해 말을 하거나 움직일 수 없는 사람이 실제로 주변 세상을 이해하고 있는지 측정하기 어렵기 때문이다.

연구팀은 이제 뇌를 복잡한 기계처럼 취급하고 이를 정교한 컴퓨터 모델과 직접 비교하는 새로운 방법을 사용하여 이 경계를 전례 없는 정밀도로 지도화했다. 사람들이 자연스러운 대화를 듣는 동안 발생하는 뇌의 전기 신호를 관찰하고, 이를 언어를 학습한 인공지능의 내부 작동 방식과 대조함으로써, 그들은 날카로운 분기점을 발견했다. 청자가 언어를 이해할 때, 뇌의 활동은 의미를 다루는 컴퓨터 모델의 깊고 복잡한 층들과 일치한다. 그러나 청자가 모르는 언어로 된 동일한 소리를 들을 때, 이 깊은 연결은 즉각적으로 사라진다. 뇌는 기본적인 소리를 완벽하게 추적하지만, 고차원적인 이해를 담당하는 뇌의 부분은 단순히 추적을 멈춘다. 이 발견은 소리를 듣는 것이 이해로 변하는 뇌의 처리 과정 중 정확한 지점을 짚어내며, 청자가 말을 할 수 없는 상황에서도 언어가 이해되고 있는지를 볼 수 있는 명확하고 비침습적인 방법을 제공한다.

이 경계를 찾기 위해 연구진은 강력한 도구, 즉 오디오를 처리하도록 설계된 거대 언어 모델인 Qwen2.5-Omni라는 시스템을 활용했다. 이 모델은 다층적인 공장처럼 구축되어 있다. 첫 번째 층들은 마이크 역할을 하여 원시 음파를 주파수나 크기와 같은 기본 구성 요소로 분해한다. 데이터가 수십 개의 후속 층을 거쳐 모델의 더 깊은 곳으로 이동함에 따라, 모델은 패턴과 단어를 인식하고 결국 아이디어 사이의 복잡한 관계를 파악하기 시작한다. 연구진은 인간의 뇌도 이와 같은 경로를 따르는지 확인하고자 했다. 그들은 영어 모국어 화자들이 영어 팟캐스트를 듣는 동안의 뇌 활동과 러시아어 모국어 화자들이 러시아어 팟캐스트를 듣는 동안의 뇌 활동을 기록했다. 동시에, 동일한 오디오를 컴퓨터 모델에 입력하고 145,000개의 개별 인공 뉴런의 활동이 시간에 따라 어떻게 변화하는지 관찰했다.

결과는 놀라웠다. 모국어 화자들의 경우, 뇌의 활동은 소리를 처리하는 첫 번째 층부터 의미가 구축되는 가장 깊은 층까지 컴퓨터 모델과 일치했다. 마치 뇌와 컴퓨터가 층마다 완벽하게 발을 맞추어 걷는 것 같았다. 연구진은 컴퓨터 모델이 단순한 소리 탐지에서 복잡한 언어적 이해로 이동함에 따라 인간의 뇌도 약간의 지연을 두고 똑같이 움직인다는 것을 확인할 수 있었다. 이는 뇌가 자연스러운 언어를 물리적인 것에서 추상적인 것으로, 계층적인 방식으로 처리하며, 이 과정이 동일한 작업을 수행하는 기계와 비교함으로써 추적될 수 있음을 확인시켜 주었다.

이해하는 지점에서 단순한 청취가 갈라지는 정확한 지점을 찾기 위해, 연구진은 결정적인 반전을 도입했다. 그들은 러시아어 오디오를 러시아어를 이해하지 못하는 영어 모국어 화자 그룹에게 들려주었다. 물리적인 음파는 모국어 화자가 들었던 것과 동일했지만, 이 그룹에게 그 소리는 그저 소음에 불과했다. 그들은 리듬과 음량은 들을 수 있었지만, 의미를 파악할 수는 없었다. 연구진이 이해하지 못하는 청자들의 뇌 활동을 컴퓨터 모델과 비교했을 때, 극적인 변화가 일어났다. 뇌는 모국어 화자와 마찬가지로 기초적인 소리를 정밀하게 추적하며 컴퓨터의 초기 층들과 완벽하게 일치했다. 그러나 컴퓨터 모델이 의미를 구성하기 시작하는 더 깊은 층으로 진입하는 순간, 인간의 뇌와의 정렬은 무너졌다.

이 붕괴는 갑작스럽고 완전했다. 컴퓨터 모델의 특정 층을 넘어선 시점에서, 이해하지 못하는 청자의 뇌는 컴퓨터의 내부 상태를 따르는 것을 멈췄다. 살아남은 몇 안 되는 연결들은 단어나 아이디어를 추적하는 것이 아니라, 소리의 가장 기본적인 물리적 특징인 음량이나 단어의 지속 시간만을 추적하고 있었다. 그것은 마치 뇌가 흐름 속에서 의미를 찾을 수 없다는 것을 깨닫고, 복잡한 이해가 존재하는 층을 무시한 채 원시 데이터의 안전한 영역으로 퇴각하는 것과 같았다. 연구진은 모델의 구조 내 특정 층에서 이 끊어지는 지점을 높은 정밀도로 찾아냈다. 이는 뇌가 언어가 생소해짐에 따라 점진적으로 의미에 대한 통제력을 잃는 것이 아니라, 특정 벽에 부딪힐 때까지 소리에 대한 완벽한 통제력을 유지하다가 고차원적인 추적이 단순히 꺼져버린다는 것을 시사한다.

이 연구는 또한 이 경계가 모호한 구역이 아니라 뚜렷한 임계값임을 밝혔다. 데이터를 층별로 분석함으로써, 연구진은 높은 추적에서 낮은 추적으로의 전환이 매우 급격하게 일어나 특정 층까지 정확히 짚어낼 수 있다는 것을 발견했다. 이러한 세부적인 수준의 분석은 가능했던 이유는 연구진이 모델의 요소들을 평균 내어 섞지 않고, 각각의 개별 단위별로 하나씩 살펴보았기 때문이다. 뇌와 컴퓨터 모델을 전체로서 바라보았던 이전의 연구들은 단순한 소리 처리와 복잡한 의미 처리를 혼합했기 때문에 이러한 차이를 놓치는 경우가 많았다. 각 단계를 분리함으로써, 연구진은 깊고 추상적인 표현을 추적하는 뇌의 능력이 전적으로 청자의 언어 이해 능력에 달려 있음을 보여주었다.

이 발견은 뇌가 의미를 어떻게 구축하는지에 대한 새로운 관점을 제공한다. 이는 이해가 단순히 소리를 듣는 것보다 더 큰 소리를 내는 것이 아니라, 필수적인 언어 지식을 요구하는 별개의 계산적 단계임을 확인시켜 준다. 그러한 지식이 결여되었을 때, 뇌는 의미를 찾으려고 애쓰는 것이 아니라, 복잡한 패턴을 추적하는 것을 단순히 멈추고 소리의 물리적 특성에 온전히 집중한다. 이 결과는 의사소통이 어려운 환자들, 예를 들어 말을 하거나 반응할 수 없는 환자들의 상황에서 뇌가 어떻게 작동하는지 이해하는 데 잠재적인 시사점을 준다. 만약 뇌의 깊은 층 추적이 이해가 없을 때 붕ло지 않는다면, 이 추적을 측정하는 것은 비록 환자가 말로 표현할 수 없더라도 언어를 이해하고 있는지 확인하는 신뢰할 수 있는 비침습적 테스트가 될 수 있다. 연구진은 자신들의 결과가 특정 언어와 모델에 기반하고 있지만, 이 방법이 서로 다른 언어와 유형의 언어 전반에 걸쳐 이 경계가 존재하는지 테스트할 수 있는 명확한 경로를 제공한다고 언급했다.

이 작업은 인공지능과 신경과학 사이의 간극을 메우는 중요한 진전이다. 투명하고 해석 가능한 방식으로 언어를 처리하는 컴퓨터 모델을 사용함으로써, 연구진은 뇌의 활동을 지도처럼 읽을 수 있었다. 그들은 단순히 뇌가 활성화되어 있다는 것을 본 것이 아니라, 매 순간 뇌의 어느 부분이 활성화되어 있으며 무엇을 하고 있는지를 정확히 보았다. 이 접근 방식은 뇌가 언어를 이해하는지 묻는 것을 넘어, 층별로 어떻게 그 이해를 구축하는지를 묻는 단계로 나아간다. 그 결과, 소리에서 의미로 가는 여정에 대한 명확하고 상세한 그림이 그려졌으며, 우리가 언어를 이해하기를 멈추는 순간이 바로 뇌가 의미의 경로를 따르기를 멈추고 소리 자체의 안전한 영역으로 돌아가는 순간임을 보여준다.