The human language processing system straightens natural speech

당신의 뇌를 거대한 고속 열차역이라고 상상해 보세요. 이 역의 목표는 다음에 도착할 기차(단어)가 정확히 무엇인지 예측하는 것입니다. 수년 동안 우리는 컴퓨터(특히 거대 언어 모델)가 이 "다음 단어 맞히기" 게임을 연습함으로써 언어 능력을 매우 정교하게 습득한다는 사실을 알고 있었습니다. 하지만 과학자들은 **인간의 뇌가 어떻게 생각을 조직하여 이 예측을 그토록 매끄럽게 수행하는가?**에 대해 궁금해해 왔습니다.

이 논문은 뇌가 정보가 뇌의 더 깊은 곳으로 이동함에 따라 정보의 경로를 "곧게 펴는(straightening out)" 방식으로 이 문제를 해결한다고 제안합니다. 연구진이 창의적인 비유를 사용하여 이 사실을 밝혀낸 과정은 다음과 같습니다.

구불구불한 길 vs. 고속도로

말소리가 뇌를 통과하는 여정을 풍경 속을 달리는 자동차에 비유해 보세요.

• 하위 단계에서 (귀 근처의 초기 청각 영역): 경로는 울퉁불퉁하고 구불구불한 시골길과 같습니다. 자동차는 가공되지 않은 소리를 처리하기 위해 끊임없이 방향을 바꾸고, 급회전하며, 지그재그로 움직여야 합니다. 연구의 언어로 표현하자면, 이 신경 경로들은 매우 "곡선적(curved)"입니다.
• 정보가 계층 구조를 따라 위로 올라갈수록 (뇌의 더 깊은 처리 센터로 이동할수록), 그 구불구불한 길은 점차 곧고 매끄러운 고속도로로 변합니다. 뇌는 더 이상 모든 작은 요철에 반응하지 않고 더 큰 그림을 보기 시작합니다. 경로는 점점 "더 곧아집니다(straighter)."

새로운 도구: 곡률 측정하기

연구진은 fMRI 뇌 스캔을 사용하여 이 "곡률(curvature)"을 측정하는 새로운 방법을 개발했습니다. 그들은 한 가지 영리한 연결 고리를 발견했습니다. 특정 뇌 세포 집단이 소리에 얼마나 빠르게 반응하는지를 관찰함으로써, 그 세포들이 얼마나 "곡선적으로" 작용하는지 알 수 있다는 점입니다. 이는 마치 자동차의 서스펜션이 얼마나 빠르게 튀어 오르는지를 보고 도로가 얼마나 울퉁불퉁한지 알아내는 것과 같습니다.

실험: 자연스러운 언어 vs. "뒤섞인" 언어

이들의 가설을 테스트하기 위해, 연구진은 사람들에게 자연스러운 이야기와 동일한 이야기의 "교란된(perturbed)" 버전(뒤섞이거나 변형된 형태)을 들려주었습니다.

• 자연스러운 언어: 사람들이 정상적이고 흐름이 있는 대화를 들을 때, 뇌의 경로는 계층 구조를 따라 위로 올라가면서 아름답게 곧게 펴졌습니다. 뇌가 다음에 올 내용을 정확히 예측할 수 있었기에 경로는 매끄러웠습니다.
• 뒤섞인 언어: 언어의 통계적 구조가 망가졌을 때(다음 단어를 예측하기 어렵게 만들었을 때), 이 "곧게 펴지는" 효과가 사라졌습니다. 경로는 높은 뇌 영역에서도 계속 곡선적이고 울퉁불퉁한 상태를 유지했습니다.

컴퓨터와의 연결성

연구진은 또한 이 동일한 소리들을 인간의 뇌가 작동하는 방식을 모방하는 데 뛰어난 인공지능 모델인 wavLM에 통과시켰습니다. 그들은 이 AI 역시 이러한 "곧게 펴지는" 효과를 보여준다는 것을 발견했지만, 이는 입력값이 자연스럽고 예측 가능한 언어일 때만 나타났습니다.

핵심 결론

이 논문은 예측이 이 '곧게 펴짐'을 추진하는 엔진이라고 결론짓습니다.
뇌가 문장에서 다음에 올 내용을 성공적으로 예측할 수 있을 때, 뇌는 내부 지도를 효율적인 직선 형태로 조직합니다. 반면, 예측할 수 없을 때(언어가 이상하거나 뒤섞였을 때) 지도는 여전히 무질서하고 곡선적인 상태로 남습니다.

요약하자면, 인간의 뇌는 가공되지 않은 소리의 혼란스럽고 구불구불한 길을 의미가 담긴 곧은 고속도로로 바꿉니다. 하지만 뇌는 오직 우리가 다음에 올 내용을 추측할 수 있게 해주는 자연스러운 규칙을 따르는 언어를 접할 때만 이 작업을 수행할 수 있습니다.