아기 뇌의 거대한 필터: 우리는 어떻게 듣는 법을 배우는가

당신의 뇌를 세상의 모든 소리를 이해할 준비가 된 초강력 범용 번역기라고 상상해 보세요. 태어날 때 아기는 모국어의 소리와, 멀리 떨어진 부족의 클릭음이나 먼 나라의 성조처럼 한 번도 들어본 적 없는 언어의 소리 사이의 차이를 구분할 수 있습니다. 하지만 성장하면서 마법 같고도 약간은 신비로운 일이 일어납니다. 돌이 될 무렵, 아기는 그 능력을 잃어버립니다. '외국어' 소리는 더 이상 들리지 않게 되고, 오직 자기 집의 소리에만 정통한 전문가가 됩니다. 과학자들은 이를 '지각적 좁혀짐(perceptual narrowing)'이라고 부릅니다. 마치 뇌가 정원사가 되어, 모국어의 가지가 강하고 선명하게 자랄 수 있도록 외국어라는 가지를 가지치기하는 것과 같습니다.

수십 년 동안 연구자들은 궁금해했습니다. 어떻게 뇌가 이 일을 해내는 걸까요? 뇌의 하드웨어가 특정한 방식으로 설계되었기 때문일까요? 단순히 듣는 데 소비하는 시간의 양 때문일까요? 아니로면 뇌가 언어를 배우는 동안 달성하려는 특정한 '목표' 때문일까요? 이를 알아내기 위해 과학자들은 컴퓨터 모델—음성에 훈련된 디지털 뇌—을 사용하여 인간의 이러한 성장을 모방할 수 있는지 확인하기 시작했습니다. 이 모델들은 말을 배우는 작은 로봇과 같으며, 우리가 이들을 가르치는 방식을 바꿈으로써, 무엇이 그들로 하여de 외국어 소리는 잊게 하고 모국어 소리는 기억하게 만드는지 관찰할 수 있습니다.

거대한 실험: 로봇이 배운 것

이 새로운 연구에서 세진 유(Sejin Yoo)라는 연구자는 디지털 뇌를 가지고 매우 구체적인 게임을 하기로 했습니다. 연구자는 작고 효율적인 컴퓨터 모델(당신이 들어봤을 법한 거대 AI 모델에 비하면 아주 작은 약 700만 개의 파라미터)을 구축하고, 여기에 음식으로서의 음성을 제공했습니다. 이 식단에는 '아동 지향 발화'(부모가 아기에게 말하는 방식)와 '낭독체 발화'(오디오북처럼 읽는 방식)로 나뉜 176.7시간의 녹음 데이터가 포함되었습니다.

핵심 질문은 이것이었습니다. '학습 목표(learning objective)'는 무엇인가? 이것을 교사의 지시 매뉴얼이라고 생각해 봅시다.

• 교사 A (재구성, Reconstruction): "이 문장을 듣고, 일부를 숨긴 뒤, 숨겨진 부분을 정확히 맞혀보세요." 이것은 빈칸 채우기 시험과 같습니다. 목표는 세부 사항을 완벽하게 기억하는 것입니다.
• 교사 B (예측, Prediction): "이 소리를 듣고, 다음에 어떤 소리가 올지 예측해보세요." 이것은 "다음에 무슨 일이 일어날까?" 게임과 같습니다. 목표는 언어의 패턴과 구조를 이해하는 것입니다.

유(Yoo)는 동일한 데이터를 사용하여 동일한 디지털 뇌를 훈련시켰지만, 두 교사 사이를 전환하며 실험했습니다. 결과가 단지 운이 아니라는 것을 확인하기 위해, 실험을 열 번 실행했습니다(열 개의 서로 다른 '시드'를 사용했는데, 이는 카드를 약간 다르게 섞는 것과 같습니다).

충격적인 발견: 교사가 가장 중요하다

결과는 명확하고 만장일치였습니다. '교사'(학습 목표)가 모든 것을 결정했습니다.

1. '빈칸 채우기' 교사 (재구성): 로봇이 누락된 소리를 맞히려고 노력했을 때, 로봇은 모국어(영어)에는 매우 능숙해졌지만 외국어(프랑스어와 만다린어)에는 오히려 더 서툴러졌습니다. 실제로 훈련 후에 로봇의 외국어 소리 식별 능력은 학습을 시작하기 전보다 더 떨어졌습니다. 마치 로봇이 백지 상태였을 때보다 외국어 소리를 듣는 법을 더 잘 잊어버린 것 같았습니다.
2. '다음에 무엇이 올까?' 교사 (예측): 로봇이 다음 소리를 예측하려고 했을 때, 로봇은 모국어와 외국어 둘 다에서 더 나아졌습니다. 로봇은 아무것도 잊지 않았고, 전반적으로 청각 능력이 향상되었습니다.

이는 '좁혀짐' 효과—즉, 외국어 소리를 잊어버리는 현상—가 단순히 학습의 자연스러운 부작용이 아니라는 것을 의미합니다. 그것은 구체적으로 학습 과제의 유형에 의해 발생합니다. 만약 뇌가 세부 사항을 암기하려고 노력한다면(재구성), 외국어 소리를 듣는 능력을 잃기 시작합니다. 만약 뇌가 패턴을 예측하려고 노력한다면(예측), 모든 것에 대해 귀를 열어둡니다.

세부 사항: 어디서, 언제 일어나는가

연구는 이 망각이 어떻게 일어나는지 알아내기 위해 더 깊이 파고들었습니다.

• 초기에 발생합니다: 외국어 식별 능력의 상실은 주로 디지털 뇌의 '사고' 과정 중 첫 두 개 층에서 일관되게 나타났습니다. 정보가 마지막 층에 도달했을 때쯤이면 이미 손상이 되었거나 뇌가 이미 외국어로부터 멀어진 상태였습니다.
• '어려운' 소리에 관한 것입니다: 사라진 소리들은 영어에 존재하지 않는 소리들이었습니다. 예를 들어, 만다린어에는 영어가 사용하지 않는 성조가 있습니다. 로봇은 영어와 만다린어가 공유하는 소리보다 영어에 없는 특정 소리들을 훨씬 더 빨리 잊어버렸습니다.
• '낭독체 발화'의 함정: 연구에 따르면 로봇이 '낭독체 발화'(오디오북 같은 것)를 들었을 때, '아동 지향 발화'(부모가 아기에게 말하는 방식)를 들었을 때보다 외국어 소리를 3.6배 더 빠르게 잊어버렸습니다. 이는 우리가 아기에게 말하는 방식이 실제로 외국어 소리의 상실을 늦추는 보호막 역할을 할 수 있음을 시사합니다.

'세 개의 시드' 문제

이 논문에서 가장 중요한 발견 중 하나는 다른 과학자들에게 주는 경고입니다. 많은 연구가 시간을 아끼기 위해 단 세 번(세 개의 시드)만 실험을 수행합니다. 유(Yoo)는 단 세 개의 시드만 사용한다면 가장 흥미로운 결과를 놓칠 수 있다는 것을 발견했습니다. 이 연구에서 만약 무작위로 세 번의 실행 결과만 보았다면, '간극 역전(gap inversion)'(예측 교사 아래에서 로봇이 외국어 소리에 더 능숙해지는 현상)을 70%의 확률로만 볼 수 있었을 것입니다. 즉, 10번 중 3번의 경우, 과학자가 세 개의 시드만 사용했다면 전체를 보았을 때 분명히 존재했던 결과임에도 불구하고 그 결과가 일어나지 않았다고 생각했을 것입니다. 이는 동전을 열 번 던져서 앞면이 여섯 번 나왔을 때, 만로 세 번만 던져보고 앞면이 두 번 나왔다면 동전이 공정하다고 생각할 수 있지만, 실제로는 패턴을 보기 위해 더 많은 던지기가 필요하다는 것과 같습니다.

뇌 지도와 '잃어버린 조각'

연구진은 또한 '조음적'(입을 어떻게 움직이는지) 정보와 '음향적'(음파가 어떻게 작동하는지) 정보를 처리하는 서로 다른 부분들을 가진, 인간의 뇌 배선을 모방하여 구축된 특별한 버전의 로봇을 테스트했습니다. 이러한 뇌 구조를 갖추었음에도 불구하고, 로봇은 단지 그 형태 때문에 자연스럽게 '좁혀짐' 효과를 발달시키지는 못했습니다. 여전히 '교사'(목표)가 대장이었습니다.

마지막으로, 연구진은 완벽한 일을 수행하는 로봇, 즉 모국어에는 더 능숙해지면서 외국어에는 더 서툴러지는 것(완전한 '발달적 특징')을 구현하려고 시도했습니다. 그들은 단어의 의미를 가르치거나 소리를 압축하는 것을 포함하여 여섯 가지의 복잡한 교수법을 시도했습니다. 하지만 그 중 어느 것도 성공하지 못했습니다. 매번 시도할 때마다 로봇은 두 언어 모두에 더 능숙해지거나, 혹은 두 언어 모두에 더 서툴러졌습니다.

왜일까요? 논문은 이러한 완벽한 '좁혀짐'을 얻으려면, 뇌에 "이 소리는 너의 언어에 중요하지만, 저 소리는 그렇지 않다"라고 말해주는 특별한 신호가 필요하다고 제안합니다. 단순히 "다음 단어를 맞혀봐"나 "누락된 소리를 맞혀봐"라는 식의 학습은 충분하지 않습니다. 뇌에는 '모국어 관련성 신호(native-relevance signal)'—예를 들어, '개'라는 단어를 들으면서 개의 사진을 보는 것처럼, 그 단어가 당신의 세계에서 정말로 중요한 것이라는 것을 알 수 있게 하는 추가적인 층위의 의미가 필요합니다. 그 추가적인 의미의 층위 없이는, 로봇은 외국어 소리를 선택적으로 잊을 수 없습니다.

요점

이 논문은 아기의 청각이 '좁혀지는' 현상이 단순히 뇌의 하드웨어나 듣는 데 소비하는 시간의 문제가 아니라는 것을 알려줍니다. 그것은 뇌가 무엇을 하려고 하는가에 관한 것입니다. 만약 뇌가 소리의 아주 작은 세부 사항까지 암기하려고 한다면(재구성), 외국어를 듣는 능력을 잃게 됩니다. 만약 뇌가 패턴을 예측하려고 한다면(예측), 모든 것에 대해 귀를 열어둡니다. 하지만 우리가 모국어에는 매우 능숙해지면서 나머지 것들은 정중하게 잊어버리는 인간의 완벽한 결과에 도달하려면, 단순히 듣는 것 이상의 무언가가 필요합니다. 우리는 소리를 의미와 연결하는 방법, 즉 어떤 소리가 가장 중요한지를 뇌에 알려주는 '모국어 관련성 신호'가 필요합니다. 컴퓨터 모델에서 이 신호를 찾아내기 전까지, 아기가 세상의 다른 언어들을 무시하는 법을 배우는 정확한 과정에 대한 미스터리는 여전히 손에 닿지 않는 곳에 남아 있습니다.