Semantic Update as a Predictor of Reading Time: Moving Beyond Word-Level Surprisal

문장을 읽는 것은 매끄러운 사고의 흐름처럼 느껴지지만, 그 표면 아래에서는 뇌가 복잡하고 찰나적인 계산을 수행하고 있습니다. 우리가 새로운 단어를 마주할 때마다, 우리의 마음은 두 가지 일을 동시에 수행합니다. 첫째, 그 단어가 앞서 나온 단어들을 바탕으로 예상되었던 것인지 확인합니다. 만약 당신이 "요리사가 냄비를 저었다(The chef stirred the pot)"라는 문장을 읽고 있다면, 당신은 "수프"나 "스튜"를 예상할 수 있지만, "신발"은 예상하지 못할 것입니다. 이처럼 단어가 패턴에 맞지 않을 때 느끼는 놀라움은 뇌가 특정 단어를 인식하기 위해 얼마나 열심히 작동하고 있는지를 보여주는 잘 알려진 척도입니다. 그러나 언어는 단순히 개별 단어들의 나열 그 이상입니다. 그것은 사건과 관계에 관한 이야기입니다. 우리가 글을 읽을 때, 우리는 문장이 묘사하는 세상에서 어떤 일이 일어나고 있는지에 대한 정신적 이미지를 끊임없이 구축합니다. 새로운 단어가 등장할 때, 그 단어는 단순히 즉각적인 맥락에 부합해야 할 뿐만 아니라, 전체 장면(scene)에 대한 우리의 이해 또한 업데이트해야 합니다. 만약 문장이 갑자기 평화로운 주방 장면에서 혼란스러운 사고 현장으로 급격히 전환된다면, 개별 단어 자체는 완전히 예상 밖이 아니었더라도 우리가 가진 사건의 정신적 모델은 급격하게 변해야 합니다.

과학자들은 오랫동안 이러한 더 깊은 수준의 의미 업데이트가 단순히 다음 단어를 예측하는 것과는 별개인, 독자적인 읽기 과정이라고 의심해 왔습니다. 포츠담 대학교(University of Potsdam)의 최근 연구는 사람들이 글을 읽는 동안 단어 위에서 얼마나 오래 멈추는지(pause)를 직접 관찰함으로써 이 아이디어를 테스트하고자 했습니다. 연구진은 문장의 의미를 업데이트하려는 뇌의 노력이 측정 가능한지, 그리고 단어 자체가 얼마나 놀라운지(surprising)를 고려한 후에도 읽기 시간에 영향을 미치는지 알고 싶어 했습니다. 이를 위해 그들은 단순히 다음 단어를 추측하는 것이 아니라, 마음이 어떻게 사건의 표현을 구축하는지 시뮬레이션하여 누가 누구에게 무엇을 했는지를 추적하도록 설계된 컴퓨터 모델을 활용했습니다. 연구팀은 이 모델의 행동을 인간 독자의 안구 운동과 비교함으로써, 문장의 이야기를 수정해야 하는 뇌의 필요성이 단어 예측 능력과 함께 우리가 글을 읽는 방식을 결정짓는 강력한 동력이라는 것을 발견했습니다.

연구진은 고속 카메라로 안구 운동을 추적하며 자연스러운 텍스트를 읽는 46명의 원어민 영어 화자로부터 얻은 방대한 데이터를 바탕으로 시작했습니다. 참가자들이 글을 읽는 동안, 카메라는 그들의 눈이 각 단어에 얼마나 오래 머물렀는지, 즉 '총 고정 지속 시간(total fixation duration)'이라 불리는 수치를 기록했습니다. 일반적으로 긴 멈춤은 뇌가 해당 단어를 처리하기 위해 더 많이 노력하고 있음을 나타냅니다. 무엇이 이러한 멈춤을 유발하는지 이해하기 위해, 연구팀은 동일한 텍스트를 분석하는 데 두 가지 서로 다른 컴퓨터 모델을 사용했습니다. 첫 번째는 통계에 기반하여 시퀀스 내의 다음 단어를 예측하는 데 탁월한 표준 언어 모델이었습니다. 두로써 더 전문화된 '문장 게슈탈트(Sentence Gestalt)' 모델을 사용했습니다. 이 모델은 단순히 다음 단어를 추측하는 대신, 문장에 묘사된 사건의 완전한 그림을 그리려고 훈련되었으며, 단어가 나타남에 따라 "행위자(doer)"와 "수혜자(receiver)"와 같은 역할을 할당했습니다.

연구의 핵심은 연구진이 '의미 업데이트(semantic update)'라고 부른 이 정신적 그림의 변화가 독자가 단어에서 얼마나 오래 멈추는지를 예측할 수 있는지 확인하는 것이었습니다. 연구 결과, 그것은 가능했습니다. 단어가 얼마나 놀라운지, 그리고 단어 길이와 같은 다른 기본적인 요인들을 통제했을 때도, 문장의 의미에 대한 업데이트 규모는 읽기 시간을 예측하는 유의미한 변수로 남았습니다. 즉, 어떤 단어가 독자의 사건 이해에 큰 변화를 강요할 때, 그 단어가 흔한 단어인지 혹은 희귀한 단어인지와 상관없이 독자는 더 오래 멈추었습니다. 이는 뇌가 끊임없이 내부의 이야기를 재조정하고 있으며, 그 재조정에는 시간이 걸린다는 것을 시사합니다.

또한 이 연구는 이 효과가 읽히는 단어의 유형에 크게 의존한다는 것을 밝혀냈습니다. 연구진은 단어를 두 그룹으로 나누었습니다. 명사, 동사, 형용사와 같이 주요 의미를 전달하는 '내용어(content words)'와, "the", "of", "and"와 같이 문법적 목적을 수행하는 '기능어(function words)'입니다. 결과에 따르면, 문장의 의미를 업데이트해야 하는 필요성은 사람들이 내용어에 머무는 시간에 강력한 영향을 미쳤습니다. 내용어가 이야기의 정신적 모델을 변화시킬 때 읽기 시간이 증가했습니다. 그러나 기능어의 경우에는 이러한 관계가 완전히 사라졌습니다. "the"나 "and"와 같은 단어의 경우, 단어에 소비되는 시간은 거의 전적으로 단어 자체의 길이에 의해 결정되었으며, 문장의 의미가 얼마나 업데이트되어야 하는지로부터는 유의미한 영향을 받지 않았습니다. 이러한 구분은 핵심 메시지를 이해하려는 뇌의 노력이 문법적 요소들을 연결하는 기계적인 작업과는 분리되어 있다는 뇌의 언어 처리 방식과 일치합니다.

결과의 견고함을 보장하기 위해 연구진은 다음 단어를 예측하는 표준 언어 모델만을 사용했을 때 어떤 일이 일어날지 비교했습니다. 그들은 해당 모델이 읽기 시간의 변동성을 일부 설명할 수는 있지만, 중요한 퍼즐 조각 하나를 놓치고 있다는 것을 발견했습니다. '의미 업데이트 모델'은 단어 예측 모델이 설명할 수 없는 읽기 행동의 독특한 측면들을 설명해 냈습니다. 나아가 연구진은 자신들의 모델이 범하는 오류를 살펴봄으로써, 인간의 읽기를 모방하는 데 어려움을 겪는 거대한 현대 인공지능 시스템들과 어떻게 닮아 있는지 확인했습니다. 그들은 자신들의 모델이 거대 AI 시스템들처럼 내용어에 사람들이 얼마나 많은 시간을 소비할지 과대평가하는 경면서, 인간 독자와 이러한 특정 계산 모델 모두 문장의 의미를 담고 있는 부분에 매우 민감하다는 것을 발견했습니다.

이 연구는 결론적으로, 읽기란 단순히 다음 단어를 예측하는 과정이 아니라, 텍스트가 묘사하는 세상에 대한 정신적 모델을 끊임없이 수정하는 역동적인 행위라고 말합니다. 뇌는 새로운 단어가 자신의 이해를 조정하도록 강요할 때마다 측정 가능한 시간적 비용을 지불하며, 이 과정은 단순히 단어를 인식하는 것과는 구별됩니다. 이 연구는 우리의 읽기 속도가 두 가지 시스템에 의해 안내된다는 강력한 증거를 제공합니다. 하나는 다음 단어가 패턴에 맞는지 확인하는 시스템이고, 다른 하나는 우리 마음속에 구축 중인 이야기가 일관성을 유지하도록 보장하는 시스템입니다. 이 두 과정을 분리하고 측정할 수 있음을 보여줌으로써, 이 연구는 문장을 읽는 단순한 행위 뒤에 숨겨진 정교한 메커니즘에 대한 더 명확한 관점을 제시합니다.