Neural tracking of surprisal and semantic distance in naturalistic movie viewing
본 연구는 참가자들이 장편 영화를 시청하는 동안 수집한 fMRI 데이터를 사용하여, 인간의 뇌가 자연적인 시청각 언어 이해 과정 중 양측 측두엽 및 전두엽 영역에서 신경 활동의 고유한 예측 인자로서 놀라움(surprisal)과 의미적 거리(semantic distance)를 모두 추적한다는 것을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
우리가 이야기를 들을 때, 우리의 뇌는 단순히 소리를 기록하는 수동적인 기록 장치가 아닙니다. 뇌는 이미 들은 내용을 바탕으로 다음에 무엇이 올지 끊임없이 추측하는 능동적인 예측기입니다. 이 과정은 두 가지 구별되지만 서로 연관된 정신적 도구에 의존합니다. 첫 번째는 확률의 감각입니다. 즉, 이전에 나온 단어들을 고려할 때 다음 단어가 나타날 가능성이 얼마나 높은가 하는 것입니다. 만약 문장이 "하늘은"으로 끝난다면, 우리 뇌는 강력하게 "푸르다"라는 단어를 기대하며, 그 단어가 등장하면 놀랍지 않게 느껴집니다. 만약 문장이 "하늘은"으로 끝나는데 다음에 오는 단어가 "바나나"라면, 뇌는 당황하게 됩니다. 이렇게 당황하는 느낌을 '의외성(surprisal)'이라고 합니다. 두 번째 도구는 의미의 척도, 즉 현재의 단어가 방금 처리한 아이디어들과 얼마나 밀접하게 관련되어 있는지를 측정하는 것입니다. 설령 어떤 단어가 통계적으로 가장 가능성이 높은 단어는 아닐지라도, 그 단어가 대화의 주제와 완벽하게 어울릴 수 있습니다. 뇌가 언어를 이해하기 위해 이 두 가지 다른 유형의 정보, 즉 통계적 가능성과 의미적 연관성을 어떻게 사용하는지 이해하는 것은 신경과학의 핵심적인 질문이며, 특히 영화를 보는 것과 같이 풍부하고 실제적인 환경에 몰입해 있을 때 더욱 그러합니다.
한 연구팀은 사람들이 장편 영화를 보는 동안 인간의 뇌가 이러한 두 가지 특정 신호를 어떻게 추적하는지 탐구하기 위해 연구를 시작했습니다. 연구진은 2009년 영화 <500일의 썸머>를 본 적이 없는 성인 20명을 모집하여, 기능적 자기공명영상(fMRI) 스캐너 안에 누운 채로 90분이 조금 넘는 전체 영화를 시청하게 했습니다. 이 기계 덕분에 과학자들은 이야기가 전개됨에 따라 실시간으로 일어나는 뇌의 활동을 관찰할 수 있었습니다. 뇌가 무엇을 하고 있는지 이해하기 위해, 연구진은 먼저 영화의 오디오와 비주얼 트랙을 수천 개의 작은 데이터 포인트로 세분화했습니다. 그들은 화면의 밝기와 카메라의 움직임부터 대화의 음량과 특정 단어의 빈도에 이르기까지 모든 것을 측정했습니다. 그런 다음 영화에서 발화되는 모든 단어에 대해 두 가지 복잡한 수치를 계산했습니다. 하나는 이전 맥락을 바탕으로 그 단어가 얼마나 의외였는지를 나타내는 수치이고, 다른 하나는 그 단어가 이전에 나온 단어들과 의미적으로 얼마나 떨어져 있는지 혹은 가까운지를 나타내는 수치였습니다.
연구진은 정교한 컴퓨터 모델링 기법을 사용하여, 어떤 데이터 포인트가 자신들이 관찰한 뇌 활동 패턴을 가장 잘 설명할 수 있는지 확인하기 위해 일련의 단계별 예측을 구축했습니다. 그들은 화면상의 시각적 변화나 소리의 원시적인 부피와 같은 가장 단순한 요소들부터 시작했습니다. 이러한 기초적인 특징들은 시각 처리가 일어나는 뇌의 뒷부분과 소리가 처음 수신되는 뇌의 측면 부분의 활동을 성공적으로 예측했습니다. 연구진이 일반적인 단어 사용 빈도나 유사한 소리를 가진 단어의 개수와 같은 더 복잡한 언어적 특징들을 추가함에 따라, 예측력은 향상되었고 이는 언어와 기억을 담당하는 영역으로 확장되었습니다. 마지막으로, 연구진은 핵심 변수인 두 가지, 즉 단어의 통계적 의외성과 의미적 거리를 추가했습니다. 결과는 이 두 요인을 포함했을 때 뇌 활동을 예측하는 능력이 유의미하게 향 Improved 되었음을 보여주었으며, 특히 언어 처리를 담당하는 것으로 알려진 뇌 측면의 상측두회(superior temporal gyrus)와 좌측 전두엽에서 그러했습니다.
가장 결정적인 발견은 이 두 요인이 단순히 같은 역할을 수행하는 것이 아니라는 점이었습니다. 연구진이 한 요인의 영향을 고려한 후에도, 다른 요인은 여전히 뇌 활동의 고유한 변화를 설명해 냈습니다. 이는 뇌가 통계적 확률과 개념적 관계를 동시에 추적하며, 두 가지 보완적인 시스템을 사용하고 있음을 시사합니다. 두 신호 모두 측두엽의 유사한 영역을 활성화했지만, 단어의 통계적 의외성은 조정 및 타이밍과 관련된 뇌의 하부 구조인 소뇌의 특정 영역과도 고유한 연결성을 보였습니다. 이 발견은 뇌의 예측 메커니즘이 매우 정교하여, "무엇이 일어날 가능성이 높은가"와 "무엇이 의미에 부합하는가"를 별개의, 그러나 병렬적인 정보 스트림으로 처리한다는 것을 나타냅니다.
이러한 결과는 기존의 통제되고 조용한 실험실 연구의 범위를 넘어선다는 점에서 중요합니다. 이전의 언어 예측 연구는 주로 고립된 문장을 듣거나 조용히 텍스트를 읽는 방식에 의존했습니다. 하지만 연구진은 영화 한 편을 사용함으로써, 뇌가 복잡한 시각적 장면, 음악, 그리고 감정적인 스토리텔링에 의해 압도당하는 상황에서도 이러한 미세한 언어적 신호를 계속해서 추적한다는 것을 입증했습니다. 이 연구는 언어를 예측하는 뇌의 능력이 매우 견고하며, 우리가 세상을 경험하는 방식에 깊이 통합되어 있으며, 입력값이 풍부하고 다감각적이며 예측 불가능할 때도 효과적으로 작동한다는 것을 확인시켜 줍니다. 이 연구가 언어 처리의 모든 미스터리를 풀었다고 주장하는 것은 아니지만, 우리의 뇌가 우리가 듣는 단어들에 대해 두 가지 다른 종류의 검사를 끊임없이 수행함으로써, 단순히 무엇이 말해지고 있는지뿐만 아니라 그것이 이야기의 흐름 속에서 왜 중요한지까지 이해하도록 보장한다는 강력한 증거를 제공합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.