Sequential Sampling as a Computational Principle of Episodic Memory

우리가 특정 사건에 대해 갖는 기억—우리가 일화 기억(episodic memory)이라 부르는 것—은 흔히 과거의 정신적 스냅샷으로 묘사되곤 합니다. 우리는 그곳에 어디에 있었는지, 무슨 일이 일어났는지, 그리고 누가 그곳에 있었는지를 회상합니다. 하지만 우리가 세상을 경험하는 방식은 결코 단 하나의 완벽한 이미지를 포착하는 카메라와 같지는 않습니다. 대신, 우리의 눈은 끊임없이 이리저리 움직이며 짧고 부분적인 훑어보기의 연속으로 세상을 받아들입니다. 우리는 얼굴을 보고, 그다음 손을 보고, 다시 배경의 물체를 보며, 이 파편들을 하나로 엮어 일관된 장면을 만들어냅니다. 수십 년 동안 과학자들은 뇌가 어떻게 이 찰나의 시선들을 나중에 저장하고 회상할 수 있는 하나의 안정적인 기억으로 바꾸는지 궁금해해 왔습니다. 지배적인 견해는 뇌가 먼저 대상이나 장면의 완전한 그림을 구축한 다음, 그 완성된 그림을 저장한다는 것이었습니다. 그러나 새로운 연구 라인은 그 과정이 훨씬 더 역동적임을 시사합니다. 즉, 보는 행위 그 자체와 우리가 보는 순서가 기억을 구축하는 기초가 될 수 있다는 것입니다.

연구팀은 이 아이디어를 테스트하기 위해 컴퓨터 모델을 개발했으며, 우리의 기억이 단순히 본 것을 기록하는 것이 아니라 그것을 보기 위해 눈이 이동한 경로로부터 구축된 구성물이라고 제안했습니다. 연구진은 인간의 눈이 하는 것처럼 이미지를 한 번에 작은 조각 하나씩 살펴보며 학습하는 시스템을 시뮬레이션했습니다. 그 결과, 이러한 시선의 순서가 단순히 정보를 수집하는 것 이상의 역할을 한다는 것을 발견했습니다. 시선의 순서는 기억 자체를 능동적으로 형성합니다. 시스템이 특정 대상을 향해 여러 번 연속해서 시선을 집중했을 때, 그 특정 대상에 대한 기억은 더 선명하고 뚜렷해졌습니다. 반면, 시스템의 시선이 두 가지 서로 다른 대상 사이를 앞뒤로 빠르게 오갔을 때, 그 두 대상 사이의 관계에 대한 기억은 더 강해졌습니다. 결정적으로, 모델은 시선의 순서가 중요하다는 것을 보여주었습니다. 만약 동일한 시각적 단서들이 다른 순서로 제시된다면, 결과적인 기억은 달라졌으며, 원래의 대상을 구체적으로 회상하는 능력은 저하되었습니다.

이것이 어떻게 작동하는지 이해하기 위해, 마치 시험 공부를 하는 학생처럼 일련의 이미지로부터 학습하도록 설계된 컴퓨터 프로그램을 상상해 보십시오. 연구진은 이 프로그램에 자연스러운 사진 세트를 주었지만, 전체 이미지를 한꺼번에 보여주는 대신, 이미지의 작고 국소적인 패치들을 하나씩 차례대로 입력했습니다. 각 패치는 '고정(fixation)', 즉 눈이 초점을 맞추기 위해 멈추는 순간을 나타냅니다. 프로그램은 더 많은 단서를 받을수록 전체 이미지를 구축하며 시간이 흐름에 따라 이 패치들을 통합해야 했습니다. 연구진은 새로운 패치가 추가될 때마다 프로그램이 해당 이미지가 무엇인지에 대한 불확실성이 감소한다는 것을 발견했습니다. 프로그램은 "개"나 "자동차"와 같은 대상의 일반적인 범주는 매우 빠르게 식별할 수 있었습니다. 하지만 그 특정한 개나 자동차의 정확한 정체를 파악하기 위해서는 더 많은 시간과 더 많은 샘플이 필요했습니다. 프로그램이 이러한 훑어보기를 축적함에 따라, 내부적인 이미지 표현은 더욱 조직적이고 효율적으로 변했으며, 각 조각을 정확히 언제 어디서 보았는지 기억하면서도 가장 중요한 특징들에 집중했습니다.

또한 이 연구는 사물 간의 연결을 어떻게 기억하는지도 탐구했습니다. 현실에서 우리는 사람과 그 사람이 들고 있는 물건처럼 서로 관련된 항목들을 번갈아 가며 쳐다보곤 합니다. 연구진은 이러한 안구 운동의 타이밍이 중요한지 테스트했습니다. 그들은 프로그램이 첫 번째 이미지를 잠시 응시한 후 두 번째 이미지를 보게 하거나, 두 이미지를 빠르게 번갈아 가며 보게 하는 시나리오를 만들었습니다. 그들은 '교차(switching)' 패턴, 즉 두 항목 사이를 빈번하게 움직이는 시선이 두 항목 사이의 연결을 훨씬 더 강력하게 만든다는 것을 발견했습니다. 프로그램은 두 항목이 번갈아 가며 샘플링되었을 때, 첫 번째 항목에 의해 유도되면 두 번째 항목을 더 잘 회상했습니다. 이는 우리가 관련된 것들 사이를 눈을 움직여 보는 행위가 단순히 보는 것의 부수적인 효과가 아니라, 우리 마음속에서 그 사물들을 결합하는 메커니즘임을 시사합니다.

아마도 가장 놀라운 발견은 기억 자체가 어떻게 구축되었는지에 대한 기록을 포함하고 있다는 점일 것입니다. 연구진은 동일한 시각적 단서 세트를 가져와서 다른 순서로 제시함으로써 이를 테스트했습니다. 시각적 정보는 동일했지만, 결과적인 기억은 달랐습니다. 프로그램이 원래의 시선 순서와 일치하는 단서를 사용하여 원래의 이미지를 회상하려고 했을 때는 성공했습니다. 하지만 순서가 뒤섞였을 때, 기억은 흐릿해졌고 프로그램은 비록 일반적인 범주는 맞출 수 있었지만 특정 이미지를 식별하는 데 어려움을 겪었습니다. 이는 우리의 시선 궤적(trajectory), 즉 눈이 이동한 구체적인 경로가 기억 속에 내재되어 있음을 암시합니다. 특정 기억을 인출하기 위해 우리의 뇌는 그 원래의 경로를 부분적으로 재추적해야 할 수도 있습니다.

연구진은 또한 몇 가지 단서만을 가지고 무언가를 기억하려고 할 때 발생하는 현상을 시뮬레이션했는데, 이는 흐릿한 사진으로부터 얼굴을 떠올리려는 상황과 유사합니다. 그들은 인출 단서가 원래의 시선 순서와 더 많이 일치할수록 기억이 더 잘 작동한다는 것을 발견했습니다. 만약 단서가 원래의 인코딩 과정과 동일한 시각적 세부 사항과 주의 순서를 공유한다면, 시스템은 특정 기억을 높은 정확도로 재구성할 수 있었습니다. 만약 순서가 틀렸거나 시각적 세부 사항이 누락되었다면, 기억은 실패했습니다. 이는 기억 인출이 단순히 그림을 매칭하는 것이 아니라, 그 그림이 원래 어떻게 조립되었는지에 대한 과정을 매칭하는 것임을 뒷받침합니다.

마지막으로, 연구팀은 이러한 유형의 기억이 누락된 부분을 재구성하는 데 어떻게 도움이 되는지 탐구했습니다. 그들은 순차적 샘플링을 통해 생성된 기억 표현을 바탕으로 이미지를 생성하도록 별도의 시스템을 훈련시켰습니다. 그 결과, 시스템은 직접 시선이 닿았던 이미지의 부분들을 높은 정밀도로 재구성할 수 있었습니다. 그러나 한 번도 보지 않았던 부분들은 시스템이 다른 이미지들로부터 학습한 일반적인 패턴에 의존하여 더 느슨하게 채워졌습니다. 이는 인간의 기억이 작동하는 방식을 거울처럼 보여줍니다. 우리는 집중했던 세부 사항은 명확하게 기억하지만, 나머지 장면은 뇌가 일반적인 지식과 기대를 사용하여 채워 넣습니다.

이러한 발견은 우리가 어떻게 기억하는지에 대해 새로운 관점을 제공합니다. 우리의 뇌는 사건의 완전하고 정적인 이미지를 저장하는 것이 아니라, 그 사건을 탐색한 역동적인 기록을 저장할 수도 있습니다. 시선 이동의 순서, 우리가 세상의 서로 다른 부분에 주의를 기울인 순서, 그리고 주의의 리듬 모두가 기억의 일부가 됩니다. 이는 우리가 세상을 보는 방식이 단순히 데이터를 수집하는 방법이 아니라, 우리의 과거를 구성하는 근본적인 부분임을 시사합니다. 이 과정을 이해함으로써, 과학자들은 기억이 어떻게 형성되는지, 왜 어떤 기억은 더 선명한지, 그리고 보는 행위라는 단순한 활동이 어떻게 우리 삶에 대한 이야기를 형성하는지를 더 잘 이해하기를 희망하고 있습니다.