Structural generalization and continual learning enabled by factorized entorhinal-hippocampal memory and entorhinal-parietal action circuits

세상을 항해하기 위해 인간의 뇌는 특정 탐색 과제에서 표준 순환 신경망(recurrent neural networks)이 도달하지 못한 공학적 경지를 보여줍니다. 뇌는 특정한 장소들—자신이 좋아하는 카페나 어린 시절의 집—을 기억하는 동시에, 공간이 작동하는 추상적인 규칙을 이해하여 한 번도 가본 적 없는 새로운 도시에도 그 지식을 적용할 수 있어야 합니다. 이러한 능력은 뇌 속의 두 가지 구별되면서도 연결된 시스템에 의존합니다. 해마를 중심으로 하는 한 시스템은 특정한 사건과 장소를 위한 고용량 파일 캐비닛처럼 작동하며, 우리가 본 독특한 세부 사항들을 저장합니다. 또 다른 시스템인 내후각 피질(entorhinal cortex)은 무엇을 보고 있느냐와 상관없이 거리와 방향을 측정하는 보편적인 그리드, 즉 정신적 좌표계를 제공합니다. 과학자들은 오랫동안 이 시스템들의 존재를 알고 있었지만, 이들이 어떻게 함께 작용하여 우리가 빠르게 학습하고, 새로운 상황에 일반화하며, 기존의 기억을 덮어쓰지 않고 모든 것을 기억할 수 있게 하는지는 미스터리로 남아 있었습니다.

MIT와 여러 연구진은 인간, 원숭이, 그리고 컴퓨터 모델이 특정 탐색 과제를 어떻게 처리하는지 테스트함으로써 이 미스터리의 층을 벗겨냈습니다. 그들은 피험자들이 시작 이미지에서 목표 이미지까지 마치 디딤돌을 밟듯 일련의 이미지들을 통과해 이동해야 하는 과제를 설계했습니다. 연구진은 세 가지 난이도로 테스트를 진행했습니다. 첫째, 시각적 단서와 함께 탐색하게 한 뒤, 그다음에는 단서를 제거하여 뇌가 내부적으로 여정을 시뮬레이션하도록 강제했습니다. 둘째, 이전에 연습하지 않은 이미지 쌍 사이를 탐색할 수 있는지 테스트했습니다. 셋째, 완전히 새로운 이미지 세트를 도입하여 뇌가 완전히 새로운 환경에 탐색 기술을 전이할 수 있는지 확인했습니다. 결과는 극명했습니다. 인간과 원숭이는 세 가지 과제 모두를 쉽게 마스터했지만, 표준 순환 신경망 모델은 완전히 실패했습니다. 그러나 연구진이 뇌의 특정 구조를 모방하여 '지도'와 '기억'을 분리한 새로운 종류의 컴퓨터 모델을 구축했을 때, 그 모델은 다른 모델들이 실패한 지점에서 성공했습니다.

실험은 간단한 설정으로 시작되었습니다. 인간 자원봉사자들과 두 마리의 원숭이가 일련의 뚜렷한 물체들과 같은 고정된 이미지 라인이 표시되는 화면 앞에 앉았습니다. 그들에게는 시작 이미지와 목표 이미지가 주어졌으며, 목표에 도달할 때까지 일련의 이미지를 통과하기 위해 조이스틱을 사용해야 했습니다. 첫 번째 단계에서 이미지는 계속 스크롤되며 지속적인 시각적 피드백을 제공했습니다. 피험자들이 이미지의 순서를 익히자, 연구진은 시각적 단서를 제거했습니다. 이제 피험자들은 화면이 어두워진 상태에서 조이스틱을 움직여야 했으며, 자신이 얼마나 이동했는지에 대한 내부적인 감각에 전적으로 의존해야 했습니다. 이것은 '정신적 탐색(mental navigation)'이라고 알려져 있습니다. 피험자들은 이를 아주 쉽게 수행했으며, 이는 그들이 순서에 대한 정신적 지도를 구축했음을 보여주었습니다. 다음으로, 연구진은 연습하지 않은 시작점과 끝점 사이를 탐색하게 함으로써 이행적 일반화(transitive generalization)를 테스트했습니다. 마지막으로, 구조적 일반화(structural generalization)를 테스트하기 위해 완전히 다른 이미지 세트가 포함된 세 번째 환경을 도입했습니다.

생물학적 피험자들의 성과는 놀라웠습니다. 인간과 원숭이는 새로운 경로와 새로운 환경에서도 높은 정확도로 탐색했을 뿐만 아니라, 원래의 환경을 잊지 않고도 탐색 능력을 유지했습니다. 이러한 '파괴적 망각(catastrophic forgetting)'의 부재는 인공 시스템이 복제하기 어려워하는 생물학적 학습의 핵심적인 특징입니다. 연구진이 표준 순환 신경망을 사용하여 이 행동을 재현하려 했을 때, 이 모델들은 모든 테스트에서 실패했습니다. 모델들은 시각적 피드백이 있는 시각적 과제는 학습할 수 있었지만, 시각적 단서가 제거되거나 경로가 바뀌거나 환경이 새로워지는 순간 무너졌습니다. 그들은 일반화할 수도 없었고, 새로운 것을 배우는 동안 이전의 교훈을 기억할 수도 없었습니다.

돌파구는 연구진이 뇌의 제안된 구조를 모방한 모델을 구축했을 때 찾아왔습니다. 'Vector-HaSH augmented Action policy'라고 불리는 이 모델은 협력하는 두 가지 주요 부분으로 구성됩니다. 첫 번째 부분은 그리드 세포(grid cells)에 기반한 구조화된 메모리 스캐폴드(scaffold)입니다. 이것을 거리와 방향을 측정하는, 내용과는 독립적인 견고한 자(ruler)라고 생각하십시오. 이 자는 이미지가 무엇인지 상관하지 않으며, 오직 이미지 사이의 공간만을 신경 씁니다. 두 번째 부분은 자에 의해 측정된 거리를 바탕으로 어떻게 움직일지를 학습하는 정책 네트워크(policy network)입니다. 자가 고정되어 있고 보편적이기 때문에, 한 환경에서 학습된 정책은 즉시 새로운 환경에 적용될 수 있습니다. 모델은 뇌의 해마처럼 빠르고 일회적인 학습 과정을 통해 새로운 이미지를 이 자에 결합합니다.

이 새로운 모델이 테스트되었을 때, 모델은 인간과 원숭이의 전체 행동 범위를 재현했습니다. 모델은 시각적 피드백 없이도 탐색했고, 새로운 경로를 택했으며, 새로운 환경에 즉각적으로 적응하는 동시에 기존의 것을 기억했습니다. 연구진은 모델 내부를 들여다보며 모델이 어떻게 작동하는지 확인하고, 이를 과제를 수행하는 원숭이의 뇌에서 기록된 실제 전기 신호와 비교했습니다. 그 결과 정밀한 일치를 발견했습니다. 목표로부터 얼마나 멀어졌는지를 추적하는 모델의 '거리' 모듈은 원숭이의 내후각 피질에 있는 뉴런과 똑같이 행동했습니다. 언제 움직이고 언제 멈출지를 결정하는 모델의 '액션' 모듈은 후두정 피질(posterior parietal cortex)의 활동과 일치했습니다. 이는 뇌가 탐색의 과업을 두 가지 별개의 계산, 즉 거리를 측정하는 것과 행동을 결정하는 것으로 나눈다는 점을 확인시켜 주었습니다.

마지막 발견은 뇌가 이 시스템을 어떻게 보정(calibrate)하는지를 밝혔습니다. 연구진은 모델이 완벽하게 작동하기 위해서는 내부의 자를 이미지의 간격과 일치시키기 위한 특정 스케일링 계수(scaling factor)를 학습해야 한다는 것을 발견했습니다. 만약 자의 눈금이 이미지에 비해 너무 멀거나 너무 가깝다면 모델은 어려움을 겪었습니다. 그러나 모델이 학습 중에 이 스케일링 계수를 조정할 수 있도록 허용하자, 모델은 뇌가 그러하듯 즉시 완벽한 정렬을 찾아냈습니다. 이는 뇌가 탐색 중인 환경의 구조에 맞춰 내부적인 속도와 거리 감각을 능동적으로 조율한다는 것을 시사합니다.

이 연구는 뇌의 학습, 일반화, 기억 능력이 더 많은 데이터나 더 많은 처리 능력의 결과가 아니라, 특정한 건축적 설계의 결과라는 결론을 내립니다. 공간의 불변하는 구조를 경험의 구체적인 내용으로부터 분리함으로써, 뇌는 유연하면서도 안정적인 시스템을 만듭니다. 내후각-해마 회로는 뇌가 과거의 교훈을 새로운 상황에 적용하면서도 과거를 지우지 않도록 하는 보편적인 척도를 제공합니다. 이러한 메모리와 액션의 인수 분해(factorization)는 우리가 어떻게 새로운 도시에 들어가 길을 찾으면서도 집으로 가는 길을 기억할 수 있는지를 설명해주며, 이는 표준 순환 신경망 모델이 아직 달성하지 못한 경지입니다.