기술 요약: 해마의 명시적 기억은 AGI의 초석이다

문제 제기

자연어 처리, 패턴 인식, 통계적 학습 분야에서 거둔 놀라운 성공에도 불구하고, 대규모 언어 모델(LLM)은 범용 인공지능(AGI)으로 나아가는 데 있어 상당한 장벽에 직면해 있다. 현재의 LLM은 환각(hallucination), 장기적 전략 계획의 어려움, 논리적 일관성 결여, 그리고 동적이고 실시간적인 학습 능력의 부재와 같은 지속적인 한계를 보인다. 본 논문은 이러한 실패가 근본적인 구조적 불일치에서 기인한다고 주장한다. 즉, LLM은 주로 인간의 암묵적 기억(절차적, 통계적, 습관 기반 학습)과 유사한 메커니즘을 통해 작동하는 반면, AGI는 고차원적 인지 기능을 지원하기 위한 명시적 기억(선언적, 일화적, 의미적 기억)의 통합을 필요로 한다는 것이다.

식별된 핵심 문제는 LLM이 조밀하고 분산된 코딩 및 오차 기반 최적화(기저핵 및 소뇌와 유사)를 통한 작업에는 뛰어나지만, 해마의 명시적 기억 시스템의 특징인 희소 코딩(sparse coding), 신속한 일회성 인코딩(one-shot encoding), 그리고 연상적 인출(associative retrieval) 메커니즘은 결여되어 있다는 점이다. 결과적으로 LLM은 알려진 사실과 알지 못하는 사실을 안정적으로 구분하거나, 일관된 장기적 서사를 유지하거나, 진정한 메타인지 및 정신적 시뮬레이션을 수행할 수 없다.

방법론 및 이론적 프레임워크

본 논문은 신경과학과 계산 이론에 근거하여 생물학적 기억 시스템과 현재의 LLM 아키텍처 간의 비교 분석을 수행한다.

1. 신경과학적 유추: 저자는 LLM의 학습 및 인출 메커니즘을 인간의 암묵적 기억 시스템에 매핑한다.

   • 암묵적 기억 (LLM): 반복적인 노출을 통한 점진적 학습, 조밀한 분산 코딩, 오차 기반 가중치 업데이트(역전파)를 특징으로 한다. 인출은 자동적이며 자극-반응 기반이며, 맥락 재구성이 결여되어 있다.
   • 명시적 기억 (해마): 희소 코딩(패턴 분리), 신속한 일회성 학습, 연상적 결합(패턴 완성)을 특징으로 한다. 인출은 해마-피질 루프를 통해 부분적인 단서로부터 전체적인 일화적 맥락을 재구성하는 과정을 포함한다.

2. 기능적 분석: 논문은 특정 인지 영역을 분석하여 명시적 기억에 대한 의존성을 입증한다.

   • 논리적 추론: 복잡한 추론은 의미적 기억과 추상적 규칙 적용에 의존하며, 이는 통계적 습관화만으로는 완전히 복제할 수 없다.
   • 메타인지: 자신의 지식 상태를 모니터링하고 환각을 탐지하는 능력은 출처와 맥락에 대한 명시적 추적이 필요하지만, LLM은 이를 갖추고 있지 않다.
   • 실행 기능: 계획 수립, 작업 전환, 목표 지향적 행동은 일화적 및 의미적 정보의 인출과 조작에 의존한다.

3. 계산적 명세: 논문은 인공 명시적 기억 시스템에 대한 공식적인 정의를 제안한다. 이 시스템을 조밀한 임베딩과 메모리 상태를 입력으로 받아 메모리 업데이트와 인출된 임베딩을 출력하는 함수 $f_{memory}$로 정의한다. 논문은 이 시스템을 위한 8가지 구체적인 계산 요구사항을 제시한다.

   • 희소 인덱싱 (Sparse Indexing): 패턴 분리를 보장하기 위해 조밀한 입력을 희소한 표현으로 변환함.
   • 오차 독립적 업데이트 (Error-Independent Update): 예측 오차 그래디언트만이 아니라 입력과 현재 상태에 의해 주도되는 메모리 업데이트.
   • 연상적 구축 (Associative Construction): 활성화된 차원 간의 연결을 강화함 ("함께 발화하면, 함께 연결된다").
   • 패턴 분리 (Pattern Separation): 서로 다른 입력이 겹치지 않는 희소 코드로 매핑되도록 보장함.
   • 패턴 완성 (Pattern Completion): 부분적인 단서로부터 전체 기억을 재구성함.
   • 역동성 (Dynamicity): 시간에 따라 진화할 수 있는 능력.
   • 높고 즉각적인 가소성 (High and Instant Plasticity): 단 한 번의 노출 후에도 정보를 저장하고 인출할 수 있는 능력.
   • 적응적 망각 (Adaptive Forgetting): 용량 관리를 위해 비활성 차원의 연결을 약화시키는 메커니즘.

주요 기여

본 논문의 주요 기여는 이론적 및 구조적 측면에 있다.

• LLM의 한계 재정의: LLM의 "환각" 및 "추론" 실패가 단순히 데이터나 규모의 문제가 아니라, 암묵적 학습 메커니즘에만 의존하는 데서 오는 내재적 결과임을 상정한다.
• 명시적 기억의 필요성: 해마와 유사한 명시적 기억 모듈을 통합하지 않고서는 인간 수준의 AI(정의된 AGI의 기준)를 달성하는 것이 불가능하다고 주장한다.
• 계산적 청사진: 단순한 외부 벡터 데이터베이스(RAG와 같은)를 넘어, 생물학적 명시적 기억의 구조적, 기능적 특성을 모방하는 인공 명시적 기억 시스템을 구축하기 위한 엄격한 8가지 계산 요구사항을 제공한다.
• 경험적 예시: 부록 C를 통해, 논문은 실패 사례(예: 프라이밍 효과에 대한 취약성, 잘못된 전제에 기반한 사실 오류 수정 불능, 스도쿠나 문자 교체와 같은 규칙 기반 작업에서의 실패)를 제시함으로써 현재 모델들의 명시적 기억 부재를 경험적으로 입증한다.

결과 및 증거

본 논문은 훈련된 모델에 대한 새로운 실험 결과를 제시하기보다는, 자신의 입장을 뒷받침하기 위해 기존의 신경과학 및 AI 문헌을 종합한다.

• 신경과학적 확증: 해마 병변 환자(예: 환자 H.M.)의 사례를 인용하여, 암묵적 기술(절차적 기억)은 온전하게 유지되지만 명시적 기억과 실행 기능(계획, 메타인지)은 심각하게 손상됨을 보여준다.
• LLM 행동 분석: LLM이 암묵적 시스템처럼 행동함을 입증한다.
  • 패턴을 학습하기 위해 방대한 반복이 필요함 (점진적 학습).
  • 광범한 재학습 없이는 새로운 분포 외(out-of-distribution) 시나리오로 논리적 규칙을 일반화하는 데 실패함.
  • 맥락이 기설정된 사실을 덮어쓰는 "프라이밍 효과"(예: 가상의 시나리오에 따라 일출 방향이 바뀌는 현상)를 보여주며, 이는 안정적인 명시적 사실 저장의 부재를 나타냄.
  • 인간의 실행 기능과 비교했을 때 엄격한 규칙 준수가 필요한 작업(예: 텍스트 내 특정 문자 교체)에 어려움을 겪음.
• 현재 솔루션의 한계: 논문은 현재의 검색 증강 생성(RAG)과 같은 메모리 증강 접근 방식이 진정한 명시적 기억에 필요한 동적, 연상적, 오차 독립적 업데이트 메커니즘 없이 정적인 외부 저장소로서 기능하기 때문에 불충분하다고 주장한다.

의의 및 결론

본 논문은 AGI로 가는 길이 순수하게 통계적인 암묵적 학습에서 명시적 기억을 통합하는 하이브리드 아키텍처로의 패러다임 전환을 필요로 한다고 결론짓는다.

• 이론적 전환: 암묵적 학습의 규모를 키우는 것만으로는 AGI에 도달할 수 없다는 관점에 도전하며, 명시적 기억 없이는 모델이 패턴 매칭과 통계적 예측에 머물 수밖에 없음을 시사한다.
• 연구 방향: 제안된 계산적 요구사항은 뉴로AI(NeuroAI) 연구의 청사진 역할을 하며, 동적 학습, 메타인지, 장기 계획을 지원할 수 있는 메모리 시스템 개발을 안내한다.
• 겸허한 주장: 저자들은 현재의 LLM이 이미 AGI라고 주장하거나, 이 메모리 시스템을 통합하는 것이 해결된 공학적 문제라고 주장하는 것이 아님을 밝힌다. 대신, 명시적 기억을 현재의 LLM 능력과 인간 수준의 일반 지능 사이의 간극을 메우기 위한 필요 조건이자 근본적인 초석으로 위치시킨다. 본 논문은 암묵적 학습의 내재적 한계를 극 overcome 하기 위해 이러한 메모리 시스템의 구조적 통합에 관한 추가적인 연구를 촉진하는 것을 목표로 한다.