A Machine With Human-Like Memory Systems

기술적 요약: 인간과 유사한 기억 시스템을 갖춘 기계

문제 제기
인지과학에서 인간의 명시적 기억은 두 가지 구별된 시스템으로 구성된다고 이론화됩니다: 의미적 기억(일반적인 세계 지식, 예: "노트북은 책상 위에 있다") 과 일화적 기억(개인적이고 시간표시가 된 경험, 예: "카렌의 노트북은 오전 10 시에 그녀의 책상 위에 있었다"). 기존 계산 모델은 종종 한 시스템에만 초점을 맞추거나 불투명한 수치 임베딩을 사용하는 반면, 두 시스템을 명시적으로 함께 모델링하여 그 시너지 효과를 평가하는 계산 실험은 부족합니다. 본 논문은 동적 환경에서 보상을 극대화하기 위해 의미적 및 일화적 시스템 모두에서 기억을 효과적으로 인코딩, 저장, 검색할 수 있는 에이전트를 설계하는 과제를 다룹니다.

방법론
저자들은 맞춤형 환경과 특정 에이전트 아키텍처에 중점을 둔 프레임워크를 제안합니다:

1. 방 환경 (The Room Environment):

   • $N_{agents}$명의 에이전트가 $N_{people}$명의 사람들이 $N_{locations}$개의 위치 사이에서 물체를 이동하는 것을 관찰하는 맞춤형 OpenAI Gym 호환 환경입니다.
   • 관찰 ($x(t)$) 과 질문 ($q(t)$) 은 인간 - 기계 가독성을 용이하게 하고 ConceptNet 과 같은 지식 그래프와의 통합을 지원하기 위해 RDF 형태의 삼중항/사중항 (예: <주어, 관계, 목적어, 타임스탬프/강도>) 으로 구조화됩니다.
   • 환경에는 확률적 요소가 포함됩니다: 물체는 ConceptNet 기반의 상식적 위치에 배치되거나 무작위 위치에 배치될 수 있으며, 물체 위치, 물체 유형, 인간 위치는 시간에 따라 확률적으로 변화합니다.

2. 기억 시스템:

   • 일화적 기억 ($M_E$): 타임스탬프를 포함한 사중항으로 특정 관찰을 저장합니다 (예: <카렌의 고양이, AtLocation, 카렌의 사무실, 21>).
   • 의미적 기억 ($M_S$): 마지막 요소가 타임스탬프가 아닌 "강도"(관찰 빈도) 를 나타내는 사중항으로 일반화된 지식을 저장합니다 (예: <노트북, AtLocation, 책상, 10>). 의미적 기억은 개인과 무관합니다.
   • 제약 사항: 두 시스템 모두 유한한 용량을 가지므로, 에이전트는 무엇을 잊어야 하는지 학습하고 일화적 관찰을 의미적 일반화로 압축하는 방법을 배워야 합니다.

3. 에이전트 정책 (수작업 설계):
   본 연구는 기준선을 설정하기 위해 네 가지 특정 수작업 설계 전략을 평가합니다:

   • 수작업 1: 일화적 기억만 사용 (가장 오래된 것 잊기, 최신 것 답변하기).
   • 수작업 2: 의미적 기억만 사용 (가장 약한 것 잊기, 가장 강한 것 답변하기).
   • 수작업 3: 두 시스템 모두 사용 (유사한 일화적 기억을 의미적 기억으로 압축; 최신 일화적 기억 우선, 그 다음 가장 강한 의미적 기억 우선).
   • 수작업 4: 사전 훈련된 의미적 지식을 갖춘 두 시스템 모두 사용 (ConceptNet 상식으로 초기화).

4. 하이브리드 지능:
   이 환경은 에이전트들이 협력하여 결합된 기억 시스템을 공유하고 질문에 답변할 수 있는 다중 에이전트 설정을 지원합니다.

주요 기여

1. 명시적 모델링: 저자들은 의미적 및 일화적 기억 시스템을 모두 갖춘 에이전트를 명시적으로 모델링하여, 두 시스템을 결합한 에이전트가 단일 시스템만 가진 에이전트보다 성능이 우수함을 입증했습니다.
2. 새로운 환경: 기억 인코딩, 저장, 검색 전략을 테스트하도록 특별히 설계된 까다로운 OpenAI Gym 호환 환경인 "The Room"을 공개했습니다.
3. 하이브리드 지능 증명: 상호 보완적인 기억 커버리지로 인해 두 에이전트 (또는 인간과 기계) 간의 협력이 단일 에이전트 단독 행동보다 더 나은 성과를 낸다는 증거를 제시했습니다.
4. 오픈 소스: 추가 연구를 촉진하기 위해 코드와 환경을 오픈 소스로 공개했습니다.

결과

• 정책 유효성: 구조화된 망각 및 답변 전략을 활용하는 수작업 설계 정책은 무작위 정책 (무작위로 균일하게 망각하고 답변하는 정책) 보다 훨씬 우수한 성과를 냅니다.
• 기억 용량 대 유형:
  • 낮은 기억 용량에서는 일반 세계 지식을 학습할 데이터가 부족하기 때문에 일화적 기억만 가진 에이전트가 더 잘 수행합니다.
  • 기억 용량이 증가함에 따라 세계 지식을 일반화할 수 있는 의미적 기억 (또는 두 시스템 모두) 을 가진 에이전트가 일화적 기억만 가진 에이전트보다 우수한 성과를 냅니다.
  • 수작업 4(사전 훈련된 의미적 기억) 는 일관되게 최고 성능을 달성하는데, 이는 에이전트가 제한된 일화적 용량을 상식적이지 않은 구체적인 세부 사항에 집중할 수 있기 때문입니다.
• 협력: 총 기억 용량이 일정하게 유지되는 공정한 비교에서, 두 에이전트가 협력할 때 단일 에이전트보다 더 높은 총 보상을 얻습니다. 이는 에이전트들이 서로 다른 방향으로 방을 탐색함으로써 더 넓은 영역을 커버하고 더 다양한 기억에 접근할 수 있기 때문입니다.

의의 및 주장
본 논문은 의미적 및 일화적 기억 시스템을 명시적으로 모델링하는 것이 단일 시스템만 사용하는 모델에 비해 질문 - 답변 작업에서 더 우수한 성능을 이끈다고 주장합니다. 또한, 상식 지식 (의미적 기억) 으로 에이전트를 사전 훈련하면 일화적 기억을 더 효율적으로 활용할 수 있다고 주장합니다. 연구는 또한 하이브리드 지능의 잠재력을 강조하여, 협력하는 에이전트들이 개별 기억 제약의 한계를 극복할 수 있음을 보여줍니다.

저자들은 이 작업을 인지과학 이론과 계산 실험 간의 가교로 위치시키며, ACT-R 및 Soar 와 같은 이론적 모델은 존재하지만 종종 계산적 검증이 부족하고, 다른 계산 작업들은 종종 두 기억 유형을 동시에 모델링하지 못하거나 해석 불가능한 수치 임베딩을 사용한다고 지적합니다. 논문은 겸손하게 결론을 내리며, 향후 연구는 데이터 기반 접근 방식이 이러한 수작업 설계 기준선을 따라잡을 수 있는지 확인하기 위해 강화 학습 에이전트를 탐구하고, 더 복잡한 인간과 유사한 상호작용 및 신뢰 역학을 포함하도록 환경을 정교화해야 한다고 제안합니다.