기술 요약: 단기, 에피소드, 의미 기억 시스템을 갖춘 기계

문제 제기

현재의 머신러닝 에이전트 (검색 엔진 및 가상 비서 포함) 는 사실적 상식 지식 (의미 기억) 을 검색하는 데 뛰어났지만, 특정 과거 사건이나 개인적 경험 (에피소드 기억) 을 회상하는 능력은 부족합니다. 또한, 표준 강화학습 (RL) 에이전트는 종종 부분 관측 가능성과 파국적 망각에 직면합니다. 저자들은 명시적인 인간 기억 구조, 즉 단기 버퍼를 매개로 한 의미 (일반 세계 지식) 와 에피소드 (개인적, 시간 제한적 경험) 기억 간의 구분을 모방함으로써 에이전트가 제한된 기억 용량을 더 잘 관리하고 다양한 질문에 더 효과적으로 답변할 수 있다고 주장합니다.

방법론

환경: "The Room"

이 가설을 평가하기 위해 저자들은 OpenAI Gym 과 호환되는 이산 이벤트 시뮬레이션 환경을 설계했습니다.

• 설정: 환경에는 $N_{humans}$ (64 명), $N_{objects}$ (16 개), $N_{locations}$ (28 곳) 이 포함됩니다. 인간들은 고정된 일정을 따르며, 물체를 "상식적" (예: 찬장 위의 그릇) 이거나 비상식적인 위치에 배치하는데, 그 확률은 $p_{commonsense} = 0.5$입니다.
• 관측: 에이전트는 환경을 부분적으로 관측하며, 한 번에 한 명의 인간을 봅니다. 관측치는 헤드 엔티티, 관계, 테일 엔티티, 타임스탬프를 나타내는 4 중항 $(h, r, t, timestamp)$으로 기록됩니다.
• 작업: 각 단계에서 에이전트는 3 중항 $(h, r, ?)$ 형태의 질문을 받습니다. 정답은 +1 의 보상을, 오답은 0 의 보상을 줍니다. 에피소드는 128 단계로 진행됩니다.

기억 구조

에이전트는 각각 지식 그래프 (KG) 로 표현된 세 가지 구별된 기억 시스템을 모델링합니다:

1. 단기 기억 ($M_o$): 모든 관측치를 4 중항 $(h, r, t, timestamp)$으로 초기 저장하는 유계 버퍼입니다.
2. 에피소드 기억 ($M_e$): 특정 시간 제한적 사건을 4 중항 $(h, r, t, timestamp)$으로 저장하는 유계 장기 기억입니다.
3. 의미 기억 ($M_s$): 일반적 사실을 4 중항 $(h, r, t, strength)$으로 저장하는 유계 장기 기억입니다. 여기서$h$는 일반화됩니다 (예: "Bob 의 노트북" 대신 "노트북"), 그리고 $strength$는 저장 빈도를 나타냅니다.

기억 관리 정책:
단기 기억이 가득 차면 에이전트는 가장 오래된 관측치의 운명을 결정해야 합니다. 세 가지 행동이 가능합니다:

1. 망각: 관측치를 완전히 폐기합니다.
2. 에피소드 저장: 관측치를 $M_e$로 이동합니다.
3. 의미 저장: 관측치를 $M_s$로 이동합니다 (엔티티를 일반화하고 강도를 증가시킵니다).

검색 정책은 결정론적이며 규칙 기반입니다 (알고리즘 1):

• 특정 질문에 대해 에이전트는 먼저 $M_e$에서 가장 최근의 관련 사건을 확인합니다.
• 에피소드 매칭이 없으면, $M_s$에서 가장 강력한 관련 일반 사실을 확인합니다.
• 둘 다 답을 도출하지 못하면 에이전트는 질문에 실패합니다.

학습 알고리즘

기억 관리 정책 (저장 위치 결정 또는 망각 여부 결정) 은 **Deep Q-Learning (DQN)**을 사용하여 학습됩니다.

• 상태 표현: 상태 $s$는 $M_o$, $M_e$, $M_s$의 현재 내용을 구성합니다.
• 입력 처리: KG 를 신경망에 입력하기 위해 저자들은 기억을 지식 그래프 임베딩 (KGE) 으로 변환합니다. 4 중항은 (에피소드/단기의 경우 타임스탬프별로, 의미의 경우 강도별로) 정렬된 후 임베딩됩니다. 인간이 관련된 에피소드/단기 기억의 경우, 개별 특성을 포착하기 위해 인간 이름과 물체 이름을 임베딩 전에 연결합니다.
• 네트워크 구조: Q-네트워크는 메모리 임베딩 시퀀스를 처리하기 위해 LSTM 레이어를 활용하고, 그 다음 3 가지 행동에 대한 Q-값을 출력하기 위해 다층 퍼셉트론 (MLP) 을 사용합니다.
• 학습 변형: 두 가지 에이전트 유형이 훈련되었습니다:
  1. Semantic Scratch: 빈 의미 기억으로 시작합니다.
  2. Semantic Pretrained: $M_s$에 미리 채워진 일반 세계 지식 (ConceptNet 에서 가져옴) 으로 시작합니다.

주요 기여

1. 명시적 기억 모델링: 이 논문은 인지 과학 이론 (Tulving 1983, 1985) 에서 영감을 받아 지식 그래프로 구조화된 단기, 에피소드, 의미 기억 시스템을 갖춘 에이전트를 명시적으로 모델링합니다.
2. 새로운 환경: 부분 관측 하에서 질문에 답하기 위해 기억을 인코딩, 저장, 검색하는 에이전트의 능력을 테스트하도록 설계된 커스텀 RL 환경인 "The Room"을 공개했습니다.
3. 학습된 기억 관리: DQN 기반 에이전트가 망각, 에피소드 저장, 의미 저장 사이를 결정하는 기억 관리 정책을 성공적으로 학습하여 보상을 극대화할 수 있음을 입증했습니다.

결과

실험은 다양한 기억 용량 (총 용량 $|M_e| + |M_s|$는 2 에서 64 사이) 으로 수행되었습니다.

• 성능 대 베이스라인: 에피소드와 의미 기억 시스템을 모두 갖춘 에이전트는 (1) 에피소드 전용, (2) 의미 전용, (3) 무작위 행동 선택이라는 세 가지 베이스라인을 크게 능가했습니다. 가장 성능이 뛰어난 에이전트 (사전 훈련된 의미 기억을 갖춘 RL) 는 128 점 중 평균 총 보상 116.5점을 기록했으며, Scratch 버전은 109.1점, 베이스라인은 더 낮은 점수를 받았습니다.
• 사전 훈련의 영향: "Semantic Pretrained" 에이전트는 "Semantic Scratch" 에이전트보다 빠르게 학습하고 더 높은 최적점에 수렴했습니다. 사전 훈련된 에이전트는 초기 일반 지식을 보존하고 비일반화 가능한 특정 사건만을 에피소드 기억에 저장하도록 학습했습니다. 반면, Scratch 에이전트는 처음부터 일반 지식을 학습하려다 때때로 오류 (예: 기차 위치를 잘못 식별) 를 범하여 최종 보상을 낮췄습니다.
• 용량 확장:
  • 에피소드 전용 에이전트는 용량 증가에 따라 선형적으로 개선되었으며, 용량이 64 에 도달하면 128 개의 모든 질문에 답했습니다.
  • 의미 전용 에이전트는 낮은 용량에서 잘 수행되었으나, 용량이 32 를 초과하면 일반 지식 3 중항이 작업에 충분하여 약 92 점의 보상에서 정체되었습니다.
  • 복합 에이전트는 두 시스템을 모두 활용하여 가장 높은 전체 성능을 달성했습니다.

중요성과 주장

이 논문은 인간과 유사한 명시적 기억 시스템을 갖춘 기계가 일반 지식과 특정 사건 회상이 모두 필요한 환경에서 이러한 구조가 없는 에이전트보다 뛰어난 성능을 발휘한다고 주장합니다. 저자들은 그들의 접근 방식이 강화학습을 통해 기억 관리 정책을 성공적으로 학습하여, 다른 기억 시스템에서 무엇을 망각하고 무엇을 유지할지 효과적으로 결정한다고 강조합니다.

이 연구는 인간 마음 이론을 모델링하는 인지 구조와 부분 관측 가능성 해결에 초점을 맞춘 현대 머신러닝을 연결합니다. 저자들은 현재 환경이 이산 시뮬레이션이지만, 이 프레임워크는 향후 작업에서 더 복잡하고 다중 모달 시나리오 및 자연어 쿼리로 확장되도록 설계되었다고 언급합니다. 그들은 결론적으로 그들의 에이전트가 기억 제약 관리와 의사결정 개선을 위해 RL 에이전트 내에서 지식 그래프를 사용하는 것의 타당성을 보여준다고 결론지었습니다.