技術的概要：短期記憶、エピソード記憶、意味記憶システムを備えた機械

問題定義

検索エンジンや仮想アシスタントを含む現在の機械学習エージェントは、事実的・常識的な知識（意味記憶）の検索においては卓越していますが、特定の過去の出来事や個人的な経験（エピソード記憶）を想起する能力は欠いています。さらに、標準的な強化学習（RL）エージェントは、部分的観測可能性や破滅的忘却にしばしば苦しみます。著者らは、明示的な人間の記憶アーキテクチャ、すなわち短期バッファを介して仲介される意味記憶（一般的な世界知識）とエピソード記憶（個人的で時間的制約のある経験）の区別を模倣することが、エージェントが限られた記憶容量をより効果的に管理し、多様な質問により適切に回答することを可能にすると仮説を立てています。

手法

環境：「The Room」

この仮説を評価するために、著者らは OpenAI Gym と互換性のある離散イベントシミュレーション環境を設計しました。

• セットアップ: 環境には $N_{humans}$（64 人）、$N_{objects}$（16 個）、$N_{locations}$（28 箇所）が含まれます。人間は固定されたルーチンに従い、オブジェクトを「常識的」（例：棚の上のボウル）または非常識的な場所に配置します。その確率は $p_{commonsense} = 0.5$ です。
• 観測: エージェントは環境を部分的に観測し、一度に一人の人間を観察します。観測は、ヘッダーエンティティ、関係、テールエンティティ、タイムスタンプを表す 4 項組 $(h, r, t, timestamp)$ として記録されます。
• タスク: 各ステップで、エージェントは 3 項組 $(h, r, ?)$ の形式で質問をされます。正解は +1 の報酬、不正解は 0 の報酬をもたらします。エピソードは 128 ステップ続きます。

記憶アーキテクチャ

エージェントは、それぞれ知識グラフ（KG）として表現される 3 つの異なる記憶システムでモデル化されています。

1. 短期記憶 ($M_o$): 初期状態ですべての観測を 4 項組 $(h, r, t, timestamp)$ として格納する、容量制限付きのバッファ。
2. エピソード記憶 ($M_e$): 特定の時間的制約のある出来事を 4 項組 $(h, r, t, timestamp)$ として格納する、容量制限付きの長期記憶。
3. 意味記憶 ($M_s$): 一般的な事実を 4 項組 $(h, r, t, strength)$として格納する、容量制限付きの長期記憶。ここで、$h$は一般化されます（例：「ボブのノートパソコン」ではなく「ノートパソコン」）、$strength$ は格納の頻度を示します。

記憶管理ポリシー:
短期記憶が満杯になったとき、エージェントは最も古い観測の運命を決定しなければなりません。これには 3 つのアクションがあります。

1. 忘却: 観測を完全に破棄する。
2. エピソード記憶への格納: 観測を $M_e$ に移動する。
3. 意味記憶への格納: 観測を $M_s$ に移動する（エンティティを一般化し、strength を増分する）。

検索ポリシーは決定論的かつルールベースです（アルゴリズム 1）：

• 具体的な質問に対して、エージェントはまず $M_e$ で最も最近の関連する出来事を確認します。
• エピソード的な一致がない場合、$M_s$ で最も強い関連する一般的な事実を確認します。
• どちらからも回答が得られない場合、エージェントはその質問に失敗します。

学習アルゴリズム

記憶管理ポリシー（どこに格納するか、あるいは忘却するかどうかを決定する）は、**深層 Q 学習（DQN）**を使用して学習されます。

• 状態表現: 状態 $s$ は、$M_o$、$M_e$、$M_s$ の現在の内容で構成されます。
• 入力処理: 知識グラフをニューラルネットワークに入力するために、著者らは記憶を知識グラフ埋め込み（KGE）に変換します。4 項組はソートされます（エピソード/短期記憶ではタイムスタンプ順、意味記憶では strength 順）そして埋め込まれます。人間に関わるエピソード/短期記憶の場合、個々の特性を捉えるために、人間の名称とオブジェクトを埋め込み前に連結します。
• ネットワークアーキテクチャ: Q ネットワークは、メモリ埋め込みのシーケンスを処理するために LSTM レイヤーを使用し、その後、3 つのアクションに対する Q 値を出力するために多層パーセプトロン（MLP）を使用します。
• トレーニングバリエーション: 2 種類のエージェントがトレーニングされました。
  1. Semantic Scratch: 空の意味記憶から開始。
  2. Semantic Pretrained: $M_s$ に事前学習された一般的な世界知識（ConceptNet から取得）が埋め込まれた状態で開始。

主要な貢献

1. 明示的な記憶モデリング: 認知科学の理論（Tulving 1983, 1985）に触発され、それぞれ知識グラフとして構造化された短期、エピソード、意味記憶システムを備えたエージェントを明示的にモデル化しました。
2. 新規環境: 部分的観測可能性下で質問に答えるために、記憶の符号化、格納、検索のエージェントの能力をテストするために設計されたカスタム RL 環境「The Room」の公開。
3. 学習された記憶管理: DQN ベースのエージェントが、報酬を最大化するために記憶を管理するポリシー（忘却、エピソード格納、または意味格納の間の決定）を成功裡に学習できることの証明。

結果

実験は、異なる記憶容量（総容量 $|M_e| + |M_s|$ は 2 から 64 の範囲）で行われました。

• ベースラインとのパフォーマンス比較: エピソード記憶と意味記憶の両方を備えたエージェントは、3 つのベースライン（(1) エピソードのみ、(2) 意味のみ、(3) ランダムなアクション選択）を大幅に上回りました。最高パフォーマンスのエージェント（事前学習された意味記憶を備えた RL）は、128 点中平均総報酬 116.5 を達成し、Scratch 版の 109.1 やベースラインの低いスコアと比較して優れました。
• 事前学習の影響: 「Semantic Pretrained」エージェントは「Semantic Scratch」エージェントよりも速く学習し、より高い最適値に収束しました。事前学習されたエージェントは、初期の一般的な知識を維持し、エピソード記憶には特定の一般化不可能な出来事のみを格納することを学習しました。一方、Scratch エージェントはゼロから一般的な知識を学習しようと試み、時折誤り（例：列車の場所の誤認）を犯し、最終的な報酬を低下させました。
• 容量スケーリング:
  • エピソードみのエージェントは、容量の増加に伴い線形的に改善し、容量が 64 に達すると 128 問すべてに正解しました。
  • 意味みのエージェントは低容量では良好に機能しましたが、容量が 32 を超えると（一般的な知識の 3 項組がタスクに十分であったため）92 点前後で頭打ちになりました。
  • 組み合わせエージェントは、両方のシステムを活用して最高の全体的パフォーマンスを達成しました。

意義と主張

この論文は、人間のような明示的な記憶システムを機械に装備することで、一般的な知識と特定の出来事の想起の両方を必要とする環境において、そのような構造を持たないエージェントを上回るパフォーマンスを発揮できると主張しています。著者らは、このアプローチが強化学習を通じて記憶管理ポリシーを成功裡に学習し、異なる記憶システムで何を忘却し何を保持するかを効果的に決定することを強調しています。

この研究は、人間の心理論をモデル化する認知アーキテクチャと、部分的観測可能性の解決に焦点を当てる現代の機械学習を架橋しています。著者らは、現在の環境が離散シミュレーションであるものの、このフレームワークは将来の作業においてより複雑なマルチモーダルなシナリオや自然言語クエリに拡張可能に設計されていると指摘しています。彼らは、知識グラフを RL エージェント内で使用して記憶制約を管理し、意思決定を改善する手法の有効性を示したと結論付けています。