A Machine With Human-Like Memory Systems

技術的概要：人間に似た記憶システムを持つ機械

問題定義
認知科学において、人間の明示的記憶は、2 つの異なるシステムから構成されると理論化されています。すなわち、意味記憶（「ノートパソコンは机の上にある」などの一般的な世界知識）とエピソード記憶（「カレンのノートパソコンは午前 10 時に彼女の机の上にあった」などの個人的でタイムスタンプ付きの経験）です。既存の計算モデルは、しばしば一方のシステムに焦点を当てるか、不透明な数値埋め込みを使用しますが、両方のシステムを明示的にモデル化し、その相乗効果を評価する計算実験は不足しています。本論文は、動的環境において報酬を最大化するために、意味的およびエピソード的システムの両方から記憶を効果的に符号化、保存、検索できるエージェントの設計という課題に取り組んでいます。

手法
著者は、カスタム環境と特定のエージェントアーキテクチャを中心としたフレームワークを提案します。

1. ルーム環境:

   • $N_{agents}$ 人のエージェントが、$N_{people}$ 人の人間が $N_{locations}$ 箇所の間で物体を移動する様子を観察する、カスタム製で OpenAI Gym 互換の環境です。
   • 観測値 ($x(t)$) と質問 ($q(t)$) は、人間と機械の可読性を促進し、ConceptNet などの知識グラフとの統合を容易にするため、RDF 風のトリプルまたはクアドルプル（例：<主語, 関係, 目的語, タイムスタンプ/強度>）として構造化されています。
   • 環境には確率的な要素が含まれます。物体は常識的な場所（ConceptNet に基づく）またはランダムな場所に配置される可能性があります。また、物体の場所、物体の種類、人間の位置は時間とともに確率的に変化します。

2. 記憶システム:

   • エピソード記憶 ($M_E$): タイムスタンプを含むクアドルプルとして特定の観測値を保存します（例：<カレンの猫, 場所, カレンのオフィス, 21>）。
   • 意味記憶 ($M_S$): 最終要素がタイムスタンプではなく「強度」（観測頻度）を表すクアドルプルとして一般化された知識を保存します（例：<ノートパソコン, 場所, 机, 10>）。意味記憶は個人に依存しません。
   • 制約: 両システムには容量の上限があり、エージェントは何を忘却し、どのようにエピソード的観測を意味的一般化に圧縮するかを学習することを強いられます。

3. エージェントの方策（手作りのもの）:
   本研究では、ベースラインを確立するために 4 つの特定の手作り戦略を評価します。

   • Handcrafted 1: エピソードのみ（最古のを忘却し、最新に回答）。
   • Handcrafted 2: 意味のみ（最弱のを忘却し、最強に回答）。
   • Handcrafted 3: 両システム（類似のエピソード記憶を意味記憶に圧縮する。最新のエピソード記憶を優先し、次に最強の意味記憶を優先する）。
   • Handcrafted 4: 事前学習済み意味知識を備えた両システム（ConceptNet の常識で初期化）。

4. ハイブリッド知能:
   この環境は、エージェントが協力して結合された記憶システムを共有し、質問に回答できるマルチエージェント設定をサポートします。

主な貢献

1. 明示的モデリング: 著者は、意味記憶とエピソード記憶の両方のシステムを持つエージェントを明示的にモデル化し、単一のシステムタイプのみを持つエージェントよりも組み合わせが優れていることを実証しました。
2. 新しい環境: 記憶の符号化、保存、検索戦略をテストするために特別に設計された、挑戦的な OpenAI Gym 互換環境「The Room」の公開。
3. ハイブリッド知能の実証: 相補的な記憶カバレッジにより、2 つのエージェント（または人間と機械）間の協力が、単独で行動する単一エージェントよりも優れたパフォーマンスをもたらすという証拠。
4. オープンソース: さらなる研究を促進するために、コードと環境がオープンソース化されました。

結果

• 方策の有効性: 構造化された忘却と回答戦略を利用する手作りの方策は、均一にランダムに忘却し回答するランダム方策よりも著しく優れています。
• 記憶容量とタイプ:
  • 記憶容量が低い場合: 一般的な世界知識を学習するのに十分なデータがないため、エピソード記憶のみを持つエージェントの方が優れています。
  • 記憶容量が増加するにつれて: 世界知識を一般化できるため、意味記憶（または両方）を持つエージェントがエピソードのみを持つエージェントよりも優れています。
  • Handcrafted 4（事前学習済み意味）: エージェントが限られたエピソード容量を、特定の常識外の詳細に集中できるため、一貫して最高性能を達成します。
• 協力: 公平な比較（総記憶容量を一定に保つ）において、協力する 2 つのエージェントは、単一のエージェントよりも高い総報酬を達成します。これは、エージェントが異なる方向に部屋を探検し、より広範囲をカバーして多様な記憶にアクセスするためです。

意義と主張
本論文は、意味記憶とエピソード記憶の両方のシステムを明示的にモデル化することが、単一のシステムのみを使用するモデルと比較して、質問応答タスクにおいて優れたパフォーマンスをもたらすと主張しています。さらに、常識知識（意味記憶）でエージェントを事前学習させることで、エピソード記憶をより効率的に活用できることを主張しています。また、この研究はハイブリッド知能の可能性を浮き彫りにし、協力的なエージェントが個々の記憶制約の限界を克服できることを示しています。

著者は、この作業を認知科学理論と計算実験の間の架け橋として位置づけています。ACT-R や Soar などの理論モデルは存在するものの、それらはしばしば計算的な検証を欠いており、他の計算作業はしばしば両方の記憶タイプを同時にモデル化するか、解釈不可能な数値埋め込みを使用していることに言及しています。論文は控えめに結論付け、将来の研究では強化学習エージェントを探索し、データ駆動型のアプローチがこれらの手作りベースラインに匹敵できるかどうかを確認し、より複雑な人間のような相互作用や信頼のダイナミクスを含むように環境をさらに洗練させるべきだと示唆しています。