Structural generalization and continual learning enabled by factorized entorhinal-hippocampal memory and entorhinal-parietal action circuits

世界をナビゲートするために、ヒトの脳は、特定のナビゲーション・タスクにおいて標準的なリカレントニューラルネットワーク（RNN）を凌駕する、類まれなエンジニアリングの妙を発揮します。脳は、お気に入りのカフェや子供時代の家といった特定の場所を記憶しなければならないと同時に、空間がどのように機能するかという抽象的なルールを理解していなければなりません。これにより、私たちは一度も訪れたことのない新しい都市においても、その知識を応用することができるのです。この能力は、脳内の2つの異なる、しかし相互に連結したシステムに依存しています。一つは海馬を中心としたシステムで、特定の出来事や場所に関する「高容量のファイルキャビネット」のように機能し、目にしたもののユニークな詳細を保存します。もう一つのシステムは、内嗅皮質を含むもので、実際に何を見ているかに関わらず、距離と方向を測定する普遍的なグリッド、すなわち精神的な座標系を提供します。科学者たちは長年、これらのシステムが存在することは知っていましたが、それらがどのように連携して、迅速な学習、新しい状況への汎化、そして古い記憶を上書きすることなくすべてを記憶することを可能にしているのかという謎は、未解明のままでした。

MITおよびその他の研究チームは、人間、サル、そしてコンピュータモデルが特定のナビゲーションの課題にどのように対処するかをテストすることで、この謎の層を剥ぎ取りました。彼らは、出発点の画像から目標の画像へと、まるで踏み石を渡るように一連の画像を移動しなければならない課題を設計しました。研究者は3段階の難易度を設定しました。第一に、視覚的な手がかりを用いてナビゲートさせ、次に視覚的手がかりなしでのナビゲーションを求め、脳に内部的な旅のシミュレーションを行わせました。第二に、練習していない画像のペア間でのナビゲーションが可能かどうかをテストしました。第三に、全く新しい画像セットを導入し、脳が完全に新しい環境に対してナビゲーションのスキルを転移できるかどうかを確認しました。結果は明白でした。人間とサルはこれら3つの課題を容易にマスターしましたが、標準的なリカレントニューラルネットワーク・モデルは完全に失敗しました。しかし、研究者が脳の特定のアーキテクチャを模倣し、「地図」と「記憶」を分離した新しい種類のコンピュータモデルを構築したところ、他のモデルが失敗した場面で成功を収めたのです。

実験は単純なセットアップから始まりました。人間のボランティアと2匹のサルが、固定された一連の画像（例えば、はっきりとした一連の物体など）が表示されたスクリーンの前に座りました。彼らは開始画像と目標画像を与えられ、ゴールに到達するまでジョイスティックを使用してシーケンス内を移動しなければなりませんでした。第一フェーズでは、画像がスクロールし、絶え間ない視覚的フィードバックが提供されました。被験者が画像の順序を学習すると、研究者は視覚的な手がかりを取り除きました。被験者は、自分がどれだけの距離を進んだかという内部的な感覚のみを頼りに、画面が暗くなった状態でジョイスティックを動かさなければなりませんでした。これは「メンタル・ナビゲーション（精神的航行）」として知られています。被験者はこれを難なくこなし、シーケンスのメンタルマップを構築したことを示しました。次に、研究者は、練習していない開始点と終了点の間をナビゲートさせることで、推移的汎化（transitive generalization）をテストしました。最後に、構造的汎化（structural generalization）をテストするために、全く異なる画像セットを持つ第三の環境を導入しました。

生物学的被験者のパフォーマンスは驚く筆舌に尽くしがたいものでした。人間とサルは、新しいルートや新しい環境においても高い精度でナビゲートできただけでなく、元の環境を忘れることなくナビゲートする能力を維持していました。この「破滅的忘却（catastrophic forgetting）」の欠如は、人工システムが再現に苦慮する、生物学的学習の重要な特徴です。研究者が標準的なリカレントニューラルネットワークを用いてこの挙動を再現しようとした際、これらのモデルはあらゆるテストで失敗しました。視覚的フィードバックがある状態での視覚的タスクは学習できましたが、視覚的な手がかりが取り除かれたり、ルートが変わったり、あるいは環境が新しくなったりした瞬間に、モデルは崩壊しました。彼らは汎化することも、新しいことを学びながら古い教訓を保持することもできなかったのです。

突破口となったのは、研究者が脳の提案された構造を反映させたモデルを構築した時でした。彼らが「Vector-HaSH augmented Action policy」と呼ぶこのモデルは、連携して動く2つの主要な部分で構成されています。第一の部分は、グリッド細胞に基づく構造化されたメモリ・スキャフォールド（記憶の足場）です。これは、距離と方向を測定する、内容に依存しない硬固な「定規」と考えてください。それは画像が何であるかを気にせず、ただ画像間の距離のみを気にします。第二の部分は、その定規によって測定された距離に基づいてどのように動くかを学習するポリシー・ネットワークです。定規は固定され普遍的であるため、ある環境で学習されたポリシーは、直ちに新しい環境に適用することができます。このモデルは、脳の海馬のように、高速かつ一度限りの学習プロセスを用いて、新しい画像をこの定規に結びつけます。

この新しいモデルをテストした際、それは人間やサルの行動の全範囲を再現しました。モデルは視覚的フィードバックなしでナビゲートし、未知のルートを通り、即座に新しい環境に適応し、同時に古いものも記憶していました。研究者はその後、モデルの内部を調査し、その内部活動を、課題を実行しているサルの脳から記録された実際の電気信号と比較しました。その結果、正確な一致が見つかりました。被験者が目標からどれだけ離れているかを追跡するモデルの「距離」モジュールは、サルの内嗅皮質におけるニューロンの挙動と全く同じように振る舞いました。いつ動き、いつ止まるかを決定するモデルの「アクション」モジュールは、後頭頂皮質の活動と一致しました。これにより、脳がナビゲーションのタスクを、距離を測定するものとアクションを決定するものという、2つの明確に異なる計算へと分割していることが確認されました。

最後の一つの発見は、脳がどのようにこのシステムを校正（キャリブレーション）しているかを明らかにしました。研究者は、モデルが完璧に機能するためには、内部の定規を画像の配置に合わせるための特定のスケーリング係数を学習する必要があることを発見しました。もし定規の目盛りが、画像に対して大きすぎたり小さすぎたりすれば、モデルは苦戦しました。しかし、モデルが学習中にこのスケール係数を調整することを許可されると、脳がするように、モデルはすぐに完璧な整合性を見つけ出しました。これは、脳が探索している環境の構造に合わせて、自身の内部的な速度感や距離感を能動的にチューニングしていることを示唆しています。

本研究は、脳の学習、汎化、および記憶の能力は、より多くのデータやより強力な処理能力によるものではなく、特定のアーキテクチャ設計の結果であると結論付けています。空間の不変な構造を経験の具体的な内容から分離することで、脳は柔軟性と安定性の両方を備えたシステムを作り上げているのです。内嗅皮質・海馬回路は、過去の教訓を消去することなく新しい状況に適用することを可能にする普遍的なメトリック（尺度）を提供します。この記憶とアクションの因数分解こそが、私たちが新しい街に入った時に、道を見つけ、かつ自宅への帰り方も覚えていられる理由であり、標準的なリカレントニューラルネットワーク・モデルがいまだに達成できていない偉業なのです。