🤖 AI

Structure Abstraction and Generalization in a Hippocampal-Entorhinal Inspired World Model

本論文は、海馬 - 嗅内回路を模倣する脳に着想を得た階層モデルを提案し、これにより抽象的な関係構造を同時に抽出するとともに予測的な視覚的世界モデルを構築し、自己教師あり学習を通じて堅牢な構造的汎化と知識転送を可能にする。

原著者： Tianqiu Zhang, Muyang Lyu, Xiao Liu, Si Wu

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

原著者： Tianqiu Zhang, Muyang Lyu, Xiao Liu, Si Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたの脳を、単に本を暗記するだけでなく、物語がどのように書かれるかの「ルール」を理解する超賢い司書だと想像してみてください。この論文は、人間の脳の一部（海馬と内嗅皮質）がまさにそのことを行っている方法を模倣するコンピュータモデルを紹介しています。つまり、何が起きているか（what）と、それがどのように起きているか（how）を分離するのです。

以下に、論文のアイデアを簡単な比喩を用いて解説します。

1. 問題：「詳細すぎる」罠

あなたが猫がジャンプする動画を見たとき、あなたの脳は毛並み、色、背景、そして音を認識します。しかし、その「動作」（ジャンプ）を理解するためには、特定の猫を無視し、動きのパターンに焦点を当てる必要があります。

現在のほとんどの AI モデルは、すべての動画のすべてのピクセルを暗記しようとします。もし彼らが「赤い」ボールが転がる方法を学習した場合、「青い」ボールが転がる方法を理解するのに苦労します。なぜなら、彼らは色に固執してしまっているからです。彼らは「転がる」という抽象的なルールを学習していないのです。

2. 解決策：脳の二重システム

著者たちは、脳の 2 つの部分に着想を得たモデルを構築しました。

HPC（海馬）： これは写真アルバムだと考えてください。赤いボール、晴れた公園、猫のひげといった具体的な詳細を記憶します。これは特定の出来事の「エピソード記憶」を保持します。
MEC（内嗅皮質）： これは地図作成者だと考えてください。赤いボールや猫には関心を持ちません。関心があるのは動きの幾何学だけです。それは「物がどのように動くか」の地図を描きます。それは、どの物体が転がっているかに関係なく、「転がる」ことが地図上の特定の経路であることを知っています。

3. モデルの仕組み：「ゴースト運転手」の比喩

このモデルは、運転手とナビゲーターのように振る舞う 2 つの主要なステップで学習します。

ステップ 1：逆モデル（探偵）
モデルは動画を見て、「この物体を動かした見えない力は何だったのか？」と問います。2 つのフレームを見て、変化を引き起こした「速度」や「押し」を特定します。物体の色や質感を剥ぎ取り、純粋な動きの指示のみを残します。
- 比喩: 車が通り過ぎるのを見ていると想像してください。探偵は車の塗装には無関心で、ただ「左に曲がった、速度が上がった」と書き留めます。
ステップ 2：ワールドモデル（ナビゲーター）
ここで脳の部分が登場します。
- MEC（地図作成者） は、「左に曲がれ、速度を上げろ」という指示を受け取り、頭の中の地図上で点を移動させます。これは「連続アトラクタ動力学」と呼ばれる特別な数学的トリック（お椀の中で転がるビー玉のようなものだと考えてください）を使用して、次の点の位置を予測します。これにより、再利用可能な安定した動きの地図が作成されます。
- HPC（写真アルバム） は、地図上のその新しい位置を受け取り、「さて、点がここにあるなら、赤いボールは今はどう見えるだろうか？」と問います。そして詳細を埋め込みます。

4. 魔法のトリック：「ゴースト運転」

この論文の最も素晴らしい点は汎化です。モデルが「地図」（動きのルール）と「写真」（詳細）を分離したため、驚くべきことができるようになります。

シナリオ: モデルが黄色いリンゴが回転する方法を学習しました。
テスト: 研究者たちは、これまで見たこともない赤いリンゴに、同じ回転ルールを適用するよう求めました。
結果: モデルは、赤いリンゴが回転するのを一度も見たことがないにもかかわらず、赤いリンゴを黄色いリンゴと全く同じように回転させることに成功しました。それは、黄色いリンゴから「ゴースト運転手」（動きのルール）を取り出し、それを赤いリンゴに適用したのです。

それは、平坦な道路で自転車に乗る方法を学び、ペダリングの物理を理解したおかげで、丘での自転車乗りの方法を瞬時に知ることができるようなものです。特定の道路だけでなく、原理を理解したからです。

5. 証明されたこと

構造対内容: 彼らは、モデルの「地図作成者」部分（MEC）が、物体の色や質感に混乱することなく、回転や拡大縮小といった動きの純粋なルールを学習したことを示しました。
頑健性: モデルに長いフレーム系列（映画のようなもの）を予測させたとき、通常は時間が経つにつれてぼやけてしまいます（「伝言ゲーム」のように）。しかし、彼らは「視覚フィードバック」ループを追加しました。モデルがずれてきた場合、実際の動画を確認し、地図を修正して、進み続けます。
現実世界対架空の世界: モデルは、人間が物体を動かす実際の動画でトレーニングされました。それを 3D コンピュータシミュレーション（ロボットがブロックを動かす）でテストしたところ、驚くほどうまく機能しました。これは、特定の動画パターンだけでなく、一般的なルールを学習したことを証明しています。

まとめ

この論文は、物語（特定の物体）と脚本（動きのルール）を分離することで、動画を学習するコンピュータモデルを提示しています。脳が記憶（HPC）と空間マッピング（MEC）を分離するのを模倣することで、このモデルは物の動きを学習し、その動きのルールを全く新しい物体や環境に適用することを可能にします。これにより、以前の AI モデルが苦労していた「常識」のレベルを達成しています。

技術的概要：海馬 - 内嗅皮層に着想を得た世界モデルにおける構造の抽象化と一般化

問題定義

人間は、経験構造化された表現に抽象化し、多様な文脈におけるパターン推論と知識転移を促進する能力を有している。生物学的な海馬 - 内嗅皮層（HPC-MEC）回路が空間的および概念的な両方の空間を符号化することは知られているが、連続的で高次元のダイナミクスから抽象構造を同時に抽出するメカニズムは依然として十分に理解されていない。神経科学における既存の認知地図モデルは、スケーラビリティに苦しみ、事前の教師なし学習なしに高次元の現実世界の視覚シーンから直接抽象構造を抽出する方法を示すことができないことが多い。さらに、現在の世界モデルは、遷移ダイナミクスと感覚内容を混同（エンタングル）させる傾向があり、異なる物体や環境間で構造的パターンを一般化する能力を制限している。

本研究は、以下の 2 つの根本的な問いに答えるものである：

モデルは、事前の教師なし学習なしに、具体的な感覚内容の表現を同時に学習しつつ、連続から抽象構造を抽出することは可能か？
抽出されたこれらの構造を、多様な物体や環境にわたる堅牢な構造的一般化を促進するためにどのように活用できるか？

手法

著者は、HPC-MEC 回路の機能的分割を模倣する階層的で脳に着想を得た世界モデルを提案する。このアーキテクチャは、構造抽出のための逆モデルと、予測的世界モデルリングのためのHPC-MEC 結合モデルという 2 つの主要なコンポーネントから構成される。

1. アーキテクチャの概要

このモデルは、事前学習されたマルチスケール VQ-VAE を用いて観測埋め込み（ $s$ ）を抽出する生動画シーケンス上で動作する。コア処理は、2 つの明確な潜在空間で行われる：

海馬（HPC）： 内容に富むエピソード情報を符号化する。特定の感覚的詳細と文脈を捉える。
内嗅皮層（MEC）： 抽象的な関係構造を符号化する。速度駆動型の経路統合を実行するために**連続アトラクタ神経ネットワーク（CANN）**ダイナミクスを用いて実装される。

2. HPC-MEC 結合モデル

このモデルは、2 つの情報フローを採用する：

視覚推論フロー： 入力フレームは HPC 埋め込み（ $p$ ）に符号化され、その後、低次元の MEC 埋め込み（ $g$ ）に圧縮される。このフローは現在の状態を捉える。
生成フロー： モデルは、MEC 埋め込みに対して潜在遷移を適用することで未来の状態を予測する。MEC ダイナミクスは、ネットワークが安定した活動の「バンプ」を維持する CANN としてモデル化される。潜在遷移（ $z_t$ $z_{t}$ ）は速度演算子として機能し、このバンプをネットワークの計量軸に沿ってシフトさせ、次の状態（ $g_{t+1}$ $g_{t + 1}$ ）を生成する。
- 更新則は以下のように定義される： $g_{t+1} = g_t \oplus f_{forward}(z_t, g_t)$ 。ここで、 $\oplus$ は位相シフト演算子である。
視覚フィードバック： 自己回帰的な経路統合に内在する誤差蓄積を軽減するため、モデルは視覚フィードバックを組み込む。新しい観測が利用可能な場合、観測から推論された MEC 埋め込みが、次の予測ステップ前に生成された状態を修正する。

3. 潜在遷移推論のための逆モデル

高次元の観測から直接マッピングするのではなく、逆モデルは連続する MEC 埋め込み（ $g_t$ と $g_{t+1}$ ）の差から潜在遷移（ $z_t$ ）を推論する。

$z_t = f_{inverse}(g_{t+1} \ominus g_t)$
抽象的な MEC 空間の差に対して動作することで、モデルは HPC に符号化された冗長な視覚的特徴を除外し、低次元の遷移ダイナミクスを分離する。これにより、「物体がどのように動くか（構造）」と「物体が何か（内容）」が効果的に解離される。

4. 学習パラダイム

このモデルは、明示的な行動ラベルなしに観測シーケンスのみを用いた自己教師あり学習で訓練される。訓練は 3 つの段階で行われる：

フェーズ 1： 視覚推論フローと復号プロセスを訓練して観測埋め込みを再構成し、アライメントと正則化損失を通じて感覚入力と自己運動の手がかりの間の整合性を強制する。
フェーズ 2： 逆モデルを訓練して潜在遷移を推論し、遷移ダイナミクスを訓練して次の MEC 埋め込みを予測する。
フェーズ 3： 経路統合を用いた自己回帰生成を実行するためにシステム全体を共同で微調整し、初期状態と推論された潜在遷移のシーケンスのみに依存する。

主要な貢献

自己教師あり HPC-MEC 世界モデル： 著者は、ダイナミクスに関する明示的な事前知識を必要とせず、生動画シーケンスから抽象構造を同時に推論し、世界モデルを学習するフレームワークを導入する。
構造抽象化の分析： 原始変換ダイナミクス（回転、並進、スケーリング）をベンチマークとして使用し、モデルが外観とダイナミクスを成功裏に解離することを示す。これは周期性とクラス内構造共有を示し、MEC 埋め込みが異なる物体インスタンス間で共有される回転特徴を捉える一方、HPC 埋め込みは物体固有のアイデンティティを保持する。
構造的一般化： モデルは、類似の遷移ダイナミクスから共有構造を抽出し、それらを多様な環境や物体カテゴリ（ゼロショット転送）間で柔軟に再利用する能力を示す。これは、MEC に符号化された抽象構造と HPC に保存された内容詳細を統合することで達成される。

結果

このモデルは、トレーニング用に Something-Something v2（SSv2）データセットで評価され、3D 物体遷移（COIL-100、MIRO、OmniObject3D）およびシミュレーションロボット環境（Franka Kitchen、Block Pushing）を含む分布外（OOD）データセットでテストされた。

予測性能： モデルは堅牢な 1 ステップ予測と自己回帰予測を達成する。自己回帰タスクにおいて、視覚フィードバックの組み込みは、蓄積された経路統合誤差を修正することで生成品質を大幅に向上させる。
構造抽象化： 定量的分析により、MEC 埋め込み（ $g$ ）は、HPC 埋め込み（ $p$ ）よりもクラス内共有構造を捉えるのに効果的であることが示された。MEC 埋め込みで訓練されたデコーダは、HPC 埋め込みで訓練されたものと比較して、共有ダイナミクスに基づいた物体カテゴリの分類において高い精度を達成する。
遷移復号： モデルから導出された潜在遷移（ $z$ ）は、HPC または MEC 空間の状態遷移と比較して、遷移タイプ（回転、並進、スケーリング）の復号において最高精度（90.64%）を達成し、 $z$ が非常に意味に富み、内容から自由な構造を捉えていることを示している。
一般化： モデルは、ソース物体（例：黄色いリンゴ）からターゲット物体（例：赤いリンゴ）または異なるシーンへ潜在遷移を正常に転送し、ソースのダイナミクスに整合しつつターゲットの内容を保持するシーケンスを生成する。これは、自然環境（Franka Kitchen など）においてベースライン（LAPA、Moto、AdaWorld）が失敗したり、静的予測に退化したりする OOD 設定において、ベースラインを上回る性能を発揮する。
アブレーション研究： 階層的な分離（統合された潜在空間）または CANN ダイナミクス（標準的な MLP に置き換え）を除去すると、性能が大幅に低下し、解離されたアーキテクチャと CANN ベースの経路統合が、純粋なダイナミクスを分離し、一般化を可能にするために不可欠であることを確認する。

意義と主張

この研究は、脳に着想を得た自己教師あり学習による世界モデルの学習が、再利用可能な抽象知識の獲得をどのように促進するかを理解するための新たな計算フレームワークを提供する。HPC と MEC の機能的分離を模倣することで、モデルは、意味のある階層的潜在空間を維持しながら、実世界の動画シーケンスから抽象構造を効果的に抽出できることを示す。

著者は、そのアプローチが構造的一般化のメカニズムを提供し、システムが抽出された構造表現を新しい文脈と柔軟に結合することを可能にすると主張する。この能力は、エージェントが限られたデータから一般化可能なダイナミクスを学習し、未見の物体や環境に適用する、より堅牢な転移学習への道筋を示唆する。本研究は、認知地図の理論的神経科学モデルと、動画予測および潜在行動抽出における実践的な深層学習応用との間のギャップを埋めるものである。