技術的サマリー：好奇心を忘れないこと

問題定義

3D 環境におけるスパース報酬・長視野タスクにおいて、有用な行動の学習には探索が不可欠な前提条件である。好奇心駆動の強化学習（RL）は、予測誤差に基づいて内在的報酬を生成するメカニズムを提供するが、これを複雑で写実的な環境に拡張することは困難であることが判明している。既存のアプローチはしばしば「記憶喪失的」な探索に陥り、エージェントが局所的なループに閉じ込められる。これは以下の理由による：

1. エピソード的コンテキストの欠如: 過去の観測履歴がないため、エージェントは同じ場所を繰り返し訪問し、すでに忘却した状態に対して「新鮮な」新奇性報酬を受け取る。
2. 空間的持続性の欠如: 標準的な学習された世界モデル（例：逆/順方向ダイナミクスモジュール）は、経験に対する統計的事前分布として機能するが、持続的な記録としては機能しない。その結果、これらはシーンの一貫性を維持できず、再訪問領域において偽の予測誤差を生成し、誤った新奇性シグナルを提供する。

核心的な課題は、明示的な幾何学的マップや深度センサーに依存することなく、デプロイ時に視覚入力（RGB）のみを使用して写実的な 3D シーンをナビゲートし、反復的な行動を回避しながら、好奇心駆動のエージェントを実現することである。

手法

本論文は、持続的な世界モデルとエピソード的エージェントを結合した、Remember to be Curiousというエンドツーエンドのフレームワークを提案する。

1. 持続的 3D 順方向モデル（世界モデル）

信頼性の高い好奇心シグナルを提供するため、著者はオンライン**3D ガウススプラッティング（3DGS）**モデルを順方向世界モデルの代理として利用する。

• メカニズム: このモデルは、RGB、深度、カメラ姿勢といった特権的な訓練時観測のストリームを取り込み、シーンの持続的な 3D 表現（$G_t$）を構築する。
• 好奇心報酬: 各ステップにおいて、モデルは現在の 3DGS 状態とエージェントの行動に基づいて、次の観測（$\hat{o}_{t+1}$）の予測をレンダリングする。好奇心報酬（$r^{cur}_t$）は、レンダリングされた視点と実際の観測（$o_{t+1}$）との間の視覚的予測誤差から導出される。
• 持続性: 標準的なニューラル順方向モデルとは異なり、3DGS は環境の連続的で更新された記録を維持する。これにより、予測誤差はモデルが以前に訪問した状態を「忘却」したことに起因するのではなく、真に新奇な領域からのみ生じることを保証する。
• 報酬の定式化: 誤差はローパスフィルタリングされ、ダウンサンプリングされて、高周波ノイズではなく意味のある構造的な新奇性に焦点を当てる。二値報酬が発行される：説明されていない視点に対しては$r_{new}$、モデルですでに説明済みの視点に対しては小さなペナルティ$r_{old}$である。

2. エピソード的エージェントアーキテクチャ

エージェントは、RGB 観測と行動のシーケンスのみを操作し、明示的な幾何学的マッピングなしに内部エピソード記憶を維持する、トランスフォーマーベースの方策である。

• 入力処理: 各タイムステップの RGB フレームは、先行する行動（プルーケル線画像として符号化）とペアリングされる。これらは画像エンコーダによって処理され、DINOv2 特徴量で強化される。
• 記憶メカニズム: エージェントはハイブリッド注意機構を採用する：
  • スライディングウィンドウ因果注意: 局所的な時間的コンテキストを効率的に処理する。
  • グローバル線形注意メモリ: TTT および LoGeR アーキテクチャに触発されたこのモジュールは、エピソード全体にわたって情報が伝播することを可能にする実行中の隠れ状態（$h_t$）を維持し、長視野の計画（例：新しい分岐を見つけるための後退）を可能にする。
• 訓練: 方策は、好奇心報酬を唯一のシグナルとして使用して PPO により訓練される。報酬がスパースになった際に反復的な行動への収束を防ぐため、訓練時のロールアウトには、学習済み方策と一様ランダム方策の混合（訓練を通じて 20% から 0% までスケジュール調整）およびエントロピー正則化が含まれる。

3. デプロイ

テスト時には、エージェントは RGB フレームのストリームのみに基づいて動作する。デプロイ中、3DGS 順方向モデルは使用されない；エージェントは、ナビゲーションのために完全に学習されたエピソード的コンテキストの内部表現に依存する。

主要な貢献

1. 好奇心のための二重要件: 本論文は、写実的な 3D 環境における効果的な好奇心には、忘却された状態からの偽の新奇性を回避するための持続的な世界モデルと、歴史的コンテキストを用いて新奇な領域へと計画するためのエピソード的エージェントの両方が必要であることを実証する。
2. エンドツーエンドの RGB みの方策: 提案されたエージェントは、デプロイ時に明示的な幾何学的マップ、深度センサー、または位置特定モジュールを必要としない。これは視覚入力のみから複雑な 3D シーンのナビゲーションを学習する。
3. 代理としての持続的 3DGS: 本作業は、空間的忘却に苦しむ標準的な学習済み順方向モデルの限界に対処するため、好奇心シグナルに必要な空間的持続性を提供するためにオンライン 3D ガウススプラッティングを利用する。
4. 創発的な長視野行動: エージェントは、階層的な目標選択や模倣学習なしにはスパース報酬設定で学習が困難な、すでに視た領域を横断（後退）して環境の未視の「分岐」を発見する行動を学習する。

実験結果

エージェントは、Habitat Matterport 3D (HM3D) データセットを用いて、純粋に好奇心に基づいて訓練された。

• 探索性能: HM3D および Gibson データセットにおいて、エージェントは、3D シーンの完全性と未観測点までの平均距離という点で、最先端の RL ベースのアクティブマッピングベースライン（ANS, OccAnt）を上回る。これは、ベースラインがしばしば真の深度や明示的なマップに依存するのに対し、RGB 入力のみを必要としながら、より高いカバレッジをより速く達成する。
• アブレーション研究:
  • 世界モデル: 持続性を除去すること（短期記憶または標準的な ICM を使用すること）は、エージェントが局所的なループに崩壊するか、立ち往生する原因となる。
  • エージェント記憶: エージェントのコンテキストウィンドウを縮小するか、RNN を使用すると性能が低下する。非対称メモリ（クリティックのみがコンテキストを持つ）は、完全なエピソード的メモリよりも性能が劣り、方策が履歴を保持する必要性を確認する。
• ダウンストリーム適応: 事前訓練されたエージェントは、スパース報酬のダウンストリームタスクに対して数エピソードのみでファインチューニングされた：
  • リンゴの収穫: 最初から訓練されたエージェントを上回り、特に報酬が非常にスパースなシナリオ（リンゴが少ない場合）で優れていた。
  • 画像目標ナビゲーション: 特定の目標視点に到達するために一般的な探索能力を正常に転用し、最初から訓練されたベースラインを上回った。
• ゼロショット汎化: エージェントは、さらに訓練することなく、分布外で AI 生成された 3D 世界（Hobbit World, Spaceship）に汎化し、レンダリングパイプラインや美学の違いにもかかわらず、廊下をナビゲートし、衝突を回避した。

意義と主張

本論文は、世界に対する持続的なモデルとエピソード的エージェントを結合することが、複雑で写実的な 3D 環境への好奇心駆動の探索を拡張するための実用的な道筋を提供すると主張する。

• 世界モデルに関する控えめな主張: 著者は、3DGS の使用が「ダイナミクスフリー」の世界モデルの代理であり、エージェントを静的シーンに限定していることを認めている。彼らは、行動条件付きの動画生成モデルが成熟するにつれて、同様の空間的持続性とクローズドループのオンライン更新を達成できる限り、それらが最終的に 3DGS を置き換える可能性があると提唱している。
• 将来の作業への示唆: この研究は、将来の世界モデルのためのガイドとして機能し、空間的持続性と内部表現を継続的に更新する能力が、信頼性の高い内在的動機付けに厳密に必要であることを強調する。
• 汎化: この作業は、持続的な記憶に根ざした好奇心駆動の探索が、明示的なマッピングや模倣学習によるブートストラップなしに、効果的な探索者であるだけでなく、多様なダウンストリームタスクに非常に適応可能なエージェントを生み出すことを実証する。