技術要約: GLAM および GLAM NAV

問題提起

能動的な探索と意味論的なナビゲーションには、エージェントが部分的な観測からメモリを構築し、将来の移動をサポートするために空間メモリがどのように進化するかを予測し、それらの予測を実行可能な計画へと変換することが求められる。現在の手法の多くは、明示的なマップや意味論的な事前知識に依存しているが、将来のマップ表現と目標指向のウェイポイント・プランニングを統合的に学習する統一されたフレームワークを欠いている。核心となる課題は、計算コストの高いピクセルレベルの再構成に頼ることなく、単なる過去の履歴の検索を超えて、目標指向の運動に伴う空間メモリの進化を予測することである。

手法

システムアーキテクチャ: GLAM NAV

著者らは、GLAM（Goal-conditioned Latent World Model）を中心とした完全なナビゲーションシステムであるGLAM NAVを提案している。このシステムは、相互作用する4つのコンポーネントで構成される：

1. 知覚、検索、および目標検証: RGB-D観測とロボットのポーズを潜在特徴量にエンコードし、それらをグローバルマップに投影し、ターゲットが現在観測されているか、あるいはメモリ内に格納されているかを検証する。
2. 時空間メモリモジュール: ランドマークメモリとグラフボクセルメモリを組み合わせた疎な空間メモリを維持する。これは新しい観測に基づいて更新され（ユニットの追加、融合、または更新）、目標に関連するコンテキストを検索する。
3. GLAM 予測モジュール: コアとなる潜在世界モデルであり、履歴のマップトークン、ナビゲーション目標、および現在のロボットのポーズを入力として受け取る。このモジュールは、結合された2つの出力を予測する：
   • 将来のマップ表現（空間メモリ特徴量）。
   • ロボット中心のウェイポイント潜在変数（ナビゲーション計画）。
4. プランニングおよび制御レイヤー: 潜在的な予測を、幾何学的な実行、到達可能性のチェック、衝突回避を処理する実行可能な動作へと接地（グラウンディング）させる。

GLAM モデル

GLAMは、JEPA（Joint-Embedding Predictive Architecture）様式に従う。将来のRGBフレームを再構成する代わりに、マップレベルの潜在トークン上で直接動作する。

• 入力: 履歴のマップトークン ($Z_{t-H+1:t}$)、目標記述 ($g$)、および現在のポーズ ($p_t$)。
• 出力: 予測された将来のマップトークン ($\hat{Z}_{t+1:t+F}$) およびウェイポイント潜在変数 ($\hat{E}^w_{t+1:t+F}$)。
• メカニズム: 共有バックボーンが、単一のフォワードパス内で視覚的クエリとウェイポイントクエリを処理する。モデルは、メモリ、目標、およびポーズの共有コンテキストから将来の状態を予測するために、学習可能なクエリ ($Q_v, Q_w$) を使用する。
• ウェイポイントのエンコーディング: ウェイポイントは、ロボット中心の平面的なポーズ増分 ($\Delta x, \Delta y, \Delta \theta$) として表現される。学習済みのエンコーダ・デコーダ・ペア ($\phi, \rho$) が、これらを2560次元の潜在空間へと、またその逆へとマッピングする。このエンコーダ・デコーダは、教師ありの潜在空間を提供するために、世界モデルの学習中は凍結される。

学習パラダイム

• データ収集: Habitatシミュレータ内のHM3D v0.2シーンアセットを用いたObjectNavタスクからのエキスパートの軌跡を使用する。軌跡は、履歴のマップトークン、将来のマップターゲット、およびエキスパートのウェイポイントを含む、マルチタイムスケールの予測サンプルへと分割される。
• 損失関数: モデルは、将来のマップ特徴量とウェイポイント潜在変数の両方に対して、マスク付き回帰目的関数（平均二乗誤差）を用いて学習される。
  • $L = \lambda_v \text{MSE}_{m_v}(\hat{Z}, Z^*) + \lambda_w \text{MSE}_{m_w}(\hat{E}^w, \phi(U^*))$
  • 学習では言語モデルのクロスエントロピー項は使用せず、連続的な表現の回帰に焦点を当てる。
• 認知的動機付け: 設計は、認知地図の説明（例：空間表現のための海馬・腸内核、および目標指向のプランニングのための前頭前皮質）から機能的に着想を得ているが、生物学的な神経回路を直接実装していると主張するものではない。

主な貢献

1. マップに基づいた潜在モデル: 共有表現空間内で、将来の空間メモリ特徴量と目標指向のウェイポイント潜在変数を結合して予測する、新しいモデル。
2. 学習定式化: 将来のRGB再構成を必要とせずに、マルチタイムスケールの軌跡監督と学習済みウェイポイント潜在インターフェースを組み合わせる手法。
3. 統合されたナビゲーションシステム: マッチド・エピソード・シミュレーション比較と定性的な実世界デモンストレーションを通じて評価された完全なシステム（GLAM NAV）。これにより、実際のセンシングと運動を用いて空間メモリを再利用できることが示された。

実験結果

シミュレーション (HM3D-ObjectNav)

再現された BSC-Nav ベースラインに対し、HM3D-ObjectNavベンチマークの50%のサブセットで評価を行った：

• 成功率 (SR): 78.50% (BSC-Nav) から 86.89% (GLAM NAV) へ向上し、8.39パーセントポイントの絶対的な利得を示した。
• 経路長で重み付けされた成功率 (SPL): 47.70% から 48.35% へ向上し、0.65パーセントポイントの利得を示した。
• 解釈: これらの結果は、タスク完了の信頼性が大幅に向上したことを示しており、経路効率については緩やかな改善にとどまっている。

実世界デモンストレーション

システムは、オフィス環境において Astribot S1 車輪型デュアルアーム・ヒューマノイドに展開された：

• 能動的探索: ロボットは、構築済みのマップがない未知の環境において、植物へと正常にナビゲートし、グローバルな時空間メモリを漸進的に構築した。
• メモリ検索とQA: システムは、歴史的な空間関係（例：植物の隣にゴミ箱があることの特定）を正常に検索し、ターゲットが視野から外れた後も、以前に観察した場所へとナビゲートすることに成功した。

意義と主張

論文は、GLAM NAVがナビゲーションにおける予測的な空間表現の価値を実証していると主張している。将来のマップの進化とウェイポイント・プランニングを、グローバルな時空間メモリ上の結合された潜在予測問題として扱うことで、本システムは、構造化されたメモリを持つ強力なベースラインと比較して、ターゲットを見つけるための成功率を高めている。

著者らは、システムが以下の方法で作動することを強調している：

• 持続的な空間表現とメモリベースの予測を、計算設計の原則として使用すること。
• 潜在予測（将来のコンテキストと意図）と物理的制御（幾何学的実行）を分離することで、検証と更新のために実際の観測に依存しながら、予測されるメモリ状態に基づいて計画を立てることを可能にしている。

限界

著者らはいくつかの制約を認めている：

• 予測範囲: モデルはエキスパートの軌跡に基づいて学習されており、目標条件付きであるが、任意の行動シーケンスをシミュレートするものではない。あらゆる反事実的な未来をシミュレートするものではない。
• 不確実性: モデルは決定論的な予測を行い、不確実性を明示的に較正したり、部分的な観測下での複数の実現可能なルートを表現したりはしない。
• メモリの忠実度: パフォーマンスは、視覚的特徴、深度投影、およびポーズのアライメントの精度に依存する。トークンシーケンスの切り捨てにより、大きな環境における空間的詳細が欠落する可能性がある。
• 堅牢性: 現在の評価では、大幅な位置推定のドリフト、永続的なシーンの変化、またはテストされたサブセットを超える大幅に大きな環境に対する堅牢性は確立されていない。