TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation

技術的サマリー：TrajRAG – ゼロショット物体ナビゲーションのための幾何的意味経験の検索

問題定義
既存のゼロショット物体目標ナビゲーション（ObjectNav）手法は、しばしば大規模言語モデル（LLM）やビジョン・言語モデル（VLM）から導出された常識知識に依存しています。しかし、この知識は通常、3 次元の身体的空間経験ではなく、インターネット規模のテキストに基づいています。さらに、一部の手法はナビゲーション中に収集されたエピソード的観測を利用しますが、これらは各エピソード後に破棄されることが多く、生涯にわたる経験の蓄積を妨げています。その結果、エージェントは冗長な探索に苦しみ、未見の環境における意思決定を誘導するためのシーン固有の幾何的・意味的事前知識を検出する能力を欠いています。

手法
著者は、ナビゲーション経験の「長期的」記憶を構築するために設計された検索拡張生成フレームワークであるTrajRAG（Trajectory RAG）を提案します。このシステムは、以下の 3 つの中核メカニズムを通じて動作します。

1. トポロジカル・ポーラー（Topo-Polar）軌道表現：
   再訪、ループ、空間的重なりによって引き起こされる生 RGB-D 観測軌道の冗長性に対処するため、TrajRAG は連続的な観測をコンパクトで構造化された表現に変換します。

   • 骨格化：RGB-D データから意味マップを構築し、 navigable な領域を骨格化してトポロジカルノードを抽出します。
   • ポーラー符号化：各トポロジカルノードについて、周囲の空間を 12 のポーラーセクター（それぞれ 30 度）に離散化します。各セクターは観測された意味ラベル（物体、障害物、未知、または自由）を記録します。これにより、エージェントの向きの違いに対して頑健な、局所的な幾何的・意味的レイアウトの「指紋」が作成されます。
   • 剪定：システムは連続する同一ノードをマージし、時間的ループを剪定することで、保存される軌道が効率的でループフリーであることを保証します。

2. 階層的チャンキングと検索アーキテクチャ：
   TrajRAG は、これらのトポロジカル・ポーラー軌道を階層構造に整理し、効率的な粗から細への検索を可能にします。

   • チャンク：各チャンクは、トポロジカル構造、自然言語記述、学習された埋め込みを含む、単一のトポロジカル・ポーラー軌道に対応します。
   • 粗インデックス（要約）：類似のトポロジカル構造を持つ軌道はグループ化され、統合された「トポロジカル・ポーラー要約」にマージされます。これらの要約は、グループ全体のレイアウトの記述子として機能します。
   • 微細インデックス（軌道エンコーダ）：ノード埋め込み用のエンコーダのみのトランスフォーマーと、逐次的依存関係用のデコーダのみのトランスフォーマーを組み合わせた専用軌道エンコーダが、個々の軌道を埋め込みます。このエンコーダは、同じナビゲーション目標を持つ軌道が埋め込み空間内で近接するように、対照学習を通じて訓練されます。
   • 検索プロセス：ナビゲーション中、候補となる探索パスが軌道仮説を生成します。システムはまず、トポロジカル・ポーラー要約に対する粗マッチングを実行して関連するグループを特定し、次にそのグループ内での微細マッチングを実行して特定の軌道チャンクを検索します。

3. ナビゲーションとインクリメンタル学習：

   • 推論：各タイムステップにおいて、エージェントは意味マップを構築し、フロンティアを特定します。候補パスが生成され、TrajRAG が関連する過去の経験（幾何的・意味的レイアウト）を検索して、プランナー（例えば LLM）が最適な次のウェイポイントを選択するのを支援します。
   • 蓄積：エピソードが終了した後、新しい軌道は TrajRAG にインクリメンタルに統合されます。既存の要約に対する意味的および幾何的マッチングが行われます。既存のグループと一致する場合は要約が更新され、一致しない場合は新しいグループが作成されます。これにより、システムは生涯にわたるナビゲーション経験を蓄積できます。

主要な貢献

• トポロジカル・ポーラー表現：空間レイアウトと意味的文脈をコンパクトに符号化する新規手法であり、生エピソード的観測の冗長性を効果的に除去しつつ、特徴的な幾何的・意味的指紋を保持します。
• 階層的検索フレームワーク：シーンレイアウト（要約）によるフィルタリング、次に特定の軌道詳細（埋め込み）によるフィルタリングという、粗から細への検索戦略により、効率性と精度のバランスを取ります。
• 生涯経験の蓄積：エピソード的記憶を長期的知識ベースに継続的に統合するメカニズムにより、エージェントは複数のエピソードおよびシーンにわたる過去の相互作用から学習できます。
• 常識と経験の架橋：このフレームワークは、大規模モデルからのシーン非依存推論と、エージェント自身の履歴から検索されるシーン固有の幾何的・意味的経験を統合します。

実験結果
著者は、Habitat シミュレータ内のMP3D、HM3D-v1、およびHM3D-v2データセットを用いたゼロショット ObjectNav ベンチマークで TrajRAG を評価しました。

• 性能：TrajRAG はすべてのベンチマークで最先端の性能を達成し、既存の LLM/VLM ベースの手法や他の RAG 定式化（GraphRAG やテキストベースの RAG など）を上回りました。
  • HM3D-v2では、成功率（SR）が78.1%、経路長重み付き成功率（SPL）が**40.2%**を達成しました。
  • HM3D-v1では、SR が62.5%、SPL が**33.9%**を達成しました。
  • MP3Dでは、SR が42.6%、SPL が**18.0%**を達成しました。
• アブレーション研究：実験により、トポロジカル・ポーラー表現における幾何的および意味的手がかりの組み合わせが、テキストのみの特徴や幾何学のみの特徴を使用する場合よりも優れていることが確認されました。さらに、階層的検索戦略（粗から細）が決定的に重要であることが示されました。粗段階を除去したり、汎用的なテキスト埋め込みを使用したりすると、性能が大幅に低下しました。
• クロスデータセット汎化：あるデータセット（例えば HM3D-v1）から構築された検索コーパスが、別のデータセット（例えば MP3D）におけるナビゲーションを効果的に誘導し、学習されたトポロジカル・意味的表現の転移可能性を実証しました。

重要性
本論文は、TrajRAG が現在のゼロショット ObjectNav の根本的な限界、すなわち蓄積されたシーン固有の経験の欠如に対処していると主張しています。事前学習された常識に依存するのではなく、幾何的・意味的経験を検索することにより、TrajRAG はエージェントが複雑で未見の環境において、より情報に基づいた意思決定を行うことを可能にします。この研究は、構造化された生涯記憶システムを通じて大規模モデルの推論と身体的 3 次元経験の間のギャップを埋めることが、ナビゲーションの精度と効率を大幅に向上させることを実証しています。著者はこれを、短期的記憶が将来的な意思決定を支援するために徐々に長期的知識へと統合される、身体化エージェントにおける継続的学習への一歩として位置づけています。