💻 computer science

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

HiMemVLNは、階層型メモリシステムを導入することで、オープンソースのゼロショット視覚言語ナビゲーションにおける「ナビゲーション・アムネジア（航行性健忘）」の問題に対処し、長期的なローカライゼーションと視覚的想起を大幅に強化し、既存の最先端のオープンソース手法のほぼ2倍の性能を達成しています。

原著者： Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたの声を理解し、あなたと同じように世界を見ることができるロボットを想像してみてください。これは「Embodied AI（身体性AI）」という分野の夢です。そこでは、コンピュータは単にチャットをしたり計算したりするだけでなく、部屋の中を物理的に移動し、「キッチンに行ってコップを取ってきて」といった指示に従い、壁にぶつかることなく複雑な空間をナビゲートします。長い間、これらのロボットが動き方を学ぶには、人間が作成した膨大な量のトレーニングデータが必要であり、それが新しい家やオフィスに適応するのを遅らせる原因となっていました。最近、科学者たちはロボットに常識を与えるために、大規模言語モデル（LLM）と呼ばれる巨大な「脳」モデルを使い始めました。これにより、事前のトレーニングなしに、その場でナビゲーションを判断できるようになりました。しかし、そこには落とし穴があります。最も賢い脳は、使用料がかかり、自宅のビデオフィードをサーバーに送信するためプライバシーの懸念が生じる、高価なクラウドベースの扉の向こう側に閉じ込められているのです。オープンソースのモデル（無料のローカルな脳）も存在しますが、それらはしばしば混乱したり、自分の居場所を忘れたり、あるいは円を描くように歩き回ったりしてしまい、できることと、高価でクローズドソースなモデルができることとの間に大きな隔たりがあります。

そこで登場するのが、オープンソースのロボットの脳に、自分がどこにいたのか、そしてどこに向かっているのかを記憶させる方法であるHiMemVLNです。これは、実質的に彼らの「ナビゲーション健忘症」を治療するものです。研究者たちは、オープンソースのロボットが2種類の物忘れを起こしていることを発見しました。それは、周囲の状況を見失ってループ状に歩いてしまう短期的な健忘症と、元の目標を見失って数歩進んだ後にコースから外れてしまう長期的な健忘症です。これを解決するために、チームは人間の脳の仕組みに触発された「階層的メモリシステム」を構築しました。彼らは、視覚的なスケッチブックのように機能し、直前に訪れた部屋の地図を常に描き続けることで、自分が円を描いて歩いていないかを察知する**Short-Term Localer（短期局所記憶）を作りました。また、コンパスやミッションコントローラーのように機能し、「あなたは寝室から出発しました。キッチンに行く必要があります。そして、現在は間違った方向に進んでいます」と、ロボットに大局的な状況を常に思い出させるLong-Term Globaler（長期全域記憶）**も構築しました。

これら2つのメモリシステムを組み合わせることで、HiMemVLNは、以前は高価なクローズドソースのモデルにしか見られなかったレベルの信頼性で、オープンソースのロボットをナビゲートさせることを可能にします。テストにおいて、この手法は単にロボットがループを回避するのを助けるだけでなく、従来の最高のオープンソース手法と比較して成功率をほぼ倍増させました。シミュレーション環境において、この新システムは成功率30%、成功重み付き経路長（SPL）26.85を達成し、わずか**16%の成功率しか記録できなかった従来のオープンソースのリーダーであるOpenNavを大幅に上回りました。研究者たちは実際の部屋の中で車輪型のロボットを用いて実世界でのテストも行いましたが、そこでも競合を打ち破り、OpenNavの18%に対して32%**の成功率を達成しました。この研究は、ロボットに目の前の視覚的な周囲の状況と長期的な目標の両方を記憶させる構造化された方法を与えることで、クラウドに依存することなく、安全でプライベートかつ非常に有能なナビゲーションエージェントを構築できることを示唆しています。

技術要約: HiMemVLN

問題定義

本論文は、エージェントが自然言語の指示に基づいて3D空間をナビゲートする必要がある、連続環境（VLN-CE）における**視覚と言語のナビゲーション（VLN）**タスクに取り組んでいます。大規模言語モデル（LLM）エージェントはゼロショット・ナビゲーションにおいて有望な成果を示していますが、現在の最先端手法には2つの決定的な限界があります。

デプロイメントの障壁: 高性能な手法は、クローズドソースでクラウドホスト型のモデル（例：GPT-4o）に依存しており、これらは高いAPIコスト、予測不可能なレイテンシ、および機密性の高い空間データを含むリアルタイムの視覚ストリームを送信する際の重大なプライバシーリスクを伴います。
オープンソースモデルにおける性能ギャップ: オープンソースのLLMをゼロショット・ナビゲーションに使用しようとする既存の試みは、クローズドソースのモデルと比較して大幅な性能差に直面しています。著者らはその根本原因を**「ナビゲーション・アムネジア（航行性健忘症）」**であると特定しました。これは、エージェントが環境の状態やタスクの進行状況を保持できない現象です。これは以下の2つの形で現れます。
- 短期的な健忘（Short-term Amnesia）: 動的な視覚ストリームが離散的でしばしば反復的なテキスト記述に変換されることにより、以前訪れたビューと現在のビューを区別できなくなる現象。これにより、局所的なループや冗長な探索が発生します。
- 長期的な健忘（Long-term Amnesia）: 限定的なコンテキストウィンドウとオープンソースモデルの弱い暗黙的メモリにより、長期的な軌道にわたってグローバルな制約を維持できない現象。これにより、エージェントは意図したルートから逸脱し、元の指示との整合性を失います。

手法: HiMemVLN

ナビゲーション・アムネジアを軽減するために、著者らはマルチモーダル大規模言語モデル（MLLM）に階層型メモリシステムを統合したフレームワークであるHiMemVLNを提案しています。神経生物学における海馬のメモリ・インデックス理論に着想を得て、このシステムはメモリを短期（視覚優位）と長期（意味論的優位）のコンポーネントに分離しています。

1. 短期的なローカライザー・システム（視覚優位）

このモジュールは、オンライン視覚グラフメモリ（ $G_t$ ）を維持することで短期的な健忘に対処します。

メカニズム: エージェントがナビゲートする際、凍結されたCLIPエンコーダを使用してマルチビューRGB観測から視覚的特徴を抽出します。これらの特徴は、外観の埋め込み、訪問タイムスタンプ、および訪問回数を追跡するグラフのノードとして保存されます。
ローカリゼーション: 各ステップにおいて、現在の観測内容はコサイン類似度を介してメモリバンクと照合されます。一致が動的な閾値を超えた場合、エージェントは再訪問を認識します。
アクション: システムはMLLMに対してソフト制約を提供します。候補となる方向の「新規性（novelty）」を計算し、再訪問回数が多い方向や新規性が低い方向の優先度を下げることで、追加の監督を必要とせずに、冗長な探索や局所的なループを効果的に抑制します。

2. 長期的なグローバライザー・システム（意味論的優位）

このモジュールは、持続的なグローバル・ナビゲーション・スキーマを維持することで長期的なドリフトに対処します。

抽出: エピソードの開始時に、システムは指示から構造化されたスキーマ（主要な方向、最終ターゲットのランドマーク、およびナビゲーション・パターン）を抽出します。
状態追跡: エージェントの起点（CameFrom）を明示的に追跡し、過去 $k$ ステップの軌道を要約します。
アクション: 意思決定プロセスにおいて、グローバライザーはこのグローバルなコンテキストをMLLMのプロンプトに注入します。これにより、現在の進行方向がグローバルな意図および主要な方向と一致しているかをモデルに内省させ、ローカルなアクションが全体的な目標と一貫し続けるようにします。

3. 実行パイプライン

フレームワークはクローズドループで動作します。

知覚（Perception）: エージェントがパノラマRGB-D観測を取得します。
ウェイポイント予測（Waypoint Prediction）: トランスフォーマーベースの予測器がナビゲート可能なウェイポイントを生成します。
メモリ注入（Memory Injection）: 短期的なローカライザーと長期的なグローバライザーが履歴を処理し、構造化されたテキストコンテキスト（ローカリゼーション統計、グローバル・スキーマ）をMLLMのプロンプトに注入します。
意思決定（Decision）: MLLMは、指示、視覚的観測、およびメモリコンテキストに基づいて推論を行い、次のアクションを選択します。
実行（Execution）: 低レベルプランナーが動作を実行し、サイクルが繰り返されます。

主な貢献

HiMemVLNフレームワーク: プライバシー保護の制約下で、オープンソースのLLMが信頼性の高いゼロショットVLNを実行できるように設計された、新しい階層型メモリベースのアーキテクチャ。
認知科学的インスピレーション: 視覚優位の短期的なローカライザーと意味論的優位の長期的なグローバライザーの統合。これは、空間メモリの認知理論をナビゲーション・アムネジアに対する建築的解決策へと直接翻訳したものです。
性能の向上: 本システムは、オープンソースとクローズドソースのモデル間の性能ギャップを大幅に縮小し、クラウドAPIに依存することなく、最先端に近い結果を達成しました。

実験結果

著者らは、シミュレーション環境（Habitat/MP3D）および実世界環境（Unitree Go2Wロボットを使用）の両方でHiMemVLNを評価しました。

シミュレーション環境 (VLN-CE):
- HiMemVLN（Qwen2-VL-72Bを使用）は、**成功率（SR）30%およびオラクル成功率（OSR）36%**を達成しました。
- これは、以前のオープンソースの最先端であるOpenNav（SR: 16%, OSR: 23%）を大幅に上回り、いくつかのクローズドソースモデル（例：SR 29%のSmartWay）に匹敵またはそれを超える結果です。
- 定性的分析では、OpenNavがループや逸脱行動（アムネジア）を示したのに対し、HiMemVLNは複雑な多段階の指示を正常に実行できることが示されました。
実世界環境:
- 物理的な屋内テストにおいて、HiMemVLNはOpenNavのSR 18%に対し、**32%**のSRを達成しました。
- ナビゲーション誤差（NE）は、OpenNavの4.27mからHiMemVLNの3.54mへと減少しました。
- システムは、実世界のデプロイに必要な微細なシーン知覚と方向のローカリゼーションにおいて堅牢性を示しました。
アブレーション研究:
- 短期的なローカライザーを除去すると、局所的なループが発生しました。
- 長期的なグローバライザーを除去すると、軌道のドリフトと方向感覚の喪失が発生しました。
- 両方のシステムを組み合わせることで、最適な性能が得られました。

重要性と主張

本論文は、HiMemVLNが、オープンソースモデルを使用して安全で自律的なエンボディド・エージェントをデプロイするための実用的な経路を提供すると主張しています。「ナビゲーション・アムネジア」という重要な問題に対処することで、このフレームワークは、オープンソースのLLMが、高価でクラウド依存のクローズドソースモデルに匹敵する信頼性を達成することを可能にします。これは、データのプライバシー、低レイテンシ、およびコスト効率が極めて重要となる家庭用サービスや産業用ロボティクスのアプリケーションにおいて特に重要です。本研究は、構造化されたメモリメカニズムが、長期的な推論タスクにおけるオープンソースモデル固有の限界を補完できることを実証しています。