技術要約: MemVLN – 視覚と言語ナビゲーションのためのエピソード記憶と手続き型記憶

問題提起

連続環境における視覚と言語ナビゲーション（VLN-CE）では、エージェントは事前のマップや深度・オドメトリといった補助センサーに頼ることなく、自然言語の指示と自己中心的なRGB観測に基づいて、未知の3D空間をナビゲートする必要があります。核心となる課題は、以下の2つの相反する要求を同時に満たすことです：

1. 長期的な一貫性（Long-Horizon Consistency）: エージェントは、長距離の経路において軌道の整合性を維持し、ドリフトを防ぐために、長期的な視覚履歴を保持しなければなりません。
2. リアルタイムのレイテンシ（Real-Time Latency）: エージェントは、連続的で動的な環境において効果的に機能するために、最小限のレイテンシ（高いFPS）で低レベルのアクションを実行しなければなりません。

既存のアプローチは、これらのニーズのバランスを取ることに苦慮しています。ビデオベースの手法は、固定された疎なフレームをサンプリングすることで時間的な密度を犠牲にすることが多く、また、トークンのプーリングやマージングによって視覚トークンを圧縮する手法もありますが、これは空間的な詳細を損ない、高度な位置エンコーディング（例：M-RoPE）や現代的なトランスフォーマー・アーキテクチャと衝突します。さらに、大規模視覚言語モデル（LVLM）の自己回帰的な性質は、重大な推論レイテンシを導入するため、リアルタイム制御を困難にします。

メソドロジー: MemVLN フレームワーク

MemVLNは、人間の記憶システムを模倣することで、長尺のビデオコンテキストとリアルタイムの応答性を両立するように設計された、新しいVLNフレームワークです。これは、連続的な観測を処理するための視覚エンコーダーと、指示の解釈およびアクション生成のための大規模言語モデル（LLM）を統合しています。このアーキテクチャは、生物学的な着想に基づいた2つのコアメカニズムに依存しています。

1. ピラミッド解像度を備えたエピソード記憶（Episodic Memory with Pyramidal Resolution）

広範な視覚履歴を効率的に管理するために、MemVLNは一様なサンプリングやトークンマージングではなく、ピラミッド解像度戦略を採用しています。

• メカニズム: 履歴となる観測は、3つの時間的階層（即時、短期、長期）に分類されます。
  • 即時フレーム（最も新しいもの）は、精密な局所的キューを捉えるために高解像度で処理されます。
  • 短期および長期フレームは、トークン数を最小限に抑えつつグローバルな経路の一貫性を保持するために、段階的にダウンサンプリング（空間圧縮）されます。
• 根拠: アテンション分析により、最近の観測がモデルの注目の大部分を占める一方で、遠い過去の履歴は必要なコンテキストを提供するものの、知覚的な忠実度はそれほど必要とされないことが明らかになっています。
• 利点: トークンマージングは、一様な2D空間グリッドを破壊し、M-RoPEのような位置エンコーディングと衝突しますが、ピラミッド解像度はトークン化の前の生のピクセル空間でダウンサンプリングを行います。これにより、厳密な空間トポロジーが維持され、Qwen3-VLやDeepStackといった現代的なLVLMバックボーンとの互換性が確保されます。

2. 高速アクションのための手続き型記憶（Procedural Memory for Fast Action）

自己回帰的なデコーディングによるレイテンシのボトルネックを克服するために、MemVLNは手続き型記憶に着想を得た高速アクションメカニズムを導入しています。

• メカニズム: モデルがトークンごとにアクションシーケンス（例：「左に30度回転」）を生成する代わりに、連続的な制御信号をコンパクトな語彙であるアトミックな中間レベル・アクション・トークンにマッピングします。
• 実装: これらの拡張されたアクション（例：「前進」を表す<a1>、「左に回転」を表す<a2>）は、LLMの語彙内における単一のトークンです。
• 利点: これにより、モデルは複雑なナビゲーション決定を**シングルフォワードパス（一発のデコーディング）**で予測でき、通常は遅延の原因となる反復的なデコーディングループを回避できます。

主な貢献

1. MemVLN アーキテクチャ: 長い形式の視覚観測を効果的に活用しながら、推論速度を14 FPSまで向上させた新しいVLNモデル。
2. 生物学的着想に基づく記憶メカニズム:
   • エピソード記憶: 高忠実度な局所ナビゲーションと圧縮されたグローバル履歴のバランスを取るピラミッド解像度戦略により、トークン予算を増やすことなく観測管理を最適化します。
   • 手続き型記憶: 中間レベルのアクションに単一トークンの語彙を使用する高速アクションモジュールにより、自己回帰的デコーディングをバイパスして推論レイテンシを削減します。
3. 最先端のパフォーマンス: 単眼RGB入力のみを使用しながら、標準的なVLN-CEベンチマーク（R2RおよびRxR）において、優れた汎化性能が深度やパノラマセンサーの欠如を補完できることを実証しました。

実験結果

著者らは、Qwen3-VLバックボーンを用い、R2R-CEおよびRxR-CEベンチマーク（Val-Unseenスプリット）でMemVLNを評価しました。

• パフォーマンス:
  • MemVLN-8Bは、R2Rにおいて65.3%のOracle Success (OS)および58.4%のSuccess Rate (SR)、RxRにおいて66.0%のSRおよび**57.3%のSuccess weighted by Path Length (SPL)**を達成し、最先端の結果を出しました。
  • MemVLN-4Bは、ベースラインのQwen3-VL-4BをR2Rで5.8% SR、RxRで9.7% SR上回りました。
  • 本モデルは、単一視点のRGB入力のみを使用しているにもかかわらず、既存のウェイポイントベースの手法や連続制御手法、および他のVLMベースのアプローチ（例：NaVILA, Uni-NaVid, StreamVLN）を凌駕しました。
• 効率性:
  • 手続き型記憶メカニズムは、標準的な自己回帰的デコーディングと比較して、推論レイテンシにおいて7倍の高速化を実現し、スループットを2 FPSから14 FPSへと向上させました。
  • アブレーション研究により、高速アクションモジュールがR2Rで1.8%、RxRで2.1%のSR向上をもたらすと同時に、レイテンシを劇的に削減したことが確認されました。
• アブレーションによる洞察:
  • ピラミッド解像度: 「Ascending（上昇型）」構成（最近の高解像度フレームを優先する設定）が最高のパフォーマンスを示し、非ピラミッド型のベースラインと比較してR2RにおいてSRを1.2%、SPLを1.9%向上させました。
  • 学習データ: パフォーマンスはデータ量に応じてスケールしました。DAggerによって生成された合成データの導入は、OSとSRを大幅に改善し、インタラクティブなオンポリシーデータの価値を浮き彫りにしました。

意義と主張

本論文は、MemVLNが連続環境におけるVLNモデルの展開に向けた、スケーラブルで堅牢な経路を確立すると主張しています。ピラミッド解像度を通じて、計算コストを抑えつつ長期間のコンテキストの必要性を切り離すことで、MemVLNは、単眼RGB入力と標準的なLVLMバックボーンのみを使用して、リアルタイムかつ高性能なナビゲーションが可能であることを証明しました。この研究は、将来のエンボディド・エージェントが、特殊なセンサーや複雑なモジュール型パイプラインを必要とせず、時間的一貫性と反応速度の両方を備えた統一された視覚言語フレームワークに依存できることを示唆しています。