技術サマリー: LocalNav

問題提起

視覚言語モデル（VLM）は、エージェントが一般的なカテゴリではなく、特定の意味的に複雑なターゲット（例：「電子レンジの下にある引き出し」）を特定できるオープンボキャブラリーのオブジェクトナビゲーション（ObjectNav）を可能にし、エンボディド・ナビゲーションに革命をもたらしました。しかし、最先端（SotA）のVLMは、計算資源の限られたロボットハードウェア（例：Jetson Orinのような組み込みGPU）上でのローカル実行には計算負荷が高すぎるという、重大なボトルネックが存在します。その結果、これらのシステムは通常、クラウド実行に限定されており、ネットワーク遅延や依存性の問題が生じ、低遅延かつリアルタイムなロボット制御を妨げています。

既存のアプローチは、以下の二極化に直面しています：

1. 低レベル動作予測（VLA）: これらのモデルは離散的な動作を直接予測しますが、継続的な推論（5〜10 Hz）を必要とし、エッジデバイス上で維持することが困難な深刻な計算負荷を課します。
2. 高レベル意思決定: これらのシステムは、抽象的な推論（例：シーングラフを介したもの）のためにVLMを疎に利用し、低レベルの制御を専用のポリシーに委ねます。これによりレイテンシの制約は緩和されますが、SotAの実装は大規模なクラウド依存のフロンティアモデルに依存しており、完全なローカル展開を実現できていません。

課題は、大規模なフロンティアモデルの推論能力を犠牲にすることなく、ローカルで展開可能なエッジデバイス上で、SotAのオープンボキャブラリーObjectNav性能を達成することです。

メソドロジー

著者らは、モジュール式のシーングラフ（SG）ベースのアーキテクチャと、2段階の蒸留および最適化パイプラインを統合した、デプロイメント重視のフレームワークであるLocalNavを提案しています。

1. システムアーキテクチャ

本システムは、高レベルの推論と低レベルの制御を分離しています：

• シーン表現: RGB-Dデータとオドメトリから構築される、明示的かつオンラインで更新されるシーングラフ（SG）。これは、部屋、物体、および探索フロンティアをエンコードします。
• プロンプティング戦略: VLMは、以下のマルチモーダルなプロンプトを受け取ります：
  • テキスト: エージェントの現在位置、探索済み/未探索の部屋、および観測された物体のIDリスト。
  • 画像: プロジェクトされたIDによって可視なSGオブジェクトが強調された現在のRGBフレーム（「Set-of-Marks」プロンプティングに着想を得たもの）により、記号的なIDを視覚領域に接地（グラウンディング）させます。
• アクション空間: VLMは、navigate(object_id)、explore(room_id)、find_new_rooms()、またはdone()の4つの高レベルアクションから選択します。専用の低レベルPointGoalポリシーが物理的な移動を実行します。

2. トレーニングパイプライン

ローカル実行を可能にするため、著者らは軽量なQwen3.5-4Bモデルを用いた2段階のトレーニング戦略を採用しています。

• ステージI: 蒸留による教師あり微調整（SFT）:

  • 教師モデル: シミュレーション内でObjectNavを実行するフロンティア・クラウドモデル（Gemini 3.1 Pro、GPT-5.4、およびClaude Sonnet 4.6）から、推論のトレースを記録します。
  • データの効率性: 大規模なデータセットや複雑な特徴空間の整合性を必要とせず、成功した軌跡（各教師モデルにつき約500サンプル）のみを使用して学生モデルを微調整します。
  • 目的: 大規模なクラウドモデルの複雑な空間・意味的推論能力を、4Bパラメータのローカルモデルに転移させることです。

• ステージII: 検証可能な報酬に基づくエンボディド強化学習（E-RLVR）:

  • 目的: 冗長な自己回帰的トークン生成（TG）によって引き起こされる推論レイテンシのボトルネックに対処すること。
  • メカニズム: モデルは、Low Rank Adaptation（LoRA）を用いたGroup Relative Policy Optimization（GRPO）を使用し、クローズドループのシミュレーション内で学習されます。
  • 報酬関数 ($R_{tot}$): 多目的報酬は以下を組み合わせます：
    • $R_{done}$: ゴールへの到達成功/失敗。
    • $R_{nav}$: ゴールへの進捗。
    • $R_{exp}$: SGにおける新しいノードまたはゴールの発見。
    • $R_{brev}$: トークンの簡潔さ（Token Brevity）。長い出力シーケンスにペナルティを与える線形報酬であり、ナビゲーションの精度を損なうことなく、推論を圧縮することをモデルに促します。
  • 成果: モデルは、ナビゲーションの精度を維持しながら、出力トークン長を効率的に短縮するように学習します。

3. デプロイメント最適化

最終的なシステムは、llama.cppを使用してJetson Orin AGX上にデプロイされます。著者らは、実行時間の大部分を占める自己回帰的デコーディングフェーズをさらに加速させるために、量子化（具体的にはIQ4-XS形式）を適用しています。

主な貢献

1. ローカルVLMの最適化: 4BパラメータのVLMがObjectNav向けに最適化可能であることを示し、HM3D OVONベンチマークにおいて34.5%の成功率（SR）を達成し、クラウドベースのモデル（39.7% SR）との差を縮めました。
2. 蒸留分析: 最小限のデータセット（約500のトレース）を用いてフロンティアモデルから推論を蒸留することが、大規模なSFTデータセットを必要とせずに、複雑なナビゲーション能力を転移させるのに十分であることを示しました。
3. E-RLVRトレーニング戦略: トークン生成の長さを明示的に正則化する強化学習手法を導入しました。これにより、ナビゲーション性能を大幅に低下させることなく、出力シーケンス長を72.1%削減し、推論レイテンシを71.8%削減しました。
4. 高性能なシステムアーキテクチャ: クラウドモデルでSotA性能（39.7% SR）を達成し、実行可能なローカル展開をサポートする、モジュール式のSGベースのナビゲーションシステムを構築しました。

結果

• ベンチマーク性能:
  • クラウド・ベースライン (Claude Sonnet 4.6): 39.7% SR、19.7% SPL。
  • ローカル学生モデル (Qwen3.5-4B + SFT + E-RLVR): 34.5% SR、17.2% SPL。
  • ローカルモデルは、クラウドのフロンティアモデルと比較して、SRにおいてわずか5.2パーセントポイントの差しかありません。
• 効率性の向上:
  • トークン削減: E-RLVRにより、クエリあたりの平均出力トークン数が約535から約149へと減少しました（72.1%の削減）。
  • レイテンシ: 量子化と組み合わせることで、システムはエピソードあたりの全体的な推論レイテンシを（Jetson Orin上で305.2秒から52.5秒へと）82.8%削減しました。
  • クエリ頻度: エピソードあたりのVLMクエリ数が、ゼロショット時の約30回から、最適化後には約8回へと減少しました。
• 実世界での検証: 本システムは、メモリとナビゲーションのためにSGを活用することで、実際のマンション内において、4つの連続するObjectNavタスク（ソファ、ピアノ、浴槽、およびテーブルにいる人物の発見）を完了し、ハンドヘルド型ロボットデバイスへのデプロイに成功しました。

意義

本論文は、LocalNavが物理的なロボットハードウェアにおける低遅延かつ高性能なエンボディド・インテリジェンスの実行可能なパラダイムを提示していると主張しています。高レベルの意思決定と、効率的な蒸留およびトークン正則化を組み合わせることで、著者らは、リソース制約のあるエッジデバイスが、クラウド接続に依存することなく、複雑なオープンボキャリー・ナビゲーションタスクを実行できることを証明しました。この研究は、フロンティアモデルの推論能力と、オンボードでのロボット展開という実用的な制約との間の溝を埋め、真に自律的なオープンボキャラリー・エージェントへの道筋を示しています。