💻 computer science

Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System

Qwen-RobotNavは、1,560万個のサンプルで学習されたスケーラブルでパラメータ化されたナビゲーションモデルであり、アーキテクチャの変更を伴わずに、推論時にエージェント・システムが観測戦略やタスクモードを動的に再構成することを可能にし、多様なベンチマークや実世界のロボットにおいて最先端の性能と強力なゼロショット汎化性能を実現します。

原著者： Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, Qihang Peng, Haoqi Yuan, Jie Zhang, Xudong Guo, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Zhuoyuan Yu

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, Qihang Peng, Haoqi Yuan, Jie Zhang, Xudong Guo, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Zhuoyuan Yu, Jingyang Fan, Zhixuan Liang, Pei Lin, Ye Wang, Anzhe Chen, Kun Yan, Xiao Xu, Jiahao Li, Lulu Hu, Minying Zhang, Shurui Li, Wenhu Xiao, Shuai Bai, Xuancheng Ren, Chenxu Lv, Chenfei Wu, Xiong-Hui Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボット犬や自動運転車を想像してみてください。あなたは、それらに多くの異なることをさせたいと考えています。「キッチンへ行って」という音声指示に従う、動いている人を追いかける、失くした鍵を見つける、あるいは交通状況の中を安全に走行するなどです。

通常、これらすべてができるロボットを作ることは、シェフ、レーサー、そして探偵のすべてを兼ね備えた一人の人間を雇おうとするようなものです。それは非常に困難です。なぜなら、それぞれの仕事には、世界を捉えるための異なる方法が必要だからです。探偵は数時間前の手がかりを覚えておく必要がありますが、レーサーは「今この瞬間」に目の前で起きていることだけに集中しなければなりません。

Qwen-RobotNavは、この問題を解決するロボットのための新しい「脳」です。研究者たちは、個別の仕事ごとに別々の脳を作るのではなく、何をしているかに応じて「メガネ」を掛け替えられる、柔軟な一つの脳を作り上げました。

その仕組みを、簡単な比喩を使って説明します。

1. 「スイスアーミーナイフ」のような脳

Qwen-RobotNavをスイスアーミーナイフだと考えてください。ほとんどのナビゲーションロボットは、単一のドライバー（精密ドライバー）のようなもので、一つのことには長けていますが、他のことには役に立ちません。Qwen-RobotNavは、そのツール全体のセットです。

モード切替： これには「モードスイッチ」があります。「あの人を追いかけて」と指示すると、**追跡モード（Tracking Mode）**に切り替わります。このモードでは、瞬時に反応できるように、過去の履歴を無視して直近数秒間のビデオだけを見る「高速メガネ」を装着します。
記憶： 「赤いソファを探して」と指示すると、**探索モード（Search Mode）**に切り替わります。ここでは、同じ場所をぐるぐる回らないように、過去10分間に見たものすべてを記憶する「広角メガネ」を装着します。
魔法： 最も素晴らしい点は、これらのメガネを掛け替えるためにロボットを再学習させる必要がないことです。指示を与えるだけで、ロボットは即座に世界への注意の向け方を調整します。

2. 目に対する「スマートな予算」

ロボットには、一度に処理できる視覚情報の限界があります（コンピュータのRAMが不足するような状態です）。

問題点： もしロボットが100フレームのビデオを見ようとすれば、処理能力がオーバーしてしまうかもしれません。逆に、1フレームしか見なければ、重要な詳細を見逃してしまうかもしれません。
解決策： Qwen-RobotNavは**スマートな予算（Smart Budget）**を使用します。部屋の写真を撮るために100ドル持っていると想像してください。
- 運転している時は、予算の大部分を「今、目の前にある道路（前方）」の画像に使い、後方の画像にはほとんど使いません。
- 失くし物を探している時は、予算を分散させて、過去数分間の部屋全体の写真を「購入」します。
- ロボットは、この計算を自動的に行うように学習します。タスクに基づいて、どのカメラの、どの瞬間の、どれだけの「ピクセル（視覚的詳細）」を保持すべきかを自ら決定します。

3. 「メガミックス」の経験から学ぶ

このロボットを教えるために、研究者たちは単一の種類のビデオを見せたわけではありません。彼らは1,560万種類もの異なる経験を混ぜ合わせた巨大な「スムージー」をロボットに投入しました。

指示への追従： 「青い椅子のところで左に曲がって」
ポイント・ナビゲーション： 「座標(5, 2)へ行って」
物体探索： 「テレビのリモコンを見つけて」
追跡： 「黒い帽子を被った男性について行って」
運転： 「交差点を安全に通り抜けて」

また、ロボットが動きながらも言語を理解することを忘れないよう、一般的な「世界の知識」（標識を読んだり、物体を認識したりすること）も混ぜ合わせています。これにより、ロボットが考えることなく動くだけの「無意識な反射マシン」になってしまうのを防いでいます。

4. 「マネージャーと作業員」のシステム

非常に長く複雑なタスク（例：「コーヒーショップにある緑色の傘を見つけて、そこにあるかどうか教えて」）の場合、ロボットはチームとして機能します。

マネージャー（上位プランナー）： これは、大きな目標を小さなステップに分解するハイレベルなAIです。「まず廊下へ行け。次にコーヒーショップを探せ」といった具合に決定を下します。
作業員（Qwen-RobotNav）： これはナビゲーションモデルです。マネージャーは作業員に対し、「コーヒーショップへ行け。ただし、大きな記憶予算を持つ『探索モード』を使え」と指示を出します。
ループ： 作業員は目的地へ行き、見つけ、「ここにいますが、傘はありません」と報告します。マネージャーは記憶を更新し、「了解、次はテーブルのあたりを確認して」と指示します。これが完了するまで、このプロセスが何度も繰り返されます。

5. 実世界での結果

論文は、このロボットが単なるシミュレーション上のトリックではないことを示しています。

コンテストでの勝利： 指示への追従、物体の発見、移動するターゲットの追跡といったテストにおいて、他のトップクラスのロボットを打ち負かしました。
運転の実績： 複雑な交通状況のシミュレーション内で、安全に車を運転することを学習しました。
実機での動作： チームは、見たことがない実際の建物の中で、本物のロボット犬を使ってテストを行いました。「診察室まで歩いて行き、その後、後ろ向きに歩いて」といった音声指示を与えました。ロボットは未知の建物をうまくナビゲートし、ランドマークを利用して道を見つけ、指示通りに正確に後ろ向きに歩くことさえできました。

要約すると： Qwen-RobotNavは、自身の注意力を「チューニング」することを学ぶ、ユニバーサルなナビゲーション脳です。現在の瞬間に集中すべきか、過去を記憶すべきかを判断できるため、単一のロボットがドライバー、トラッカー、そして探索者として、同時にあらゆる役割をこなすことができるのです。

技術要約: Qwen-RobotNav

問題提起

エンボディド・ナビゲーション（身体性を持つナビゲーション）は、指示遂行、ポイントゴール・ナビゲーション、オブジェクト探索、ターゲット・トラッキング、自律走行など、多様なタスク群を含んでいます。近年の統一ナビゲーションモデルは、単一のアーキテクチャで複数のタスクファミリーを扱えることを示してきましたが、エージェンティック（能動的）なナビゲーションシステムに不可欠な要件、すなわち「推論時に外部から再構成可能な観測戦略」への対応には至っていません。

ナビゲーションタスクによって、必要とされる時間的コンテキストやメモリ戦略は根本的に異なります。例えば、指示遂行には、遠方のランドマークを再参照するために数十ステップ前の観測を保持する必要がありますが、ターゲット・トラッキングは直近のフレームにほぼ全面的に依存し、古い履歴をノイズとして扱います。オブジェクト探索はさらに複雑で、エピソード内での要求が（探索時の広範なグローバルメモリから、接近時の局所的な最新性重視の注意へと）変化します。既存の統一モデル（例：NavFoM、ABot-N0）は、どの観測が重要かについて単一の固定された仮定（例：一様なサブサンプリングやスライディングウィンドウ）を組み込んでいるため、エピソードの途中で適応したり、上位レベルのプランナーの柔軟な構成要素として機能したりすることができません。

手法

著者らは、Qwen3-VLをバックボーンとしたスケーラブルなナビゲーションモデルであるQwen-RobotNavを提案します。著者らは、タスク固有のアーキテクチャを設計するのではなく、この課題を観測コンテキスト・モデリングの問題として再定義しました。核心となるイノベーションは、外部のエージェントが、アーキテクチャの変更やタスク固有の再学習を行うことなく、モデルが視覚ストリームを消費する方法を動的に構成できるパラメータ化されたインターフェースです。

1. アーキテクチャとインターフェース

Qwen-RobotNavは、Qwen3-VLのビジョンエンコーダと言語バックボーンを継承し、8つのウェイポイント軌道 $(x, y, \theta)$ を予測する軽量な4層MLPアクションヘッドによって拡張されています。本モデルは、2つの補完的な構成次元を公開しています。

タスクモード: 自然言語プロンプトを介して選択可能な複数のモード（VLN、PointNav、ObjNav、Tracking）をサポートします。これらは別々のポリシーではなく、同一のモデル重みに対する異なるインターフェースです。
制御可能な観測パラメータ: モデルは、視覚トークンの割り当てを制御する構成 $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$ $Φ = (B, γ, {w_{c}}, m, b_{min}, b_{ma x})$ を受け取ります。
- トークン予算 ( $B$ ): すべてのカメラとタイムステップにわたる合計視覚トークン数。
- 時間的減衰 ( $\gamma$ ): 直近のフレームを古いフレームよりも重く扱う、新しさへのバイアスを制御します。
- カメラの重み ( $w_c$ ): カメラごとの重要度乗数（例：後方カメラよりも前方カメラを高く設定）。
- フレームサンプリング ( $m$ ): ランダム（グローバルなカバレッジ）または最新（最新のウィンドウ）。

2. タスク適応型観測エンコーディング

モデルは制約付きトークン割り当てアルリズムを採用しています。予算 $B$ が与えられると、結合重み行列 $W[t, c] = \omega_t \cdot w_c$ に基づいて、 $T'$ フレームと $N$ 台のカメラにトークンを分配します。このアルゴリズムは、画像あたりの最小値 ( $b_{min}$ ) と最大値 ( $b_{max}$ ) を保証し、余剰トークンを反復的に再分配します。これにより、モデルはタスクのニーズ（例：トラッキングにおける直近フレームの高解像度化、探索における広範なカバレッジ）に基づいて、解像度とコンテキスト長を動的に調整できます。

3. 学習戦略

データ規模: モデルは1,560万サンプルで学習されており、その85%はナビゲーション軌道計画データ（指示遂行、ポイントゴール、オブジェクトゴール、トラッキング、自律走行にわたる）、15%はナビゲーション関連の視覚言語推論データで構成されています。
学習時のランダム化: 重要な設計原則は、観測構成が固定されていないことです。ハイパーパラメータ（ $B, \gamma, w_c$ など）は、サンプルごとに独立してランディマイズされます。これにより、モデルはタスク固有のチューニングなしに、あらゆる推論時構成に対してゼロショット汎化性能を発揮します。
共同学習（Co-training）: 視覚言語推論データを共同学習させることで、モデルが単なる反応的なアクションシーケンスのマッパーへと「崩壊」することを防ぎ、オープンワールドの知覚能力と空間推論能力を維持します。
エンボディメントへの意識: 異なる物理プラットフォーム（ロボット対自動車）は、自然言語のプロンプト前文（例：「あなたはロボットであると想像してください...」）を通じて区別され、アーキテクチャの変更を必要としません。

4. エージェンティック・ナビゲーション・システム

Qwen-RobotNavは、階層的なエージェンティック・システム内におけるリアクティブな実行器として設計されています。上位レベルのプランナー（例：Qwen3.6-Plus）が長期的な目標をサブタスクに分解し、エピソードの途中でQwen-RobotNavのタスクモードとコンテキスト戦略を動的に切り替えます。システムは、コンパクトなシングルエピソードの要約と、長期的な推論のための永続的なクロスエピソード「エビデンス・ノートブック」という2レベルのメモリを維持します。

主な貢献

パラメータ化されたナビゲーション・インターフェース: 観測戦略（トークン予算、時間的減衰、カメラの重み）を推論時に外部から再構成できる統一モデルであり、単一のモデルが多様なタスクや動的なサブゴールに対応することを可能にします。
学習時のランダム化: モデルを広範なコンテキスト構成の組み合わせ空間にさらす学習体制により、ファインチューニングなしでのあらゆる推論時設定への堅牢なゼロショット汎化を実現しました。
エージェンティックな構成要素: ナビゲーション基盤モデルがいかにして、動的なタスク切り替えを通じて、長期的なタスク（エンボディド質問応答：EQAなど）を可能にするモジュール化され再構成可能なプリミティブとして機能するかを示しました。
スケーラブルなマルチタスク学習: 5つの異なるタスクファミリー（自律走行を含む）にわたる共同学習により、タスクファミリーやエンボディメント間で転移可能な共有の空間計画基盤を構築しました。

実験結果

Qwen-RobotNavは、多様なベンチマークにおいてSOTA（最先端）または競争力のある結果を達成しています。

Vision-and-Language Navigation (VLN-CE):
- RxR Val-Unseen: 成功率 (SR) 76.5%、nDTW 72.5 (8Bモデル) を記録し、NavFoMをSRで12.1%上回りました。
- R2R Val-Unseen: SR 72.1% (8Bモデル) を記録し、NavFoMをSRで10.4%上回りました。
- VLNVerse: 細粒度分割で63.75% SR、粗粒度分割で46.59% SRを達成し、NavFoMおよびUni-NaVidを大幅に上回りました。
Object-Goal Navigation:
- HM3D v2: SR 75.6% (4Bモデル) を達成。深度情報（depth）を使用せずRGB観測のみで、このベンチマークにおける新たなSOTAを確立しました。
- HM3D-OVON: Seen分割で57.7% SR、Synonymsで60.1% SRを達成し、ABot-N0のパノラマ入力に対し、単一の前方カメラを使用しているにもかかわらずABot-N0を上回りました。
Active Visual Tracking (EVT-Bench):
- 評価された全手法の中で最高のトラッキング率（90.0% TR）を達成し、ABot-N0 (87.6%) や TrackVLA++ (81.0%) を上回りました。
Autonomous Driving (NAVSIM):
- 91.4 PDMS (4Bモデル) および 90.9 PDMS (8Bモデル) を達成し、NavFoM、AutoVLA、および他の特化した走行モデルを凌駕しました。
Embodied Question Answering (EQA):
- Qwen-RobotNavで構築されたエージェントシステムは、HM-EQA (76.7 SR)、MT-HM3D (54.4 SR)、EXPRESS-Bench (79.27 LLM Score) で新たなSOTAを樹立しました。これは、最良の従来手法と比較して、ナビゲーションステップ数を77%削減しながら、それぞれ10.8%および15.4%の向上を実現したものです。
実世界への展開:
- 展示会場においてUnitree Go2四足歩行ロボットへのゼロショット転移を実証しました。複雑な言語指示（例：「後ろに下がって」「ソファの横で止まって」）や、長期的なエージェンティック・タスク（例：特定の物体を見つけて報告する）を正常に実行しました。

重要性と主張

本論文は、Qwen-RobotNavが、固定されたナビゲーション・ポリシーの設計から、再構成可能なナビゲーション・プリミティブの作成への転換を象徴していると主張しています。観測コンテキストを、外部から制御可能な第一級の自由度として扱うことで、本モデルは、専門化されたタスク性能と、エージェンティックなシステムに求められる柔軟性の間の溝を埋めています。

著者らは、パラメータ化されたインターフェースによって、単純かつ明確に定義されたワーキングモード（例：探索のための「グローバル履歴モード」から、局所的な操縦のための「最新性重視モード」への切り替え）の組み合わせから、複雑な長期行動が創発できることを強調しています。さらに、視点や時間的特定に自然言語を使用することで、アーキテクチャのオーバーヘッドなしに、モデルのオープンワールドにおける言語接地能力を維持しています。

実験結果は、ランダム化されたコンテキスト戦略を用いて学習された統一モデルが、指示遂行、オブジェクト探索、トラッキング、および走行にわたって優れた性能を発揮し、汎用的なエンボディド・エージェントのための堅牢でゼロショット転送可能なコンポーネントとして機能することを裏付けています。本研究は、タスク適応型の観測エンコーディングが、広範な能力と実用的な展開可能性を兼ね備えたナビゲーション基盤モデルを構築するための有望な方向性であることを示唆しています。