技術概要：ウェイポイントを超えて：クロス・エンボディメント意味ナビゲーションのためのデュアルヒートマップグラウンディング

1. 問題定義

本論文は、人間とロボットの相互作用における根本的な課題、すなわち、オープンエンドな意味指示を物理的に実行可能な局所的な目標にグラウンディングする問題に取り組んでいる。従来のナビゲーションはメトリックマップに依存し、既存のビジョン・アンド・ランゲージ・ナビゲーション（VLN）フレームワークはしばしば決定論的なウェイポイントを回帰させるが、これらのアプローチは実世界での展開において重大な限界を有している：

• 空間的不確実性の崩壊： 硬直的な点回帰は単一の座標を強制し、有効な立ち位置の多様性を無視する。
• 非通行可能ターゲット： 決定論的アプローチは頻繁に物体の幾何学的中心（例えばソファの中心）をターゲットとし、通行可能な自由空間ではなく衝突を引き起こす。
• 向き制約の欠如： 単純な座標は、「窓に向く」や「人を伴う」などの向きに関わる複雑な意図を捉えられない。
• クロス・エンボディメントの脆さ： 特定の座標を出力するように訓練されたモデルは、異なる運動学的制約や足跡を持つロボットへ転送された際に失敗することが多い。

著者は、ロボットが即座のセンサー範囲内のターゲットへ移動するための簡潔なインターリーブ型マルチモーダルプロンプト（テキストおよび/または参照画像）を受け取る視野内（in-FOV）意味ナビゲーションに焦点を当てている。

2. 手法

提案される解決策は、単一ポイント回帰に代わるデュアルヒートマップ表現を直接一人称の2D画像空間で予測する統合されたビジョン・ランゲージフレームワークである。

2.1 デュアルヒートマップ表現

単一の $(x, y)$ 座標を出力する代わりに、モデルは2つの高密度な確率的ヒートマップを予測する：

1. ナビゲーションヒートマップ（$H_{nav}$）： 「立ち位置の affordance（アフォーダンス）」を表す。これは物体の中心ではなく、物体に隣接した床面など、連続的な到達可能領域を捉える。通行不可能なピクセルはゼロであり、自由空間上の値はターゲットまでの距離に応じて単調に減少し、$[0, 1]$ に正規化される。
2. 向きヒートマップ（$H_{fac}$）： 向き制約を符号化する。これは向きターゲットの幾何学的中心を中央とする2Dガウス分布として定義され、離散的な向き選択を連続的な空間確率に変換する。

これらのヒートマップは微分可能な意味ポテンシャル場として機能し、下流の局所プランナーが衝突コストや運動学的制約と意味的意図を統合することを可能にする。

2.2 モデルアーキテクチャ

このシステムは、Qwen3-VL（80 億パラメータモデル）に基づくデュアルストリームアーキテクチャを採用している：

• バックボーン： オープンボキャブラリ能力を維持するため、LoRA 微調整（$r=16, \alpha=32$）を施した Qwen3-VL を使用する。
• 特徴抽出： ViT エンコーダからの深層スタック視覚特徴（$F_{vis}$）と VLM デコーダからの文脈特徴（$F_{vlm}$）を連結する。
• クロスアテンション： 視覚トークンをクエリ、VLM トークンをキー/バリューとして使用してモダリティを融合し、パディングされたトークンやアシスタントトークンからの情報漏洩を防ぐためのマスキング機構を備える。
• 座標認識デコーダ： CenterNet に着想を得て、デコーダは正規化された座標チャネル $(x, y)$ を融合特徴と連結する。1x1 ボトルネックと ASPP を用いてマルチスケール集約を行い、その後 $H_{nav}$ と $H_{fac}$ のための並列畳み込みブランチへ接続する。著者は明確に、チェッカーボードアーティファクトを回避するためにリサイズ畳み込みアップサンプリングを使用している。

2.3 訓練とデータパイプライン

• 自動化合成データ： Isaac Sim、Kujiale、GRUtopia のアセットを使用した完全自動化パイプラインが、マルチモーダル指示とアフォーダンスヒートマップのペアを生成する。ファウンデーションモデル（Gemini、SAM3）がアセットの正規化、マスク抽出、参照画像生成を担当する。
• 損失関数： ナビゲーションに対するバイナリ交差エントロピー（BCE）と、向きに対するガウス再重み付けフォカル損失の加重和。訓練中の2つの目的をバランスさせるために、動的アニーリング戦略が使用される。
• システム統合： 予測されたヒートマップは、深度と外パラメータ行列を用いて3D幾何空間へ投影される。モデル予測経路積分（MPPI）局所プランナーが軌道をサンプリングし、ヒートマップからの統合された意味報酬と物理的衝突コストに基づいて評価する。

3. 主要な貢献

1. 新規フレームワーク： テキスト、画像、またはその両方を含む柔軟なインターリーブ型マルチモーダル入力に対応し、視野内ターゲットのアンカリングを可能にするオープンボキャブラリ意味ナビゲーションフレームワークの導入。
2. デュアルヒートマップ表現： 高密度な確率場としてナビゲーション可能なアフォーダンスと向き制約を予測することで、高レベルの VLM 推論と低レベルの障害物回避を橋渡しする手法。これにより、意味的精度と物理的到達可能性の両方を保証する。
3. 自動化データパイプライン： アフォーダンスヒートマップと対になった大規模なマルチモーダル指示の合成データセットを生成するための、ファウンデーションモデル支援による包括的なパイプライン。
4. クロス・エンボディメント検証： シミュレーションにおいて、多様なロボットエンボディメント（車輪式 Jetbot、ヒューマノイド H1、四足 Aliengo）間で堅牢な性能を実証。

4. 実験結果

本フレームワークは、MP3D val_test スプリットおよび3種類のロボットタイプを用いたシミュレーションにおいて、80 億パラメータのベースライン（InternVLA-N1-System2、Molmo、Qwen3-VL-Instruct）に対して評価された。

• ベンチマーク性能： 提案手法は最先端のゼロショット性能を達成した。特に、**ナビゲーションリコール（Qwen3-VL の 0.2044 対 0.6740）と全体の F1 スコア（0.3758 対 0.4917）**が大幅に向上した。
• アフォーダンス率（AR）： モデルは0.7265の AR を達成し、ベースライン（Molmo は 0.2492 など）を大幅に上回り、ターゲットを物理的に実行可能な自由空間に配置する優れた能力を示した。
• 特徴融合： 消融実験により、ViT 特徴と VLM 特徴間のクロスアテンションが最良のトレードオフをもたらすことが判明し、直接加算や VLM のみのベースラインを上回った。これは、言語コンテキストによって視覚特徴を明示的に強化することの価値を確認するものである。
• シミュレーション検証： Jetbot、H1、Aliengo において、提案モデルは既知および未知の両方のシーンで、微調整済み Qwen3-VL ベースラインよりも有意に高い**成功率（SR）**を達成した（例：Jetbot の既知シーンで 0.4146 対 0.7012）。
• 生存者バイアス分析： 論文は、ベースラインが時として低いナビゲーション誤差（NE）を示すことについて言及しているが、これは「生存者バイアス」に起因するとされている。すなわち、ベースラインは有効な予測を行った少数のケースのみで誤差を報告するのに対し、ヒートマップアプローチはより多くのエピソードで有効な点を正常に予測するためである。

5. 意義と主張

本論文は、硬直的な点回帰を高密度なヒートマップ予測に置き換えることで、従来の意味ナビゲーションの脆さを効果的に緩和すると主張している。その意義は以下の点にある：

• 安全性と到達可能性： 「物体がどこにあるか」ではなく「どこに立つべきか」をモデル化することで、システムは本質的に非通行可能なターゲットを回避する。
• 転送性： 意味的意図（ヒートマップ）と物理的実行（プランナー）を分離することで、同じ VLM 出力を再訓練なしで多様なロボットエンボディメント間で再利用可能にする。
• 実用性： このアプローチは、従来の VLN タスクで必要とされる詳細な「ロードブック」を超え、ロボットの即座の視野内における簡潔で意図駆動型のコマンドという現実的なニーズに対応する。

著者は、この研究を安全でクロス・エンボディメントな意味ナビゲーションへの一歩として位置づけ、高レベル推論と低レベル物理的制約を統合する転送可能な道筋を提供している。