CoFL: 言語条件付きナビゲーションのための連続フロー場

技術的サマリー（日本語）

本論文は、言語指示に基づいたロボットナビゲーションにおいて、従来のモジュール式アプローチや離散アクション生成の限界を克服する新しい手法「CoFL (Continuous Flow Fields for Language-Conditioned Navigation)」を提案しています。CoFL は、鳥瞰図（BEV: Bird's-Eye View）の観測と自然言語指示を入力とし、離散的なアクションシーケンスではなく、**連続的なフロー場（連続ベクトル場）**を直接予測するエンドツーエンドの方策（ポリシー）です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

• 既存の課題:
  • モジュール式アプローチ: 知覚、グラウンディング、計画を別々のモジュールでつなぐ手法（例：SayCan, LM-Nav）は、上位モジュールの誤りが下位に伝播しやすく、カスケーディングエラーを引き起こしやすい。
  • 離散アクション生成: 従来の VLA（Vision-Language-Action）モデルは、アクションを離散的なトークンやチャンクとして生成する。これにより、滑らかな連続運動の生成が制限されたり、拡散モデル（Diffusion Policy）のように反復的なサンプリングが必要となり、推論遅延（レイテンシ）が増大する。
  • 幾何学的整合性の欠如: 多くの手法は、作業空間（ワークスペース）全体の幾何学構造を明示的に利用せず、軌道生成が局所的な誤差により衝突を引き起こすリスクがある。
• CoFL のアプローチ:
  • 鳥瞰図（BEV）の明示的な幾何学構造を利用し、言語指示と観測から連続的なフロー場を直接予測する。
  • 予測されたベクトル場を数値積分（オイラー法）することで、任意の開始点から目標へ向かう滑らかで衝突回避された軌道を得る。

2. 手法 (Methodology)

A. 問題定式化

モバイルロボットが BEV 環境 $E = [0, 1]^2$ において動作すると仮定。

• 入力: 上からの RGB 観測 $I$ と、自然言語指示 $\ell$（例：「ソファへ移動せよ」）。
• 出力: 作業空間上の任意の位置 $x$ における局所的な運動ベクトル $v(x | I, \ell)$ を定義するフロー場。
• 軌道生成: 予測された場 $v$ を積分することで軌道 $\tau(t)$ を生成する。
  $$\dot{\tau}(t) = v(\tau(t) | I, \ell)$$
  これにより、開始位置 $x_0$ に依存せず、任意の位置から滑らかに軌道を展開できる。

B. ネットワークアーキテクチャ

CoFL は Transformer ベースのエンコーダ・デコーダ構造を持つ。

1. Vision-Language Encoder:
   • 凍結された SigLIP 2 をバックボーンとして使用。
   • BEV 画像とテキスト指示を結合し、タスクに特化したコンテキストトークン $C$ を生成する。
2. CoFL Decoder:
   • クエリベースの設計: 正規化された 2D 空間座標 $X$ をクエリとして入力。
   • 位置エンコーディング（ガウスフーリエ符号化）を用いて座標を埋め込み、コンテキストトークン $C$ とクロスアテンションを行う。
   • 出力: 各座標点における速度ベクトル $V$ を、**大きさ（Magnitude）と方向（Direction）**の 2 つの成分として予測する。
     • 方向：単位ベクトルとして予測。
     • 大きさ：非負のスカラーとして予測（Softplus 関数使用）。
   • これらを組み合わせることで、連続的なフロー場 $v(x)$ を構成する。

C. 訓練と推論

• 大規模データセット: Matterport3D と ScanNet の 3D 室内シーンから、50 万組以上の「BEV 画像＋言語指示＋フロー場・軌道」のペアを自動的に注釈生成したデータセットを構築。
  • 注釈生成には、セマンティックマップに基づいたコスト加重測地距離と障害物反発を組み合わせたプロシージャルなパイプラインを使用。
• 損失関数: 方向の一致（コサイン類似度）と大きさの一致（L2 ノルム誤差）を同時に最適化。
• 推論:
  • 予測されたフロー場をグリッド上でクエリし、離散的なベクトル場を取得。
  • 現在のロボット位置から、オイラー法による数値積分で軌道を生成。
  • 目標への距離に応じた時間スケーリング（逆時間リスケール）を適用し、安定した一定速度に近いロールアウトを実現。

3. 主要な貢献 (Key Contributions)

1. CoFL の提案:
   • BEV 画像と言語指示から連続フロー場を予測する Transformer ポリシー。これにより、視覚言語グラウンディングと連続運動生成を統合し、単一のフォワードパスで滑らかな軌道を得る。
2. 大規模 BEV ナビゲーションデータセットの構築:
   • Matterport3D と ScanNet から 50 万組以上のサンプルを生成。プロシージャルなフロー場と軌道の注釈を含み、大規模な教師あり学習を可能にした。
3. 高性能なベンチマーク結果:
   • 未見のシーンにおける一般化性能を実証。モジュール式 VLM プランナーや生成系ポリシー（Diffusion Policy）を凌駕し、より高精度かつ安全なナビゲーションを実現。
4. ゼロショット実世界デプロイメント:
   • 実世界のロボット（室内環境、上空カメラによる BEV 観測）において、実世界での微調整（ファインチューニング）なしでゼロショット転送に成功。信頼性の高い閉ループ制御を達成。

4. 実験結果 (Results)

A. 大規模データセット上での評価 (Matterport3D / ScanNet)

• ナビゲーション性能:
  • 衝突率 (CR): 既存の生成モデル（Diffusion Policy 系）はゴールに近い位置に到達できても衝突率が高い（Matterport3D で 0.68 以上）のに対し、CoFL は衝突率を大幅に低減（Matterport3D で 0.17〜0.22、ScanNet で 0.35〜0.40）。
  • ゴール誤差 (FGE): 既存手法と同レベルかそれ以上の精度を維持。
  • 滑らかさ: 軌道の曲率（Curv）が低く、滑らかな動きを実現。
• 効率性:
  • Diffusion Policy は多ステップのサンプリングが必要で遅延が発生するが、CoFL は単一フォワードパスと数値積分のみで推論可能。推論時間（レイテンシ）と性能のトレードオフにおいて、CoFL は高い安定性を示す。
• パラメータ効率:
  • CoFL はヘッドパラメータ数が約 15M と軽量でありながら、74M〜81M の Diffusion Policy や API 依存の VLM プランナーを上回る性能を発揮。

B. 実世界でのゼロショット評価

• 設定: 6x4m の室内アリーナ、上空カメラ、差分駆動ロボット。
• 結果:
  • 障害物なし: 85% の成功率。
  • 障害物あり: 100% のターゲット到達率を達成（衝突率は 0.35）。
  • 安全性: 平均最小クリアランスは 0.20m を維持し、障害物を意識した動作が確認された。
  • レイテンシ: 平均 28.57ms で、安定した閉ループ再計画が可能。

5. 意義と結論

CoFL は、言語条件付きナビゲーションのパラダイムを「離散的なアクション生成」から「連続的なフロー場予測」へと転換した点に大きな意義があります。

• 幾何学的整合性の明示: フロー場という表現形式により、作業空間全体の幾何学構造（障害物回避、自由空間）を明示的にモデル化し、軌道生成の安全性と滑らかさを保証します。
• リアルタイム性と効率性: 反復的なサンプリングを不要とし、単一フォワードパスで推論できるため、リアルタイム制御に適しています。
• 汎用性と転移学習: 大規模な合成データセットで学習されたモデルが、実世界のロボットに対してゼロショットで機能することは、シミュレーションから実世界への転移（Sim2Real）における強力な証拠となります。

将来的には、3D 空間への拡張や、より複雑な動的環境への対応、および自律的な BEV 生成（ドローンやマルチカメラからの統合）への適用が期待されます。