技術要約: FlowDec – 堅牢な連続的視覚言語ナビゲーションのための時間的条件付きフロー・デコラプター（Temporal Conditional Flow Decorruptor）

1. 問題提起

連続環境における視覚と言語によるナビゲーション（VLN-CE）には、エージェントが未知の3D空間において自然言語の指示に従うことが求められます。大規模モデル（LM）や視覚言語モデル（VLM）は、強力な推論と指示へのグラウンディングを可能にすることでこの分野を発展させてきましたが、重大な脆弱性を抱えています。それは、現実世界の視覚的な破損（corruption）にさらされた際の深刻な性能低下です。

既存のLMベースのエージェントは、クリーンで安定した視覚入力を暗黙的に前提としています。実際には、急速な自己運動（モーションブラー）、低照度条件、天候（雨、霧、雪）、およびセンサーの不完全性といった要因が、多様な視覚的破損を引き起こします。これらの歪みは、重要な空間的手がかり（物体の境界、床のテクスチャ、深度）を劣化させ、壊滅的なナビゲーションの失敗を招きます。現在の堅牢化ソリューションは、以下の理由からVLN-CEに対して不十分です：

• 盲目的画像デノイジング（Blind Image Denoising: BID）: 下流のナビゲーションの一貫性よりも知覚的な品質を優先し、未知の現実世界の破損に対して苦戦する。
• テスト時適応（Test-Time Adaptation: TTA）: モデルのパラメータを更新する手法は、特に凍結された大規模モデルにおいて、破滅的忘却のリスクを伴う。
• 拡散ベースのTTA（Diffusion-based TTA）: 入力の精緻化には効果的であるが、既存のアプローチはフレームを独立して処理することが多く、連続的なエンボディド・ナビゲーションに求められる時間的一貫性とアクションレベルの一貫性を維持できない。さらに、反復的な拡散サンプリングは、リアルタイムのロボット展開とは互換性のないレイテンシを導入する。

核心となる課題は、未知かつ多様な破損に対して、事前の知識なしに、時間的一貫性を維持し、物理的に意味のあるアクション予測を維持しながら、厳格なリアルタイム制約の下で動作するデコラプション（補正）手法を開発することです。

2. 手法: FlowDec

著者らは、FlowDec（Temporal Conditional Flow Decorruptor）を提案しています。画像強調用に設計された従来の修復手法とは異なり、FlowDecは**潜在条件付きフローマッチング（Latent Conditional Flow Matching: CFM）**を用いて、ナビゲーションを意識したリアルタイムのデコラプションを行うよう明示的に最適化されています。このフレームワークは、主に3つのコンポーネントで構成されています。

2.1 潜在条件付きフローマッチング

FlowDecは、学習済み変分オートエンコーダ（VAE）の潜在空間内で動作します。これは、ランダムなノイズ潜在変数（$z_0$）をクリーンな正解潜在変数（$z_{c\_gt,1}$）へと進化させる常微分方程式（ODE）として、修復プロセスをモデル化します。速度場はニューラルネットワーク $v_\theta$ によってパラメータ化され、予測された速度場と真の速度場の間の最小二乗誤差を最小化するように訓練されます。

2.2 ハイブリッド時間的条件付け戦略

履歴のコンテキストとフローの経路を一致させるために、FlowDecは訓練中に動的な条件付け戦略を採用しています。条件変数 $c_i$ は、以下の3つのタイプから選択されます：

• $c_1$ (単一フレーム): 現在の拡張（破損）された画像の潜在変数のみを使用。
• $c_2$ (正解を用いた時間的条件): 前のフレームの拡張潜在変数と正解潜在変数の差分を取り入れ、破損の特徴をモデル化。
• $c_3$ (デノイズ出力を用いた時間的条件): 前のフレームの拡張潜在変数と「デノイズされた」潜在変数の差分を使用。これは、テスト時に正解が得られないため、合成データと現実世界の推論データの間のドメインギャップを埋めるために極めて重要です。

動的な訓練スケジュールが使用され、初期のエポックでは破損のモデリングを確立するために $c_2$ が支配的となり、徐々にモデル自身のドメインギャップに適応するために $c_3$ へと移行していきます。

2.3 アクション・セントロイドによる潜在フィルタリング

推論時、モデルは安定性を確保するために主に単一フレームの条件（$c_1$）を使用してデノイズされた画像を生成します。しかし、エラーの蓄積を防ぎつつ時間的一貫性を活用するために、**アクション・セントロイド（Action-Centroid）**メカニズムが採用されています：

• 構築: 訓練中、システムは各原子的なアクション（例：前進、左旋回）ごとに、連続する正解フレーム間の差分潜在変数を計算します。これらの分布は、アクションごとの期待される潜在変化を表す「アクション・セントロイド（$\mathcal{N}(\mu, \sigma)$）」を形成します。
• フィルタリング論理: 推論時、システムは現在のフレームの差分特徴と、対応するアクション・セントロイドとの間のマハラノビス距離（$w$）を計算します。
  • $w$ が閾値（$w_\theta$）を下回る場合、単一フレームの出力が採用されます。
  • $w$ が閾値を超えた場合（潜在的な不整合を示唆する場合）、システムは時間的条件（$c_3$）を呼び出して第2の候補を生成します。
  • 最終的な出力は、それぞれの距離に基づいた、単一フレーム出力と時間的出力の重み付き結合となります。

2.4 効率化の最適化

リアルタイムのレイテンシ要件を満たすため、FlowDecはフローマッチングプロセスの積分経路を修正しています。純粋なランダムノイズから開始する代わりに、ランダムノイズと破損した潜在変数の線形補間（$z'_0 = t_\theta z_0 + (1-t_\theta)z_{c\_cor,1}$）から開始します。これにより、必要な積分ステップ数が大幅に削減され、推論が加速されます。

3. 主な貢献

本論文は、主に3つの貢献を主張しています：

1. 問題の定式化: 破損に対する堅牢性がVLN-CEの根本的なボトルネックであることを特定し、ナビゲーションを考慮したデコラプションを、リアルタイムの条件付きフローマッチング問題として定式化しました。
2. 新規フレームワーク: ハイブリッド時間的条件付けとアクション中心のガイダンスを備えたFlowDecを導入しました。この設計により、基礎となるナビゲーション・バックボーンを変更することなく、時間的に一貫し、物理的に意味のある修復が可能になります（モデル非依存）。
3. 実証的検証: 広範な実験により、FlowDecが既存の最先端手法と比較して優れた修復速度とナビゲーション成功率を達成していることを示し、VLNの堅牢性における新しいパラダイムを確立しました。

4. 実験結果

著者らは、NaVidをベースラインのLMベースVLNエージェントとして、R2R-CEおよびRxR-CEデータセットを用いてFlowDecを評価しました。実験は、5,000以上の未知の軌跡にわたる6つの代表的な破損タイプ（ガウスノイズ、ショットノイズ、雪、霧、JPEG圧縮、コントラスト）を対象に行われました。

• ナビゲーション性能: FlowDecはすべてのベースライン（SCUNet、Dec-DPM、Dec-CMを含む）を上回りました。
  • R2R-CEにおいて、バニラモデルに対して成功率（SR）で**25.33%**の相対的な改善を達成しました。
  • RxR-CEにおいて、SRで**9.38%**の相対的な改善を達成しました。
  • 特に、パス長で重み付けされた成功率（SPL）の維持において、拡散ベースのTTA手法（Dec-DPM、Dec-CM）や盲目的デノイジング（SCUNet）を一貫して凌駕しました。
• 時間的一貫性: FlowDecは、すべての破損タイプにおいて最も低いワープ誤差（warp error）（フレーム間の動きの一貫性を測る指標）を達成しました。これは、時間的条件付けがシーンのコヒーレンスを効果的に維持していることを裏付けており、下流のLM推論にとって極めて重要です。
• 推論レイテンシ: FlowDecは、拡散ベースのベースラインに対して3倍から8倍の高速化を実現しました。全パイプラインで約173 msでのデコラプションを達成し、拡散ベースの手法（Dec-DPM: 1411 msなど）が抱える大きなオーバーヘッドを克服し、オンラインのロボット展開を可能にしました。
• 実世界への展開: システムは、4つの屋内および屋外タスクにおいて、Unitree GO2 レッグドロボットに展開されました。FlowDecはベースラインを一貫して上回り、輝度の変動やモーションブラーがある困難なシナリオにおいて大幅な利点を示しました。
• クリーンな入力に対する性能: FlowDecの統合は、クリーンな入力に対して統計的に有意な性能低下を引き起こさず、一般的な展開における安全性が検証されました。

5. 重要性と主張

本論文は、FlowDecをレジリエントなエンボディドAIへの重要なステップとして位置づけています。著者らは、大規模モデルがVLN-CEを前進させている一方で、その現実世界への展開は、視覚的破損に対する堅牢性の欠如によって現在妨げられていると主張しています。

本研究の意義は以下の点にあります：

• 堅牢性と推論の分離: デコラプションを前処理モジュールとして扱うことで、複雑でパラメータ数の多いナビゲーション・バックボーンの再学習を必要とせずに、堅牢性を高めます。
• ナビゲーションのための時間的一貫性: 既存の修復手法における特定のギャップに対処し、純粋な知覚的品質よりも、フレーム間の整合性とアクションレベルのコヒーレンスを優先しています。これは連続的なナビゲーションにおいて不可欠です。
• リアルタイムの実現可能性: フローマッチングと最適化された積分経路を活用することで、拡散ベースの修復手法がオンラインのロボットシステムでの使用を阻んできたレイテンシの壁を克服しています。

著者らは、FlowDecが予測不可能な現実世界の条件下でのエンボディド・ナビゲーションのための、堅牢で効率的なパラダイムを確立すると結論付けています。今後の課題として、動的に変化するノイズパターンを扱うためのフレームワークの拡張が提案されています。