技術要約：カメラの頑健性を備えた視覚・言語・行動（VLA）ポリシーのためのクロスビュー・アクション一貫性

問題提起

固定されたシーンカメラで収集されたデモンストレーションからファインチューニングされた視覚・言語・行動（VLA）ポリシーは、物理的なタスクの状態、言語指示、およびロボットの固有受容感覚が変化していない場合でも、カメラが移動、衝突、または再設置されると失敗することがよくあります。このような頑健性の問題に対する既存の解決策は、通常、深度センサ、ポイントクラウド、キャリブレーション済みのマルチビュー入力、カメララベル、または幾何学的に認識可能なアーキテクチャを要求することで、推論時の契約を変更してしまいます。これらのアプローチは、デプロイメント時におけるハードウェアへの依存や計算オーバーヘッドを導入します。

本論文は、推論時に単一のシーンRGB画像、言語指示、および固有受容感覚のみを使用して、フローベースのVLAにおけるシーンカメラの視点に対する頑健性を達成するという課題に取り組みます。目標は、深度データ、カメラの外向きパラメータ（エクストリンジクス）、または新規ビューのレンダリングに依存することなく、カメラのポーズが変化した際の性能低下を防ぐことです。

手法：クロスビュー・アクション一貫性

提案手法は、中間的な特徴表現ではなく、**アクション・フローの速度場（velocity field）**を直接正則化する学習時の目的関数を導入します。核心となる洞察は、フローベースのポリシーにおいて、アクションは学習された速度場 $v_\theta$ を積分することによって生成されるという点です。もし2つの異なるカメラビューが同じ物理的状態を観察しているならば、ポリシーは同じフロー座標において一貫した速度ベクトルを予測すべきであり、それによって一貫したアクションチャンクが導かれるはずです。

1. アクション等価ペア

この手法は、以下の構成による学習ペア $(o_0, o_p, l, q, a)$ に基づいています：

• $o_0$ と $o_p$ は、標準的なカメラ $c_0$ および摂動を加えたカメラ $c_p$ からレンダリングされた、同一の物理的状態 $s$ のRGB観測です。
• $l$（言語）、$q$（固有受容感覚）、および $a$（デモンストレーションされたアクションチャンク）は、両方のビューで同一です。
• シミュレーションでは、これらのペアはMuJoCo環境を保存された状態にリセットし、再レンダリングすることで生成されます。実機ロボットでは、同じタイムスタンプを観察している同期されたマルチカメラセットアップを使用して収集されます。
• 決定的な点として、ポリシーが摂動のない視覚的なショートカットを使用することを防ぐため、訓練時および推論時の両方でリスト・カメラ（手首カメラ）のストリームはマスクされます。

2. 損失関数

ペアのビューに対して、ポリシーはサンプリングされたフロー座標 $(t_k, \epsilon_k)$ における速度場 $v_0$ および $v_p$ を予測します。総損失 $\mathcal{L}$ は2つの項を組み合わせたものです：

1. 標準的なフロー・マッチング ($\mathcal{L}_{FM}$): 両方のビューが、デモンストレートされたアクションターゲット $u_{t_k}$ に一致するように監督されます。
   $$\mathcal{L}_{FM} = \frac{1}{2} (\|v_0 - u_{t_k}\|^2 + \|v_p - u_{t_k}\|^2)$$
2. クロスビュー一貫性 ($\mathcal{L}_{CV}$): 2つのビューに対する予測速度が、アクティブなアクション次元において一致するように促されます。
   $$\mathcal{L}_{CV} = \|v_p[\cdot, : A_{act}] - v_0[\cdot, : A_{act}]\|^2$$

総目的関数は $\mathcal{L} = \frac{1}{K}\sum \mathcal{L}_{FM} + \lambda_{CV} \frac{1}{K}\sum \mathcal{L}_{CV}$ です。

3. 理論的正当化

本論文は、特徴レベルの不変性はアクションレベルの不変性を保証しないと主張しています。速度場自体を正則化することで、この手法は統合されたアクションチャンクの発散を直接制限します。局所的なリプシッツ連続性の仮定の下では、標準的なビューと摂動を加えたビューから生成されたアクションチャンクの期待平方差は、積分軌道に沿った速度予測の期待平方差によって抑えられます。

4. コントロールメカニズム

汎用的な平滑化ではなく、アクション等価ペアリングから得られる利得であることを検証するために、著者らはシャッフルド・ペア・コントロールを採用しています。このアブレーションでは、クロスビュー損失が、アクションの等価性を破壊しながら（異なる物理的状態からの速度を比較）、フローマッチングのラベルは正しく保たれます。このコントロールにより性能が崩壊することが確認され、本手法が真のアクション等価性に依存していることが証明されました。

主な貢献

1. 定式化: 本論文は、カメラの頑健性を、アクション等価なビュー間における局所的なアクション・フロー一貫性の問題として定式化しました。
2. 目的関数: 速度場を直接正則化するクロスビュー・アクション・フロー一貫性目的関数を提案しています。このアプローチは、推論時に追加のセンサ、キャリブレーション、またはカメラ固有の入力を必要としません。
3. 実証的検証: 制御されたアブレーションを通じて、著者らは以下を実証しました：
   • 改善はアクション等価ペアリングに依存していること（シャッフルされたペアは失敗する）。
   • メリットは、学習ペアに含まれていなかったカメラポーズ（方位角、距離、回転）にも及ぶこと（外挿）。
   • 本手法は、標準的なノミナルカメラの性能を犠牲にすることなく、ノミナル性能を向上させること。

実験結果

シミュレーション (LIBERO-Plus)

カメラ摂動ベンチマーク（C1: 距離/スケール、C2: 球面位置、C3: エンドポイントの向き）で評価：

• 提案手法: カメラ摂動トラックにおいて 87.2 ± 0.4% の成功率を達成。
• ベースライン:
  • 「同一データ」を用いたフロー・マッチング（FM）のみのコントロール（79.8%）に対し、7.4パーセントポイント（pp）向上。
  • 標準的な混合カメラによる教師あり微調整（SFT）（74.7%）に対し、12.5 pp向上。
  • ノミナルのみのベースライン（16.8%）に対し、70.4 pp向上。
• ノミナル性能: 本手法は標準的なノミナルカメラのベンチマークにおいて高い成功率を維持しており（FMコントロールの93.6%に対し94.2%）、ノミナル性能とのトレードオフがないことを示しています。
• アブレーション: シャッフルされたペアは性能を25.8%にまで低下させ、アクション等価な対応の必要性を証明しました。

実機ロボット評価

3つのテーブルトップタスク（ピック＆プレース、コンタクト・リッチ、巧緻操作）において、同期されたマルチカメラ学習と、保持されたカメラでのデプロイメントを用いて評価：

• 保持されたカメラでの成功率: FMのみの 53.3% から、提案手法の 74.4% へと向上。
• タスクの詳細: ラップトップの蓋タスクでは、提案手法により保持されたカメラでの成功率100%を達成。ヘッドフォンスタンドのタスクは、最も大きな相対的利得（16.7%から46.7%へ）を示しましたが、絶対的な性能は観測性の問題（薄い物体に対する遮蔽）によって制限されました。
• 汎化: 利得は、幾何学的にアグレッシブな配置（例：高い位置、トップダウンビュー）で最も顕著でした。

意義と主張

本論文は、アクションレベルの一貫性が、カメラの頑健性にとって特徴レベルの不変性よりも効果的なターゲットであることを主張しています。速度場（アクションを直接生成するもの）を正則化することで、この手法は、異なるビューが同じ意図された挙動を生み出すことを保証します。

本研究の意義は、推論時の契約を変更することなくカメラの頑健性を向上させられる点にあります。深度センサ、カメララベル、または3D再構成を必要とする他の手法とは異なり、このアプローチは単一のRGBカメラを使用して、視点の変化に対して頑健なVLAをデプロイすることを可能にします。著者らは、この手法が、観測されたアクション等価なビュー（シミュレーションのリセットまたは同期されたカメラ経由）を利用して、ポリシーに視点の摂動を無視することを教える、学習時のレシピであることを強調しており、$\pi_{0.5}$ のような既存のフローベースVLAアーキテクチャに適用可能です。

論文は、その限界についても控えめに述べています。すなわち、カメラによって遮蔽された情報（例：薄い物体に対する接触付近の深度の手がかり）を回復することはできず、また学習には真のアクション等価ペアを必要とするため、標準的な単一カメラのデータセットは対象外となります。しかし、標準的なRGBのみの推論と互換性のある、カメラに頑健なVLA学習のための新しいベースラインを確立しています。