技術的概要：世界座標系に基づく動作ヘッドの超越：ビジョン・言語・動作モデルのための動作中心の動作フレーム

問題提起

ビジョン・言語・動作（VLA）モデルは、より強力な知覚バックボーン、広範な事前学習、大規模なデモンストレーションデータセットを通じて、著しい進展を遂げています。しかし、これらのモデルにおける動作予測ヘッドは、依然としてほぼ均質です。ほとんどの方策は、標準的な回帰ヘッドを用いて、固定されたグローバルな世界座標系において直接エンドエフェクタのコマンドを予測します。

この設計は、ロボティクス操作の性質と根本的なミスマッチを示しています。多くの操作行動は本質的に局所的かつ幾何学的です（例：取手に接近する、物体の周りを回転する）。そのような行動は類似した相互作用構造を共有する可能性がありますが、物体の姿勢、視点、またはシーンのレイアウトの違いにより、固定された世界座標系内では大きく異なるベクトルとして現れます。その結果、方策は、それらを単一の固定された出力空間にデコードするために、これらの幾何学的変動を潜在的表現内で暗黙的に吸収しなければなりません。本論文は、学習された局所フレームと、そのフレーム内での動作構成のための構造化されたメカニズムを備えることで、VLA 方策がより効果的に動作を組織化できる可能性があると提唱します。

手法：MCF-Proto

著者は、標準的な VLA 方策の動作ヘッドの軽量な再設計であるMCF-Protoを提案します。この手法は、動作中心の動作フレーム（MCF）とプロトタイプベースの動作パラメータ化という 2 つの中核コンポーネントを導入します。システム全体は、物体の姿勢や接触状態などの補助的監督なしに、標準的なデモンストレーションのみを使用してエンドツーエンドで訓練されます。

1. 動作中心の動作フレーム（MCF）

世界座標系で直接動作を回帰する代わりに、方策はまず、連続的な 6 次元回転パラメータ化を持つ軽量な多層パーセプトロン（MLP）を用いて、観測条件付きの回転 $R_t \in SO(3)$ を予測します。この回転は、各時間ステップ $t$ において局所座標系、すなわち MCF を定義します。

• 機能: MCF は、動作デコード前にシーン依存の幾何学的変動を吸収します。
• マッピング: 局所フレームで予測された動作（$\Delta x^{mcf}_t, \Delta r^{mcf}_t$）は、$\Delta x_t = R_t \Delta x^{mcf}_t$ および $\Delta r_t = R_t \Delta r^{mcf}_t$ によって世界座標系へマッピングされます。

2. プロトタイプベースの動作構成

学習された MCF 内では、動作は生ベクトルとして予測されるのではなく、共有された少量のプロトタイプ辞書のソフトな組み合わせとして生成されます。

• 構造: 並進（$B^{trans}$）と回転（$B^{rot}$）のために、それぞれ個別のプロトタイプ辞書が維持されます。各プロトタイプは、潜在係数ベクトルを 3 次元動作増分へマッピングする行列です。
• 生成: モデルは、これらのプロトタイプを選択し重み付けるために、潜在スケーリングベクトルとゲーティング対数オッズ（softmax 経由）を予測します。局所動作は、潜在スケーリングによって変調されたプロトタイプマッピングの加重和として構成されます。
• 正則化: プロトタイプ行列に対して直交性正則化子（$L_{ortho}$）が適用され、それらが明確で冗長でないことを保証します。

3. 学習目的

モデルは、標準的な模倣学習の損失（並進/グリッパーには L1、回転には Smooth L1）を用いて、世界座標系における最終的な予測エンドエフェクタ動作に対して監督されます。さらに、学習された局所フレームが瞬間的な動作変化に従って急激に回転するのではなく、時間的に滑らかに進化することを促すために、時間的滑らかさ損失（$L_{smooth}$）が導入されます。

主要な貢献

1. MCF-Proto アーキテクチャ: 学習された動作中心の動作フレームと共有された動作プロトタイプ辞書を組み合わせる軽量な動作ヘッドの導入。これには標準的な動作監督のみが必要です。
2. 創発的な構造: この設計が、安定した創発的な幾何学的構造を誘発することを示した点。具体的には：
   • 学習された局所フレームは、明示的な方向ラベルが存在しないにもかかわらず、示されたエンドエフェクタの運動と強く適合する軸を発達させます。
   • 動作表現は、より少ない支配的な方向によって変動が捉えられ、共有されたプロトタイプによって組織化されることで、実質的によりコンパクトになります。
3. 実証的検証: これらの構造的性質が、特に幾何学的摂動下において、タスク性能とロバスト性の両方を向上させるという証拠。

実験結果

著者は、LIBEROおよびLIBERO-plusベンチマーク、ならびに実世界のOpenArmプラットフォーム上で MCF-Proto を評価しました。

• LIBERO ベンチマーク: MCF-Proto は、OpenVLA-OFT（97.1%）や $\pi0$（94.1%）といった強力なベースラインを上回る、97.7% の最先端の平均成功率を達成しました。「Long」スイート（95.0%）において顕著な改善が見られ、これは拡張された時間範囲における一貫性の向上を示唆しています。
• LIBERO-plus（ロバスト性）: この手法は分布シフト下で優れたロバスト性を示し、7 つの摂動カテゴリ（カメラ、ロボット、照明、背景、ノイズ、レイアウト）のうち 6 つで最良の性能を達成しました。
  • 幾何学的摂動: 最も顕著な改善は、カメラ（69.7% 対 ベースライン <60%）およびロボット（66.0%）の摂動下で見られました。著者はこれを、制御コマンドをデコードする前に視点と初期姿勢の幾何学的変動を MCF が吸収する能力に起因すると帰属しています。
• 実世界での検証: OpenArm プラットフォームにおいて、MCF-Proto は 3 つのタスク（試験管の配置、両手での転送、ボウルの積み重ね）において、ベースラインのバリアントと比較して、より強力な長期的な信頼性を示しました。
• 構造分析:
  • 集中: 局所フレーム表現は、世界座標系の動作と比較して、共分散のトレースが 17.8% 減少し、有効ランクが 51.3% 減少しました。これは、より集中した低次元の動作空間を示しています。
  • 整合性: MCF の軸と示された運動方向との間の角度誤差は、MCF とプロトタイプ構成を組み合わせることで大幅に減少しました（約 35°から約 11–19°へ）。これは、学習されたフレームがタスクの幾何学と整合していることを確認します。

意義と主張

本論文は、動作パラメータ化が VLA 方策にとって重要ながら未探索な設計軸であると主張しています。MCF-Proto の主な意義は、動作ヘッドに軽量な幾何学的および構成的構造を追加することが、方策がロボティクス操作行動をどのように組織化し一般化するかを実質的に改善できることを示した点にあります。

著者が強調する主な要点は以下の通りです：

• 帰納的バイアス: 局所的な幾何学的整合性と構造化された動作構成は、特定のタスクファミリーを超えて有用な帰納的バイアスを提供します。
• 相互強化: 局所フレームとプロトタイプ構成は互いに強化し合います。フレームは状態間で動作を比較可能にすることで（プロトタイプの再利用を促進）、プロトタイプベースの予測はフレームが示された運動と一貫する方向を露呈することを促します。
• ロバスト性: このアプローチは、複雑な補助的監督や物体中心の推論モジュールを必要とすることなく、幾何学的摂動下での固定された世界座標系動作の脆さに対する実用的な解決策を提供します。

著者は謙虚な立場を維持しており、評価は現在特定のベンチマークに限定されており、学習されたフレームは意味的に根拠のある座標系ではなく、暗黙的な潜在表現のまま留まっていることを認めています。今後の研究としては、この設計のより大規模なモデルへのスケーラビリティ、オンライン適応、およびより明示的な幾何学的表現の探求が提案されています。