技術要約：Cloak: VLAからエンドエフェクターをマスキングすることによるゼロショット・クロスエンボディメント操作

1. 問題提起

ロボット操作の研究は、単純な平行グリッパーから複雑で人間のような多指ハンドまで、多様なエンドエフェクターによって断片化されています。特定の「ソース（情報源）」となる形態（エンボディメント）で訓練されたVision-Language-Action (VLA) モデルは、その特定のロボットに対しては強力な性能を発揮しますが、異なる形態を持つ「ターゲット」の形態にデプロイされると、その能力は著しく低下します。

ゼロショット・クロスエンボディメント転移における主要な障壁は、視覚的なギャップです。手首に取り付けられたカメラを使用する標準的なセットアップでは、エンドエフェクターが視界の大部分を一定の領域として占有します。ソースロボット（例：平行グリッパー）で訓練されたポリシーは、その特定の末端の形状に強く依存した特徴を学習してしまいます。異なる外観を持つターゲットロボット（例：5本指の手）にデプロイされた場合、視覚的な観測が分布外（Out-of-Distribution）となり、性能の崩壊を引き起こします。既存の解決策は、ターゲットごとに新しいデータを収集するか、生成モデルを使用して画像内のロボットを「描き直す（リペイント）」ことに依存していますが、これらはレイテンシ、ハルシネーション（幻覚）のリスク、および計算オーバーヘッドを伴います。

2. 手法：Cloakのレシピ

著者らは、訓練中に自身のリストカメラのビューからエンドエフェクターを明示的にマスキングすることで、未知の形態へとVLAを汎化させる訓練レシピであるCloakを提案しています。これにより、モデルは特定のソースロボットの手の具体的な幾何学形状ではなく、シーンのコンテキストと言語指示に依存するように強制されます。

コアコンポーネント

1. 幾何学的マスキング（訓練および推論）:

   • 学習ベースのセグメンテーションや生成的なインペインティング（修復）を使用する代わりに、Cloakはロボットの既知の運動学（順運動学）、リンクメッシュ、およびカメラの内部パラメータを用いて、エンドエフェクターの幾何学的マスクをリアルタイムでレンダリングします。
   • このマスクはリストカメラ画像に投影され、ロボット自身の身体が占めるピクセルを特定します。
   • マスクトンテンション（Masked Attention）: マスクはビジョンエンコーダーのパッチグリッド（例：ViTパッチ）に合わせてダウンサンプリングされます。ビジョンエンコーダー内のアテンション計算において、マスク内のパッチには$-\infty$のアテンションバイアスが割り当てられます。これにより、シーケンス長を維持したまま、ポリシーの知覚からエンドエフェクターの視覚情報を効果的に除去します。

2. マスク拡張（訓練時のみ）:

   • ソースグリッパーの特定のシルエットにモデルが過学習するのを防ぐため、著者らは訓練中にマスクを拡張します。
   • この拡張では、マスクの輪郭に「カプセル」をランダムに追加し、内部から「ディスク」を減算します。
   • 画像に生じた穴（これによりソースロボットが露出してしまう状態）を埋めるために、著者らは単純で非生成的なインペインティング戦略を使用しています。具体的には、同じ画像のコピーをマスクされた領域にロール（回転・展開）させます。これにより、新しい内容を捏造することなく、ピクセル分布を現実的な状態に保ちます。

3. チップポーズ・リターゲティング（運動学的架け橋）:

   • 視覚的ギャップはマスキングによって対処されますが、運動学的ギャップ（異なる関節空間）は**順運動学（FK）と逆運動学（IK）**によって対処されます。
   • 入力リターゲティング: ターゲットロボットの状態は、ターゲットの指定された「チップ（例：指先やグリッパーの顎）」のFKを計算した後、それらのチップポーズに一致するソースロボットの関節構成を解くことで、ソースロボットの関節空間に変換されます。
   • 出力リターゲティング: VLAはソースロボットの関節空間でアクションを出力します。これらは、ソースのチップのFKを計算した後、同じチップポーズを実現するためのターゲットロボットのIKを解くことで、ターゲットロボットのアクションへと変換されます。
   • グリッパーの信号については、事前定義された開閉状態間の線形補間が使用されます。

3. 主な貢献

• Cloak-VLA: 単一の平行グリッパーのデータセット（DROID）で訓練されたVLAポリシーであり、新しいデータを収集することなく、異なるグリッパー、異なるアーム、および5本指のデクスタラスハンドを含む未知の形態へのゼロショット転移を実現しました。
• 幾何学ベースのマスキング: 生成モデルや学習ベースのセグメンテーションに頼らず、既知の幾何学からマスクをレンダリングすることで、視覚的ギャップを閉じる新しいアプローチを提供し、ハルシネーションを回避しリアルタイム性能を確保しました。
• マスク拡張戦略: 訓練中にエンドエフェクターのシルエットをランダム化するテクニックであり、モデルが特定の形状を記憶するのではなく、形態に依存しない推論を学習することを保証します。
• データとハードウェアの分離: 操作スキルが特定の身体から切り離せることを実証し、収集されたデータがハードウェアの寿命を超えて「生き続ける」ことを可能にします。

4. 実験結果

著者らは、DROIDデータセット（ソース：Franka Panda + Robotiq 2F-85 グリッパー）上でCloak-VLAを評価し、以下の3つの未知の形態に対してゼロショット転移をテストしました：

1. UMI Gripper: 異なる色、形状、サイズを持つ別の平行グリッパー。
2. YAM Arm: グリッパーを備えた異なるアームプラットフォーム。
3. Sharpa Hand: 5本指のデクスタラス・ヒューマノイドハンド。

性能指標（タスク進行率）:

• ソース形態: Cloak-VLAは、アンマスクト・ベースライン（$\pi0.5$-droid）と同等の性能を示しました。これは、マスキングがソースロボットに対するコストをほとんど発生させないことを示しています。
• 未知の形態:
  • Cloak-VLAは、すべての未知のターゲットに対して高い性能を維持しました（例：Sharpaハンドで81.8%、UMIグリッパーで85.1%）。
  • ベースライン（$\pi0.5$-droid および LAP-VLA）は、未知の形態、特に5本指の手において大幅な性能低下を経験しました（それぞれ**54.4%および60.2%**に低下）。
  • アブレーション研究: マスク拡張を削除した場合（Cloak-VLA-NoAug）や、固定されたターゲットマスク・オーバーレイを使用した場合（Cloak-VLA-Overlap）は、性能が低下しました。これにより、ソースのシルエットを拡張することが汎化に極めて重要であることが確認されました。

5. 意義と主張

本論文は、Cloakがボディ・アグノスティック（身体に依存しない）な操作に向けた重要な一歩であることを主張しています。エンドエフェクターを「覆い隠す（Cloak）」ことにより、モデルはロボットの手の具体的な外観にバイアスされることなく、タスクと環境について推論することを学習します。

• データの長期生存性: 主な意義は、新しいハードウェアのために再訓練や新しいデータ収集を行うことなく、大規模なデータセット（DROIDなど）を再利用できる能力にあります。
• 堅牢性: この手法は、生成モデルの欠点（ハルシネーション、速度）や、学習ベースのセグメンテーション（細い構造に対する信頼性の低さ）を回避します。
• 範囲: 著者らは、現在の近似は「2つの指先による操作（把持や配置）」として表現可能なタスクに限定されており、複雑な手内での方向転換や、豊かな接触戦略を必要とするスキルにはまだカバーしていないことを謙虚に述べています。彼らは、結果として得られるボディ・アグノスティックなモデルが、将来の新しい形態へのファインチューニングのための強力な初期化として機能することを示唆しています。