技術要約: LEGS – ヒューマノイドの移動・操作のための、テレオペレーションを必要としないVLAのファインチューニング

問題提起

ヒューマノイドの移動・操作（loco-manipulation）に向けたVision-Language-Action (VLA) ポリシーの学習は、現在、人間によるテレオペレーション・デモンストレーションの収集にかかる高いコストと複雑さによってボトルネックとなっています。既存のアプローチには、以下のような重大なトレードオフが存在します：

• テレオペレーション: データ収集をオペレーターの労働とロボットの稼働時間に縛り付け、疲労によるスケーラビリティの低下や、シーンごとのキャプチャを必要とするため、拡張性に欠けます。
• 人間によるデモのリターゲティング: ロボットをループから外すことはできますが、依然として高価で、シーンごとの一人称視点の人間によるキャプチャを必要とします。
• シミュレーション・ギャップ: 従来のメッシュベースのシミュレータは、視覚的な「sim-to-real」ギャップを導入します。SAM3Dを用いた物体再構成を行うパイプラインであっても、素材のシェーディングの不一致、簡略化された照明、エイリアシングが発生し、これらが視覚エンコーダにバイアスを与え、実機ロボットへの効果的な転移を阻害します。

核心となる課題は、実機のヒューマノイドハードウェアへのゼロショット転移を実現するために、事前学習済みVLAモデルを効果的にファインチューニングできる、高品質でラベル付けされた移動・操作データを、人間のテレオペレーションなしで生成することです。

手法: LEGSフレームワーク

著者らは、視覚的なsim-to-realギャップを埋めつつ、動作生成と外観を分離するように設計されたハイブリッドシミュレータであるLEGS（Loco-manipulation via Embodied Gaussian Splatting）を提案しています。

1. ハイブリッド・レンダリング・アーキテクチャ

LEGSは、動的なメッシュ・フォアグラウンドを、静的でフォトリアリスティックな3D Gaussian Splatting (3DGS) バックグラウンドの上に合成します：

• バックグラウンド (3DGS): 対象シーンの1〜2分間の手持ちビデオをCOLMAPと3DGS最適化を用いて再構成したもの。これにより、実写写真に対するレンダリング誤差を最小限に抑えた新しい視点を提供し、静的な環境における視覚的ギャップを事実上排除します。
• フォアグラウンド (メッシュ): ロボット（URDF）および操作可能な物体・小道具（単一画像からSAM3Dを用いて再構成）で構成されます。これらは3DGSバックグラウンド上にデプス合成（depth-composited）されて描画されます。
• カラーキャリブレーション: 合成画像をデプロイメントカメラに適合させるため、LEGSは決定論的な2段階のキャリブレーションを採用しています：
  1. メッシュごとのスケール ($R$): 線形RGBにおける対角スケールにより、各メッシュのレンダリング平均値をSAM2マスク内のハンドヘルドスキャンに一致させ、SAM3Dのアルベド回帰エラー（例：色褪せたグレーを黒に戻すなど）を補正します。
  2. グローバル行列 ($M$): ColorCheckerを用いて最小二乗法で適合させた$3\times3$の色補正行列により、3DGSバックグラウンドをデプロイメントカメラの色空間へとシフトさせます。

2. 物理演算と制御

• 物理バックエンド: メッシュ形状に対して500 Hzでダイナミクスを解決するためにMuJoCoを使用します。これはレンダリング・パイプラインとは独立しています。
• コントローラー: RL（強化学習）で訓練された低レベル全体系コントローラであるSONICを採用しています。これは、18次元のコマンドストリーム（6次元の手首SE(3)ポーズ + 14次元の上半身グリップ/ポーズ + 4次元のベースコマンド）を受け取ります。この同一のバイナリがシミュレーションと実機ロボットの両方で動作するため、デプロイメント時にポリシーの変更を必要としません。

3. プロシージャルなデータ生成

LEGSは、人間のテレオペレーションをプロシージャルなモーション・プリミティブ・ジェネレータに置き換えます：

• 分離: 動作は、レンダリング入力に依存しないコマンドストリームとして記録されます。
• プリミティブ: タスクは高レベルの動作（Walk, Pick, Place）に分解され、さらにシーンレベルの引数（ターゲットポーズ、物体の識別）を持つ低レベルのプリミティブへと構成されます。
• 検証: エピソードは、検証チェックを通過した場合のみ保存されます。
• 再レンダリング: 動作は外観から分離されているため、同じデータセットを新しい背景、物体メッシュ、カメラ条件下で、GPUコストのみで再レンダリングすることが可能です（新しい動作収集を必要としません）。

主な貢献

1. テレオペレーション不要のデータ・パイプライン: 人間によるデモンストレーション（テレオペ、シードデモ、または人間のビデオ）を一切使用せず、シミュレーション内で完全にラベル付けされた移動・操作データを生成するプロシージャルなシミュレータ。
2. 転移のためのフォトリアリスティックなレンダリング: 3DGSバックグラウンドとメッシュ・フォアグラウンドおよびカラーキャリブレーションを組み合わせることで、メッシュのみのベースラインを大幅に上回ることを示し、フォトリアリズムが実機への転移を可能にする鍵であることを証明しました。
3. スケーラブルな拡張性: 既存のモーションデータを再レンダリングすることで、新しいシーンや物体に適応できる、大規模に並列化可能なワークフロー。これにより、新しい外観条件への適応コストを、人間の労働による1.5時間以上から、GPU時間による約0.1時間へと削減します。
4. 広範な実機評価: 3つのSOTA VLAバックボーン（$\psi_0$, $\pi_{0.5}$, GR00T N1.6）と、難易度が上昇する3つのタスクについて、Unitree G1ロボットを用いて合計1,110回の試行を実施し、検証を行いました。

実験結果

著者らは、Unitree G1を用いた3つのピック・アンド・プレース・タスクにおいてLEGSを評価しました：

• タスク1: 操作のみ（移動なし）。
• タスク2: 移動・操作（テーブルへ歩いて行き、ピックして、置く）。
• タスク3: 複雑な移動・操作（歩き、ピックし、回転し、低いテーブルへ歩いて行き、しゃがみ、置く）。

主な知見:

• LEGS vs. テレオペレーション: LEGSデータ（200エピソード）のみでファインチューニングされたポリシーは、すべてのタスクとバックボーンにおいて、人間によるテレオペレーション（50エピソード）でファインチューニングされたポリシーと同等以上の性能を示しました。特に困難なタスク3において、テレオペレーションのベースラインはすべてのバックボーンで成功率0%に陥りましたが、LEGSは2〜6/10の成功率を達成しました。
• LEGS vs. メッシュのみのベースライン: LEGSは、3DGSバックグラウンドとカラーキャリブレーションを欠いた、メッシュのみのベースライン（SAM3D）を大幅に上回りました。メッシュのみのベースラインの平均成功率は33%であったのに対し、LEGSは67%であり、近距離での操作（ピック/プレース）段階においてその差が拡大しました。
• 予算の一致: 50エピソードという同等の予算を用いた場合でも、LEGS (50) はテレオペ (50) と同等またはそれを上回る結果となり、この利点が単なるデータ量によるものではないことを裏付けました。
• 外観の変化への適応: 未知の物体やシーンのバリエーション（例：オレンジをリンゴに、テーブルを青いテーブルに変更）に対してテストした際：
  • デフォルトのデータで訓練されたベースライン（Teleop, SAM3D, LEGS）は完全に失敗しました（成功率0〜1/10）。
  • モーションデータを新しい外観で再レンダリングしたLEGS-AUGは、高い成功率を維持し（タスク1では最大100%）、再レンダリングされたSAM3D-AUGベースラインを上回りました。これは、再レンダリングが適応を可能にし、フォトリアリズムが正確性を保証することを裏付けています。

重要性と主張

本論文は、フォトリアリスティックなレンダリングとプロシージャルなモーション生成が、データ収集ステップにおけるヒューマノイドのテレオペレーションの十分な代替手段になると主張しています。

• ゼロショット転移: LEGSは、事前学習済みVLAモデルをファインチューニングすることで、実機ロボットへのゼロショット転移を可能にし、実世界のテレオペレーションデータで訓練されたモデルよりも優れた性能を発揮します。
• コスト効率: このアプローチは、データの適応を「オペレーターに依存する問題」から「計算量に依存する問題」へと転換し、新しいシーンへの適応コストをテレオペレーションと比較して15倍以上削減します。
• 汎用性: 3つの異なるVLAバックボーンにおける成功は、その恩恵が特定のモデルアーキテクチャに依存するのではなく、データパイプライン自体に由来することを示唆しています。

著者らは、元のスキャン分布外の照明変化に対する感度、反射面や透明な表面での劣化、および静的な背景の仮定といった限界についても認めています。しかし、LEGSは、人間によるデモンストレーション収集の禁止的なコストなしに、ヒューマノイドの移動・操作ポリシーを訓練するための、堅牢でスケーラブルな経路を提供すると結論付けています。