技術要約：1つのデモは1000の軌跡に匹当る：視覚運動方策のためのアクション・ビュー拡張

問題提起

模倣学習を通じて訓練された視覚運動方策（visuomotor policies）は、実世界での展開において脆弱性を示すことがよくあります。ロボットの初期構成のわずかな偏差や、未知の障害物の存在は、分布外（OOD）の観測をもたらす可能性があります。これらのOOD状態は、実行エラーとタスク失敗の連鎖を引き起こします。多様な空間構成の下で広範な人間によるデモンストレーションを収集することでこれを軽減できますが、そのプロセスは退屈でコストがかかり、多くの場合非現実的です。コンピュータビジョンにおける既存のデータ拡張技術（例：カラージッタリング、クロッピング）は、ロボティクス特有の要件、すなわちアクション・ビューの一貫性（action-view consistency）と物理的制約（3D衝突および接触力学）を同時に遵守する必要性を満たすことができません。さらに、標準的な状態ベースの拡張は、視覚的不変性を状態推定に委ねる傾向がありますが、従来の視覚・アクション拡張手法は、静的な三人称ピンホールカメラの視点や、滑らかな軌跡レベルの障害物回避を生成できない単一ステップの修正に限定されています。

手法：1001 DEMOS フレームワーク

著者らは、単一の実世界の人間によるデモンストレーションから、視覚的にリアルで物理的に実行可能な数千の「アクション・ビュー軌跡」を生成するオフライン・データ拡張フレームワークである 1001 DEMOS を提案しています。このシステムは、単一の広視野角（FoV）フィッシュアイカメラを備えた、ポータブルなパラレルグリッパーを利用しています。フレームワークは、主に3つのモジュールで構成されます。

1. 眼内（Eye-in-Hand）フィッシュアイビデオからの3Dシーン再構成

システムは、シーンのスキャンおよびタスクのデモンストレーション中にキャプチャされたフィッシュアイ画像シーケンスを処理し、2つの表現を作成します。

• シーン点群（Scene Point Cloud）: モーションプランニングと衝突チェックのために、COLMOTを使用して再構成されます。
• フィッシュアイ3D Gaussian Splatting (Fisheye-3DGS): 広FoVフィッシュアイカメラを扱うための、3D Gaussian Splatting (3DGS) の新しい適応版です。
  • フィッシュアイ・レイサンプラー: 著者らは、標準的なピンホール・レイサンプラーを、KB8ベースのフィッシュアイ・レイサンプラーに置き換えました。各フィッシュアイピクセル $(u, v)$ について、レイ方向 $r_d$ はKB8モデルを介して計算され、カメラ内部パラメータ $K$ を通じてピンホール座標 $(u_p, v_p)$ に投影されます。
  • 最適化: 3DGSの効率性（CUDAブロック・スレッド構造）を維持するために、システムはピンホール・レイからフィッシュアイ・レイへのタイル割り当ての再分配を行い、フィッシュアイ・レイを元の256レイ/タイルレイアウトに分割します。これにより、フィッシュアイの歪みを正確にモデル化しながら、高速なラスタライズが可能になります。

2. 軌跡最適化によるアクション生成

再構成された3D点群と元のデモンストレーション軌跡を用いて、軌跡最適化を通じて2種類の新しい軌跡を生成します。

• 自由空間軌跡（Free-Space Trajectories）: 元の視点の周囲のクォータニオン・コーン内でサンプリングされた、異なる初期カメラポーズを用いて生成されます。
• 障害物回避軌跡（Obstacle-Avoidance Trajectories）: シーンに障害物点群（Objaverseからサンプリング）を導入し、それらを回避するパスを計画することで生成されます。

最適化問題は、以下の複合損失関数を最小化します：
$$\mathcal{L} = \mathcal{L}_{funnel} + \mathcal{L}_{collision} + \mathcal{L}_{render} + \mathcal{L}_{smooth}$$

• $\mathcal{L}_{funnel}$: デルタ・ファンネル損失。軌跡が元のデモンストレーションと同じ接触前ポーズに収束することを保証し、接触力学を保持します。
• $\mathcal{L}_{collision}$: シーン（追加された障害物を含む）の切断符号付き距離関数（TSDF）を使用し、衝突を罰します。
• $\mathcal{L}_{render}$: ビュー一貫性損失。生成されたポーズを、元のスキャンおよびデモンストレーションのビューの分布に近づけ、新しい視点からレンダリングする際に3DGSで一般的な「フローター（浮遊物）」アーティファクトやぼやけた再構成を防ぎます。
• $\mathcal{L}_{smooth}$: 滑らかな軌跡を確保するため、速度の躍度（ジャーク）を罰します。

3. ビュー生成と方策訓練

• ビュー生成: 最適化された6D軌跡は、訓練されたFisheye-3DGSを使用してレンダリングされ、対応する視覚的観測を生成します。障害物シナリオでは、元のシーンの3DGSに、追加された障害物の訓練済み3DGSが結合されます。
• データコンパイル: グリッパーをSAM2でセグメンテーションし、レンダリングされた画像に重ね合わせることで、拡張データをコンパイルします。グリッパーの開口幅は元のデモから維持され、6Dエンドエフェクタのポーズは最適化された軌跡から取得されます。
• 訓練: 元のエキスパート・デモンストレーションと生成された拡張データセットの連合上で、Diffusion Policyを訓練します。

主な貢献

1. アクション・ビュー拡張フレームワーク: 視覚的観測とアクション軌跡を共同で拡張し、物理的制約を遵守しながら両者の間の整合性を確保する手法。
2. Fisheye-3DGS: 広FoVフィッシュアイカメラに対応した3D Gaussian Splattingの新しい定式化であり、眼内システムのための高速かつ高忠実な新規視点レンダリングを可能にする。
3. 軌跡レベルの障害物回避: 未知の障害物を回避する滑らかで衝突のない軌跡を生成する能力。これは、従来の単一ステップまたは三人称の拡張手法には欠けている機能である。
4. 接触認識型拡張: 接触イベントを検出し、接触前のフェーズに拡張を制限することで、元のデモンストレーションの重要な接触力学を保持するメカニズム。

実験結果

本フレームワークは、シミュレーション（RoboMimic "square" タスク）および実世界のシナリオ（カップ給仕タスク）の両方で評価されました。

• シミュレーション (RoboMimic):

  • 性能向上: アクション・ビュー拡張により、拡張なしで訓練された方策と比較して、タスク成功率が平均で 56% 向上しました。
  • ベースラインとの比較: 本手法は、「Aug Action Only」（アクションを摂動させるが視覚は固定）よりも最大 35% 高く、単一ステップのNeRFベース手法であるSPARTNよりも平均成功率で 15% 高い性能を示しました。
  • 上限値: パフォーマンスは、グラウンドトゥルースの新規視点レンダリングを用いて訓練された「オラクル」方策に近く、その差はわずか8-11%でした。

• 実世界評価:

  • OOD構成への堅牢性: 自由空間拡張は、未知の初期ロボット構成に直面した際、非拡張の方策に対して成功率を 55% 向上させました。
  • 障害物回避: 障害物認識拡張を用いて訓練された方策は、未知の障害物があるタスクにおいて 100% の成功率を達成しました。これは、自由空間拡張（10%）や拡張なし（5%）を大幅に上回る結果です。これは、本手法が、元の人間によるデモには存在しない衝突回避行動を学習できる能力を持つことを示しています。

重要性と主張

論文は、1001 DEMOS が、明示的にデモンストレーションされていないスキル、具体的には 障害物回避 と 新しい初期構成への堅牢性 をロボットに効果的に授けることを主張しています。単一の人間によるデモから、物理的に実行可能な軌跡レベルの眼内デモンストレーションを生成することにより、本フレームワークは、視覚運動方策学習に固有のデータ不足と脆弱性の問題に対処します。著者らは、彼らのアプローチが視覚的不変性と物理的一貫性の間のギャップを埋め、徹底的な手動データ収集を行うことなく、OODの視点や環境への汎化を可能にすることを強調しています。

著者らは、現在のパイプラインが単一の移動カメラの視界範囲に依存するため、静的なシーンに制限されていること、および生成された軌程が、ダウンストリーム展開ロボットの運動学的限界を本質的に考慮していないこと（ただし、タスク空間の実現可能性を確保するために制限されている）を認め、限界についても謙虚に述べています。今後の課題として、マルチカメラ構成やエンボディメントを考慮した軌跡最適化の探索が示唆されています。