技術要約: DeformGen

問題提起

模倣学習や視覚運動制御（visuomotor policy）の学習は、剛体のロボット操作において大きな成功を収めてきましたが、これらの手法を変形可能物体の操作へとスケールアップさせることは、多様なデモンストレーションデータの収集コストと困難さから、依然としてボトルネックとなっています。既存のデータ拡張パラダイムは、等変性の仮定（材料点間のユークリッド距離は剛体変換に対して不変であるという仮定）に依存していますが、これは変形可能な設定においては根本的に破綻します。

著者らは、「剛体のレシピ」を破壊する2つの核心的な課題を特定しています：

1. 状態空間の課題: 変形可能な物体は高い自由度（DoF）と動的な内部制約を持っています。6自由度のポーズで十分な剛体とは異なり、変形可能な物体は豊かな形状とトポロジーの変化を示します。素朴な幾何学的摂動は、高次元の状態空間における制約付き多様体から外れた、物理的に不自然な状態（例：粒子の断裂や不可能な形状）を引き起こすことがよくあります。
2. 軌跡転送の課題: 変形可能な物体の材料点は等変ではありません。それらは剛体のように一様に動きません。デモンストレーションの軌跡に対してグローバルな剛体変換を適用すると、エンドエフェクタが物体の局所的な幾何形状と不整合を起こし（例：折りたたまれた布の特定の点を掴むことに失敗する）、局所的な変形を補償できず、接触のミスマッチを招きます。

手法: DeformGen

DeformGenは、物理的に妥当な変形状態を合成し、変形を考慮した形で操作軌跡を転送するために設計された、ダイナミクスベースのトポロジー拡張フレームワークです。これは主に以下の2つのコンポーネントで構成されています。

1. ダイナミクスに基づくトポロジカル状態拡張

状態空間の課題に対処するため、DeformGenは物理的に妥当な多様体を離れてしまう素朴な幾何学的摂動を避け、代わりにフォワードシミュレーションアプローチを採用します。

• プロセス: 既知の妥当な状態（$s_0 \in S_{real}$）から開始し、システムは物体に対して局所的な外力（$f$）を適用します。
• シミュレーション: 物理シミュレータ（$\Phi_{sim}$）が時間ステップ（$\Delta t$）にわたってダイナミクスをフォワードシミュレートし、新しい状態を生成します：$s_{aug} = \Phi_{sim}(s_0, f, \Delta t)$。
• 根拠: 状態がシミュレータ自身のダイナミクスを通じて進化するため、生成された状態は事後的な修復を必要とすることなく、物理的に妥当な部分空間（$S_{real}$）内に留まります。この手法は、剛体変換では捉えられない多様なトポロジー的変化（曲げ、ねじれ、折りたたみ）を生成します。

2. 変形フィールド・ワーピングによる軌跡拡張

軌跡転送の課題に対処するため、DeformGenは剛体変換ではなく、連続的な変形フィールドを用いて、拡張された状態に対する有効な操作軌跡を合成します。

• 変位の計算: システムは、ソースとなる物体の状態とターゲット（拡張された）状態の間の、粒子ごとの変位（$\delta_i$）を計算します。
• フィールドの構築: これらの変位は、K近傍法（KNN）による逆距離補間を用いて、ワークスペース上の連続的な空間関数（変形フィールド $D(x)$）へと持ち上げられます。
• 軌跡のワーピング:
  • 位置: ソース軌跡の各ウェイポイント $x_t$ について、近傍 $K$ 個の粒子の変位を集計することで位置オフセットを計算します。時間依存の減衰因子（$\alpha_t$）により、軌跡は初期には局所的な変形に従い、徐々に元の経路へと回帰するように制御されます。
  • 姿勢: 元の局所ベクトルを変形したものへと写像するために、最小二乗法によるフィッティングを通じて局所ヤコビ行列（$J_t$）を推定します。誘導された回転は $SO(3)$ 多様体に投影され、最終的な姿勢は、元の回転と誘導された回転の間の**球面線形補間（SLERP）**によって計算されます。
• 適応: グラスプポーズでは（局所的な幾何形状に焦点を当てるため）小さな $K$ を使用し、操作フェーズでは（グローバルな変形を捉えるため）大きな $K$（全粒子数）を使用します。

主な貢献

1. 問題の定式化: 本研究は、変形可能な操作のための効果的な拡張には、剛体スタイルの拡張の限界を超えた、物理的に妥当な状態合成と変形を考慮した軌跡転送の組み合わせが必要であることを正式に特定しました。
2. ダイナミクス整合型パイプライン: 著者らは、局所的な摂動、物理ロールアウト、および安定化を通じて、トポロジー的に一貫した変形アセットを生成する新しいパイプラインを提案しています。これは、エンドエフェクタが変形した幾何形状と常に一致することを保証しながら、操作軌跡を同時に合成します。
3. 実証的検証: 高精度なベンチマークを用いた広範な実験により、DeformGenが、元のデモンストレーションのみで学習した場合や、剛体スタイルの拡張基盤モデルと比較して、ポリシー学習を大幅に向上させることが示されました。

実験結果

フレームワークは、ロープのルーティング、おもちゃのパッキング、布の折りたたみの3つの変形可能操作タスクについて、4つのポリシーアーキテクチャ（ACT、Diffusion Policy、SmolVLA、および $\pi_0$）を用いて評価されました。

• 性能向上: DeformGenは、ほとんどのポリシーアーキテクチャにおいて最も高い平均成功率を達成しました。例えば、ロートルーティングのタスクにおいて、単一ソース学習では成功率0%、剛体スタイル拡張（SoftMimicGen*）では56.0%であったのに対し、DeformGenは $\pi_0$ で最大 99.0% の成功率を達成しました。
• アブレーションによる洞察:
  • 状態の多様性: DeformGen（トポロジカル状態拡張）と SoftMimicGen*（剛体状態拡張）を比較した結果、より広い変形構成のカバー範囲が汎化において極めて重要であることが示されました。
  • 軌跡転送: DeformGenと、局所的な剛体転用を用いるバリアント（DeformGen*）を比較した結果、変形フィールド・ワーピングが、軌跡を局所的な幾何形状により良く適合させることで、相補的な利点を提供することが示されました。
• 汎化性能: DeformGenで学習されたポリシーは、軌跡合成自体が有効なデモンストレーションを生成できなかった場合を含む、未知のテスト状態に対しても正常に汎化しました。これは、単なる暗記ではなく、転送可能な操作戦略を学習していることを示唆しています。
• 剛体シナリオ: 剛体のみのテストシナリオにおいても、DeformGenは競争力を維持しており、トポロジー的に多様なデータでの学習が、より単純なタスクにおける性能を大幅に損なわないことを示しています。

意義と主張

本論文は、DeformGenが、単一のデモンストレーションを多様で物理的に妥当な状態と対応する軌跡へと拡張することにより、変形可能な操作におけるデータ取得のコスト効率の高いソリューションを提供すると主張しています。

著者らは、その結果から、変形可能な物体に対する拡張のアプローチは根本的に変わる必要があると主張しています。すなわち、効果的な拡張は、ダイナミクスに一貫している（物理的制約を遵守する状態を生成する）こと、および変形を考慮している（局所的な幾何形状に適応する軌跡を転送する）ことが不可欠です。このアプローチは、変形可能な物体の高次元な状態空間と非等変な性質を捉えることができない、剛体スタイルの拡張の限界を克服します。本研究は、このようなデータの合成が、より高い成功率と未知の変形構成への優れた汎化を実現するポリシーの学習につながることを実証しています。