Dynamic robotic cloth folding with efficient Koopman operator-based model predictive control

技術概要：効率的なクープマン作用素に基づくモデル予測制御を用いた動的ロボット布折り

問題定義
ロボットによる布の操作は依然として大きな課題であり、特に布の慣性を利用するために高速な動作に依存する動的な折りたたみタスクにおいて顕著です。準静的な操作とは異なり、動的な折りたたみは複雑で非線形な布の動力学を navigated する必要があり、これがシステム同定や軌道計画を妨げています。従来の物理モデルは、高速動作に適用される際にしばしば大きな「シミュレーションから実世界へ（sim-to-real）」のギャップに悩まされ、既存のロボットアプローチは通常、遅すぎるか、あるいは速いものの不正確であり、折りたたみを達成するために複数の試行を必要とすることが多いです。さらに、人間の専門家はこれらのタスクを動的かつ効率的に遂行しますが、ロボットシステム、特に単一アームによる単一隅の操作に制約された場合、この器用さを再現することに苦労しています。

手法
提案手法は、高忠実度の物理ベースシミュレータと効率的なデータ駆動型代理モデルを統合した革新的な**モデル予測制御（MPC）**フレームワークを通じて、これらの課題に対処します。中核となる手法は、以下の 3 つの主要な構成要素から成ります。

1. 物理ベースシミュレーション（シミュレーション指向モデル - SOM）:
   システムは、空気力学、重力、剛性、減衰を考慮した高忠実度の非伸縮性布モデルを利用します。このモデルは四角形メッシュに離散化され、等式制約（非伸縮性）と不等式制約（テーブルとの衝突および自己衝突）を処理するための二次計画法を含む反復プロセスを用いて解かれます。この SOM は、トレーニングデータを生成するための真値（ground truth）として機能し、シミュレーション内で正確なフィードバックを提供します。

2. データ駆動型代理モデル（制御指向モデル - COM）:
   非線形 MPC の計算コストを克服するため、著者はクープマン作用素回帰を採用します。この技術は、布の非線形動力学を、動力学が線形となる高次元（潜在的には無限次元）空間へ「持ち上げ（lift）」ます。

   • トレーニング: モデルは、SOM によって生成された合成データを用いてトレーニングされます。制御入力は、単一点ではなく、布メッシュ上の 2 つの隣接ノードの変位として定義されます（これは、現実世界の把持制約をよりよく反映するために、固定された向きでの垂直把持をシミュレートします）。
   • 近似: 無限次元作用素は、トレーニングデータを部分サンプリングして有限次元の線形システムを作成する**ニーストロム法（Nyström method）**を用いて近似されます。これにより、効率的に学習可能な線形状態空間モデルが得られます。
   • 再構成: 再構成行列は、代理状態を物理的な布の状態へマッピングします。

3. 線形モデル予測制御（LMPC）:
   線形代理モデルは、LMPC ループ内に埋め込まれます。コントローラは、特定の制約を満たしながらコスト関数（状態誤差と制御努力のバランス）を最小化する軌道を生成するために、有限時間最適制御問題（OCP）を解きます。

   • 安全性制約: 把持された隅がテーブルと衝突したり、有効領域外へ移動したりするのを防止します。
   • 滑らかさ制約: 速度と加速度の変化に制限を課すことで、軌道が実ロボットによって実行可能であることを保証します。
   • 向き制約: 固定されたエンドエフェクタの向きを維持するために、制御される 2 つのメッシュ点が同一の変位で移動することを保証します。
   • 境界制約: 不安定な動作を回避するために、変位の大きさを制限します。

制御ループは、予測に線形 COM を用いて OCP を解くことで動作し、SOM は（シミュレーション内で）クローズドループ方式で状態を更新するか、次のステップの初期状態を提供するために使用されます。

主な貢献

• ハイブリッドモデリングアーキテクチャ: 本論文は、衝突を認識する物理ベースの SOM と、効率的なクープマン作用素回帰アルゴリズムを組み合わせ、布折り用の線形データ駆動型 COM を構築しています。
• 制約付き線形 MPC: 著者は、この COM を線形 MPC 戦略内で利用し、SOM とクローズドループで制約付きロボット軌道を生成することで、未見の目標姿勢への布折りを実現しています。
• ゼロショットシミュレーションから実世界への転移: 本手法は実ロボットプラットフォーム（UR5）上で実行・評価され、実世界データでの再トレーニングを必要とせずに、1.5 秒未満の高速折りたたみ軌道の転移に成功しました。

実験結果
提案されたパイプラインは、シミュレーションおよび実ロボット上で、ウール（スーツ）とデニム（ジーンズ）の 2 種類の素材を用いて評価されました。

• シミュレーション: 実験により、代理状態のサイズ（ニーストロムランドマークの数）を増やすことが折りたたみの精度を向上させることが示されました。さらに、予測ホライズンを長くすることが、成功に必要な布の中心に向かう初期動作を含む軌道を生成する上で重要であることが判明しました。
• 実ロボット性能: システムはゼロショットのシミュレーションから実世界への転移を達成し、ウールとデニムの両方の衣類を 1.5 秒未満で目標姿勢に折りたたむことに成功しました。
  • 精度: 相対的な折りたたみ誤差（$E_{fold}$）は、異なる目標折りたたみと素材の間で、約**0.77% から 7.23%**の範囲でした。
  • 観察: デニムの折りたたみは数値誤差率が低かったものの、視覚分析によると、ウールの折りたたみはより平坦な表面とより正確な隅の配置を達成しており、これは素材の物理的特性の違いに起因すると考えられました。
  • 実行: 現在の高頻度視覚フィードバックシステムの遅延が動作の速度に比べて大きいため、軌道はオープンループで実行されました。

意義と主張
本論文は、その主な意義が、正確な物理ベースモデリングが、クープマン作用素回帰を通じて線形代理モデルを効果的にトレーニングするために使用できることを実証した点にあると主張しています。この線形化により、非線形シミュレータの微分を必要とせずに折りたたみ軌道の効率的な計算が可能となり、状態空間の次元を削減します。

著者は、このアプローチが、慣性効果が通常重大な失敗を引き起こす高速動的折りたたみにおけるシミュレーションから実世界へのギャップを成功裡に埋めたことを強調しています。単一のマニピュレータと単一の動作で 1.5 秒未満で成功した折りたたみを達成することで、この研究は、ロボットによる布折りには低速または準静的である必要があるという考え方に挑戦しています。論文は、現在のシステムがオープンループ実行に依存しているものの、このフレームワークがリアルタイムフィードバックやより複雑な把持プリミティブを組み込んだ将来の研究のための堅牢な基盤を提供すると結論付けています。