Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

技術要約：Koopman DCM：脚式ロボットのバランス制御のためのデータ駆動型表現としての不安定固有関数

問題提起
脚式ロボットのバランス制御は、歴史的に低次モデル、特に線形倒立振子（LIP）モデルに依存してきました。LIPの枠組みにおいて、発散成分運動（DCM）はシステムの不安定モードを分離する重要な制御座標として機能します。しかし、既存のDCM定式化には主に2つの制限があります：

1. モデル依存性： DCMは低次モデル（LIPなど）に対して厳密に定義されており、実ロボットのフルダイナミクス（非線形ダイナミクス）へ自然に拡張することができません。
2. パラメータの不一致： 標準的なDCM定式化で使用される自然周波数 $\omega = \sqrt{g/h}$ は、理論的な重心（CoM）の高さ $h$ から導出されます。このモデルベースのパラメータは、複雑で現実世界のシステムにおける真のダイナミクスを捉えきれないことが多く、結果としてサブオプティマル（最適ではない）な制御性能を招きます。

本論文は、DCMを特定の低次モデルの特性としてではなく、実ロボットのデータから直接学習可能なKoopman固有関数として再定式化することで、これらの問題に対処します。

手法
著者らは、「Koopman DCM」を不安定な固有関数として学習するためのデータ駆動型パイプラインを提案しています。コアとなる手法は以下の通りです：

1. 理論的再定式化：

   • 著者らは、DCMの探索をKoopman作用素の固有関数探索問題としてフレームワーク化しています。
   • 一般的なKoopmanの応用がゼロに近い固有値（保存量）を対象とするのに対し、本研究では意図的に大きな正の固有値（$\omega > 0$）を持つ不安定な固有対を探索します。
   • 制御アフィン系 $\dot{x} = f(x) + B(x)u$ に対して、学習される観測量 $\xi$ は、LIPのDCMの構造を反映しつつ、データから導出された線形微分方程式 $\dot{\xi} = \omega(\xi - u)$ を満たすように制約されます。

2. 学習パイプライン：

   • 入力： システムは、定義済みの状態空間ではなく、計測値とアクションの履歴の遅延埋め込み（delay embedding） $z_k$ を使用します。
   • アーキテクチャ： 多層パーセプトロン（MLP）が観測量 $\xi_\theta$ を学習します。
   • 損失関数： 学習目的関数は、自明な解（$\omega \to 0$ および $\xi \to 0$ となる解）を避けるために、2つのコンポーネントを組み合わせます：
     • DCMダイナミクス損失： 線形再帰関係 $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$ を強制します。
     • CoM予測損失： 学習されたDCMとCoM位置の関係を強制し、学習された観測量が安定なCoMダイナミクスをアンカー（固定）するようにします。
   • 時間的拡張： 実データ上で固有値が低くなるのを防ぐため、著者らは適格性トレース（TD($\lambda$) 損失）を採用し、エンコーダを単一ステップの残差ではなく、多ステップの予測に対して評価します。

3. 制御への適用：

   • 実ロボット： 学習されたDCMは、車輪付き二足歩行ロボット（Cookie）において、ゼロモーメントポイント（ZMP）リファレンスを追従するための比例フィードバックループに使用されます。
   • シミュレーション（MPC）： 学習されたDCMは、ヒューマノイド（Unitree G1）のモデル予測制御（MPC）フレームワークにおける状態変数として機能します。DCMダイナミクスは、生存可能性制約（ロボットが支持多角形内に留まることを保証する制約）を策定するために使用され、これらは最適化におけるハード制約として課されます。

主な貢献

1. DCMの再構成： 本論文は、DCMを発散成分運動として、低次モデルを超えて一般化された不安定なKoopman固有関数として再定義しました。
2. データ駆動型学習： 低次キネマティクスモデルを必要とせず、閉ループの計測値・アクションデータからこれらの固有関数を直接学習する新しいパイプラインを提案しました。
3. 実ロボットへの展開： 手法を物理的な二足歩行ロボットに展開し、モデルベースのベースラインと比較して歩行パターンの追従性が向上することを実証しました。
4. 生存可能性制約： 学習されたDCMをMPCに統合して状態ベースの生存可能性制約を課す方法を示し、シミュレーションにおける安定性を向上させました。

結果

• 実ロボットの性能（Cookie Biped）：
  • 1時間の実ロボットデータを用いて学習を行いました。
  • 正弦波リファレンスを用いたZMP追従実験において、学習されたDCM（遅延ホライゾン $H=10$）は、キネマティクスに基づくLIPを大幅に上回りました。
  • 具体的には、振幅0.2において、学習されたDCMは0.05のRMSEを達成しましたが、キネマティクスベースラインは0.12でした（2.4倍の改善）。
  • 学習されたコントローラは、様々な振幅および周期において追従誤差を一貫して減少させました。
• シミュレーション性能（Unitree G1）：
  • 横方向のバランス維持シミュレーションにおいて、学習されたDCMを用いたMPCフレームワークによるコントローラは、90回の試行で**転倒率0%**を達成しました。
  • 対照的に、プロポーショナルDCM（固有関数制約なし）は、同様の困難な条件下で33%の転倒率（90回中30回）となりました。
  • また、MPCアプローチはZMP追従誤差も減少させました（0.73に対し0.59）。

意義と主張
本論文は、DCMをデータ駆動型のKoopman固有関数として扱うことで、低次モデルの限界を回避できると主張しています。主な意義は以下の通りです：

• システム固有のダイナミクスの学習： この手法は、理論的なパラメータ（CoMの高さなど）に頼ることなく、ロボットの真の不安定モードをデータから直接捉えます。
• 堅牢な制御の実現： 学習された観測量は、フィードバック制御および生存可能性解析のためのより正確な状態表現を提供します。
• Sim-to-Real（シミュレーションから現実への移行）問題の回避： パイプラインが実ロボットからの閉ループデータ（または高精度なシミュレータ）で直接学習を行うため、シミュレーションで訓練してハードウェアに展開する際に典型的なドメイン適応の課題を回避できます。

著者らは、現在の定式化が特定の線形入力結合（$\dot{\xi} = \omega(\xi - u)$）を仮定していることを指摘し、今後の課題として、より一般的な双線形ダイナミクスや可変高さモデルの探索を挙げており、その範囲について謙虚な姿勢を保っています。