Learning Input-Constrained Funnel Controllers from State Trajectory Data

技術要約：状態軌跡データからの入力制約付きファンネル制御器の学習

問題定式化
本論文は、既定の性能仕様（過渡特性および定常特性）を満たしつつ、ハードな入力制約を厳密に遵守する非線形制御アフィンシステムのフィードバック制御器を設計するという課題に取り組んでいる。従来の規定性能制御（PPC）やファンネル制御（FC）の手法は、アクチュエータの限界下では、攻撃的な性能仕様が利用可能な制御能力を超えてしまったり、逆に保守的な設計によって性能が犠牲になったりするなど、困難に直面することが多い。既存の学習ベースのアプローチは、通常、エキスパートのポリシーを再構成するために状態と入力のペアを必要とするが、多くの実用的なシナリオ（テレオペレーションやモーションキャプチャなど）では、対応する制御入力なしに、状態の軌跡データのみが提供される。核心となる問題は、エキスパートの制御ポリシーを再構成することなく、状態のみのデータを用いて、時間変化する性能ファンネルとフィードバックゲインを共同で合成し、ハードなアクチュエータ境界の下で実現可能な挙動を保証することである。

手法
著者らは、性能ファンネルと状態依存のフィードバックゲインを共同で学習する最適化ベースのフレームワークを提案している。

1. システムモデルと仮定： システムは $\dot{x} = f(x) + G(x)u$ とモデル化され、コンポーネントごとのハードな入力制約 $|u_i| \leq \bar{u}_i$ を持つ。本手法は、有界な不確かさを持つ公称モデル $(\hat{f}, \hat{G})$ と、デモンストレーションの軌跡を含むコンパクト集合 $X_c$ へのアクセスを仮定している。
2. ファンネルのパラメータ化： 性能ファンネルの境界 $\rho(t)$ は、3次Bスプラインを用いてパラメータ化される。以下の事項を保証するために制約が課される：
   • 正値性： ファンネルが厳密に正であることを維持する。
   • データ駆動型境界： ファンネルの境界が、状態軌跡から導出された経験的分位点エンベロープ（$\alpha$ および $\beta$）内に位置するようにし、外れ値に対して頑健でありながら、デモンストレーションの支配的な挙動を捉えることを保証する。
   • ダイナミクス： 1次および2次の微分に関する制約により、滑らかさと収縮率の制限を確保する。
3. 制御器のパラメータ化： 制御器は、公称モデルの補償と学習された状態依存ゲインを組み合わせる。制御則は $u = \text{sat}_{\bar{u}}(u_d)$ であり、ここで所望の入力 $u_d$ は公称ドリフトとファンネルのダイナミクスを補償し、径基底関数（RBF）によってパラメータ化された対角ゲイン行列 $K(\xi; w)$ が、変換された誤差 $\xi$ に対するフィードバックを提供する。
4. 合成手順： 飽和演算子が存在するため、結合合成問題は非凸である。著者らは、実現可能性駆動型アクティブセット合成手順を開発した：
   • アウターループ： 与えられた収縮率のスケーリング因子 $v$ に対して、ファンネルパラメータ（$\theta$）を見つけるための線形計画問題を解く。
   • インナーループ： 固定されたファンネルパラメータに対して、一連の凸二次計画問題を解いてゲインの重み（$w$）を見つける。このループは、飽和関数の非凸性を扱うために、「飽和パターン」（どの入力が飽和しているか、あるいはしていないか）を反復的に更新する。
   • 検証： 候補となるペアは、実際の飽和入力を考慮した上で、ファンネル内のすべてのサンプリングされたデモンストレーション点においてリャプノフ減少条件が満たされる場合にのみ受理される。

主な貢献

• データ駆動型結合合成： エキスパートの入力データやポリシーの再構成を必要とせず、状態のみの軌跡から、時間変化する性能ファンネルと入力制約付きPPC制御器を共に学習するフレームワーク。
• 実現可能性駆動型アクティブセット手順： 飽和パターンを固定することで、飽和プロセス中の入力飽和を明示的に扱うことを可能にし、結果として生じる非凸合成問題を解くための新しいアルゴリズム的アプローチ。
• 相補的な理論的保証：
  • 制御能力がシステムダイナミクスとモデルの不確かさに対して十分に大きい場合に、規定性能と入力充足を保証する、アクチュエータの権限に基づく半大域的な保守的証明書。
  • 一様なアクチュエータ境界ではなく、リプシッツ連続性とデータの被覆量に依存して、十分な密度を持つデモンストレーションの近傍でこれらの特性を保証する、局所的なデータ駆動型証明書。

結果
本手法は、モデルの不確かさとハードな入力制約を持つ非線形連結タンクシステムを用いて検証された。

• データ生成： さまざまなゲインとファンネルを用いた多様なPPC制御器を使用して、30個の不均一なエキスパート軌跡を生成した。
• 学習結果： 本フレームワークは、多様なデモンストレーションの過渡特性および定常特性を捉える、単一の閉形式制御器と統一されたファンネルを学習することに成功した。
• 性能： 学習された制御器は、20個の未知の初期条件に対して、学習されたファンネル内に閉ループ軌跡を厳密に維持した。極めて重要なことに、制御入力はすべてのシミュレーションにおいてハードなアクチュエータ境界を満たしていた。
• 比較： 未モデル化のドリフトのために実用的なレギュレーションしか達成できなかったモデルフリーのPPCとは異なり、提案されたモデルベースのアプローチは、ドリフトを補償し、入力制限を遵守しながら原点への指数関数的な収束を達成した。

意義と主張
本論文は、これまで未解決であった問題、すなわち「ハードな入力制約下での、状態のみのデータからの性能仕様と制御器の共同合成」に対処していると主張している。著者らは、自身のアプローチがエキスパートのポリシーを再構成しない点で模倣学習と異なり、合成フェーズ中にアクチュエータの飽和を明示的に考慮する点で標準的なPPCと異なることを強調している。その意義は、デモンストレーションから実現可能な性能属性を抽出し、それを保守的な理論的境界とデータ駆動型の局所的保証の両方に支えられた、物理的なアクチュエータ制限を遵守することが保証された制御器によって強制する体系的な方法を提供することにある。本研究の範囲は、既知の公称モデルと有界な不確かさを持つ非線形システムに焦点を当てており、限定的である。また、半大域的な証明書が保守的である可能性があることも認めている。