On the Value Function of Infinite-Horizon Optimal Control of Piecewise Affine Systems

技術要約：区分的アフィン系における無限時間最適制御の価値関数について

問題提起
本論文は、離散時間区分的アフィン（PWA）システムにおける制約付き無限時間最適制御（CITOC）問題における、価値関数の構造的特性を調査している。対象となるシステムは、状態および入力に関して区分的にアフィンなダイナミクスに従い、最適化には$\ell_1$または$\ell_\infty$ノルムで定義されたステージコストが用いられる。既存の文献（例：[1]）では、このような問題の価値関数が区分的アフィン（PWA）であることは確立されているが、これらの結果は、得られる関数が「適切な（proper）」PWA関数であるかどうかを厳密には扱っていない。文献における適切なPWA関数とは、コンパクト集合上で有限個のアフィンなピースを持つ関数を指す。本研究の中心的な課題は、無限時間の価値関数$J^\star_\infty$が、必ずしもこの有限性の条件を満たすのか、あるいはコンパクト領域内で無限個のアフィンなピースを持つ可能性があるのかという点である。

手法
著者らは、理論的解析、反例の構築、および動的計画法（DP）の反復解析を組み合わせて用いている。

1. 反例の構築： 有限性の仮定に異議を唱えるため、著者らは、$\ell_1$ステージコストを持つ特定の2次元線形システム（PWAシステムのサブクラス）を構築する。特定のシステム行列と十分に大きな入力ペナルティ重みを選択することで、最適価値関数の閉形式の表現を導出する。
2. 十分条件の導出： ピースの有限性を回復させるために、本論文では、制御可能性とコスト行列の設計に関する一連の十分条件を導入する。これには、DPの反復を分析し、特定の条件下において、最適方策が原点の近傍内でシステムを1ステップで原点へと導けることを証明することが含まれる。
3. 理論的証明： 主要な理論的結果は、以下の2つの重要な補題に基づいている。
   • 補題1： コスト行列に関する特定の仮定の下で、システムの状態で原点の小さな近傍内にシステムを導くPWA最適化関数が存在することを示す。
   • 補題2： 有限のコストを持つ任意の初期状態に対して、最適軌道が有限ステップ内でこの近傍に入ることを確立する。
     これらの補題を組み合わせることで、価値関数が有限個のピースを持つPWA構造に収束することを証明する。

主な貢献

• 無限のピースの提示： 本論文は、安定かつ可制御な線形システムのCITOC問題において、価値関数がコンパクト集合上で無限個のアフィンなピースを持つ具体的な例を提示している。これは、入力の重みが十分に大きく、最適方策がゼロとなる一方で、システムが有限時間内に原点に到達しない場合に発生し、ハイパープレーン $c_k x_1 + d_k x_2 = 0$ によって定義されるスイッチング境界が蓄積することによって起こる。
• 適切なPWAの厳密な定義： 著者らは、PWA関数の集合は閉集合ではないことを強調している。すなわち、PWA関数の列（有限ホライゾンのDP反復から得られるもの）は、標準的な意味でのPWA関数（すなわち、無限のピースを持つ関数）に収束する場合がある。
• 有限性のための十分条件： 本論文は、価値関数が適切なPWA関数であることを保証する、明示的かつ容易に検証可能な十分条件（仮定1–4）を導出している。これらの条件は本質的に、入力ペナルティ行列 $R$ が状態ペナルティ $Q$ に対して大きすぎないことを要求しており、これにより、最適方策が原点の近傍内で1ステップで状態を原点へ導けることを保証している。
• 数値的検証： 理論的な知見は、価値関数と状態空間の分割の可視化を含む数値例を通じて示されており、反例における無限のピースの存在と、提案された十分条件の下での有限のピースへの回復の両方が確認されている。

結果

• 本研究は、$\ell_1$または$\ell_\infty$コストを持つPWAシステムにおいて、無限時間の価値関数は、漸近安定性や可制御性といった望ましい特性を持つ線形システムであっても、自動的に「適切な」PWA関数になるとは限らないことを確認した。
• 反例は、入力ペナルティが高い場合、価値関数が原点を通過するハイパープレーンによって定義される無限の領域を持ち、各領域で異なる傾斜を持つ可能性があることを示している。
• 提案された十分条件（具体的には、$R = M^\top Q B_j$ となる行列 $M$ に関して $\|M\|_q \leq 1$ であることに関連する条件）の下では、価値関数は、有限のコストを持つ状態の任意の多面体部分集合において、有限個のピースを持つ適切なPWA関数であることが証明される。
• 本論文は、導出された条件はDPの反復を2ステップで終了させるための十分条件であるが、価値関数が有限個のピースを持つための必要条件ではないことも述べている。すなわち、厳密な条件が満たされない場合でも、より多くのステップを経て収束する場合がある。

意義および主張
本論文は、線形二次形式の場合や既存のPWAシステムに関する文献を補完することを目的としている。その主要な意義は、PWAシステムにおける無限時間最適制御の理解におけるギャップ、すなわち、関数が一般的な意味での区分的アフィンであることと、適切なPWA関数（有限個のピースを持つもの）であることの区別を明確にした点にある。

著者らは、これらの知見が、価値関数の構造を利用して関数近似器（PWAニューラルネットワークなど）を設計する最近の学習ベースの制御スキーム（例：[9], [10]）にとって極めて重要であると述べている。価値関数が有限個のピースを持つ条件を確立することにより、本論文はそれらの近似の質に対する理論的な保証を提供している。本研究は、近似対象となる関数が、コンパクト集合上での有限パラメータ表現と構造的に適合していることを保証することで、これらの学習ベースのアプローチを理論的に裏付けている。