Optimal bounds for numerical approximations of infinite horizon problems based on dynamic programming approach

技術要約：動的計画法に基づく無限ホライゾン問題の数値近似における最適境界

問題設定
本論文は、$\mathbb{R}^n$ 内の動的システムによって駆動される無限ホライゾン最適制御問題の数値近似を取り扱う。このような問題の価値関数は、一次非線形ハミルトン・ヤコビ・ベルマン（HJB）偏微分方程式の粘性解として特徴付けられる。様々な近似スキーム（有限差分法、セミ・ラグランジュ法、有限体積法など）が存在するが、時間と空間の両方の離散化を含む完全離散化手法に対して、厳密な誤差境界を確立することには依然として大きな課題が残っている。

既存の文献、特に Falcone および Ferretti [12] やその他の研究 [9, 11] では、完全離散化セミ・ラグランジュ法の誤差は $O(k/h)$ （ここで $h$ は時間ステップ、$k$ は空間メッシュサイズ）の大きさであるという誤差境界を確立している。この境界は、時間ステップ $h$ が減少するにつれて、$1/h$ という因子のために誤差が悪化することを示唆している。しかし、著者らは、文献（例：[4]）における数値実験ではこの $1/h$ の挙動が観察されないことを指摘しており、この理論的境界は劣最適であることを示唆している。本論文は、誤差解析を修正することで、よりタイトな境界を証明し、この不一致を解決することを目的としている。

手法
著者らは、改善された誤差境界を導出するために、完全離散近似の新しい特徴付けを提案している。手法は以下の通りである：

1. コスト汎関数による再定式化： 標準的な動的計画原理のみに依存する代わりに、著者らは、各時間ステップにおいてシステムのダイナミクスと実行コストに線形補間演算子 $I_k$ を適用した、完全離散コスト汎関数 $\hat{J}_{h,k}$ を定義する。
2. 解の特徴付け： 定理3は、完全離散値関数 $v_{h,k}$（離散動的計画方程式によって定義される）が、許容される制御系列の空間における、この新しい完全離散コスト汎関数の下限（infimum）に正確に一致することを証明している。これは、[5] で用いられている半離散ケースの特性付けを反映したものである。
3. 誤差の分解： 誤差解析では、連続的なコスト汎関数 $\hat{J}$ と完全離散コスト汎関数 $\hat{J}_{h,k}$ を比較する。その差は、連続システム解 $y(t)$ と離散補間解 $\tilde{y}(t)$ の間の軌跡誤差、およびコスト関数とダイナミクス関数の補間誤差を分析することによって抑えられる。
4. 正則性の仮定： 解析では、制御入力 $u(t)$ に関する異なる正則性の仮定を検討する：
   • 一様連続な制御（有限個のジャンプ不連続性を許容）。
   • リプシッツ連続な制御。
   • 区分的に定数である制御（ダイナミクス/コストの集合に関する凸性仮定の下での）。

主な貢献と結果

• 改善された誤差境界： 主要な貢献は、連続値関数 $v$ と完全離散近似 $v_{h,k}$ の間の誤差が、$O(k/h)$ ではなく $O(h + k)$ のオーダーであることの証明である。これにより、一次のオイラー時間離散化と区分線形空間近似の使用と整合した、時間および空間の両方における一次収束が確立される。
• 定理4（一般境界）： システムのダイナミクス $f$ とコスト $g$ に関する標準的なリプシッツ仮定の下、および $\lambda > L$ （ここで $L$ はリプシッツ定数から導かれる定数）と仮定した場合、誤差は以下のように抑えられる：
  $$|v(y) - v_{h,k}(y)| \leq C_1(h + k) + C_2 M_u$$
  ここで $M_u$ は時間区間内における制御の振動を測定する。
• 定理6（リプシッツ連続な制御）： 制御がリプシッツ連続である場合、$M_u$ は $h$ に比例するため、最適な誤差境界が得られる：
  $$|v(y) - v_{h,k}(y)| \leq C(h + k)$$
• 定理5（一様連続な制御）： 制御が単に一様連続である場合（有限個のジャンプを許容）、誤差は $h, k \to 0$ のときゼロに収束するが、具体的な収束率は連続性のモジュラスに依存する。
• 区分的に定数な制御（定理7）： 有限ホライゾン問題に関する議論（[6]）を無限ホライゾンケースに適応させ、著者らは $\{f(y,u), g(y,u)\}$ の集合に対する凸性仮定（CA）の下で収束を証明している。しかし、この適応は無限ホライゾンケースにおいて、より弱い時間収束率をもたらす：
  $$|v(y) - v_{h,k}(y)| \leq C_1(h + k) + C_2 (\log h)^2 h^{\frac{1}{1+\beta}}$$
  ここで $\beta = \frac{\sqrt{n}L_f}{\lambda}$ である。著者らは、これは無限時間ホライゾンのために、有限ホライゾンケースと比較して、時間収束において最大でも半次程度の損失であると述べている。

意義と主張
本論文は、最適性議論に基づく新しい特徴付けが、古い境界によって予測されていた $1/h$ の劣化が実際には見られないという、実務で観察される数値的挙動をうまく説明できると主張している。$O(h+k)$ の境界を証明することにより、著者らは、完全離散セミ・ラグランジュ法が標準的な正則性の仮定の下で、時間と空間の両方において一次収束を達成することを確認している。

著者らは、最適性議論に根ざしたこの新しい特徴付けが、現在の収束率が劣最適である他のタイプのハミルトン・ヤコビ・ベルマン方程式への適用可能性を持つことを控えめに示唆している。彼らは、リプシッツ連続な制御については一次収束を回復する一方で、より弱い正則性（例えば指数 $\alpha$ のヘルダー連続性）は $O(h^\alpha)$ の収束率をもたらし、また、無限ホライゾンにおける区分的に定数な制御のアプローチは、有限ホライゾン結果と比較して対数的なペナルティを伴うことを明示している。本研究は、新しい実験セットアップを提案するものではなく、むしろ既存の分野における誤差解析に対する理論的な修正を提供するものである。