Optimal bounds for numerical approximations of infinite horizon problems based on dynamic programming approach

技术摘要：基于动态规划方法的无限时界问题数值近似的最优界限

问题陈述
本文研究了由 $\mathbb{R}^n$ 中动力系统驱动的无限时界最优控制问题的数值近似问题。此类问题的价值函数被表征为一阶非线性 Hamilton-Jacobi-Bellman (HJB) 偏微分方程的粘性解。尽管存在多种近似方案（有限差分、半拉格朗日法、有限体积法），但在包含时间与空间离散化的全离散方法中，建立严谨的误差界限仍然是一个重大挑战。

现有文献（特别是引用 Falcone 和 Ferretti [12] 以及其他文献 [9, 11] 的著作）确立了全离散半拉格朗日法的误差界限大小为 $O(k/h)$，其中 $h$ 是时间步长，$k$ 是空间网格尺寸。该界限表明，随着时间步长 $h$ 的减小，由于 $1/h$ 因子的存在，误差会恶化。然而，作者指出，文献中的数值实验（例如 [4]）并未观察到这种 $1/h$ 行为，这表明该理论界限是次优的。本文旨在通过修正误差分析来证明一个更紧致的界限，从而解决这一差异。

方法论
作者提出了一种对全离散近似进行新表征的方法，以推导改进的误差界限。该方法流程如下：

1. 通过代价泛函进行重构： 作者不再仅仅依赖于标准的动态规划原理，而是定义了一个全离散代价泛函 $\hat{J}_{h,k}$。该泛函在每个时间步使用作用于系统动力学和运行代价的线性插值算子 $I_k$。
2. 解的表征： 定理 3 证明了全离散价值函数 $v_{h,k}$（由离散动态规划方程定义）恰好是这个新全离散代价泛函在可容许控制序列空间上的下确界。这模仿了 [5] 中用于半离散情况的表征。
3. 误差分解： 误差分析通过分析连续系统解 $y(t)$ 与离散插值解 $\tilde{y}(t)$ 之间的轨迹误差，以及代价函数与动力学函数的插值误差，来比较连续代价泛元 $\hat{J}$ 与全离散泛元 $\hat{J}_{h,k}$。
4. 正则性假设： 分析考虑了控制输入 $u(t)$ 的不同正则性假设：
   • 一致连续控制（具有有限数量的跳跃不连续点）。
   • Lipschitz 连续控制。
   • 分段常数控制（在动力学/代价集合满足凸性假设的情况下）。

主要贡献与结果

• 改进的误差界限： 主要贡献在于证明了连续价值函数 $v$ 与全离散近似 $v_{h,k}$ 之间的误差阶数为 $O(h + k)$，而非此前引用的 $O(k/h)$。这确立了在时间与空间上的阶数为一阶的收敛性，与使用一阶 Euler 时间离散和分段线性空间近似相一致。
• 定理 4（一般界限）： 在系统动力学 $f$ 和代价 $g$ 满足标准 Lipschitz 假设，且假设 $\lambda > L$（其中 $L$ 是由 Lipschitz 常数导出的常数）的情况下，误差界限为：
  $$|v(y) - v_{h,k}(y)| \leq C_1(h + k) + C_2 M_u$$
  其中 $M_u$ 衡量控制在时间间隔内的振荡。
• 定理 6 (Lipschitz 控制)： 如果控制是 Lipschitz 连续的，则 $M_u$ 随 $h$ 缩放，得到最优误差界限：
  $$|v(y) - v_{h,k}(y)| \leq C(h + k)$$
• 定理 5 (一致连续控制)： 如果控制仅是一致连续的（允许有限次跳跃），则当 $h, k \to 0$ 时，误差趋于零，尽管具体的收敛速率取决于连续模。
• 分段常数控制 (定理 7)： 通过将来自 [6]（最初针对有限时界问题）的论证应用于无限时界情况，作者在动力学/代价集合满足凸性假设 (CA) 的情况下证明了收敛性。然而，这种对无限时界情况的适配导致了较弱的时间收敛速率：
  $$|v(y) - v_{h,k}(y)| \leq C_1(h + k) + C_2 (\log h)^2 h^{\frac{1}{1+\beta}}$$
  其中 $\beta = \frac{\sqrt{n}L_f}{\lambda}$。作者指出，由于无限时间时界的性质，这代表了相比于有限时界情况，在时间收敛阶数上最多损失了半个阶数。

意义与主张
本文声称，这种基于最优性论证的新表征成功解释了实践中观察到的数值行为，即此前预测的 $1/h$ 恶化现象在实际中并未出现。通过证明 $O(h+k)$ 界限，作者确认了全离散半拉格朗日法在标准正则性假设下实现了时间与空间上的一阶收敛。

作者谦虚地建议，这种基于最优性论证的新表征，对于目前收敛速率处于次优水平的其他类型 Hamilton-Jacobi-Bellman 方程具有潜在的应用价值。他们明确指出，虽然对于 Lipschitz 控制我们恢复了一阶收敛，但较弱的正则性（如指数为 $\alpha$ 的 Hölder 连续性）会产生 $O(h^\alpha)$ 的收敛速率，且针对无限时界的分段常数控制方法相比于有限时界结果会产生对数惩罚。本研究并非提出了新的实验设置，而是为该领域的现有误差分析提供了理论上的修正。