基于核方法的 LMI 求解 Hamilton-Jacobi-Bellman 方程及非线性最优控制：技术总结

本文提出了一种基于核的线性矩阵不等式（LMI）方法，用于解决非线性最优控制中的 Hamilton-Jacobi-Bellman (HJB) 方程。该方法通过再生核希尔伯特空间（RKHS）表示和 Schur 补重构，将非线性的 HJB 不等式转化为凸的半定规划（SDP）问题，并引入了关键的 Riccati Hessian 约束以消除平凡解并保证稳定性。

以下是该论文的详细技术总结：

1. 问题背景与挑战

• 核心问题：对于控制仿射系统 $\dot{x} = f(x) + g(x)u$，求解无限时域成本泛函下的最优反馈控制律，等价于求解非线性偏微分方程（HJB 方程）。
• 现有挑战：
  • 维数灾难：传统的有限差分或动态规划方法在状态维度增加时计算成本呈指数级增长。
  • 理论保证缺失：基于神经网络的方法虽具可扩展性，但缺乏最优性和稳定性的严格理论保证。
  • 多项式限制：平方和（SOS）编程虽提供凸性保证，但仅适用于多项式系统且随多项式阶数增加而扩展性差。
  • 平凡解问题：直接优化 HJB 不等式容易得到 $V(x) \equiv 0$ 的平凡解，该解满足约束但无法提供有效的控制律。

2. 方法论框架

2.1 HJB 不等式的 LMI 重构

利用 Schur 补引理，作者证明了 HJB 不等式等价于一个关于价值函数梯度的线性矩阵不等式（LMI）。

• 原始 HJB 不等式包含梯度的二次项，是非凸的。
• 通过引入矩阵形式 $M(x) \succeq 0$，将非线性约束转化为关于优化变量（价值函数梯度参数）的线性约束，从而将问题转化为凸优化问题。

2.2 基于 RKHS 的有限维近似

为了处理无限维的 LMI，文章采用 再生核希尔伯特空间（RKHS） 进行近似：

• 将价值函数 $V(x)$ 表示为核函数的线性组合：$V(x) = \sum p_i \kappa(x, x_i)$。
• 利用核函数的性质，直接计算 $V(x)$ 及其梯度 $\nabla V(x)$ 和 Hessian 矩阵 $\nabla^2 V(x)$ 的解析表达式。
• 通过配置点（Collocation points）将无限维 LMI 离散化为有限个矩阵不等式约束，形成可计算的半定规划（SDP）。

2.3 关键创新：Riccati Hessian 约束

这是防止平凡解并确保稳定性的核心机制：

• 约束定义：在平衡点（原点）处，强制价值函数的 Hessian 矩阵 $\nabla^2 V(0)$ 等于线性化系统对应的代数 Riccati 方程（ARE）的解 $P$。
• 作用：
  1. 消除平凡解：由于 $P$ 是正定矩阵（对于可镇定的系统），强制 $\nabla^2 V(0) = P \succ 0$ 直接排除了 $V \equiv 0$ 的解。
  2. 理论一致性：确保在平衡点附近的局部行为与线性二次型调节器（LQR）理论一致。
  3. 稳定性保证：为闭环系统的指数稳定性提供理论证书。

3. 主要理论贡献

1. 等价性证明：建立了非线性 HJB 不等式与线性矩阵不等式（LMI）之间的等价性，将非凸问题转化为凸约束。
2. 有限维近似：证明了价值函数梯度在 RKHS 中的有限维表示，并提供了逼近误差的理论界限。
3. 稳定性与次优性保证：
   • 推导了次优性界限（Suboptimality Bounds），量化了近似解与最优解的差距。
   • 证明了在满足 Riccati Hessian 约束下，闭环系统具有指数稳定性，收敛速率由 Riccati 矩阵的特征值决定。
   • 给出了基于核带宽和中心点密度的收敛速率理论（$O(M^{-(s-1)/n})$）。
4. 统一框架：该方法统一了受控系统（$g \neq 0$）和未控系统（$g=0$）的处理。当 $g=0$ 且系统稳定时，该方法退化为经典的 Lyapunov 函数构造问题（如 Giesl 方法），但通过显式约束提供了更强的保证。

4. 数值实验结果

作者在 1D、2D 多项式系统以及 Van der Pol 振荡器上进行了验证：

• 1D 标量多项式系统：

  • 系统具有不稳定的原点平衡点。
  • 结果：从 6 个不同的初始条件出发，所有轨迹均以指数速度收敛至原点（$|x(10)| < 10^{-6}$）。
  • 观察：尽管全局近似误差较大（$O(1)$），但局部曲率（由 Riccati 约束保证）的正确性足以实现全局稳定。

• 2D 径向对称系统：

  • 展示了方法在更高维度的可扩展性。
  • 结果：从单位圆上均匀分布的 8 个初始方向出发，所有轨迹均螺旋收敛至原点。

• Van der Pol 振荡器（非线性非多项式系统）：

  • 验证了方法对非多项式动力学的适用性。
  • 结果：成功稳定了原本不稳定的平衡点，所有轨迹在 20 秒内收敛至 $10^{-7}$ 量级。

• 计算效率：

  • 1D 问题求解时间 < 1 秒，2D 问题约 16-26 秒。
  • 即使对于非线性系统，问题仍保持凸性，可使用标准 SDP 求解器高效求解。

5. 意义与结论

• 理论突破：该方法填补了经典动态规划与现代凸优化之间的空白，为非线性最优控制提供了具有严格理论保证（最优性、稳定性、收敛率）的求解框架。
• 实际应用价值：
  • 处理不稳定系统：能够设计反馈律来稳定原本不稳定的平衡点，这是传统 Lyapunov 构造方法（通常假设系统已稳定）难以做到的。
  • 鲁棒性：实验表明，即使全局近似精度不高，只要局部（平衡点附近）满足 Riccati 约束，就能保证闭环系统的指数稳定性。
  • 通用性：不仅适用于多项式系统，通过核方法也能有效处理非多项式非线性动力学。

综上所述，这篇论文提出了一种计算可行、理论严谨且通用性强的非线性最优控制求解方法，通过巧妙的 LMI 重构和 Riccati 约束，成功解决了 HJB 方程求解中的非凸性、平凡解和稳定性保证等核心难题。