🔢 mathematics

Hessian-augmented Supervised Learning for Hamilton-Jacobi-Bellman PDEs

本文提出了一种通过将稀疏多项式回归与源自庞特里亚金极大值原理和理查德方程的梯度及海森信息相结合，来近似确定性最优控制问题中价值函数的数据驱动方法，从而显著降低了样本复杂度，并相比仅基于价值的方法提升了闭环性能。

原作者： Matías Gómez-Aedo, Behzad Azmi, Yuyang Huang, Dante Kalise, Karl Kunisch

发布于 2026-06-24

📖 1 分钟阅读🧠 深度阅读

原作者： Matías Gómez-Aedo, Behzad Azmi, Yuyang Huang, Dante Kalise, Karl Kunisch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何在复杂的城市中完美地驾驶汽车。机器人需要知道从任何起点出发到达目的地最完美的路径。在数学术语中，这个“完美路径”被称为价值函数（value function）。

问题在于，城市非常庞大，而且道路的规则（汽车的物理特性）非常复杂。计算每一个可能起点的完美路径，就像是试图同时绘制世界上每一条街道的地图一样。这是一个极其巨大的任务，以至于传统的计算机无法处理；这被称为“维度之咒”（curse of dimensionality）。

这篇论文介绍了一种巧妙的新方法来教导机器人，这种方法被称为黑塞矩阵增强监督学习（Hessian-Augmented Supervised Learning）。以下是它的工作原理，通过简单的概念进行拆解：

1. 旧的方法：猜测地图

通常，为了教导机器人，你会要求它计算几个起点的“得分”（或代价）。你会给机器人一个点及其得分的列表，并要求它画出一张连接这些点的平滑地图。

缺陷： 如果你只给机器人得分（即地形在某些点的高度），它就必须猜测点与点之间山丘和山谷的形状。为了得到一张好的地图，你需要测量成千上万个点。如果城市很复杂，你可能需要数百万个点，这会耗费极长时间。

2. 新的方法：给机器人一个 GPS、一个指南针和一个曲率计

作者意识到，当你计算单个起点的完美路径时，你得到的不仅仅是最终得分，还有更多信息。

得分（价值/Value）： 这次行程有多好？
指南针（梯度/Gradient）： 机器人现在应该向哪个方向转弯才能保持在最佳路径上？
曲率计（黑塞矩阵/Hessian）： 道路的弯曲程度如何？是平缓的弯道还是急转弯？

在这篇论文中，作者使用一种叫做**庞特里亚金极大值原理（Pontryagin Maximum Principle）**的数学工具，为每一个训练样本生成这三类数据。这就像是给机器人提供了一个单一的数据点，它不仅告诉机器人它在哪里，还告诉它该往哪走，以及路在那个精确位置是如何弯曲的。

3. “黑塞矩阵”的超能力

论文重点讨论了黑塞矩阵（Hessian，即曲率计）。

类比： 想象尝试将一根绳子贴合到一个凹凸不平的表面上。
- 如果你只知道凸起的高度（零阶信息），你需要用数百个钉子把绳子固定住才能使其准确。
- 如果你也知道坡度（一阶信息），你需要的钉子就会减少。
- 如果你还知道表面的曲率（二阶信息/黑塞矩阵），你只需要通过寥寥数个钉子就能完美地贴合绳子。

作者展示了通过包含这种“曲率”数据，他们可以用比以往方法多达 10 倍更少的样本来训练机器人的大脑。在一些高维问题中（如控制流体流动或卫星），旧方法根本无法工作，因为它们在收集足够的“仅含得分”的数据时，会耗尽计算资源。新方法之所以奏效，是因为额外的曲率数据如此高效地填补了空白。

4. 他们如何处理数学问题

为了实现这一点，他们使用了一种特殊的数学“网”（多项式回归），这种网络旨在捕捉最重要的模式，而不被不必要的细节所纠缠。他们还使用了一个叫做**部分黑塞策略（Partial Hessian Strategy）**的技巧。

类比： 计算每个点的曲率是非常昂贵的。因此，他们对某些点计算完整的曲率，而对另一些点仅计算坡度。这就像一位厨师品尝汤的味道：他们在开始和结束时品尝完整的风味谱，而在中间阶段只检查盐分水平。这节省了时间，同时保证了汤的味道依然美味。

5. 结果

团队在几个挑战任务上进行了测试：

一个简单的 2D 振荡器： 类似于一个摆动的钟摆。新方法只需极少的数据点就能绘制出平滑、准确的地图，而旧方法则会产生锯齿状、摇晃的混乱图形。
一个 6D 卫星： 控制卫星的旋转。新方法在旧方法失败的地方稳定了卫星。
一个 19D 流体问题： 这是最重头的一个。控制流体流动涉及 19 个变量。旧方法完全卡住了；它们甚至无法收集足够的数据来开始。而新方法利用曲率数据，成功学习了控制策略。

总结

简而言之，这篇论文是在说：“不要只问学生答案是什么；也要问他们方向和曲线的形状。” 通过教导计算机去学习解的“形状”（使用黑塞矩阵）而不是仅仅学习“点”，他们可以用以往认为必不可少的极小部分的数据和计算能力，来解决极其复杂的控制问题。

技术摘要：基于 Hessian 增强的监督学习求解 Hamilton–Jacobi–Bellman 型偏微分方程

问题陈述
本文研究了确定性最优控制问题中非线性控制仿射动力学的最优反馈控制律合成。标准方法涉及求解 Hamilton–Jacobi–Bellman (HJB) 方程，这是一个在 $n$ 维状态空间上定义的完全非线性偏微分方程。传统的基于网格的离散化方法受限于“维度灾难”，其复杂度随状态维度 $n$ 指数级增长，这限制了其在低维系统（ $n \lesssim 5$ ）中的应用。虽然已经提出了各种非标准数值策略（例如：无因果性特征法、张量分解和深度学习）来缓解这一问题，但在高维情形下（ $n \gg 5$ ）近似价值函数并恢复反馈控制律仍然具有显著挑战。

方法论
作者提出了一种通过带有导数增强的监督学习来近似价值函数 $V(x)$ 的数据驱动框架。其核心方法由三个部分组成：

通过 PMP 和 Riccati 方程生成数据：
该方法并非直接求解 HJB 偏微分方程，而是通过求解庞特里亚金极大值原理 (PMP) 的一阶必要最优性条件来生成训练数据。对于一组初始条件，PMP 给出了一个描述最优状态轨迹和伴随轨迹的两点边值问题 (TPBVP)。
- 零阶信息： 最优轨迹上的代价函数提供了价值函数 $V(x)$ 。
- 一阶信息： 伴随变量 $p(t)$ 在轨迹上与梯度 $\nabla V(x)$ 一致。
- 二阶信息： 沿最优轨迹向后积分的矩阵 Riccati 方程可以得到 Hessian 矩阵 $\nabla^2 V(x)$ 。
  此过程避免了状态空间离散化，其规模随初始条件的数量线性增长，而非随维度指数增长。
稀疏多项式回归：
价值函数由稀疏多项式模型 $\tilde{V}(x) = \sum \theta_k \Phi_k(x)$ 近似。基函数由双曲交叉索引集上的张量积 Legendre 多项式构建，并辅以低阶全度数项，以捕捉本质的多变量耦合。
导数增强最小二乘法：
回归过程最小化一个同时惩罚函数值、梯度和 Hessian 误差的加权最小二乘目标函数。
- 每个训练样本 $x_j$ 贡献 1 个函数值方程、 $n$ 个梯度方程和 $n(n+1)/2$ 个 Hessian 方程。
- 这导致总方程数为 $M = N(1 + n + n(n+1)/2)$ ，其中 $N$ 为样本数量。
- 为了管理高维下的计算成本，引入了“部分 Hessian”策略，即仅对比例为 $\rho \in (0, 1]$ 的训练样本强制执行 Hessian 方程。

主要贡献

向二阶信息的扩展： 本文将基于 PMP 的数据生成扩展到了通过 Riccati 方程包含 Hessian 信息，系统地发展了这一在最优控制领域的研究方向。
部分 Hessian 策略： 引入了一种可调控的策略来对二阶数据进行子采样，在数据生成和回归系统规模的高昂成本与二阶信息带来的收益之间取得平衡。
基函数交互： 研究了二阶增强与经过低阶全度数项强化的双曲交叉多项式基函数之间的相互作用。
系统性基准测试： 该方法在维度不断增加的系统（ $n=2, 6, 19$ ）上进行了验证，测量了离散 Sobolev 范数、HJB 残差以及闭环控制性能的准确性。

结果
数值实验表明，二阶增强显著降低了样本复杂度，优于零阶和一阶方法：

解析基准： 对于一个 12 维测试函数，实现预设的 $L^2$ 误差需要二阶增强提供 $N=50$ 个样本，而一阶回归需要 $N \approx 350$ 个样本，且零阶回归在测试范围内无法达到目标精度。
2D Van der Pol 振荡器： 二阶增强在 $N=25$ 个样本时即可产生平滑且准确的重建，而低阶方法则表现出振荡现象。在样本效率方面，为了达到 0.1% 的控制误差容限，二阶方法所需的样本数最高仅为零阶方法的 1/11.7。
6D 卫星姿态控制： 在增强基（ $q=1,800$ ）下，一阶回归在 $N \lesssim 250$ 时仍处于欠定状态，而二阶增强在 $N=100$ 时即可达到确定性回归区间，并在 $N=200$ 时获得高精度。
19D Allen–Cahn 方程： 在这种高维情形下，每个样本增加的方程数（ $n(n+1)/2 = 190$ ）成为了结构性的必然要求。一阶回归在中等预算下仍处于欠定状态，而二阶增强是唯一能够产生有意义近似的方案。部分 Hessian 策略（ $\rho=0.5$ ）在减半计算成本的同时达到了接近全量数据的精度。

意义与主张
本文的主张是，引入 Hessian 数据的首要动机是降低样本复杂度。通过利用每个样本中线性方程数量的倍增效应，该方法可以解决那些由于样本效率低下导致低阶监督学习方法难以处理的高维最优控制问题。

作者强调，在高维情况下（如 $n=19$ ），二阶增强从单纯的精度提升转变为求解能力的结构性要求。该方法是无因果性的，允许在采样和基函数选择方面进行灵活设计。主要的计算成本在于离线生成数据集（求解 TPBVP 和 Riccati 方程），而在线评估反馈律非常高效，仅需进行基函数求值和点积运算。

研究结论认为，尽管该方法目前受限于具有光滑动力学的确定性控制问题，但该框架为在传统网格法失效且低阶学习方法难以应对的维度下近似价值函数提供了一条稳健的路径。