技术摘要：PolarNet：用于建模李雅普诺夫函数的单极值神经网络

1. 问题陈述

利用神经网络学习具有可证明稳定性保证的控制策略仍然是一个重大挑战。尽管近期的“神经李雅普诺夫控制”方法通过联合学习控制器 $u_\theta$ 和李雅普诺夫函数 $V_\theta$ 以满足稳定性标准而展现出前景，但这些方法存在一种特定的训练时失效模式。

identified 的核心问题是，现有的神经网络架构虽然能够建模正定函数，但在结构上无法保证所学到的李雅普诺夫函数恰好拥有一个临界点（即原点处的平衡点）。对于渐近稳定系统中的有效李雅普诺夫函数 $V_\theta$，其梯度必须满足对于所有 $x \neq 0$ 有 $\nabla V_\theta(x) \neq 0$。然而，标准的灵活架构（例如多层感知机 MLP）在训练过程中可能会学习到具有虚假局部极小值或鞍点的函数。

这种架构缺陷导致了一种特定的失效场景：

1. 网络学习到一个具有多个局部极小值（例如在点 $P$ 和 $Q$ 处）的 $V_\theta$。
2. 控制器 $u_\theta$ 被训练以最小化 $\dot{V}_\theta \geq 0$ 的经验风险。如果系统动力学允许状态稳定在一个虚假平衡点（即 $\dot{x}=0$ 且 $\nabla V_\theta=0$ 处），损失项将消失。
3. 因此，训练过程停滞，合成的控制器无法确保全局渐近稳定性，尽管经验损失表明已收敛。

现有的缓解策略，如添加损失边界或主动搜索反例，虽然能缓解但并未从根本上解决这一问题，因为它们依赖于优化启发式方法而非结构保证。

2. 方法论：PolarNet

为解决这一问题，作者提出了PolarNet，这是一种旨在从结构上强制“单临界点”属性的神经网络架构。

2.1 理论基础

该方法依赖于一个关键的数学洞察：对于渐近稳定平衡点的任何有效李雅普诺夫函数（具体而言，即“单极函数”），都可以表示为平滑可逆映射的欧几里得范数的平方。

• 定义 3（单极函数）： 如果函数 $V(x)$ 是 $C^\infty$ 光滑的、正定的（$V(0)=0$，且对于 $x \neq 0$ 有 $V(x)>0$）、在 $x=0$ 处恰好有一个临界点，并且是适当的（次水平集是紧致的），则称其为单极函数。
• 定理 1： 对于任何在原点具有非退化临界点的单极函数 $V(x)$，存在一个 $C^\infty$ 光滑、可逆、过零的向量值函数 $\Psi(x)$，使得 $V(x) = \|\Psi(x)\|^2$。
• 定理 2： 如果 $\Psi(x)$ 是一个 $C^\infty$ 光滑、过零且可逆的映射，那么无论具体的参数值如何（只要它们是有限的），$V_\theta(x) = \|\Psi(x)\|^2$ 都保证是一个单极函数。这确保了对于所有 $x \neq 0$，$\nabla V_\theta(x) \neq 0$。
• 定理 3： 对于任何局部 Lipschitz 动力系统的渐近稳定平衡点，都存在一个也是单极函数的李雅普诺夫函数。这确立了 PolarNet 在理论上能够逼近任何此类系统所需的李雅普诺夫函数。

2.2 网络架构

PolarNet 使用仿射耦合流（Affine Coupling Flows）来实现映射 $\Psi(x)$，这是一种可逆神经网络（INN）。

• 结构： 网络由 $L$ 层组成，其中每一层 $h^{(l)}$ 将输入 $y$ 划分为两部分（$y_{\leq k}$ 和 $y_{>k}$）。其中一部分保持不变地传递，而另一部分则通过仿射变换进行转换，该变换由作用于第一部分的神经网络 $f_s$ 和 $f_t$ 进行缩放和平移。
• 可逆性： 该架构在设计上就是数学可逆的。
• 过零约束： 为了确保 $\Psi(0)=0$（这是 $V(0)=0$ 所必需的），每一层中的平移函数 $f_t$ 被实现为不带偏置项的多层感知机（MLP），并使用过零激活函数（tanh）。
• 光滑性： 所有激活函数都是光滑的（tanh），从而确保生成的 $V_\theta$ 是 $C^\infty$ 光滑的。

最终的李雅普诺夫函数计算为 $V_\theta(x) = \|\Psi(x)\|^2$。

3. 主要贡献

1. 识别一种失效模式： 本文识别并刻画了神经李雅普诺夫控制中一类特定的训练时行为，即由于缺乏结构保证而导致虚假平衡点和训练停滞。
2. PolarNet 架构： 提出了一种新颖的网络架构，从结构上强制单临界点属性，确保所学函数是李雅普诺夫函数的有效候选者（通过设计满足对于 $x \neq 0$ 有 $\nabla V \neq 0$）。
3. 理论保证：
   • 证明 PolarNet 始终生成单极函数。
   • 证明通用性：PolarNet 可以以任意精度逼近任何单极函数（从而逼近渐近稳定系统的任何有效李雅普诺夫函数）。
4. 即插即用替换： 证明了 PolarNet 可以作为现有神经李雅普诺夫控制框架中网络骨干的直接替换，而无需改变训练目标或算法。

4. 实验结果

作者进行了数值实验以验证理论主张：

• 函数逼近（单极属性）：

  • 作者训练了 PolarNet 和基线架构（MLP、Lyapunov Net、Wei 等人提出的方法）来拟合具有多个局部极小值的标量场。
  • 结果： 基线模型成功拟合了多极小值函数，从而违反了单临界点约束。相比之下，PolarNet 未能拟合多极小值形状（这是其结构约束所预期的），但在所有情况下都成功保持了单临界点属性。这证实了 PolarNet 无法产生虚假局部极小值。

• 控制器综合：

  • 使用一个具有未知动力学的具有挑战性的非线性控制问题（二维系统）来综合稳定控制器。
  • 基线： 使用标准架构（如 [21] 中所述），训练未能稳定系统；所学到的李雅普诺夫函数出现了多个局部极小值，导致控制器陷入虚假平衡点。
  • PolarNet： 将李雅普诺夫网络替换为 PolarNet 后，训练成功收敛。所得控制器在整个状态空间内稳定了系统，且所学到的李雅普诺夫函数在原点处保持了唯一的极小值。

5. 意义与主张

本文声称，PolarNet 为神经李雅普诺夫控制中一个此前被忽视的失效模式提供了原则性且实用的解决方案。通过将稳定性保证的负担从优化过程转移到网络架构本身，PolarNet 确保了所学到的李雅普诺夫函数符合稳定性所需的数学条件。

作者将 PolarNet 定位为首个从结构上强制单临界点属性的架构。他们强调，这种方法不同于启发式训练策略（如反例生成），因为它从根本上防止了网络学习无效的李雅普诺夫形状。

6. 局限性

作者明确指出了以下局限性：

• 系统类别： 理论保证假设动力系统是局部 Lipschitz 的。对于非 Lipschitz 系统，PolarNet 仍然可以应用，但其能够表示有效李雅普诺夫函数的保证（定理 3）不再成立。
• 范围： 该方法专为连续时间系统和李雅普诺夫稳定性设计。它目前不涉及离散时间系统或其他稳定性定义。
• 任务特异性： PolarNet 针对合成单个期望平衡点的控制器进行了优化。它并非设计用于需要识别多个稳定平衡点的任务，在这些任务中，其结构约束可能会限制表达能力。