🤖 machine learning

Neural Slack Variables for Shape Constraints

本文引入了“神经松弛变量”，这是一种通过将主网络与联合学习的辅助网络相结合，将函数不等式约束转化为回归问题的深度学习方法，从而在单调性和凸性任务中实现零约束违反，并实现波动率曲面的无套利学习。

原作者： Ruben Wiedemann, Antoine Jacquier, Lukas Gonon

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruben Wiedemann, Antoine Jacquier, Lukas Gonon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：会“漂移”的学生

想象一下，你正在教一名学生（神经网络）画画。你有两个目标：

准确性： 画作必须看起来和给他们的照片一模一样。
规则： 画作必须遵循严格的定律，比如“线条必须始终向上”（单调性）或者“曲线绝不能向内弯曲”（凸性）。

在现实世界中，如果你只是告诉学生，“不要画向下的线”，他们可能会在某一瞬间做对。但随着他们为了让画作更贴近照片而不断尝试调整，他们可能会不小心滑了一下，画出了一个微小的向下凹陷。

旧方法（惩罚法）：
传统上，老师使用一种“惩罚”系统。如果学生画了一条向下的线，你会在他们的成绩单上加一个大大的红叉（惩罚）。

缺陷： 一旦学生修正了向下的线条，这个“红叉”就会消失。于是老师就不再盯着那个位置看了。但当学生为了更好地匹配照片而继续微调画作时，他们可能会再次不小心把线条画下去。老师直到下一个“红叉”出现时才会注意到。这被称为**“约束漂移”（Constraint Drifting）**。学生会在“完美”与“犯小错”之间不断摇摆，永远无法真正稳定在一个既符合规则又完美的平衡状态。

“架构式”方法：
有些老师尝试建造一张特殊的桌子，从物理上阻止学生画出向下的线条（就像一个只能向上移动的尺子）。

缺陷： 这些桌子非常僵硬。它们强迫学生以一种非常特定、简单的方式绘图。如果照片很复杂，学生就无法捕捉到细节，因为桌子不允许他们这样做。

新方案：神经松弛变量（Neural Slack Variable）

作者提出了一种聪明的新方法，叫做神经松弛变量。他们不再仅仅是惩罚学生的错误，而是引入了一个伙伴（辅助网络）。

这种伙伴关系是如何运作的：

主学生 ( $f_\theta$ )： 这是负责画画的人。只要他们努力匹配照片，他们可以自由地画出任何形状。
伙伴 ( $s_\phi$ )： 这是第二个较小的学生，他们的唯一工作就是画出一个“安全网”。这个伙伴经过训练，能够画出保证有效的形状（例如：始终为正，或始终向上）。你可以把这个伙伴想象成一位“守护天使”，始终举着一面完美的、符合规则的盾牌。
握手（匹配损失/Matching Loss）： 主学生和伙伴被强制要求“牵手”。主学生必须努力去匹配伙伴盾牌的形状。
- 如果主学生试图画一条向下的线，伙伴（由于正举着一面完美的向上盾牌）会将他们拉回来。
- 至关重要的一点是，因为伙伴是一个可学习的实体（而不是一把僵硬的尺子），他们可以灵活地扭动并调整，以适应主学生的风格。

为什么这能阻止“漂移”：
在旧的“惩罚”方法中，一旦错误被修复，老师就不再观察了。但在这种新方法中，主学生必须不断地去匹配伙伴。即使主学生在技术上是“安全”的（没有违反规则），他们仍然需要不断地去匹配伙伴的形状。这产生了一种持续且温柔的压力，让主学生保持稳定。他们不会漂移回错误状态，因为伙伴始终在那里，守着那条线。

“归纳偏置”（伙伴的风格）

论文还指出，你选择什么样的“伙伴”非常重要。

如果你选择一个非常简单、平滑的伙伴，他们会强迫主学生画出平滑的线条。
如果你选择一个复杂、扭动的伙伴，主学生也可以变得更复杂。
作者发现，使用一种特定类型的伙伴（称为 SIREN，擅长处理高频细节），可以让主学生既能保持极高的准确性，又能完美地遵循规则，这是旧方法无法做到的。

现实世界测试：金融“禁区”

作者在一个非常困难的现实问题上测试了该方法：金融领域的隐含波动率曲面（Implied Volatility Surfaces）。

任务： 预测股票期权的定价。
规则： 预测必须是“无套利”（Arbitrage-Free）的。这意味着数学逻辑必须完美；哪怕只有极其微小的误差，交易员都能利用它进行套利，从而破坏市场模型。
结果：
- 旧方法： 即使在训练之后，也会留下微小的数学“裂缝”，使得套利成为可能。
- 神经松弛变量： 他们实现了零违规。他们创建了一个既高度契合市场数据，又在数学上完美无瑕的模型，没有任何可以被利用的“裂缝”。

总结

可以将神经松弛变量想象成给一位混乱的艺术家提供了一位灵活且智能的向导。与其在他们犯错时大喊“停！”，这位向导会并肩同行，不断向他们展示正确的路径。这让艺术家既能保持创造力和准确性，又能始终走在正确的轨道上。它通过与一个完美的靶点保持持续且温柔的连接，解决了因“漂移”而重蹈覆辙的问题。

技术摘要：用于形状约束的神经松弛变量 (Neural Slack Variables)

问题陈述

在科学计算和工业应用（如控制系统、量化金融）中，神经网络通常需要逼近必须满足结构性规律（如单调性、凸性或无套利性）的函数。这些要求表现为函数不等式约束（例如 $C[f_\theta](x) \geq 0$ ），且必须在整个定义域内成立。

现有方法面临显著的局限性：

架构约束： 诸如输入凸神经网络 (ICNN) 或约束单调神经网络 (CMNN) 等方法通过构造方式保证可行性，但这限制了假设空间，往往导致训练僵硬、低频偏差以及对复杂数据的拟合能力不足。
软约束（惩罚项与原对偶法）： 标准的深度学习方法涉及在损失函数中添加惩罚项，或使用原对偶（拉格朗日）方法。然而，本文指出了一种被称为**“约束漂移” (constraint drifting)** 的共同失效模式。
- 在惩罚法中，一旦网络在采样点上变得可行，违反项就会消失，从而无法提供维持可行性的梯度。随后的训练步骤可能会重新引入违反情况，而这些违反只能在出现后才被纠正。
- 原对偶方法也存在类似问题：在互补松弛条件下，拉格朗日乘子在可行区域变为零，从而消除了约束梯度。
- 其结果是脆弱的满足：模型会出现伪违反现象，这在金融（需要无套利曲面）或控制（需要精确的障碍证书）等高风险领域是不可接受的。

方法论：神经松策变量 (Neural Slack Variables)

作者提出了神经松弛变量 (NSV)，这是一种将约束强制执行转化为回归问题的原侧（primal-side）软约束方法。

核心机制

NSV 并非仅仅惩罚违反 $C[f_\theta](x) \geq 0$ 的行为，而是引入了一个辅助神经网络 $s_\phi$ （即“神经松弛变量”），使其与主网络 $f_\theta$ 进行联合训练。

可行目标： 辅助网络 $s_\phi$ 在架构上受到约束，以输出非负值（例如通过激活函数 $\epsilon + (\cdot)^2$ ），确保 $s_\phi(x) \in K = [\epsilon, \infty)^m$ 。
匹配损失： 主网络的约束剖面 $c_\theta(x) = C[f_\theta](x)$ 通过二次匹配损失与松弛变量 $s_\phi(x)$ 进行匹配：
$\mathcal{L}_{slack}(\theta, \phi) = \frac{1}{2} \mathbb{E}_{x \sim U(\Omega)} \left[ \| C[f_\theta](x) - s_\phi(x) \|_2^2 \right]$
联合优化： 总损失为 $\mathcal{L}(\theta, \phi) = \mathcal{L}_{data}(\theta) + \rho \mathcal{L}_{slack}(\theta, \phi)$ 。

关键动态特性

梯度持久性： 与惩罚方法中可行后梯度消失不同，学习到的松弛网络 $s_\phi$ 有限的容量确保了匹配残差 $c_\theta - s_\phi$ 通常不会完全消失。这留下了一个持久的“锚定”梯度，即使在 $c_\theta \geq \epsilon$ 时也是如此，从而防止约束剖面漂回违反状态。
变量分裂解释： 该方法可以被视为一种学习到的变量分裂松向。与其将 $c_\theta$ 精确投影到可行集上（对于通用约束而言，这需要难以实现的架构），不如学习一个可行的代理变量 $s_\phi$ 并引导 $c_\theta$ 向其靠拢。
归纳偏置： $s_\phi$ 的架构对约束剖面的形状施加了显式的归纳偏置。通过为 $s_\phi$ 选择具有谱表达能力的架构（如 SIRENs），即使主网络 $f_\theta$ 非常具有表达力，该方法也能稳定配点之间的约束满足情况。

实现细节

尺度平衡匹配： 为了处理约束的宽动态范围，作者采用了相对缩放机制，即通过 $s_\phi$ 的量级对匹配损失进行归一化，防止较大的已满足裕度主导梯度。
稳定性： 在求差之前，对参数应用 $\text{asinh}$ 变换以提高训练稳定性。

核心贡献

新颖方法： 引入了神经松弛变量，这是一种将主网络与联合学习的非负辅助网络耦合的软约束技术。
漂移诊断： 识别并可视化了惩罚法和原对偶法中的“约束漂移”失效模式，证明了 NSV 在数据驱动设置中克服了这一问题。
正则性传递： 证明了松弛损失能将 $s_\phi$ 的正则性传递给约束剖面 $c_\theta$ ，使得可以使用具有高谱表达能力的主网络（如 SIRENs、傅里叶特征），而不丢失约束满足能力。
经验优越性：
- 合成基准测试： 在单调性和凸性任务中，NSV 在密集网格上实现了零违反测量，而惩罚法和拉格朗日基准则仍留有违反情况。使用 SIRENs 作为主网络时，NSV 在保持 100% 可行性的同时，在数据拟合方面优于架构基准（CMNN）。
- 无数据认证： 在 FOSSIL Barr3 基准（神经障碍证书）中，由于缺乏用于锚定解的数据拟合项，惩罚法无法实现可行性，而 NSV 成功诱导了可行性。
- 工业应用： 应用于隐含波动率曲面建模（量化金融领域）。在所有测试的回归模式中，NSV 是唯一能产生稳健无套利曲面的方法（在训练、插值和先验采样阶段均表现出色），同时实现了最低的数据拟合误差。

结果总结

单调性 (1D)： 在 100 次种子实验中，NSV 实现了 0 次违反，而惩罚法为 2/100，增广拉格朗日法为 73/100。当使用 SIRENs 作为主网络时，NSV 在保持 100% 可行性的同时，在数据拟合方面优于架构基准 (CMNN)。
凸性 (高维)： 随着维度从 $d=2$ 增加到 $5$，由于稀疏网格上的维度灾难，惩罚法性能显著下降。NSV 比惩罚法能更久地维持可行性，尽管两者在 $d=5$ 时最终都遇到了困难，而 ICNN 则保持了可行性但出现了欠拟合。
波动率曲面： 在 NDX 期权曲面的生成建模中，NSV 在三种评估机制（训练、插值、先验）下均消除了套利违反 ( $\eta_{rate}=0$ )，而惩罚法和增广拉格朗日法均表现出残余违反。此外，NSV 也实现了最低的平均绝对误差 (MAE) 数据拟合。

意义与主张

论文声称，神经松弛变量为传统的架构约束和传统的软约束提供了一种稳健的替代方案。通过将可行性要求与主网络的架构解耦，并转而学习一个有效的目标剖面，NSV 避免了困扰惩罚法和原对偶法的“约束漂移”。

作者将此定位为解决高影响力工业挑战的方案：生成量化金融中的无套利波动率曲面。他们认为，虽然架构约束在理论上是完备的，但对于复杂数据往往过于僵化；而软约束则过于脆弱。NSV 弥合了这一差距，使得在使用高容量、高表达力神经网络的同时，能够（在实践中）严格遵守函数不等式。

论文也承认了局限性：由于需要密集的约束网格，该方法随输入维度的增加扩展性较差，且无法像架构约束那样提供正式的离网（off-grid）认证。然而，对于数据保真度和约束满足同样至关重要的中低维度问题，NSV 展示了卓越的经验性能。