💻 计算机科学

Deeper network methods for solving 3D American Heston-CIR model

本文提出了三种更深层的网络方法——SoftNet、LinNet 和 AddNet，通过利用具有特征复用、线性聚合和早期退出的子网络乘性集成，有效地解决三维美国 Heston-CIR 模型，同时缓解深层架构中的梯度消失和性能退化问题。

原作者： Chinonso Nwankwo, Weizhong Dai

发布于 2026-10-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Chinonso Nwankwo, Weizhong Dai

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在金融领域，预测资产的未来价格是一场关于概率的高风险游戏。投资者和银行依赖复杂的数学模型来确定期权的价值，期权是赋予在特定日期前以特定价格买入或卖出某种资产权利的合约。该领域最困难的挑战之一是为“美式”期权定价。与只能在单一特定日期行使的欧式期权不同，美式期权可以在到期前的任何时间行使。这种灵活性创造了一个移动的目标：模型不仅必须不断计算期权的价值，还必须计算何时变现最为有利。这个关键时刻被称为“提前行权边界”。当模型涉及多个变化因素时——例如资产价格、该价格的波动率以及波动的利率——这个问题就变成了一个三维谜题，使用传统的计算机方法极难解决。

几十年来，科学家们一直转向人工智能，特别是深度学习，来应对这些复杂的谜题。这些被称为神经网络的计算机程序旨在通过堆叠处理单元层来从数据中学习模式。堆叠越深，网络理论上能理解的模式就越复杂。然而，一个持久的问题一直困扰着这些深度网络：随着它们变得越来越高，它们往往会变得不稳定。用于教导网络的信号在到达顶层之前可能会消失或在量级上爆炸，导致系统无法学到任何有用的东西。这种现象通常被称为“梯度消失效应”，在历史上限制了这些网络可以做多深的程度，尤其是在处理金融数学中那些复杂的非线性问题时。

在最近的一项研究中，研究人员 Chinonso Nwankwo 和 Weizhong Dai 致力于突破这一障碍。他们专注于一个名为美国 Heston-CIR 模型的特定且高度复杂的金融模型，该模型同时追踪三个移动部分：资产价格、其波动率以及利率。他们的目标是设计一种新型神经网络，使其能够通过比以往更多的层进行有效训练，从而捕捉市场微妙且不规则的行为，而不会因自身的复杂性而崩溃。他们并没有简单地将更多层堆叠在一起，而是发明了三种不同的架构策略，并将其命名为 SoftNet、LinNet 和 AddNet。这些新设计旨在绕过此前阻碍深度网络处理此类艰巨任务的局限性。

研究人员首先测试了标准常规网络的极限。他们发现，当尝试使用仅包含 13 个隐藏层的传统设计时，网络的表现很差。它无法准确预测期权的价值以及应当行权的节点。网络越深，表现就越差，这证实了标准方法正面临瓶颈。为了解决这个问题，团队引入了三种新方法。第一种，SoftNet，通过将网络分解为较小的模块，并以一种允许信息高效重用和共享的方式将它们连接起来，就像一列火车，每节车厢在向下一节传递货物的过程中仍保留着自己的负载。这种设计使网络能够在不丢失信号的情况下变得更深。第二种方法，AddNet，采取了不同的方式，在网络内部创建了多个“早期出口”。它并不强迫所有信息都必须一路旅行到最后，而是让网络在各个阶段做出局部决策，并在最后进行组合。这确保了即使最深的层遇到困难，较浅的层仍能贡献有价值的见解。

第三种也是最高效的设计，LinNet，结合了两者的优点。它使用一种将线性单元相加后再通过专门处理块的系统。这种结构防止了计算成本随着网络加深而爆炸，使其具有极高的效率。研究人员将 LinNet 推向了极端深度，使用多达 100 个隐藏层对其进行训练。值得注意的是，与在 13 层时就失效的传统网络不同，LinNet 即使在如此极端的深度下仍能保持高精度。结果表明，这些新架构预测期权价值和提前行权边界的水平，足以匹配甚至超过已建立的、受高度尊重的数学方法。这些网络成功绘制出了金融数据的复杂曲面，包括被称为“希腊字母”（Greeks）的敏感衍生变量，这些变量衡量了期权价格对市场微小变化的反应。

该研究的一个关键发现是，这些新网络在取得成功时，并未依赖深度学习专家通常用来防止错误的常规“安全网”，例如 Dropout 或批归一化（Batch Normalization）。研究人员证明，通过特定的层结构设计——使用特殊的激活函数和乘法集成（Multiplicative Ensembling）——足以保持网络的稳定性。他们还发现，通过将训练数据集中在问题最困难的区域，即市场行为最不稳定的边界附近，网络学习得更快、更准确。研究结论指出，虽然标准的深度学习在这种类型的问题上会在 13 层左右撞墙，但新的 SoftNet、AddNet 和 LinNet 架构可以做得更深，其中 LinNet 表现得尤为稳健且高效。这项工作表明，通过重新思考神经网络的构建方式，而非仅仅是扩大规模，科学家可以解决金融建模中最顽固的一些问题，为更精确地为复杂的现实世界金融工具定价打开了大门。

技术摘要：用于求解三维美式 Heston-CIR 模型的深层网络方法

问题陈述
本文旨在解决求解三维美式 Heston-CIR 模型（一种涉及自由边界——即早期行权边界——的复杂金融偏微分方程 [PDE]）的挑战。该模型包含了三个随机因子：标的资产价格 ( $S$ )、方差 ( $\upsilon$ ) 和利率 ( $r$ )。目标是同时逼近价值函数 ( $V$ )、早期行权边界 ( $\hat{s}_f$ ) 以及希腊字母（价值函数的导数）。

作者指出，现有的深度学习方法在处理这一特定任务时存在一个关键局限性：使用 softmax 单元的传统深度神经网络 (DNN) 在网络深度超过约 13 个隐藏层时，会出现性能退化、过拟合以及梯度消失现象。尽管 DenseNet 和 ResNet 等架构在图像分类领域取得了成功，但将它们直接应用于高维金融建模中的非线性回归问题被证明是不合适的，特别是在处理早期行权边界附近的奇异性和不规则性时。

方法论
为了克服传统 DNN 的局限性，作者提出了三种新型网络架构：SoftNet、LinNet 和 AddNet。所有三种模型都采用了“乘性集成”（multiplicative ensembling）策略，通过结合一个深层主子架构和一个浅层辅助子架构，以精确满足终端条件。

SoftNet（通过拼接实现特征复用）：
- 结构： 由一个深层的第一个子架构（两个隐藏层）和一个浅层的第二个子架构组成。
- 机制： 第一个子架构由“softmax 块”（带有 softmax 激活函数的子网络）构建。它通过在这些块之间建立类似于 DenseNet 但适用于回归任务的拼接式捷径连接（shortcut connections），来实现特征复用。
- 设计： 从第三个块开始，每个后续 softmax 块的输入都是原始输入特征与之前块输出的拼接。此外，还引入了一个模块化变体 M-SoftNet，它使用多种具有不同特征复用策略（密集型、部分型和无复用型）的路径，并在最终集成前进行拼接。
AddNet（早期退出与多混合）：
- 结构： 旨在实现资源高效利用，利用主深层子架构中间层的早期退出（局部退出）。
- 机制： 网络生成 $n$ 个单混合深度学习解。每个解都是通过将主架构的一个“局部退出点”（或最终层）的输出与两个浅层辅助子架构的输出进行乘性集成而形成的。
- 集成： 这些 $n$ 个解随后通过自适应权重 ( $\hat{\pi}_j$ ) 进行加性集成。作者提出了一种自适应加权策略，即随着网络深度的增加，为较浅的局部退出点分配更高的权重，从而减轻深层网络中梯度消失的影响。
LinNet（线性单元聚合）：
- 结构： 三者中最具效率的设计，旨在支持极深网络（高达 100 个隐藏层）的训练。
- 机制： LinNet 不使用拼接特征（这会增加宽度和计算成本），而是采用线性单元的系统性聚合。它在“softmax 块”和“聚合单元”之间交替运行，其中线性输出在传递到下一个 softmax 块之前先进行求和。
- 稳定性： 作者认为，softmax 激活函数充当了一种控制组合线性单元增长的分类机制，从而在无需使用 dropout 或 batch normalization 等显式正则化技术的情况下确保了数值稳定性。

核心贡献

架构创新： 提出了三种专门用于求解三维美式期权定价问题的不同深度网络架构（SoftNet、LinNet、AddNet），超越了标准的 CNN 或传统 DNN 方法。
缓解梯度消失： 这些设计成功地规避了在 13 层以后困扰传统 DNN 的梯度消失问题。作者证明，虽然标准 DNN 在深度达到 13 时表现不佳，但所提出的模型在深度达到 25、35、52 甚至 100 层时（特别是对于 LinNet）仍能保持预测精度。
精确施加终端条件： 所有模型都包含一个乘性集成层，该层由一个浅层的第二个子架构组成，旨在以精确形式满足终端条件（例如，在到期时 $V=0$ ），从而消除了隐藏层中的偏差项。
处理奇异性： 该方法包括使用 sinh 函数进行的网格拉伸策略，以便在早期行权边界表现出不规则性的 $(0,0,0,0)$ 奇异点附近集中采样点。

实验结果
模型在包含不同执行价格 ( $K$ )、到期时间 ( $T$ ) 以及波动率/利率范围的 3D 美式 Heston-CIR 模型上进行了测试。

性能与深度的关系： 具有 13 个隐藏层的传统 DNN (C-DNN) 产生的结果较差（例如，价值函数误差 > 9.0，而参考值约为 1.36）。相比之下，具有 13 层以上深度的 SoftNet、AddNet 和 LinNet 产生的结果与已建立的数值方法（Boyarchenko & Levendorskī, Medvedev & Scaillet, Longstaff & Schwartz）一致。
LinNet 效率： LinNet 展示了最高的效率，能够实现高达 100 个隐藏层的有效训练。与 SoftNet 和 AddNet 相比，它的训练和预测运行时间最短。
准确性： 模型准确地预测了价值函数、早期行权边界以及希腊字母（Delta, Gamma, Vega, Rho, Vanna, Vomma）。预测曲面平滑，且希腊字母处于预期的理论范围内（例如，看跌期权的 Delta 在 $[-1, 0]$ 之间）。
数据集敏感性： 实验表明，增加训练数据集的大小（从 $10^4$ 到 $14^4$ 个点）通常可以提高性能，特别是对于 M-SoftNet-10。

意义与主张
本文声称，所提出的三类网络（SoftNet、LinNet、AddNet）为在传统架构失效的复杂高维金融 PDE 上训练深度神经网络提供了一种可行的解决方案。

LinNet 被强调为最高效的解决方案，能够在无需正则化的情况下训练 100 个隐藏层，适用于资源受限的环境和极深层任务。
SoftNet 和 AddNet 提供了替代策略（特征复用和早期退出），同样能缓解梯度消失，尽管 SoftNet 由于拼接操作而导致计算成本较高。
作者谦虚地指出，虽然其模型在无需正则化的情况下表现良好，但引入 dropout 或 batch normalization 等技术可能会进一步增强其在更复杂、更高维任务中的泛化能力。他们将这项工作定位为未来研究涉及相关系数矩阵及更高维度的美式定价模型全参数化的基础。

类似论文