🔢 mathematics

Fractional Stochastic Neural Networks

本文引入了一种由分数布朗运动驱动的分数随机神经网络，通过离散随机极大值原理建立了其理论收敛性质，并通过数值实验证明了与传统的布朗运动和确定性基准相比，此类分数驱动器增强了长记忆恢复能力和鲁棒性。

原作者： Yuecai Han, Jianming Xu

发布于 2026-06-30

📖 1 分钟阅读🧠 深度阅读

原作者： Yuecai Han, Jianming Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教 AI “记住”过去

想象一下，你正在试图教一个机器人预测天气。

标准 AI（确定性）： 机器人观察当前温度并说：“明天是 20°C。”它对不确定性没有概念。
标准“带噪声”AI（布朗运动）： 机器人说：“明天是 20°C，但可能会热一点或冷一点。”然而，它对明天的预测与其对昨天的预测完全无关。这就像每小时抛一次硬币；现在的抛掷结果与一小时前的抛掷结果毫无关系。这被称为布朗运动。

问题所在： 现实生活并不像抛硬币。

长记忆性（Long Memory）： 如果股市今天崩盘，通常会持续动荡一段时间。如果一条河流今天水位很高，明天也很可能很高。这些事件具有“长记忆”特征。
粗糙性（Roughness）： 有时，事物的变化非常剧烈且参差不齐（就像一条粗糙的路径），而不是平滑变化的。

标准 AI 模型难以处理这些“长记忆”或“粗糙”的模式，因为它们假设每一条新信息都是一个全新的开始。

解决方案：分数阶随机神经网络 (FSNNs)

作者创建了一种新型 AI，它使用一种特殊的“噪声”，称为分数布朗运动 (fBm)。

你可以将这种噪声想象成一个记忆保持指南：

“赫斯特”旋钮 ( $H$ )： 想象机器人的大脑上有一个调节旋钮。
- $H = 0.5$ （标准型）： 这个指南是健忘的。每一步都是随机且独立的（就像标准的布朗运动）。
- $H > 0.5$ （长记忆型）： 这个指南具有持久性。如果机器人向上移动，指南会推动它在一段时间内保持向上移动。这模拟了金融或气候中的趋势。
- $H < 0.5$ （粗糙/反持久型）： 这个指南是抖动的。如果机器人向上移动，指南会立即尝试将其拉回。这模拟了粗糙、混沌的信号。

通过转动这个旋钮，AI 可以适应不同类型的现实世界数据，无论是平滑的趋势还是剧烈的混沌。

挑战：如何训练一个具有记忆能力的机器人？

训练这类网络非常困难。在标准 AI 中，如果你犯了错，你可以很容易地进行逐步回溯，查看是大脑的哪个部分导致了错误（这被称为“反向传播”）。

然而，由于这种新型 AI 具有“长记忆”，10 步之前犯下的错误会以复杂的方式影响当前的步骤。你不能只看眼前的过去，你必须考虑噪声的整个历史过程。其背后的数学计算非常困难，因为这种“噪声”并不是独立的。

论文的突破点：
作者开发了一种新的数学规则（一种“离散随机最大值原理”），它就像是机器人的专用 GPS。

他们弄清楚了如何将复杂的“记忆噪声”分解为一个可预测的部分和一个新鲜的随机部分。
他们创建了一种新的“后向扫描”算法。该算法不再被历史信息所困扰，而是能够精确计算如何调整机器人的设置，以最小化误差，即使在具有长记忆的情况下也是如此。
他们从数学上证明了这种训练方法是有效的，并且最终能够找到最佳设置（收敛性）。

他们测试了什么？（实验）

作者不仅做了数学推导，还通过三种方式测试了他们的“新机器人”：

“完美”测试（收敛性）： 他们给机器人出了一个已知答案的简单数学题。他们观察机器人的学习过程，并确认正如其数学理论所预言的那样，随着练习的进行，误差稳步下降。
“长记忆”测试（时间序列）： 他们要求机器人生成看起来像现实世界长期趋势（如河流水位或股票价格）的伪数据。
- 结果： 当他们将“记忆旋钮” ( $H$ ) 设置为与数据相匹配时，机器人捕捉长期趋势的能力比标准 AI 模型要强得多。
“鲁棒性”测试（图像分类）： 他们向机器人展示了数字（MNIST）、服装（Fashion-MNIST）和物体（CIFAR-10）的图片，然后尝试用以下方式误导它：
- 常见故障： 模糊的照片、雾气或霜冻。
- 结构化噪声： 在图像中添加特定的“静电噪声”。
- 结果： 新型 AI 在处理清晰图片时并不总是表现最优，但当图像受到损坏或存在噪声时，它要坚韧得多。根据噪声的类型（粗糙或平滑），通过调整“记忆旋钮”，机器人能比标准模型更好地看穿混乱的表象。

总结

这篇论文介绍了一种更聪明的构建 AI 的方法，使其能够理解历史和持久性。

它提供了训练这些复杂网络而不会陷入困境的数学规则。
它表明，通过调节噪声的“记忆”，AI 可以更好地预测具有长期趋势的事物（如金融或天气），并且在面对混乱或多噪的数据时更具韧性。

简而言之：他们为 AI 构建了一个新引擎，这个引擎不仅会对当下做出反应，还能理解过去如何影响未来，并且他们证明了这是行之有效的。

技术摘要：分数随机神经网络 (Fractional Stochastic Neural Networks)

问题陈述

深度残差网络正越来越多地通过动力系统的视角进行解释，其中层索引对应于时间步。由标准布朗运动驱动的神经常微分方程 (ODEs) 和神经随机微分方程 (SDEs) 已成功模拟了内在不确定性和认识不确定性，但它们依赖于独立增量（马尔可夫性质）的假设。然而，许多物理和金融信号——如粗糙波动率 (rough volatility)、地球物理记录和网络流量——表现出长程依赖性以及持续或反持续的增量，这是标准布朗运动无法捕捉的。

本文解决的主要挑战是缺乏针对由分数布朗运动 (fBm) 驱动的随机神经网络的严谨训练框架。与标准布朗运动不同，fBm 既不是鞅，也不是半鞅，且其增量是相关的。因此，标准的后向随机微分方程 (BSDE) 伴随递归以及用于布朗系统的样本级随机最大值原理无法直接迁移。增量的非独立性意味着未来噪声的条件期望取决于整个观测历史，这使得构建用于训练的无偏梯度估计器变得复杂。

方法论

1. 离散化表述与噪声分解

作者将分数随机神经网络 (FSNN) 表述为一个在步长为 $h$ 的离散深度网格 $N$ 上的受控随机差分方程。前向动力学由下式给出：
$X_{n+1} = X_n + h b(n, X_n, u_n) + \sqrt{h} \sigma(n, X_n, u_n) \xi^H_n$
其中 $\xi^H_n$ 是归一化的分数布朗增量。

为了处理 fBm 的非鞅性质，论文引入了将分数增量 $\xi^H_n$ 分解为可预测部分（基于过去滤波 $\mathcal{F}_n$ ）和白噪声创新项 $\eta_n$ 的方法：
$\xi^H_n = \zeta^H_n + \beta(n, n)\eta_n$
这里， $\zeta^H_n = \mathbb{E}[\xi^H_n | \mathcal{F}_n]$ 是 $\mathcal{F}_n$ -可测的，而 $\eta_n$ 是一个独立的标准正态变量。系数 $\beta(n, k)$ 是通过 fBm 协方差矩阵的 Cholesky 分解导出的。这种分解允许作者将依赖记忆的分量与新鲜噪声分离，从而能够构建一个适应性的伴随系统。

2. 离散随机最大值原理 (SMP)

其核心理论贡献是推导了 FSNN 的离散随机最大值原理。

伴随方程： 作者为伴随状态 $p_n$ 定义了一个适应性的后向随机差分方程 (BS $\Delta$ E)。该递归过程结合了噪声的可预测部分 ( $\zeta^H_n$ ) 和创新项 ( $\eta_n$ )，有效地将长记忆效应吸收进伴随投影中。
梯度估计器： 通过对实现的单轨迹损失（路径反向扫描）进行微分，作者推导出了一个样本级梯度估计器。他们证明了对于确定性网络参数，该估计器相对于期望代价泛函是无偏的。这避免了需要在整个状态空间上求解完整的适应性伴随过程，也避免了评估计算成本极高的 Malliavin 导数。

3. 收敛性分析

论文建立了应用于确定性网络参数的投影随机梯度下降 (SGD) 的均方收敛定理。

分析考虑了由分数噪声引入的方差。
一个关键发现是，收敛速率通过 Hurst 指数 $H$ 依赖于一个方差因子 $V_H(N)$ ，该因子量化了分数增量的单步可预测性。
对于扩散系数与控制无关的特定情况（即 $\sigma_u \equiv 0$ ），作者证明了更紧凑的收敛速率为 $O(1/K)$ ，消除了在完全可训练扩散情况下会出现的显式 $h^{-1}$ 方差项。

核心贡献

理论框架： 论文提供了第一个针对由分数布朗运动驱动的神经网络的离散随机最大值原理及相应的伴随递归，弥合了粗糙路径理论与深度学习训练算法之间的鸿沟。
无偏梯度估计： 它证明了尽管驱动噪声具有非马尔可夫性质，但在单个实现轨迹上进行简单的路径反向传播（反向扫描）可以产生确定性参数的无偏梯度估计器。
收敛保证： 作者证明了投影 SGD 的均方收敛性，并明确刻画了 Hurst 指数和网络深度如何影响误差界限。
算法实现： 提出了一种实用的训练算法，该算法每轮迭代仅需一次前向和一次后向扫描，利用预计算的 Cholesky 系数从独立的白噪声创新项中重建相关噪声。

实验结果

论文通过三组数值实验验证了该框架：

收敛性与不确定性量化 (E1)：
- 在闭式线性二次 (LQ) 控制问题中，测得的控制误差随 SGD 迭代次数单调递减，这与控制无关扩散情况下的 $O(1/K)$ 界限一致。
- 在高维噪声回归中，FSNN 达到的测试误差与标签噪声水平相当。
- 不确定性量化测试表明，预测带在不同 Hurst 指数下都是经过校准的，其中较粗糙的驱动器（ $H < 0.5$ ）会产生更宽、更保守的预测带。
长记忆时间序列生成 (E2)：
- 使用目标 Hurst 指数训练的 FSNN 在恢复合成分数 Ornstein–Uhlenbeck 过程的标度指数（Hurst 误差）方面，显著优于 Brownian SDE-Net 和确定性 RNN。
- 在真实世界数据集（如 SPX、尼罗河、以太网流量）上，FSNN 在捕捉长滞后自相关结构方面表现出优于布朗基线的性能，尽管边际分布匹配仍具有任务依赖性。
对扰动的鲁棒性 (E3)：
- 在图像分类任务（MNIST、Fashion-MNIST、CIFAR-10）上，FSNN 在干净数据上并不统一优于确定性 CNN。
- 然而，在结构化扰动（加性 fBm 随机场）和常见损坏（雾、霜、模糊）下，随机骨干网络通常能提高鲁棒性。最优 Hurst 指数随数据集和损坏类型而变化（例如，在 fBm 场下的 MNIST 为 $H=0.8$ ，对于 CIFAR-10 的常见损坏为 $H=0.6$ ）。

意义与主张

论文声称，相对于标准布朗运动和确定性基线，分数驱动器为提高随机神经网络的长记忆恢复能力和鲁棒性提供了一种原则性的机制。

理论意义： 该工作将随机最优控制和最大值原理的应用扩展到了非半鞅设置中，提供了一个易于处理的离散时间框架，避免了连续时间 Malliavin 微积分的复杂性。
实践意义： 结果确定了 FSNN 的优势应用场景：特别是用于建模具有长程依赖的时间序列，以及在增强模型针对结构化相关噪声的鲁棒性方面。
主张的审慎性： 作者明确指出，这些益处并非在所有任务中都是统一的。例如，在饱和数据集（如 MNIST）上，确定性骨干网络在干净准确率方面仍然占据主导地位，其随机优势主要观察于特定的扰动机制下。论文将 FSNN 框架化为一种专门工具，用于解决“布朗模板”不足的问题，而非作为现有架构的通用替代品。