📊 statistics

Prediction Inference of Time Series with Standard ReLU Deep Neural Networks

本文提出了一种利用标准 ReLU 深度神经网络生成时间序列预测区间的方法，该方法能够量化未来的变异性与估计不确定性，并得到了在相关数据条件下关于一致性与 beta 混合性质的理论证明支持。

原作者： Kejin Wu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Kejin Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

预测未来是人类最古老且最持久的挑战之一。无论是农民观察天空以判断是否降雨，经济学家观察股市，还是医生监测病人的生命体征，其目标始终如一：通过观察过去已经发生的事情来推测接下来会发生什么。在数据科学领域，这项任务被称为时间序列预测。几十年来，科学家们一直依赖数学模型来寻找这些数字序列中的模式。最传统的工具建立在这样一个理念之上：即未来是过去的简单、直线式的延伸。然而，现实世界很少如此简单。天气系统、金融危机和生物节律往往以直线无法捕捉的复杂、非线性方式扭曲和转折。当这些传统工具失效时，研究人员转向了一种更强大、更灵活的方法：深度神经网络。这些是受人类大脑启发而设计的计算机系统，能够从海量数据中学习复杂的模式。然而，尽管这些网络因其预测能力而闻名，但一个关键的拼图碎片却一直缺失。知道一个预测结果是一回事；知道该在多大程度上信任它则是另一回事。如果没有明确的不确定性度量，无论做出预测的机器多么先进，那也仅仅是一个猜测。

这正是芝加哥洛约拉大学（Loyola University Chicago）数学与统计系一项新研究所解决的具体问题。研究人员致力于构建一种方法，不仅能利用深度神经网络进行时间序列预测，还能严格量化这些预测的不确定性。过去，当科学家使用这些强大的网络时，往往将其视为“黑盒”，在不理解结果可靠性的情况下直接接受输出。该研究引入了一种构建所谓“预测区间”的新方法。可以将预测区间想象成不是一个单一的数字，而是一个可能结果的范围。如果一个天气模型预测最高气温为75度，简单的预测可能只会说“75度”。而预测区间则会说：“我们有95%的把握确定气温将在70到80度之间。”研究人员所应对的挑战是确保这个范围足够宽以保证准确性，尤其是在可用数据量较少的情况下。

团队专注于一种使用标准激活函数（称为ReLU）的特定类型的深度神经网络。这种函数通过决定哪些信号可以传递以及哪些信号应该忽略，来帮助网络进行学习，就像神经元的放电或静默一样。研究人员首先证明了这些网络可以一致地学习随时间变化的数据中的潜在模式，即使这些数据与其自身过去的数据相关。随后，他们开发了一种被称为“前向自助法”（forward bootstrap）的高级模拟技术来测试他们的预测。想象一下，取一段单一的数据时间线，比如每日气温记录，通过对其中的随机误差进行重新洗牌，创造出数千个略有不同的时间线版本。通过在这些数千个变体上运行他们的神经网络，研究人员可以观察到预测值的波动情况。这种波动或变异性揭示了两件事：未来的自然随机性，以及由于模型是在有限数据上进行训练而导致的不确定性。

通过结合这两类不确定性，研究人员创建了他们所谓的“相关预测区间”（pertinent prediction interval）。这种方法旨在比旧技术更可靠，特别是在数据集较小时。在测试中，他们将这种新方法与统计学中使用的标准方法进行了对比。他们模拟了三种不同类型的复杂非线性数据模式，范围从简单的曲线到高度复杂的、高维度的形状。在每种场景下，神经网络方法在寻找真实未来值方面都证明比传统方法更准确。更重要的是，在涉及预测区间时，新方法捕捉真实结果的频率始终高于旧技术。例如，在一次涉及小样本量下的复杂高维数据的模拟中，传统方法的覆盖率仅为89.8%，而新的神经网络方法达到了95.5%。该研究还通过分析M4竞赛数据集的一个子集，将此方法应用于现实世界数据，具体选择了七个长度在300到350个观测值之间的年度时间序列。结果同样成立：神经网络生成的区间更加稳定且可靠，尤其是在研究人员在不知道确切规则的情况下需要猜测数据复杂度时。

这项工作的意义在于它能够为机器学习领域带来统计严谨性。长期以来，深度学习因其强大的预测能力而受到赞誉，但也因其在误差透明度方面的缺乏而受到批评。这项研究弥合了这一差距。它表明，通过仔细分析神经网络在针对同一数据的不同版本进行训练时的表现，我们可以为其预测构建一个安全网。这对于那些出错会产生严重后果的领域至关重要，例如水资源管理、气候变化建模或经济决策。研究人员并未声称他们解决了预测领域的所有问题，也没有暗示他们的方法在每种情况下都能完美运作。相反，他们提供了一个稳健且在数学上合理的框架，该框架在实践中表现良好，尤其是在数据稀缺或模式复杂的情况下。他们证明了，借助正确的工具，我们不仅可以用深度学习预测未来，还能以高度的信心理解预测的局限性。

技术摘要：基于标准 ReLU 深层神经网络的时间序列预测推断

问题陈述

本文研究了使用深度神经网络（DNN）对非线性自回归（NLAR）时间序列进行统计预测推断的挑战。尽管 DNN 与传统的线性（ARMA）或非参数核方法相比，已展示出卓越的灵活性和通用近似能力，但在其应用于时间序列预测时，往往被视为“黑盒”。在严谨的统计量化预测不确定性方面存在关键空白，特别是针对模型拟合过程中产生的估计变异性（estimation variability）。

经典的预测区间（PIs）往往无法捕捉这种估计变异性，导致在有限样本情况下出现覆盖率不足的问题。此外，现有针对非线性模型的多步前瞻预测方法，要么在最优 $L_2$ 点预测上存在偏差，要么在数据缺乏有限二阶矩时无法提供最优的 $L_1$ 预测。作者旨在通过开发一个利用标准 ReLU DNN 来提供一致点预测以及能够同时兼顾未来变异性和估计不确定性的有效预测区间的框架，来弥补这一差距。

方法论

1. 模型框架

本研究聚焦于一个通用的自回归模型：
$Y_t = f_0(Y_{t-1}) + \epsilon_t$
其中 $f_0$ 是未知的均值函数， $\epsilon_t$ 是独立同分布（i.i.d.）的创新项。作者采用一个标准的完全连接 ReLU 深层神经网络（DNN），具体为多层感知器（MLP），作为 $f_0$ 的估计量 $\hat{f}_n$ 。该 DNN 类由深度 $L_n$ 、宽度 $H_n$ 以及输出范数界限定义，允许这些参数随样本量 $n$ 的增加而增长。

2. 理论基础

在严格平稳性、几何 $\beta$ -混合性以及目标函数光滑性（Hölder 空间）的假设下，本文确立了若干理论性质：

一致性（Consistency）： 证明了 DNN 估计量在 $L_2$ 和 $L_\infty$ 范数下与真实函数 $f_0$ 具有一致性。论文推导了 DNN 估计量的非渐近误差界限，证明其能够处理目标函数的扩展定义域和值域。
自助法有效性（Bootstrap Validity）： 作者提出了一个**前向自助法（forward bootstrap）**程序。他们证明了由 DNN 估计量生成的自助时间序列保留了 $\beta$ -混合性质，并收敛至与原始序列相同的平稳分布。这是后续推断有效性的关键条件。

3. 预测区间

构建了两类预测区间：

标准分位数预测区间（QPI）： 基于自助预测误差的经验分布。论文证明了其渐近有效性。
相关预测区间（PPI）： 这是核心的方法论贡献。PPI 是基于预测根（predictive roots）（ $R_{n+j} = Y_{n+j} - \hat{Y}_{n+j}$ $R_{n + j} = Y_{n + j} - \hat{Y}_{n + j}$ ）的分布构建的。与直接估计未来值条件分布的 QPI 不同，PPI 估计的是误差项（即预测根）的分布。
- PPI 捕捉了创新方差和估计误差方差。
- 该方法依赖于“相关性（pertinence）”属性：自助预测根的分布近似于现实世界预测根的分布。
- 其构建过程涉及在自助样本上重新估计 DNN，以捕捉估计量本身的变异性。

4. 算法

算法 1： 使用前向自助法生成多步前瞻点预测（最优 $L_1$ 和 $L_2$ ）以及标准 QPI。
算法 2： 生成相关预测区间（PPI）。它包含一个“预热（burn-in）”阶段以确保自助序列的平稳性，在自助数据上重新估计 DNN，并计算预测根以确定区间边界。

关键结果

模拟研究

作者在三种非线性模型（包括维度 $d=10$ 的高维场景）上进行了模拟，样本量分别为 $n=50, 200, 500$ 。

点预测： DNN 点预测在均方误差（MSE）方面始终优于核估计器，特别是在受“维度诅咒”影响更严重的高维设置中。
预测区间：
- 覆盖率： 与 QPI 相比，PPI 始终能获得更接近标称水平（如 95%）的覆盖率，尤其是在小样本量和复杂非线性模型中。
- 鲁棒性： 在高维情况（模型 2 和 3， $d=10$ ）下，基于核的 PI 表现显著下降（例如，模型 3 中 $n=50$ 时，核 QPI 的覆盖率降至约 15%），而基于 DNN 的 PI 则保持了稳健的表现（例如，覆盖率约为 92%）。
- 长度： 虽然由于捕捉了估计不确定性，PPI 通常比 QPI 更宽，但它们提供了更可靠的覆盖。

真实数据分析

使用 M4 竞赛数据集（年度时间序列），作者采用移动窗口方法评估了不同窗口大小（ $w$ ）和输入维度（ $d$ ）下的性能。

稳定性： 与基于核的方法相比，DNN 预测区间（尤其是 PPI）在不同窗口大小和模型阶数下表现出更高的稳定性。
性能： 当窗口大小与维度的比例（ $w/d$ ）较小时，核估计器的表现退化（覆盖率降低，区间长度方差增大）。DNN 方法保持稳定，表明当真实模型阶数未知或相对于维度而言数据稀缺时，它是更优的选择。

意义与主张

本文声称为使用标准 ReLU DNN 进行时间序列预测提供了一个严谨的统计框架，使其超越了仅作为“黑盒”预测器的用途。

不确定性量化： 主要贡献在于证明了可以利用 DNN 估计量成功构建相关预测区间（PPI）。这实现了对估计变异性的量化，解决了非参数设置中标准自助法存在的已知弱点。
对维度的鲁棒性： 研究提供了实证和理论证据，表明在时间序列背景下，DNN 比标准核方法对维度诅咒更具鲁棒性，使其适用于高维非线性预测。
极简假设： PPI 的有效性是在极简假设下建立的，具体依赖于预测根的收敛以及自助世界中混合性质的保持。
实际应用价值： 作者指出，在样本量有限且模型阶数未知的实际应用中，基于 DNN 的 PPI 与传统的基于核的方法相比，为构建预测区间提供了一种更可靠且稳定的方案。

论文总结道，虽然 DNN 的通用近似属性已广为人知，但这项工作将其扩展到了统计推断领域，证明了 DNN 可以为依赖性数据产生一致的点预测和有效的、具备不确定性感知能力的预测区间。