Uncertainty propagation in auto-regressive random neural network models

在现代科学与工程领域，计算机已成为预测复杂系统行为不可或缺的工具。从预测天气到模拟血液在动脉中的流动，这些数字模型依赖于人工神经网络，这是一种受人类大脑启发的数学结构。这些网络通过根据海量数据调整数百万个被称为“参数”的内部设置，来学习识别模式并做出预测。然而，一个重大挑战仍然存在：这些模型很少是完美的。输入其中的数据往往包含微小的误差，而内部设置本身也永远无法被绝对确定地掌握。在许多现实场景中，这些微小的确定性会在模型运行时被放大，导致预测结果与现实发生剧烈偏离，甚至变得完全不稳定。长期以来，科学家们一直试图寻找追踪这些不确定性如何随时间增长的方法，但当被建模的系统具有混沌特性且变化迅速时，传统方法往往难以应对。

加州大学圣克鲁兹分校的一个研究小组开发了一种通过神经网络追踪这些不确定性的新方法，特别是针对那些会预测自身未来步骤的系统。他们的方法将输入的输入数据和网络的内部设置都视为可以波动的变量，而非固定的数值。通过利用这些网络中使用的某种特定类型的数学函数，他们创建了一种能够解析计算不确定性如何扩散的方法，而无需运行数千次单独的模拟。他们在两个极具挑战性的系统上测试了这种方法：Lorenz-63 模型（一个经典的类天气混沌行为模型）以及 Kuramoto–Sivashinsky 方程（描述复杂的流体动力学）。结果表明，该技术可以准确地追踪不确定性的增长，直至系统仍处于可预测范围之内，为现有方法提供了一种更高效、更稳定的替代方案。

问题的核心在于神经网络如何处理不确定性。当网络做出预测时，它接收一个输入，通过层层数学运算进行处理，然后产生一个输出。如果输入稍有偏差，或者内部设置稍有不同，输出就会发生变化。在一个简单的系统中，这种变化可能是微小且可控的。但在一个混沌系统中，由于微小的差异会导致截然不同的结果，这些误差可能会爆炸式增长。为了理解这一点，想象你在预测一片叶子在湍急河流中漂流的路径。如果你对叶子起始位置的判断稍有偏差，你对它一分钟后位置的预测可能会完全错误。研究人员专注于一种特定的神经网络，其内部数学结构是使用一种称为 Leaky ReLU 的函数构建的。这种函数具有一个独特的属性：它是由直线组成的。虽然整体网络很复杂，但这种分段线性的结构允许研究人员创建一个精确的局部映射，用以展示输入或设置的微小变化如何影响输出。

利用这一洞察，该团队推导出一组方程，描述了平均预测值和可能结果的扩散是如何随时间演变的。他们并没有进行猜测，而是精确计算了输入的不确定性、网络设置的不确定性与预测结果的不确定性之间的数学关系。他们发现的一个关键点是，随着网络逐步运行，系统状态的不确定性与网络设置的不存在性会产生关联。他们开发了一种追踪这种联系的方法，称之为“互协方差”（cross-covariance），从而确保模型能够考虑到这两类不确定性是如何相互影响的。这一点至关重要，因为忽略这种联系会导致预测不准确。

研究人员首先在 Lorenz-63 系统上测试了他们的方法，该系统是模拟大气对流混沌行为的数学模型。在该系统中，可预测性时界（即预测变得不再有用的时间限制）大约为 5.11 个时间单位。团队将他们的新方法与一种被称为蒙特卡洛模拟（Monte Carlo simulation）的标准方法进行了对比，后者涉及使用略有不同的输入运行模型数千次，以观察结果的范围。虽然标准方法很准确，但计算成本极高。他们称之为“重采样矩传播”（Resampled Moment Propagation）的新方法达到了类似的准确度，但消耗的计算资源却少得多。在测试中，仅使用 100 个粒子（代表不同的可能场景）就足以达到标准方法中使用 3,000 个样本的结果。该方法成功追踪了平均预测值和不确定性的扩散，直到接近可预测性的边缘，而没有包含重采样功能的简化版本则在极短时间内就变得不稳定，并产生了荒谬的错误结果。

受到这些结果的鼓舞，该团队将他们的方法应用于一个更为复杂的系统：Kuramoto–Sivashinsky 方程。该模型描述了流经表面的薄层流体的行为，这是一个高度混沌的过程，涉及数百个变量。研究人员将该系统离散化为 200 个维度，制造了一个巨大的计算挑战。在这里，可预测性时界较长，延伸至约 41.84 个时间单位。团队运行了 500 个时间步长的模拟，这覆盖了该时界的重要部分。即使在这种高维环境下，该方法依然表现良好，准确捕捉了不确定性的增长和系统的平均行为。然而，研究人员指出了一项实际限制：该方法需要大量的计算机内存来存储系统状态与网络参数之间的连接。对于这个 200 维的系统，仅存储这些连接就需要约 48 GB 的存储空间。尽管存在这种内存需求，该方法证明了在不借助运行数千次完整模拟这种“暴力手段”的情况下，也可以实现高维混沌系统中的不确定性传播。

这一方法的成功取决于一种称为“重采样”（resampling）的技术。在他们的方法中，研究人员追踪一组可能的场景，即“粒子”。随着时间的推移，每个粒子相关的确定性会不断增长。如果任由这种增长持续下去，模型会变得不稳定。为了防止这种情况，研究人员会定期“重置”系统。在特定的间隔内，他们获取每个粒子的当前状态（由一个局部的可能性云表示），并从中抽取一个新的样本。这个过程刷新了粒子集合，防止不确定性失控，同时仍允许模型捕捉不确定性演变的复杂非线性方式。他们发现，这些重置的时机至关重要。如果重置过于频繁，模型将无法积累足够的确定性，从而低估风险；如果重置过于稀疏，模型则会变得不稳定。通过实验，他们确定了一个特定的间隔（例如每 10 到 20 个时间步长一次）能为所测试的系统提供最佳平衡。

这项工作代表了使人工智能在科学应用中更加可靠的重要一步。通过提供一种在复杂混沌系统中通过数学追踪不确定性的方法，研究人员提供了一个工具，帮助科学家了解其预测的极限。该方法并不能消除不确定性，但它提供了一个清晰、准确的图景，展示了不确定性是如何增长和演变的。这对于气候建模和流体动力学等领域尤为重要，因为在这些领域，微小的误差可能导致大规模的误判。研究人员承认，目前该方法在处理极大规模系统时受限于内存需求，但他们建议未来的改进可以降低这一成本。他们的发现表明，通过将神经网络的结构特性与精密的数学分析相结合，我们可以构建出不仅具有预测能力，而且能对其自身局限性保持“诚实”的模型。预测未来能被信任多久的能力，与预测本身一样具有价值，而这一新框架为确定这一边界提供了一种稳健的方法。