🤖 machine learning

Forecasting Multiple Observables with SCROLL: Score-Trained Uncertainty for Stochastic Dynamics

本文介绍了 SCROLL，这是一个基于评分训练的不确定性框架，它通过在共享主干网络上利用自由路由的最后一层置信度来组合各任务的似然度，从而高效地预测随机动力系统中的多个可观测变量，并在合成及真实世界数据上均实现了最先进的校准度和准确度，且无需进行大规模超参数调优的计算成本。

原作者： Pavel Prochazka

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pavel Prochazka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

预测混沌系统（如风暴的旋涡路径或空气污染水平的波动）的未来，很少能得到一个单一的数字。预报员通常被要求提供一整套可能性：系统在一小时后将处于何种状态，是否会跨越危险阈值，或者它进入了哪种宽泛的天气类别。每一个这类问题都带有各自的不确定性，而如何同时回答这些问题是机器学习中的一个经典挑战。传统上，研究人员将这些问题视为必须相互平衡的独立任务，通常通过手动调整每个问题的权重，直到计算机产生令人满意的结果。这种平衡行为非常困难，因为这些问题是以不同的单位进行衡量的；温度读数的微小误差并不等同于概率的微小误差。如果权重设置得不完美，系统可能会为了关注一个琐碎的细节而忽略了一个关键警告，或者可能在试图精确描述某种本质上不可预测的事物上浪费精力。

一位研究人员提出了一种处理该问题的新方法，它完全消除了手动平衡的需求。该方法不再强迫计算机在相互竞争的目标之间做出选择，而是设计了一个让每个问题都能保持其自身的自然尺度和自身衡量不确定性的方式。这种被称为 SCROLL 的方法，允许计算机在学习数据模式的同时，自动学习各项任务的重要性。他们在数学混沌模型和现实世界的空气质量数据上测试了这种方法。他们发现，新方法不仅能预测系统的未来状态，还能预测该预测的不确定性程度，其准确度达到了理论上的最佳可能结果。至关重要的是，它无需进行那种困扰此类系统的昂贵且反复的试错调优，并且即使在数据规模发生剧烈变化时，依然能保持可靠。

问题的核心在于机器如何学习预测。当计算机试图预测一个随机（stochastic）或波动系统时，它会构建一个对数据的共同理解——一个共同的骨干网络（common backbone）——然后利用这个骨干网络来回答特定的问题。在旧的方法中，计算机会尝试通过将所有问题的误差相加成一个单一的分数，来同时最小化所有问题的误差。为了使这套方法奏效，研究人员必须决定给每个问题分配多少权重。预测温度的误差是否应该比预测风暴警告的误差更重要？他们通常通过让计算机以不同的设置运行数千次来寻找答案，这是一个缓慢且昂贵的流程。此外，这种方法有一个隐藏的缺陷：如果问题的测量单位不同，计算机无法在没有持续人工干预的情况下轻松调整这种差异。

新方法改变了游戏规则。与其将误差相加，研究人员让每个问题都用自己的语言说话。他们为每一项任务都提供了特定的观察世界的方式及其内在的置信度度量。这些独立的模型随后连接到共享的骨干网络，但它们并不被迫做出妥协。系统学习如何自由地路由信息，允许每项任务的不确定性根据数据的特定条件进行自我调整。这意味着计算机可以学习到某种类型的天气本质上比另一种类型更不可预测，并相应地扩大其置信区间，而无需被告知这样做。该方法有效地将尺度的差异吸收到了学习过程本身之中，将复杂的平衡行为转化为了单一且平滑的计算。

为了验证这个想法在实践中是否有效，研究人员在三种不同的场景下对其进行了测试。第一个是被称为 Ornstein-Uhlenbeck 过程的成熟数学系统。在这种情况下，系统的真实行为是已知的，这使得研究人员能够根据完美答案来检查其结果。他们发现，新方法恢复了精确的数学不确定性模式，证明了在答案已知时，它能够学习正确的行为。第二个测试是一个更具混沌性的系统——著名的洛伦兹方程（Lorenz equations）的一个变体，其中不确定性会随着当前状态的变化而变化。在这里，新方法成功追踪了系统不可预测性的增长与收缩，而那些未使用这种灵活路由的老方法则未能捕捉到这些变化。第三个测试涉及现实世界的数据：北京每小时的细颗粒物测量数据。在这些真实数据上，新方法在预测污染水平和跨越危险阈值的可能性方面都产生了最准确的预报，其表现优于那些需要大量手动调优的方法。

最引人注目的发现之一是该方法如何处理数据的规模。在许多预测问题中，如果你改变测量单位——例如，用华氏度代替摄氏度测量温度，或者使用不同的单位测量污染——旧方法就会失效或需要从头开始重新调整权重。然而，新方法保持了稳定性。它会自动调整其内部参数以匹配新的尺度，在无需任何人工干预的情况下保持相同的准确度。这种被称为“尺度等变性”（scale equivariance）的特性，意味着系统对于数据呈现方式的任意选择具有鲁棒性。研究人员还展示了，即使在数据存在噪声的情况下，该方法也能学习到正确的不确定性水平，并且不会凭空捏造不存在的不确定性模式。

研究还探讨了当不同的任务竞争计算机的注意力时会发生什么。在某些情况下，任务之间的关系非常紧密，以至于帮助其中一个任务会自动有助于其他任务。在另一些情况下，任务之间存在冲突，系统必须找到一种折衷方案。研究人员发现，新方法能够优雅地处理这些冲突，通常能找到一个与那些经过重度调优的旧方法所能达到的最佳折衷方案同样优异的解，但耗时仅为后者的极小部分。他们还测试了系统是否能学习不同任务的不同置信水平，并发现它能够自动实现这一点，而不需要为每个任务进行单独的调优过程。

结果表明，更好的预测不仅仅取决于拥有更多的数据或更强大的计算机，而在于拥有一种更好的结合不同类型问题的方法。通过让每个问题保留其自身的自然尺度和不确定性度量，系统可以学习到关于未来的更完整的图景。研究人员证明，这种方法不仅适用于答案已知的简单数学模型，也适用于答案具有不确定性的复杂现实数据。他们展示了该方法比传统的平衡多任务的方法更快、更准确且更可靠。尽管这项研究受限于较少的任务数量和特定类型的数据，但其揭示的原理为构建既精确又能诚实对待自身不确定性的预测系统提供了一条充满希望的路径。这项工作证明，我们可以教会机器如何正确地权衡自身的怀疑，而无需人类来手持天平。

技术摘要：使用 SCROLL 进行多观测变量预测

问题陈述

预测随机动力系统通常需要同时预测多个观测变量（例如，未来的状态、越障概率、状态标签），而非仅仅是一个标量值。标准的多元学习（Multi-Task Learning, MTL）方法通过最小化各任务损失的加权和来解决这一问题。然而，这种方法面临两个主要局限性：

权重调优： 平衡具有不同单位的任务（例如，回归与分类）需要进行手动网格搜索或学习缩放参数，这在计算上非常昂贵，且对损失函数的单位选择高度敏感。
似然失配（Likelihood Mismatch）： 标准的加权求和将观测模型的选择与权重分离。如果观测模型存在失配（例如，对于一个带有偏移边界的阈值事件使用交叉熵），那么无论使用何种损失权重，都可能导致预测失败。

此外，标准的 MTL 缺乏一种原则性的方法来为不同任务建模依赖于输入的预测方差（异方差性），而无需引入复杂的外部循环优化。

方法论：SCROLL-MT

本文提出了 SCROLL-MT（共享腔体自由路由最后层多任务学习，Shared-Cavity fRee-rOuting Last-Layer Multi-Task），该框架直接组合观测变量的似然函数，而非对原始损失进行加权。

核心构建

共享主干，自由路由最后层： 模型利用一个共享的确定性主干 $\psi(x)$ 来提取特征。每个任务 $k$ 维护自己的观测模型 $p_k(y^{(k)} | w_k^\top \psi; \eta_k)$ 以及一个关于其特定最后层权重 $w_k$ 的高斯置信度 $q_k(w_k) = \mathcal{N}(\mu_k, \Sigma_k)$ 。
目标函数： 训练目标 $F_{MT}$ 是 $K$ 个独立 SCROLL 目标（共享腔体损失）之和：
$F_{MT} = \sum_{k=1}^K \left[ -\sum_{n=1}^N \log \int p_k(y_n^{(k)} | w_k^\top \psi_n; \eta_k) q_k(w_k) dw_k - \log \int p_{\alpha_k}(w_k) q_k(w_k) dw_k \right]$
该公式将每个任务的数据项视为对数得分（负对数预测密度），并包含一个先验重叠项。
自由路由（Free Routing）： 与置信度被约束为给定数据下的后验分布（例如通过共轭关系）的“闭合路由”不同，SCROLL-MT 将置信度参数 $(\mu_k, \Sigma_k)$ 直接视为优化变量。目标函数本身会选择置信度，从而允许预测方差追踪输入相关的扩散程度（异方差性），而不被限制在与残差无关的杠杆形式中。
隐式权重： 任务进入目标函数时具有单位系数。通常用于平衡任务的“权重”被替换为 $O(K)$ 个似然参数（例如噪声尺度 $\sigma_{obs}$ 、先验精度 $\alpha_k$ ），这些参数在单次梯度传递中进行学习。

核心贡献

似然函数的组合： 本文证明了对每个任务的共享腔体损失进行求和（引理 1）可以创建一个有效的多任务目标，其中每个任务都针对其完整的置信度进行评分。这避免了对权重进行外部循环平衡的需求。
隐式任务权重（推论 2）： 该框架实现了尺度等变性（命题 1）。重新缩放任务的目标会导致参数发生双射，从而保持主干最小化器不变；而使用原始损失的固定加权求和则需要重新调优权重才能恢复相同的解。似然参数（噪声尺度）自然地占据了权重槽位，吸收了依赖于单位的缩放。
得分最优性（推论 1）： 对于固定的主干，如果预测族能够表示真实的条件分布，则总体数据风险在真实的条件分布处达到最小。具体而言，对于高斯任务，总预测方差（ $\sigma_{obs}^2 + \psi^\top \Sigma \psi$ ）会收敛到条件残差方差 $V^*(x)$ 。
自由路由置信度： 该方法区分了“钉定式（pinned）”路由（其中方差受后验映射约束）和“自由（free）”路由。自由路由允许模型学习输入相关的预测方差，使其匹配真实的扩散程度，而钉定路由在处理异方差系统时无法做到这一点。

实验结果

该方法在三个系统上进行了评估：

Ornstein–Uhlenbeck (OU)： 一个具有解析真值核的同方差系统。
随机 Lorenz-63： 一个具有可通过蒙特卡洛重模拟计算出的真值方差的异方差系统。
北京 PM2.5： 一个真实的空气质量数据集。

性能亮点：

同方差（OU）： SCROLL-MT 恢复了解析核，并达到了理论熵底限。学习到的预测方差正确地收缩到真值，没有产生虚假的扩散，尽管模型具备产生此类扩散的能力。
异方差（Lorenz-63）：
- 方差追踪： 自由路由置信度（对角线和全矩阵形式）成功追踪了状态相关的扩散（ $V^*(x)$ ），相对于蒙特卡洛真值分别实现了 0.61（对角线）和 0.85（全矩阵）的皮尔逊相关系数。钉定路由（闭合路由）无法追踪这种扩散，在 284 倍的真实方差范围内保持平坦。
- NLL 性能： SCROLL-MT（全矩阵）在状态和状态转换任务上实现了最佳的单次运行负对数似然（NLL），优于经过调优的网格基准和学习权重的方法（Kendall 等）。
- 校准度： 该方法在校准度上达到或超过了其在 NLL 上超越的基准模型。
真实数据（PM2.5）： 与单次运行基准相比，SCROLL-MT 在所有任务中均取得了最佳或统计意义上持平的结果。该性能优势在五个滚动起点上均保持不变，展示了鲁棒性。
效率： SCROLL-MT 每个主干配置仅需一次训练运行，而网格搜索基准则需要 49 次运行。它在学习网络权重的同时，同步学习先验精度和似然尺度。

意义与声明

本文将 SCROLL-MT 定位为一种原则性的损失权重启发式替代方案。其意义在于：

消除权重搜索： 通过直接组合似然函数，该方法消除了需要昂贵的网格搜索或学习标量权重来平衡任务的需求。
理论基础： 该方法基于基于得分的最优性，确保模型在可表示的情况下最小化真实分布的条件熵。
处理异方差性： “自由路由”机制允许模型学习输入相关的预测方差，而不受后验结构的约束，这种能力已被证明在异方差系统中至关重要。
研究范围适中： 作者明确指出这是一个“刻意限定范围的第一项研究”，使用了低维 SDE 和一个真实序列。其声明仅限于：在可计算真值核和方差的情况下，组合似然函数能够恢复真值的能力，以及在无需权重调优的情况下在真实数据上表现出竞争力的能力。本文并不声称解决了通用的多任务干扰问题，而是证明了在测试的机制下，当观测模型被正确指定时，单个特征映射可以有效地服务于多个任务。