🤖 machine learning

SciML in the Wild: A Diagnostic Study of When Structural Priors Help and When They Hurt

这项关于宏观经济预测的诊断性研究表明，科学机器学习中的结构先验可能会充当“误正则化项”，并在未能匹配底层数据生成过程时降低性能，这暗示了在复杂的低频领域中，约束较少的模型往往比重度约束的模型表现更优。

原作者： Vrishank Sai Anand, Prathamesh Dinesh Joshi, Raj Abhijit Dandekar, Rajat Dandekar, Sreedath Panat

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Vrishank Sai Anand, Prathamesh Dinesh Joshi, Raj Abhijit Dandekar, Rajat Dandekar, Sreedath Panat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测未来一年的天气，但你每年只能获得一张天空的照片。这就是研究人员在尝试预测经济时面临的挑战。他们想看看，在他们的 AI 模型中加入“交通规则”（比如物理方程）是否能帮助它们开得更好，还是会让车子更容易撞车。

核心问题：规则是有利还是有害？
在科学界，我们经常构建遵循严格定律的模型，比如重力或热量传递的方式。这些被称为“结构先验”（structural priors）。其背后的逻辑是：如果我们教会计算机游戏规则，它应该玩得更好，对吧？

这篇论文的作者决定在这样一个混乱且不可预测的领域测试这个想法：全球经济。他们观察了来自 23 个不同国家 的数据，仅使用关于 GDP、债务和通胀等的年度（每年一次）快照。这就像是通过每小时拍一张照片来试图预测过山车的运行轨迹。

实验设计：五种模型，一场竞赛
他们为五种不同类型的 AI 模型设置了一场比赛：

ARIMA： 一种经典的、老派的统计模型（“可靠的老爷爷”）。
LSTM： 一种现代神经网络，通过数据学习模式（“快速学习者”）。
NODE： 一种将时间视为平滑连续流动的神经网络（“平滑操作者”）。
PINN： 被迫遵循“启发式”（基于猜测的）经济规则的模型（“规则遵循者”）。
UDE： 一种将已知规则与学习大脑相结合的模型（“混合体”）。

令人震惊的结果：规则可能是一个陷阱
这里有一个转折：那些遵循严格规则的模型表现反而更差。

研究发现，在这个混乱、低频的世界里，“规则遵循者”（PINN 和 UDE）往往是表现最差的。事实上，对于许多国家来说，它们的预测结果非常糟糕，以至于得分是负数（具体而言，许多 $R^2$ 值低于零，这意味着它们甚至不如直接猜平均值）。

谁赢了？那些允许保持灵活性的模型。ARIMA 和 NODE（那些没有沉重预设规则的模型）始终击败了规则密集的模型。

为什么规则失效了？
作者认为，他们试图教给 AI 的“规则”就像是试图在一条形状不断变化的道路上开车。

不匹配： 他们使用的规则是简化的猜测（启发式），而不是完美的经济学定律。当真实的经济发生意想不到的事情时——比如突发危机或政策变化——AI 会感到困惑，因为它试图强迫数据去符合一个与现实不符的规则。
“错误正则化”（Misregularizer）： 这些错误的规则并没有帮助 AI 学习，反而像是一个糟糕的老师，迫使 AI 忽略实际的数据。论文中称之为“错误正则化”。
不稳定性： 规则密集的模型也更加不稳定。如果你用略微不同的起始点运行同一个模型五次，结果会产生剧烈波动。而灵活的模型则保持冷静且一致。

论文排除了什么
作者非常明确地说明了这项研究并非在表达什么。他们并不是说所有的经济理论都是错误的，也不是说 AI 永远不能使用规则。他们特别排除了**“增加结构会自动使模型变得更好”**这一观点。在这个特定的、充满噪声且数据稀缺的环境中，更多的结构是一种负担，而非资产。

他们也排除了结果仅仅是由于数据切分方式偶然造成的可能性。他们使用不同的时间切分方式（例如改变训练的开始和结束日期）测试了模型，而灵活的模型每次都胜出。

他们有多确定？
作者并不声称他们已经解开了经济之谜。事实上，他们承认利用这类数据来预测经济是极其困难的。 大多数模型，即使是获胜者，其绝对表现也很差（许多得分是负数）。

然而，他们对相对表现是非常确定的。通过在 23 个国家 和 五种不同的随机起始点（种子） 上的实验，他们观察到了一个清晰的模式：当数据稀疏且经济不稳定时，灵活性胜过僵化的规则。

给好奇青少年的启示
可以这样理解：如果你正在学习冲浪，而海洋是平静且可预测的，你可以遵循一本关于如何站在板上的严格手册。但如果海洋是狂野的，到处都是难以捉摸、变幻莫测的巨浪，遵循一本僵化的手册可能会让你被撞得头破血流。有时候，你只需要感受水流并做出适应，而不是试图强迫波浪服从你的规则。

这篇论文表明，对于像经济这样混乱的现实世界问题，我们不应假设“更多的结构”等于“更好的结果”。有时候，AI 能做的最好的事情就是承认自己并不了解规则，并仅仅从它所看到的事物中进行学习。

技术摘要：野外环境中的科学机器学习 (SciML)

问题陈述

科学机器学习 (SciML) 方法（如神经常微分方程 (NODEs)、物理信息神经网络 (PINNs) 和通用微分方程 (UDEs)）依赖于一个假设，即结构先验能够反映可靠的控制动力学。虽然这些方法在物理、生物和工程等方程定义明确的领域取得了成功，但其在宏观经济学中的适用性仍具有不确定性。宏观经济系统受人类行为、制度决策和外部冲击的影响，呈现出非平稳性、依赖机制以及仅部分可观测的特征。

本研究旨在解决一个根本问题：当结构先型的先验知识存在不确定性或与数据生成过程不匹配时，它们是提升了模型性能，还是降低了性能？ 作者将宏观经济预测视为一个“压力测试”领域，该领域具有数据稀疏、低频、高噪声和机制转换频繁的特点，旨在诊断启发式结构先验在非良定物理系统之外的表现。

研究方法

数据与状态表示

研究使用了一个包含 23 个国家（跨越不同地区和经济机制）的多国数据集，数据源自世界银行和国际货币基金组织 (IMF) 数据库。数据为年度观测值，时间跨度为 1990–2024 年 ( $N=35$ ) 或 1960–2024 年 ( $N=65$ )。
时刻 $t$ 的宏观经济系统由一个五维状态向量 $u(t)$ 表示：

GDPUSD：以当前美元计价的国内生产总值。
$\dot{Y}$ ：实际 GDP 增长率 (%)。
$\pi$ ：通胀率 (%)。
$D$ ：政府债务占 GDP 的百分比。
$E$ ：以美元计价的外债。

特征通过 MinMax 缩放归一化至 $[0, 1]$ ，且仅在训练集上进行拟合以防止数据泄露。

实验方案

时间分割：按时间顺序划分数据（默认训练/验证/测试比例为 70/15/15）以保持序列结构。鲁棒性检查使用了 65/15/20 和 80/10/10 的分割方式。
评估的模型：在统一框架下对比了五类模型家族：
1. ARIMA：单变量统计基准 (ARIMA(1,1,1))。
2. LSTM：数据驱动的序列模型（2 层，隐藏层大小为 64）。
3. Neural ODE (NODE)：一种连续时间模型，其动力学通过神经网络 $f_\theta(u)$ 进行学习，而不引入显式的结构约束。
4. PINN：通过添加启发式结构约束（软先验）增强的模型，这些约束编码了简化的关系，如债务-增长交互作用和均值回归。注：这些并非源自正式经济理论（如 DSGE），而是简化的假设，用于测试嵌入结构的效应。
5. UDE：一种结合了预定义结构组件与学习残差网络的混合模型。
评估指标：模型在归一化数据上使用决定系数 ( $R^2$ ) 进行评估。对于随机模型，结果在五个随机种子上取平均值。任务为一步预测（one-step-ahead forecasting）。

核心贡献

实证评估：在一个以稀疏、非平稳和行为驱动数据为特征的领域中，对 SciML 方法进行了大规模评估，涵盖 23 个国家。
性能层级：证据表明，在 PINN 和 UDE 模型中使用的启发式结构先验并不能提高性能，反而往往会降低相对于 ARIMA 和 NODE 等约束较少的方法的预测性能。
诊断框架：识别并表征了非平稳条件下物理信息学习的四种特定失效模式，为理解结构先验何时会对研究产生负面影响提供了框架。

结果

预测性能

研究发现，在此设定下的宏观经济预测本质上非常困难，所有模型的 $R^2$ 值大多为负数，这意味着其表现差于朴素的均值基准。然而，出现了一个清晰的相对层级：

约束较少的模型（ARIMA 和 NODE）在大多数国家和时间分割中始终优于约束较多的模型（PINN 和 UDE）。
ARIMA 受益于对最近观测值的条件化，但在神经模型家族中，NODE 始终优于 PINN 和 UDE。
PINN 和 UDE 表现出较低的中心性能和显著更大的方差。特别是 PINN，在某些“国家-模型”组合中表现出灾难性的失败， $R^2$ 在某些情况下跌破 -50。

稳定性与不确定性

ARIMA 产生确定性预测（零方差）。
NODE 表现出较窄的置信区间，表明其动力学稳定且可复现。
PINN 产生的置信区间最宽，反映了对初始化和训练不稳定性的高度敏感性，尤其是在剧烈波动的机制中。
UDE 显示出中等水平的变异性。

消融实验

针对 PINN 的消融实验（在保持架构不变的情况下移除物理信息损失项）显示，移除结构惩罚项在大多数国家中提高了预测性能。这证实了启发式先验不仅是无效的，而且在许多宏观经济设定中是有害的，当假设的关系与观察到的行为不一致时，会引入系统性偏差。

失效模式

作者识别了四个经常出现的失效模式，解释了结构先验表现不佳的原因：

先验失配 (Prior Misalignment)：强加的约束未能准确反映真实的宏观经济关系。
机制转换 (Regime Shifts)：经济条件的突然变化违反了平滑动力学的假设。
结构性断裂 (Structural Breaks)：不连续性（危机、政策冲击）与先验中嵌入的连续性假设不相容。
优化不稳定 (Optimization Instability)：数据损失与先验损失之间的梯度冲突增加了对初始化的敏感性。

意义与主张

本文将研究结果定位为诊断性结果，而非对整个 SciML 的否定。作者认为，在控制方程不确定、演化或仅部分可观测的领域（如宏观经济学）中，结构先验可能充当误正则化器 (misregularizers)，而非有用的归纳偏置。

这项工作的意义在于挑战了“结构越多越好”的假设。相反，研究表明，当底层动力学未被明确界定时，灵活性可能比强加的结构更有价值。作者总结道，从业者在应用 SciML 方法时，特别是在处理非物理系统时，应当在假设其有效性之前，先通过经验测试特定的结构是否确实有所帮助。