💻 computer science

Simultaneous model discovery and state estimation under high data corruption

本文提出了一种基于稀疏回归的统计推断方法，利用自动微分优化的二阶算法，在存在高比例噪声和缺失数据的情况下，同步实现常微分方程模型的发现与状态估计。

原作者： Teddy Meissner, Karl Glasner

发布于 2026-02-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Teddy Meissner, Karl Glasner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种非常聪明的方法，用来在数据又脏又乱、甚至缺胳膊少腿的情况下，依然能找出事物运行的核心规律（数学公式）。

想象一下，你是一位侦探，手里只有一些模糊、破碎且被雨水打湿的线索（数据），你需要还原出罪犯（物理系统）的作案手法（微分方程）。传统的侦探方法往往要么太依赖完美的线索，要么在噪音面前容易抓错人。而这篇论文提出的方法，就像是一位拥有“超级直觉”和“去噪滤镜”的顶级侦探。

下面我用几个生活中的比喻来拆解这项技术：

1. 核心难题：在噪音中找规律

场景：假设你在听一场摇滚乐会的录音，但录音里全是杂音（噪音），而且中间还断断续续（数据缺失）。

传统方法：就像试图直接听清歌词。如果噪音太大，或者中间断了几句，你就完全猜不出歌名了。
这篇论文的方法：它不直接“听”歌词，而是先重建整个乐队演奏的现场。它假设有一个完美的乐队在演奏，然后不断调整乐谱（方程参数）和乐手的动作（状态变量），直到这个“重建的现场”和你手里那盘破旧的录音带最像。

2. 两大法宝：如何做到“去伪存真”？

法宝一：同时“猜谜”和“填空” (Hybrid Regression)

通常，科学家要么只猜公式里的数字（参数），要么只猜数据点对应的真实值（状态）。

比喻：这就好比你在玩填字游戏。
- 传统做法：要么只盯着格子猜字，要么只盯着提示猜词，互不干扰。
- 这篇论文的做法：它同时猜字和填词。它一边调整公式里的参数，一边修正那些缺失或错误的观测数据。它认为：“如果我的公式是对的，那么即使数据有错，我也能推算出它原本应该长什么样。”
- 效果：就像你通过知道“这是一首流行歌”的规律，自动把录音里听不清的歌词给补全了，哪怕录音断了一半。

法宝二：做减法，拒绝“过度解读” (Sparse Regression & BIC)

科学家最怕“过度拟合”（Overfitting），就是给一个简单现象编造了一个极其复杂的公式，虽然完美解释了旧数据，但在新数据上完全失效。

比喻：就像医生看病。
- 过度解读：病人头疼，医生开了 100 种药，每种药对应一种可能的病因，虽然治好了头疼，但病人被药毒死了。
- 这篇论文的做法：它使用一种**“奥卡姆剃刀”**策略（BIC 信息准则）。它不断问自己：“这个公式里的这一项（比如‘乘以 3'）真的有必要吗？如果去掉它，解释力会下降多少？”
- 过程：它像修剪树枝一样，先假设所有可能的树枝（公式项）都在，然后一步步剪掉那些没用的、多余的树枝，直到剩下最精简、最能说明问题的主干。而且，它不是随便剪，而是用统计学标准（BIC）来衡量，确保剪掉后模型依然“健康”。

3. 技术亮点：如何算得又快又准？

自动微分与“地图着色”：
计算这个复杂的优化过程非常烧脑（数学上叫计算海森矩阵）。
- 比喻：想象你要给一张巨大的城市地图的所有街区上色，要求相邻街区颜色不同。如果一个个试，太慢了。
- 做法：这篇论文利用数学结构的特殊性（稀疏性），像玩“数独”或“地图着色游戏”一样，把计算任务分组并行处理。这让原本需要超级计算机跑几天的任务，现在普通电脑也能快速搞定。

4. 实战表现：它有多强？

论文在几个著名的“困难模式”系统中进行了测试：

范德波尔振荡器（Van der Pol）：模拟电路振荡。
洛伦兹系统（Lorenz）：著名的“蝴蝶效应”混沌系统，极其敏感，一点小误差就会让结果天差地别。
柯尔皮茨振荡器（Colpitts）：包含复杂的非线性项。

测试结果：
即使数据里混入了 50% 的噪音（相当于录音里一半是杂音），或者 30% 的数据完全丢失（相当于录音断了一半），这个方法依然能：

找回正确的公式（识别出哪些项是真正起作用的）。
还原真实的轨迹（即使原始数据很烂，它也能算出物体原本是怎么运动的）。
打败对手：它的表现比目前业界最流行的 SINDy 算法（一种基于残差回归的方法）要好得多，特别是在数据很烂的时候。

总结

这篇论文提出了一种**“既懂物理规律，又懂数据修复”**的超级算法。

它不再把噪音和缺失数据视为不可逾越的障碍，而是把它们当作需要同时解决的谜题的一部分。通过同时优化公式和状态，并严格剔除多余项，它能在一片混乱的数据废墟中，精准地重建出事物运行的底层逻辑。

一句话概括：这就好比给科学家配了一副“透视眼镜”，让他们能在满是迷雾和碎片的观测数据中，直接看到事物最简洁、最真实的运行法则。

这是一份关于论文《Simultaneous model discovery and state estimation under high data corruption》（在高数据损坏下的同步模型发现与状态估计）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：
从观测数据中发现常微分方程（ODE）模型（即“模型发现”）是一个长期存在的科学难题。现有的方法在面对高噪声和数据不完整（缺失部分状态变量或时间区间）的情况时，往往表现不佳。

现有方法的局限性：

传统参数估计： 仅最小化模型输出与数据的差异，对噪声敏感，且假设模型结构已知。
残差回归（如 SINDy）： 直接最小化方程残差。这类方法对数据噪声极度敏感，因为噪声在微分过程中会被放大。虽然已有弱形式（Weak-SINDy）或滤波方法，但往往需要额外的预处理或假设。
混合回归（Hybrid Regression）： 同时推断参数和状态变量。虽然比前两者更鲁棒，但现有的混合方法在处理高维、非线性参数或极端数据缺失时仍面临优化困难或计算成本过高的问题。
非线性参数问题： 许多现有方法假设方程关于参数是线性的（基于线性库），限制了其处理复杂物理现象（如包含未知指数的项）的能力。

本文目标：
提出一种新的稀疏回归策略，能够在高噪声和数据严重缺失的情况下，同时发现 ODE 的方程结构（参数稀疏性）并估计系统的真实状态轨迹。

2. 方法论 (Methodology)

本文提出了一种基于统计动机似然函数的混合稀疏回归框架。

2.1 问题公式化 (Problem Formulation)

模型： 将离散化的 ODE 写为 $N(u; \theta) = 0$ ，其中 $u$ 是状态向量， $\theta$ 是未知参数。
似然函数： 采用一种同时考虑数据不确定性（观测噪声）和模型不确定性（方程近似误差）的似然函数。
- 目标函数定义为：
  $L_\lambda(\theta, u) = \|N(u; \theta)\|^2_2 + \lambda \|\hat{u} - u|_D\|^2_2$
- 其中 $\hat{u}$ 是观测数据， $D$ 是观测到的数据子集， $\lambda$ 是数据方差与模型方差之比（权重参数）。
- 统计意义： 当 $\lambda \to 0$ 时，退化为传统的非线性最小二乘（仅拟合数据）；当 $\lambda \to \infty$ 时，退化为残差最小化（SINDy 类方法）。本文的方法处于两者之间，通过优化 $\theta$ 和 $u$ 来平衡拟合度与物理一致性。

2.2 稀疏性选择算法 (Sparse Selection)

为了从庞大的候选项库中筛选出真实的方程项，文章没有使用硬阈值截断，而是采用了基于贝叶斯信息准则 (BIC) 的自适应剪枝策略：

正则化项： 使用平滑的 $l_0$ 范数近似（Mohimani et al. 提出的形式）作为稀疏惩罚项，使得目标函数可微，便于梯度优化。
BIC 优化： 目标是最小化 $BIC = \ln(\hat{n})\|\theta\|_0 + \hat{n} \ln(L_\lambda)$ 。
自适应剪枝算法 (Algorithm 3.1)：
1. 前向细化 (Forward Refinement)： 从全库开始，每次迭代移除 $k$ 个对 BIC 贡献最小的项。如果 BIC 下降，则接受移除；否则减少 $k$ 值进行微调。
2. 后向恢复 (Backward Recovery)： 如果移除项导致 BIC 上升（即误删了重要项），算法会回溯，重新添加之前被移除的项，直到找到局部最优。
3. 该算法系统地探索模型空间，避免陷入局部最优，并自动确定最佳模型复杂度。

2.3 优化策略 (Optimization)

二阶优化方法： 采用 Levenberg-Marquardt (LM) 方法的二阶变体，利用精确的 Hessian 矩阵（而非近似），在梯度和 Hessian 计算上结合自动微分（Automatic Differentiation, AD）。
稀疏 Hessian 计算： 利用模型离散化带来的稀疏结构，结合图着色算法 (Graph Coloring) 高效计算 Hessian-向量乘积，显著降低了高维问题的计算复杂度。
超参数选择： 使用交叉验证（Cross-validation）在验证集上选择最佳的权重参数 $(\lambda, R)$ 。

3. 主要贡献 (Key Contributions)

统计驱动的混合框架： 提出了一种统一框架，同时推断模型参数和状态变量，显式地处理数据和模型的不确定性，从而在高噪声下比纯残差回归（如 SINDy）更鲁棒。
基于 BIC 的自适应稀疏选择： 摒弃了传统的硬阈值或 $l_1$ 惩罚，采用基于 BIC 的自适应剪枝算法。该方法不仅寻找最稀疏模型，还能系统地探索模型空间，避免过拟合或欠拟合。
高效的二阶优化实现： 证明了在系统识别中，利用自动微分和图着色技术处理稀疏 Hessian 是可行的，使得二阶优化方法（LM）在实际应用中比一阶方法（如 L-BFGS）快至少 10 倍。
处理非线性参数： 该方法不局限于参数线性的方程。文章展示了如何处理包含未知非线性参数（如指数项中的底数）的库项，扩展了模型发现的范围。
对不完整数据的鲁棒性： 能够处理连续时间段缺失或随机数据点缺失的情况，无需对缺失数据进行插值预处理即可直接推断状态。

4. 实验结果 (Results)

作者在多个经典系统上进行了测试，并与目前最先进的 WSINDy 算法进行了对比：

Van der Pol 振荡器：
- 在 10% 到 50% 的高噪声水平下，本文方法的参数恢复误差（RE）和真阳性率（TPR）均显著优于 WSINDy。
- 即使在数据连续缺失（如 $t \in [4, 6]$ 区间无数据）的情况下，仍能准确恢复系统结构和状态轨迹。
Lorenz 系统（混沌系统）：
- 在 50% 噪声下，仍能准确恢复混沌系统的动力学特征。
- 在 30% 数据随机缺失的情况下，状态重构误差极小，证明了该方法在混沌系统中对初始条件噪声不敏感（因为它是同步推断状态，而非单纯积分）。
Lorenz-96 系统（高维）：
- 在 5 维混沌系统中，随着噪声增加，本文方法的模型恢复率保持高位（TPR > 0.9），而 WSINDy 性能下降明显。
Colpitts 振荡器（非线性参数）：
- 成功恢复了包含未知指数参数 $a$ 的非线性项 $\exp(ax)$ ，证明了该方法处理非线性参数库的能力。
网格细化研究：
- 发现模型离散化网格的细化通常能提高精度，但在数据采样过粗时收益会饱和。

对比结论： 在所有测试案例中，本文提出的方法在参数估计精度、结构发现率（TPR）以及状态重构能力上均全面优于 WSINDy，特别是在高噪声和数据缺失的极端条件下。

5. 意义与展望 (Significance)

科学价值： 为从“脏数据”（高噪、缺失）中提取物理定律提供了一种强有力的工具，填补了传统参数估计和纯数据驱动发现之间的空白。
技术突破： 解决了混合回归中常见的非凸优化难题，通过二阶优化和稀疏 Hessian 技术使其在实际计算中变得高效可行。
通用性： 框架不依赖于特定的离散化方法（有限差分、有限元、神经网络等均可），且不限于线性参数模型，具有广泛的适用性。
未来方向： 作者指出该方法可进一步扩展至偏微分方程（PDE）和微分代数方程（DAE），并计划将超参数选择完全集成到优化算法中，实现全自动化的模型发现。

总结： 这篇文章提出了一种统计严谨、计算高效且对数据质量要求较低的模型发现方法，显著提升了在现实世界复杂、噪声大且数据不全场景下重建物理模型的能力。