📊 statistics

Identifiable Markov Switching Models with Instantaneous Effects and Exponential Families

本文确立了具有瞬时效应和指数族噪声的马尔可夫转换模型中潜在状态（regimes）及状态依赖型因果结构的可识别性，并提出了 FlowMSM 框架，以有效地从非平稳时间序列中检测这些状态并发现因果结构。

原作者： Roel Hulsman, Carles Balsells-Rodas, Sara Magliacane

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Roel Hulsman, Carles Balsells-Rodas, Sara Magliacane

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图理解一个城市的降水模式，但这个城市有一个秘密：它不仅仅只有“晴天”或“雨天”。相反，它在不同的**隐藏“模式”或“机制”（modes or regimes）**下运行并不断切换。有时这座城市处于“季风模式”，有时是“干旱模式”，有时又是“飓风模式”。

问题在于，你无法直接看到这些模式。你只能看到降雨量、风速和温度（即数据）。而且，不同模式下天气变化的规则并不相同。在“季风模式”下，气压下降可能会立即引发洪水；而在“干旱模式”下，同样的压力下降可能毫无反应。

这就是这篇论文所解决的挑战：仅仅通过观察杂乱的数据，我们如何找出系统正处于哪种隐藏模式，以及该模式下的具体规则是什么？

以下是他们解决方案的拆解，使用了简单的类比。

1. 问题所在：“变色龙”系统

大多数用于分析时间序列数据（如股票价格或心率）的标准工具都假设规则会永远保持不变。但在现实世界中，系统是会变化的。

“瞬时性”陷阱（The "Instantaneous" Trap）： 有时，变化发生得如此之快，以至于我们的测量过程会错过“中间”步骤。这就像每隔 5 秒给一名跑步者拍一张照片。如果他们在 1 秒内从 A 点冲到了 B 点，你的照片会让看起来像是他们在瞬间移动。论文中称之为“瞬时效应”。
“非高斯”转折（The "Non-Gaussian" Twist）： 标准工具假设数据遵循完美的“钟形曲线”（类似于人类平均身高）。但现实中的数据往往很奇怪，可能是不对称的，或者有极端的离群值（例如金融危机或血糖骤升）。作者的方法即使在数据非常“奇怪”（数学上称为“指数族分布”）的情况下也能奏效。

2. 核心主张：“我们真的可以解决这个问题”

在数学和科学中，“可识别性”（identifiability）意味着：是否存在唯一的正确答案？
想象你有一个带密码锁的盒子。如果两种不同的组合都能发出完全相同的开锁声，你就永远无法知道真正的密码是什么。这就是“不可识别”。

作者证明了他们这种特定类型的系统是具有可识别性的。他们表明，如果你有足够的数据，就存在唯一的一种方式来解释隐藏模式以及支配它们的规则。他们不仅仅是在猜测；他们构建了一个数学证明，展示了数据的“钟形曲线”和“奇特分布”本身足够独特，使得隐藏模式不会被混淆。

3. 解决方案：FlowMSM（“聪明侦探”）

为了找到这些隐藏模式，他们构建了一个名为 FlowMSM 的工具。你可以把它想象成一个两步走的侦探机构：

第一步：机制侦探（FlowMSM）：
这部分负责观察时间序列数据，并询问：“现在哪个隐藏模式正在生效？”
- 它使用了一种叫做**标准化流（Normalizing Flows）**的技术。想象一块黏土。你可以通过拉伸、扭曲和挤压将其变成复杂的形状。这个工具学习如何将简单、可预测的噪声“挤压”成你实际数据中那种复杂且奇特的形状。通过追踪数据是如何被“挤压”的，它可以判断当前由哪个“模式”（即哪套规则）在主导。
- 它将数据分组为规则看似稳定的“窗口”。
第二步：因果侦探（合作伙伴）：
一旦数据被分拣到这些稳定的窗口中，该工具就会将分好类的块交给一个“因果发现”合作伙伴。
- 这个伙伴会问：“在这个特定的模式下，是 A 导致了 B，还是 B 导致了 A？”
- 因为数据现在已经按模式进行了分类，这个伙伴可以在不被切换模式干扰的情况下，找到真实的因果规则。

4. 为什么这很重要

以往的工具试图同时完成这两个步骤，或者假设数据是“温顺的”（高斯的）且模式之间互不影响。

论文的优势： 他们的这种方法可以处理非线性规则（即效果不是一条直线）、瞬时效应（快速变化）以及奇特的数据分布。
“解耦”技巧（The "Decoupling" Trick）： 不同于其他试图同时猜测模式和规则（这容易陷入循环）的方法，FlowMSM 将这两个任务分开了。首先，它寻找模式；然后，它寻找规则。这使得整个过程更加稳定且准确。

5. 实验结果如何？（实验）

作者在两种情况下测试了他们的侦探：

模拟数据： 他们创建了计算机模拟，其中已知“真实”的隐藏模式和规则。FlowMSM 成功找到了隐藏模式和规则，即使数据带有噪声、是非线性的，或者存在“瞬时”跳跃。它击败了其他流行的方法，尤其是在数据不是完美的钟形曲线时。
真实数据（金融）： 他们将该方法应用于 Fama-French 五因子模型（一种解释股票回报的著名方法）和苹果公司的股票数据。
- 结果： FlowMSM 识别出了与现实世界事件相吻合的截然不同的“机制”。例如，它找到了“低波动”模式和“高波动”模式，清晰地捕捉到了诸如 2008 年金融危机和 2020 年大流行期间的情况。其他方法无法逻辑严密地将这些事件归类在一起。

总结

把世界想象成一只不断变换颜色的变色龙。旧的工具试图通过看一张模糊的照片，并假设这只变色龙始终是同一个物种来猜测它的颜色。

这篇论文说：“不，变色龙连物种也会变！但如果我们仔细观察皮肤的纹理（指数族的数学特性）以及颜色转换的瞬时性，我们就能证明到底存在哪种物种，以及它是如何表现的。”

他们构建了一个工具（FlowMSM），能够成功地将“物种”（机制）与“行为”（因果规则）分离，即使数据是混乱的，且变化发生在转瞬之间。

技术摘要：具有瞬时效应与指数族分布的可识别马尔可夫切换模型

问题陈述

现实世界环境中的时间系统（如气候动力学或 1 型糖尿病中的血糖波动）经常表现出非平稳行为。一种常见的建模策略是通过离散潜在状态来表示这种非平稳性，从而产生马尔可夫切换模型（MSMs），这是隐马尔可夫模型（HMMs）的一类具有自回归依赖关系的变体。然而，当存在以下情况时，识别这些潜在状态及其底层因果结构具有挑战性：

状态切换频繁。
动力学过程是非线性和非高斯的。
观测变量之间存在瞬时效应（例如，由于测量粒度较粗，导致因果效应发生的速率快于采样率）。

现有的有限状态 HMM 的可识别性结果并不能直接推广到 MSMs，因为观测变量之间存在自回归依赖关系。此外，以往关于回归切换模型的研究通常假设高斯设置、确定性回归函数，并且排除了瞬时效应和因果发现。

方法论

理论框架：可识别性

作者在特定条件下确立了潜在状态和回归依赖因果结构的可识别性。数据生成过程被建模为一个回归切换的结构因果模型（SCM），其中：

回归动力学： 回归遵循一阶平稳马尔可夫链（允许回归之间的依赖关系）。
因果机制： 在每个回归内，系统遵循具有非线性滞后效应和瞬时效应的结构方程。
噪声： 外生噪声属于连续的极小正则指数族（例如，高斯、Gamma、Laplace 分布）。

论文证明，在满足以下假设的情况下，诱导出的 MSM 是在置换意义下可识别的（即，数据似然唯一确定了潜在状态和混合成分，仅差一个回归标签的重命名）：

指数族噪声： 噪声的充分统计量是实解析的，且具有丰富的像集（包含一个开集）。
函数限制： 映射函数在每个回归中是唯一的，作为逐点微分同胚，并且是联合实解析的。
噪声自同构： 噪声分布具有平凡的自同构类，或者通过单调规范化进行限制（例如，不允许旋转）。
充足的变异性： 回归依赖的效应可以通过充分统计量的有限阶多项式分解来捕获，确保不同的回归映射到不同的自然参数。

该理论涵盖了非时间性的因果模型混合，并将以往仅限于高斯设置的结果扩展到了更广泛的指数族和瞬时效应。

算法：FlowMSM

为了使该理论具操作性，作者引入了 FlowMSM，这是一个将回归检测与因果发现解耦的回归检测框架。

回归检测： FlowMSM 采用广义期望最大化（GEM）算法。它使用条件归一化流（CNFs），特别是神经样条流（NSF），对初始分布和转移分布进行建模。这使得模型能够捕捉复杂的、非高斯和非线性的密度。流参数在不同回归间共享，但以回归特定的嵌入和滞后变量为条件。
因果发现： 一旦识别出回归（通过最大后验概率分配），时间序列会被拆分为对应于每个回归的簇。随后，对每个簇独立应用标准的平稳因果发现方法（如 VARLiNGM、DYNOTEARS、Rhino）以恢复回归依赖的窗口图。

核心贡献

可识别性理论： 论文提供了回归切换 SCM（具有回归间依赖、非线性滞后/瞬时效应以及指数族噪声）的可识别性充分条件。这将其理论从高斯假设扩展到了更广范畴。
FlowMSM 框架： 一种结合了条件归一化流与 GEM 的新型估计方法，用于在非高斯、非线性设置下进行鲁棒的回归检测。
解耦方法： 与以往在受限模型类（如位置-尺度噪声模型）中迭代进行回归检测和因果发现的方法不同，FlowMSM 将这两个阶段解耦，从而允许使用更广泛的因果模型类。
实证验证： 通过在合成基准测试和金融经济学数据集（Fama-French 五因子模型）上的广泛实验，证明了该方法的有效性。

实验结果

合成基准测试

实验在 $N=100$ 个时间序列、 $T=100$ 个时间步、 $D=10$ 维、 $K=3$ 个回归的合成数据集上进行。数据集包括：

带有高斯和指数族（Gamma）噪声的线性 SVAR 模型。
带有指数族噪声的非线性加性噪声模型（ANM）。
带有指数族噪声的位置-尺度噪声模型（LSNM）（最具有挑战性的设置）。

研究结果：

回归检测： FlowMSM 在所有设置中均实现了较高的归一化互信息（NMI）和调整兰德指数（ARI）得分，在非线性和非高斯场景下显著优于基准方法（iMSM、R-PCMCI、CASTOR、FANTOM）。依赖高斯假设的基准方法在非高斯设置下性能大幅下降。
因果发现： 当与适当的发现方法（如针对非高斯的 VARLiNGM、针对 LSNM 的 Rhino）配对时，FlowMSM 以高准确度和低结构汉明距离（SHD）恢复了因果结构。基准方法普遍表现不佳，这可能是由于难以处理频繁的回归切换和非高斯动力学。
鲁棒性： 即使在回归数量或滞后阶数设定过剩的情况下，FlowMSM 依然保持有效。

现实世界应用：Fama-French 模型

作者将 FlowMSM 应用于 Fama-French 五因子模型和苹果公司（AAPL）股票收益率的日度数据。

回归检测： FlowMSM 识别出了两个主要的回归阶段，这些阶段与低波动和高波动市场时期相一致（包括 2008 年危机和 COVID-19 疫情），并与 VIX 指数相关联。其他方法产生的回归无法清晰地映射到市场事件。
因果解释： 估计的因果图表明，在稳定市场期间（回归 4），因果依赖不存在（符合有效市场假说）；而在市场动荡期间（回归 5），因果连接开始显现。然而，作者指出，关于 Fama-French 因子驱动 AAPL 收益率的因果解释具有局限性，且未得到数据的充分支持。

重要性与声明

该论文声称提供了一个用于非平稳时间序列回归识别的原则性框架。

理论严谨性： 通过建立在温和假设（实解析性、指数族噪声）下的可识别性，这项工作证明了在存在瞬时效应和回归依赖的情况下，恢复此前被认为不可识别的潜在结构的合理性。
实际效用： FlowMSM 框架为在传统高斯 MSM 失效的复杂、非高斯环境中进行回归检测和因果结构发现提供了切实可行的解决方案。
审慎性： 作者承认了局限性，指出回归独立于观测值（ $R_t \not\to X_{0:T}$ ）的假设较为强烈，且该理论依赖于实解析微分同构。他们还提醒，在现实金融数据中的因果解释可能存在范围有限的问题，并且月度数据（样本较少）未能产生有意义的结果，这凸显了该方法对数据的要求。

这项工作并非声称解决了所有非平稳因果发现问题，而是通过放宽高斯假设并在具有理论依据的可识别性框架内显式处理瞬时效应，在这一领域迈出了重要一步。