🤖 machine learning

Probabilistic Circuits for Irregular Multivariate Time Series Forecasting

本文介绍了 CircuITS，这是一种新颖的基于概率电路的架构，它在模型表达能力与确保有效联合分布的结构保证之间实现了有效平衡，从而在不规则多变量时间序列预测中实现了卓越的不确定性量化。

原作者： Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图预测一群朋友的未来，他们各自在不同时间做着不同的事情。有的在发短信，有的在睡觉，有的在跑腿，而且他们都在不规律的时间间隔内汇报状态。你想知道他们接下来会做什么，但也需要理解他们的行为之间可能存在怎样的关联。如果一个朋友开始跑步，这是否意味着其他人也会跟着跑？还是说他们是彼此独立的？

这就是**不规则多变量时间序列（IMTS）**预测所面临的挑战。这种情况在现实生活中很常见（例如气象站在不同时间报告数据，或医院监护仪以不规则间隔检查患者），但由于数据杂乱无章且变量间的关系错综复杂，计算机处理起来非常困难。

本文介绍了一种名为CircuITS（用于不规则多变量时间序列的电路）的新工具来解决这一问题。以下是其工作原理的简明解释：

问题所在：“矛盾的预言家”

此前试图解决这一问题的 AI 模型存在一个重大缺陷。想象你询问一位天气预言家：“下雨的概率是多少？”它回答 30%。接着你问：“下雨且下雪的概率是多少？”它回答 40%。最后你问：“下雨、下雪且刮风的概率是多少？”它回答 20%。

这构成了矛盾！下雨的概率不应仅仅因为你同时询问了风而发生改变。无论你是否将其与其他变量一起询问，下雨的概率应当保持一致。这一特性被称为边缘一致性。

旧模型就像不可靠的预言家：它们会根据你提问的方式给出不同的答案。这使得它们在高风险决策（如医疗保健或气候科学）中变得危险，因为其预测可能在逻辑上自相矛盾。

解决方案：“乐高大师”（CircuITS）

作者构建了CircuITS，其基础是一种称为概率电路的技术。你可以将其想象为由两种积木搭建而成的巨大、智能的乐高结构：

求和块（混合器）：这些代表“可能是这样，也可能是那样”。它们将不同的场景混合在一起。
乘积块（分离器）：这些代表“这样和那样独立发生”。它们将复杂问题分解为更小、更易管理的部分。

CircuITS 如何构建预测：
CircuITS 并非试图一次性猜测所有 100 个变量的未来（这就像试图一次性解决一个由 100 块碎片组成的、混乱不堪的拼图），而是逐层构建答案。

步骤 1：它单独查看每个“通道”（每个朋友或传感器），并为它们创建几个可能的场景（例如，“朋友 A 在睡觉”或“朋友 A 在跑步”）。
步骤 2：它使用乘积块将这些场景组合起来。它会问：“如果朋友 A 在跑步，这对朋友 B 意味着什么？”
步骤 3：它使用求和块将这些组合重新混合，从而构建出整个群体未来的完整复杂图景。

为何它与众不同

CircuITS 的魔力在于其结构。乐高积木的拼接方式是固定且合乎逻辑的。正因为这种 rigid 结构：

它永远不会自相矛盾。如果你只询问一个朋友，其答案在数学上保证与询问该朋友加上另外 50 个朋友时的答案相同。“乐高”设计迫使数学计算每次都能得出正确结果。
它能处理混乱。它可以应对那些在奇怪时间到达且跳跃式出现的数据，而这在现实世界中很常见。
它找到了平衡点。旧模型要么非常灵活但不一致（给出矛盾的答案），要么一致但过于简单（忽略了复杂模式）。CircuITS 是“金发姑娘”模型：它足够灵活以学习复杂模式，又足够结构化，从而永远不会在其自身的概率上撒谎。

结果

作者在四个真实世界数据集上测试了 CircuITS：

气象数据（温度、降雨等）。
三个医疗数据集（重症监护室患者的生命体征）。

他们将其与现有的最佳模型进行了比较。结果表明，CircuITS 在预测联合分布（事物之间如何关联的全景图）和边缘分布（针对单个变量的具体预测）方面，均优于任何先前的方法。

在一项涉及“分叉”（即一条路径分裂为两种截然不同可能性的情况，如河流分叉）的具体测试中，旧模型感到困惑，将两条路径混合成一片模糊的中间地带。然而，CircuITS 清晰地保持了两条路径的分离，表明它能够理解未来存在两种截然不同且有效的可能性。

总结

CircuITS 是一种新的 AI 架构，用于预测混乱、不规则数据流的未来。它采用特定的“电路”设计（如同逻辑乐高套装），确保其预测在数学上始终一致。无论你如何提问，答案在整体群体的背景下总是合乎逻辑的。这使其成为在复杂现实场景中预测的更可靠工具。

以下是论文《用于不规则多变量时间序列预测的概率电路》（CircuITS）的详细技术总结。

1. 问题陈述

本文解决了不规则多变量时间序列（IMTS）概率预测的挑战。在现实世界场景（如医疗保健、气候科学）中，时间序列数据通常具有以下特征：

不规则性：观测值以非均匀的时间间隔发生。
稀疏性：许多变量（通道）在特定时间戳可能缺失。
多变量性：多个变量之间存在复杂的依赖关系。

现有方法的主要局限性：

点预测：许多模型预测单一数值，无法量化不确定性，而这对随机过程至关重要。
边缘化不一致性：最先进的模型（如ProFITi）虽然能够建模复杂依赖关系，但存在边缘化不一致性。这意味着，预测的变量子集的概率会根据查询中是否包含其他变量而任意变化。这导致预测结果相互矛盾（例如，询问湿度时，降雨概率会发生变化），使其无法用于高风险决策。
表达能力与一致性的权衡：保证一致性的模型（如MOSES，即分离流混合模型）通常难以在高维空间中捕捉复杂的联合依赖关系，因为混合组件需要指数级扩展。它们无法有效地学习不同的模式（例如分叉）。

2. 方法论：CircuITS

作者提出了CircuITS（用于不规则多变量时间序列的电路），这是一种基于**概率电路（PCs）**的新颖架构。其核心创新在于在保持高表达能力的同时，提供了边缘化一致性的结构保证。

A. 核心架构：递归求和 - 积网络

CircuITS 使用求和节点（混合）和积节点（独立性）的层次结构来建模联合分布 $p(y | Q, X)$ （其中 $y$ 是目标， $Q$ 是查询点， $X$ 是观测值）。

叶节点：表示单变量或特定通道的分布。
求和节点：建模混合（捕捉多模态分布）。
积节点：建模因式分解（捕捉变量间的独立性）。

递归聚合：
CircuITS 采用递归方法，而非全张量积（后者按 $O(K^C)$ 指数级扩展）：

初始化：对于第一个通道，状态是 $K$ 个叶密度的向量。
递归：为了添加通道 $c$ ，模型计算先前联合状态与新通道叶密度的笛卡尔积（ $K^2$ 项）。
投影：加权和（求和层）将这些 $K^2$ 项投影回 $K$ 个分量。这防止了状态爆炸，同时允许模型学习先前联合状态与新通道之间的相关性。
最终输出：根节点作为 $K$ 个分量的加权和，生成最终的联合分布。

B. 编码器架构

为了处理不规则数据并动态生成电路参数：

观测表示：观测值（时间、通道、值）使用正弦时间嵌入和可学习的通道嵌入进行编码。
通道内聚合：掩码交叉注意力（Masked Cross-Attention）机制将每个通道的观测值聚合为固定大小的表示，同时保留通道身份。
通道间交互：自注意力层捕捉通道间的依赖关系。
参数生成：编码器输出：
- 上下文嵌入：用于叶分布（特定于查询）。
- 电路权重：求和节点的混合权重（ $W^{(c)}$ ）和根节点的权重（ $w_{root}$ ）。关键在于，这些权重仅依赖于观测历史 $X$ ，而不依赖于查询集 $Q$ 。这一结构约束是确保边缘化一致性的数学关键。

C. 叶分布

为了确保叶节点本身既一致又具有表达能力：

单变量边缘分布：使用**条件深度 Sigmoid 流（DSF）**建模，该流通过单调层近似累积分布函数（CDF）。
联合依赖：高斯 Copula 结合单变量边缘分布。相关性矩阵源自查询嵌入，确保依赖结构适应上下文，同时在数学上保持有效。

D. 理论保证

本文证明了 CircuITS 满足边缘化一致性（Kolmogorov 扩展定理）。

证明逻辑：由于电路结构基于输入通道固定，且求和节点权重仅依赖于 $X$ （而非 $Q$ ），因此积分掉一个变量（边缘化）仅仅是移除相应的叶项（将其替换为 1），而不改变剩余混合的权重。因此，从联合分布导出的边缘分布与直接针对子集预测的分布完全相同。

3. 主要贡献

CircuITS 架构：一种专为 IMTS 设计的新型求和 - 积网络，从结构上保证边缘化一致性，解决了表达能力与可靠性之间的权衡问题。
一致性编码器：一种从观测历史生成电路权重和叶参数的编码器，确保无论查询范围如何，对变量子集的预测始终保持一致。
最先进性能：在四个真实世界数据集上，证明了其在联合密度估计和边缘密度估计方面均具有优越性能。
理论证明：形式化证明了所提出的架构满足有效随机过程的要求。

4. 实验结果

该模型在四个数据集上进行了评估：USHCN（气候）、PhysioNet-2012、MIMIC-III 和 MIMIC-IV（医疗）。

指标：归一化联合负对数似然（njNLL）和边缘负对数似然（mNLL）。
基线：与ProFITi（不一致但具有表达能力）、MOSES（一致但表达能力较弱）和NeuralFlows（独立边缘分布）进行了比较。
性能：
- 联合密度：CircuITS 在绝大多数场景中取得了最低（最佳）的 njNLL，优于 ProFITi 和 MOSES。
- 边缘密度：CircuITS 在 mNLL 方面也优于基线，而 ProFITi 由于其不一致性经常表现出较高的 mNLL 误差。
- 合成任务：在合成“分叉”任务中（独立通道分裂为两个不同的模式），MOSES 即使使用 16 个组件也无法捕捉到不同的分支，而 CircuITS 仅使用每个通道 2 个组件就解决了该问题。
效率：CircuITS 通过解耦通道，将计算复杂度从 $O((CN)^3)$ （全协方差）降低到 $O(CN^3)$ ，尽管它引入了对混合组件数量 $K$ 的依赖。

5. 意义

关键领域的可靠性：通过保证边缘化一致性，CircuITS 防止了相互矛盾的预测。这对于医疗保健（例如预测患者恶化）和气候建模等安全关键应用至关重要，因为不一致的概率可能导致错误的决策。
处理复杂性：它成功建模了复杂的多模态联合分布，克服了以往基于混合的一致性模型所面临的优化困难。
泛化性：该架构在变量数量和查询点数量方面具有灵活性，适用于各种现实世界的 IMTS 应用，其中数据稀疏性和不规则性是常态。

总之，CircuITS 代表了概率时间序列预测的重要进展，它将概率电路的理论严谨性与处理不规则、多变量数据所需的实际灵活性统一起来。