技术摘要：CoPFITi——面向不规则多变量时间序列的有效且具表达力的 Copula

问题陈述

不规则多变量时间序列（IMTS）广泛存在于医疗保健、气候科学和传感器网络等领域，其中变量在非均匀时间戳上异步观测。在这些场景下的预测需要完整的概率预测，以捕获被查询变量和时间点上的联合分布。IMTS 预测中的一个关键挑战是边缘化一致性：由于查询可能涉及不同的变量子集和时间戳，模型必须确保针对任何子集的预测与从更大联合预测中推导出的结果保持一致。

现有方法面临权衡。联合模型往往无法捕捉复杂的依赖关系或缺乏边缘化一致性（例如 ProFITi）。相反，强制一致性的模型（例如 MOSES、CircuITS）通常在表达力方面存在困难，或依赖于限制性假设。此外，现有的基于 Copula 的时间序列方法（如 TACTiS 和 TACTiS-2）在架构设计上未能严格保留单变量边缘分布，违反了 Copula 的一项基本属性。此外，标准的高斯 Copula 混合模型不足以建模复杂的多模态依赖结构，因为它们在潜在空间中共享一个共同的中心。

方法论

作者提出了CoPFITi（面向不规则时间序列概率预测的 Copula），这是一个利用**高斯混合 Copula（GM-C）**将单变量边缘建模与联合依赖结构解耦的框架。

1. 边缘建模：MargFlow

为了确保 Copula 方法的有效性，作者引入了MargFlow，这是一个专门用于单变量边缘的模型。

• 架构：MargFlow 使用了一个源自 CircuITS 的编码器，该编码器具有查询可分离性，意味着任意查询点处的分布仅取决于观测历史和该特定查询点，而不取决于其他查询点。这一特性对于边缘化一致性至关重要。
• 表达力：MargFlow 没有像 Neural-ODE 基线那样将边缘限制为高斯分布，而是采用了深度 Sigmoid 流（DSF）。这些是由神经网络参数化的严格单调标量变换，能够建模复杂、非高斯的边缘分布。
• 训练：MargFlow 独立训练以最大化边缘似然，确保在与依赖模型耦合之前具备高质量的单变量预测能力。

2. 依赖建模：高斯混合 Copula（GM-C）

CoPFITi 在潜在空间中利用单个高斯混合模型（GMM）而非多个独立高斯 Copula 的混合来构建依赖结构。

• 潜在结构：模型在 $\mathbb{R}^N$ 上定义了一个潜在联合密度 $f_{GMM}(z) = \sum_{j=1}^K \pi_j \mathcal{N}(z; \mu_j, \Sigma_j)$。
• 参数预测：
  • 混合权重（$\pi$）：仅从观测历史 $X$ 的全局摘要中预测。它们独立于查询集 $Q$。
  • 均值（$\mu_j$）和标准差（$\sigma_{j,n}$）：使用查询嵌入 $e_n$ 按查询进行预测。这使得潜在模式在空间上得以分离，从而能够建模多模态依赖关系。
  • 协方差（$\Sigma_j$）：通过源自查询嵌入的低秩 Gram 矩阵结构（$U_j U_j^\top + I$）构建，并由预测的标准差缩放。这确保了对称性和正定性，同时允许高效计算。
• Copula 构建：Copula 通过概率积分变换由高斯混合模型密度 $f_{GMM}$ 诱导产生。与高斯 Copula 的混合（在变换后混合）不同，CoPFITi 在变换之前混合潜在密度。这使得诱导出的 Copula 能够继承潜在 GMM 的多模态结构，从而捕获标准混合模型无法处理的复杂、非椭圆依赖关系。

3. 边缘化一致性

CoPFITi 在构建上即具备边缘化一致性。

• 混合权重 $\pi$ 仅依赖于历史 $X$，而非查询 $Q$。
• 潜在参数 $\mu_j$ 和 $\Sigma_j$ 仅通过对应于被查询点的具体条目依赖于 $Q$。
• 移除查询点完全对应于多元高斯分布的标准边缘化规则。
• 从潜在空间到目标空间的变换是查询可分离的。
• 作者提供了形式化证明（附录 A），表明这些属性保证了联合分布的边缘化结果与直接预测边缘分布的结果相同。

4. 训练与推理

• 两阶段训练：首先独立训练 MargFlow。然后冻结其权重，并训练 Copula 参数以最大化联合对数似然。
• 优化：目标函数是归一化联合负对数似然（njNLL）。由于 GMM 边缘的逆累积分布函数（CDF）没有闭式解，作者使用带保护的牛顿 - 二分法方案进行正向反演，并推导解析梯度（通过隐式微分）用于反向传播，从而避免了展开求解器的需求。

主要贡献

1. CoPFITi 框架：首个在构建上即具备边缘化一致性的面向 IMTS 的基于 Copula 的框架。它利用高斯混合 Copula 在保持结构有效性的同时实现高表达力。
2. MargFlow：一个强大的、基于查询可分离性的边缘模型，使用深度 Sigmoid 流，在基准数据集上实现了最先进的边缘似然。
3. 理论与实证有效性：论文确立了将边缘与联合模型解耦比联合训练能带来更好的边缘性能。CoPFITi 实现了优于非 Copula 基线的联合似然，并与（或优于）TACTiS-2 相当，同时严格保留边缘分布——这是 TACTiS-2 无法保证的属性。

实验结果

作者在四个标准 IMTS 基准数据集上评估了 CoPFITi：USHCN（气候）、PhysioNet-2012、MIMIC-III 和 MIMIC-IV（临床）。

• 边缘性能：MargFlow 在所有四个数据集上实现了最低的边缘负对数似然（mNLL），显著优于联合训练的基线和其他单变量模型（GRU-ODE、NeuralFlows、CRU）。
• 联合性能：CoPFITi 实现了最佳或接近最佳的归一化联合负对数似然（njNLL）。它在 PhysioNet、MIMIC-III 和 MIMIC-IV 上优于 TACTiS-2。
• GM-C 的表达力：一项将 GM-C 替换为高斯 Copula 混合（Mix-GC）的消融实验显示了显著的性能下降，证实了建模多模态潜在结构的能力至关重要。
• 有效性差距：使用 Wasserstein-1 距离，作者证明 CoPFITi 以高保真度（与采样噪声相当）保留单变量边缘分布，而 TACTiS-2 表现出高出数个数量级的偏差，表明其未能保留边缘分布。
• 一致性检查：在一个三维分布的玩具实验中，TACTiS-2 的直接双变量预测与其边缘化的三维联合预测不一致，而 CoPFITi 的预测在构建上就是一致的。

意义与主张

该论文声称通过解决表达力与有效性之间的张力，确立了联合 IMTS 密度建模的新标杆。

• 结构保证：与之前依赖收敛理论来学习边缘保留的注意力 Copula 不同，CoPFITi 通过其架构设计保证了边缘化一致性。
• 解耦优势：结果支持了以下假设：将边缘建模与依赖建模分离能带来更准确的单变量预测，进而实现更好的联合密度估计。
• 适用性：虽然专注于预测，但作者指出该框架自然地扩展到其他具有可变目标集的有条件联合密度估计问题，例如表格数据中的缺失值插补。

该工作被呈现为一项方法论贡献，在公共基准上进行了评估，重点在于提供可靠的不确定性估计，并确保不同分辨率下的预测互不矛盾。