🤖 AI

PAMF: Prior-Aware Multimodal Fusion for Incomplete Time Series Data

本文介绍了 PAMF，这是一个新颖的多模态时间序列框架，它通过利用先验感知流匹配显式地估计缺失数据，并将插补与下游任务通过权重共享进行耦合，从而解决了模态内和模态层面的缺失问题，并在医疗保健基准测试中实现了卓越的性能。

原作者： Ziwen Kan, Wugeng Zheng, Tianlong Chen, Song Wang

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziwen Kan, Wugeng Zheng, Tianlong Chen, Song Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个复杂的医学谜题，比如弄清楚一名患者是否正在发生心脏病发作，或者他们的睡眠质量如何。为了做到这一点，医生通常需要同时观察多个不同的“信息流”：心电图（ECG）监测心脏、呼吸监测器、脑电波以及肌肉传感器。这被称为多模态数据（multimodal data）。

然而，在现实世界中，这些传感器是“混乱”的。有时一根电线脱落了（整个数据流消失了），有时传感器只是闪烁了几秒钟（丢失了几个数据点）。

这篇论文介绍了一种名为 PAMF（先验感知多模态融合，Prior-Aware Multimodal Fusion）的新系统，旨在修复这些损坏的数据流，以便医生仍能做出准确的诊断。以下是它的工作原理，使用简单的类比进行说明：

两种类型的“缺失”数据

作者意识到，缺失的数据有两种完全不同的形态，你不能用同一种工具来修复它们：

“小故障”（模态内缺失/Within-Modality Missing）： 想象你的心脏监测器正在工作，但由于电线松动，线条在 5 秒钟内变平了。其余的数据都在；只是丢了一小块。
“大断电”（模态级缺失/Modality-Level Missing）： 想象患者拒绝佩戴呼吸传感器，或者机器完全坏了。现在，你整晚都没有呼吸数据。

大多数旧的计算机程序将这两个问题视为同一种情况，或者干脆忽略了缺失的部分。PAMF 则对它们进行区别对待。

PAMF 如何工作：“聪明侦探”法

1. “先验感知”启动器（知道从哪里开始）

想象你在尝试猜测故事中缺失的一个句子在说什么。

如果是一个句子中间缺了一个词（小故障），你会观察这个词前后的单词来推测缺失的词。
如果整个段落都缺失了（大断电），仅仅看前一个句子并不能提供太多帮助。相反，你会观察这本书的整体风格或其它角色的行为，以此来推测那个段落里“可能”写了什么。

PAMF 正是如此。它使用一种被称为**流匹配（Flow Matching）**的数学引擎（可以将其想象成一个非常高效的“时间旅行”机器，用于重建过去）。

对于小故障，它利用紧邻的前后数据（缺失点前后的数据）作为起点来进行推测。
对于大断电，它利用相似患者的平均行为或其他仍在工作的传感器作为起点来进行推测。

这个“起点”被称为先验（Prior）。通过为每种类型的缺失数据选择正确的起点，系统就不会盲目摸索；它从一开始就离真相更近。

2. “共享大脑”（权重共享/Weight Sharing）

通常，计算机程序有两个独立的步骤：

步骤 A： 修复损坏的数据。
步骤 B： 使用修复后的数据进行诊断。

问题在于，步骤 A 并不知道步骤 B 关心什么。它可能会把数据修复得非常完美，方便人类阅读，但却无法帮助计算机诊断心脏病发作。

PAMF 将这两个步骤连接了起来。它使用了一个**“共享大脑”（权重共享）**。这个学习如何诊断患者的部分，也会帮助修复数据的部分。

类比： 想象一位侦探（诊断部分）和一位法医画师（数据修复部分）。在旧系统中，他们在不同的房间里工作。而在 PAMF 中，他们坐在同一张办公桌前。侦探会告诉画师：“我需要清晰地看到鞋印的形状，这样才能抓到嫌疑人”，于是画师就会专注于强化鞋印的轮廓，而不仅仅是让整幅画看起来漂亮。

3. “三阶段训练”

系统通过三个阶段来掌握这项技能：

热身阶段： 它首先学习使用混乱、破碎的数据进行诊断。这迫使它学会如何处理缺失的部分。
重建阶段： 它利用第一步学到的知识来学习如何“填补空白”，并使用上述提到的智能起点。
最终润色阶段： 它将现在已经“修复”好的数据再次运行诊断，以获得最佳结果。

为什么它更好（结果）

作者在四个真实的医疗数据集（睡眠研究、心脏监测仪和可穿戴活动追踪器）上测试了 PAMF。他们将其与其他尝试处理缺失数据的智能系统进行了对比。

结果： PAMF 始终胜出。无论数据是存在小故障还是整个传感器缺失，它在诊断患者方面都表现得更好。
速度： 由于它使用的是“流匹配”而不是较旧、较慢的方法（如扩散模型/Diffusion models），它修复数据的速度更快——就像是在走高速公路，而不是在小巷子里绕路。

总结

PAMF 是一种处理混乱医疗数据的新方法。它不再忽略缺失的传感器或盲目猜测，而是：

能够分辨出是小故障还是传感器完全失效。
使用正确的“线索”（先验）作为开始，来推测缺失的数据。
让诊断目标来引导数据修复的过程。

其结果是，该系统能够观察不完整、破碎的医疗记录，并依然能判断出患者出了什么问题，就像数据完美无缺时一样。

技术摘要：PAMF（针对不完整时间序列数据的先验感知多模态融合）

问题定义

医疗保健领域中的多模态时间序列分析面临着一个关键挑战：普遍存在的缺失数据会降低下游预测性能。本文识别了两种结构上截然不同的缺失模式，而现有方法无法同时解决这些问题：

模态内缺失（Within-modality missing）： 在一个原本观测到的模态内部，缺失了个别时间点（例如，录制过程中的传感器掉线）。
模态级缺失（Modality-level missing）： 整个模态都不可用（例如，患者无法进行特定的检查，如心电图 ECG）。

现有方法通常分为两类，但均存在局限性：

缺失感知融合（Missing-Aware Fusion）： 诸如 FuseMoE、FlexMoE 和 Maestro 等方法通过使用掩码（masks）、门控机制或学习到的占位符嵌入来处理缺失。然而，它们并未显式地重建缺失的信号值，而是将其视为表示鲁棒性问题而非信号恢复问题。
显式插补（Explicit Imputation）： 诸如 CSDI 和 SSSD 等方法使用生成模型（如扩散模型）来重建缺失值。然而，它们通常统一对待所有类型的缺失，忽略了模态内缺失与模态级缺失之间的结构性差异。此外，插补过程通常与下游任务脱节，这意味着插补后的信号并非针对特定的预测目标进行优化的。

方法论：PAMF 框架

作者提出了 PAMF，这是一个能够显式处理两种缺失模式并将插补与下游预测相结合的统一框架。该框架由四个主要部分组成：插补编码器 ( $h_{imp}$ )、融合编码器 ( $h_{fus}$ )、流匹配模块 ($ffm $) 和下游头部 ($ f_{ds}$)。

1. 先验感知流匹配（Prior-Aware Flow Matching）

不同于从固定的、与领域无关的高斯分布开始生成过程（如标准扩散模型），PAMF 利用了具有先验感知初始化的流匹配（Flow Matching）。这使得源状态 ( $x_0$ ) 可以根据特定的缺失类型进行设计，从而减少向目标数据分布传输的距离。

对于模态内缺失： 初始化利用了局部时间连续性。源状态是通过最近的已观测时间邻居与每通道批次均值的凸组合构建的。权重随时间间隔呈指数衰减，确保起始点保持在合理的局部观测范围内。
对于模态级缺失： 由于缺乏同模态证据，初始化依赖于跨模态上下文。源状态是基于批次均值或与上下文相似的样本，并以已观测模态的表示为条件导出的。

流匹配模块学习一个条件速度场 $v_\theta$ ，该场将这种结构化的源状态 $x_0$ 沿着直线 ODE 路径传输到目标信号 $x_1$ ，并以插补上下文 $c_{imp}$ 为条件。

2. 权重共享与三阶段训练

为了解决插补与下游任务之间的脱节问题，PAMF 采用了权重共享机制和三阶段训练策略：

第一阶段（下游预热）： 使用原始的不完整数据通过分类损失来训练融合编码器 ( $h_{fus}$ ) 和下游头部。这迫使编码器学习对缺失具有鲁棒性的表示。
第二阶段（流匹配训练）： 插补编码器 ( $h_{imp}$ ) 通过复制 $h_{fus}$ 的权重进行初始化。随后训练流匹配模块，使其在以 $c_{imp}$ （编码了第一阶段学到的任务相关上下文）为条件的情况下插补缺失信号。这通过将任务相关的结构转移到插补过程中，实现了任务相关结构的传递。
第三阶段（联合微调）： 冻结插补分支以生成完整的观测数据 ( $x_{complete}$ )。随后在这些完整数据上微调融合编码器和下游头部，以优化最终的预测性能。

核心贡献

统一的双重缺失处理框架： PAMF 是首个通过显式重建具有特定类型先验的缺失信号，同时处理模态内缺失和模态级缺失的方法。
先验感知初始化： 作者引入了一个基于流匹配的生成模块，其中源状态是通过结构化先验（针对局部缺口使用时间邻居，针对全局缺口使用跨模态统计量）进行初始化的，而非固定噪声。这种设计相比于基于扩散的模型降低了推理开销。
任务引导的插补： 通过权重共享和三阶段训练计划，该框架将插补与分类联系起来。通过下游预测学习到的任务相关表示引导插补过程，确保恢复的信号对特定任务具有信息量。

实验结果

作者在四个生理基准数据集上评估了 PAMF：Sleep-EDF（睡眠分期）、PTB-XL（ECG 诊断）、PPG-DaLiA（可穿戴设备活动识别）和 Chapman-Shaoxing（ECG 节律）。

性能： PAMF 在所有数据集和缺失设置（包括 20% 模态内缺失和模态级缺失）下均取得了最强的整体下游性能。在 Macro-F1 和 AUROC 指标上，它始终优于 FuseMoE、FlexMoE、Maestro 和 MIRA 等强基线模型。
鲁棒性： 在混合缺失（同时存在模态内缺失和模态级缺失）以及高缺失率压力测试（50% 缺失率）下，PAMF 保持了卓越的性能，而像 Maestro 这样的基线模型则表现出显著的性能下降。
效率： 与基于扩散的插补基线（CSDI、SSSD）相比，由于流匹配的高效性和先验感知初始化的信息丰富性，PAMF 在获得更高 Macro-F1 分数的同时，显著降低了推理延迟（更少的函数求值次数）。
消融实验： 移除任何关键组件（插补、先验感知初始化、上下文条件化或权重共享）都会导致性能下降，这证实了完整流水线的必要性。

意义与主张

论文指出，多模态时间序列分析的主要障碍不仅在于缺失数据的存在，还在于缺失数据的结构异质性以及插补过程与下游任务的脱节。

PAMF 证明了：

显式重建缺失信号优于仅仅通过掩码或占位符来容忍缺失输入。
区分缺失类型至关重要；统一对待所有缺失数据（例如使用单一的高斯先验）是次优的。
通过权重共享将插补与下游学习耦合，可以使模型学习到专门适配于预测任务的表示，而不是生成通用的“看似合理”的信号。

作者将 PAMF 定位为一种研究阶段的方法，旨在提高医疗场景下的鲁棒性，因为在这些场景中，传感器故障或检查不完整的情况非常普遍。作者也承认了其局限性，指出该方法需要足够的训练数据来学习可靠的时间和跨模态结构，并且显式插补如果未经验证，存在生成看似合理但错误的生理信号的风险。