🤖 AI

TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models

该论文提出了 TRACE，这是一种针对多模态时间序列基础模型的条件估计范式，通过系统地从可用的辅助模态中推断不完整的目标模态，来解决时间错位和部分模态缺失问题，并证明了其在医疗保健和情感计算基准测试中相比现有方法具有更优越的鲁棒性和性能。

原作者： Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解开一个复杂的拼图，但每当你观察图片时，总会发现有些碎片丢失了，而且你手头现有的碎片也会在不同时间散落在桌子上。对于试图分析多模态时间序列数据（例如患者的心率、血压和医嘱，或一段包含音频、文本和视觉效果的视频）的计算机来说，这正是它们的日常现实。

在现实世界中，传感器会失效，笔记记录会延迟，数据的到达速度也各不相同。现有的计算机模型通常尝试通过简单的数学方法（比如在两个已知点之间画一条直线）来猜测缺失的部分，或者干脆忽略这些空白。论文指出，这就像是试图通过仅根据紧挨着的碎片来猜测缺失碎片的颜色，却忽略了整幅画作的其他部分。

以下是关于 TRACE 提案的简单解析：

1. 问题所在：“破碎的拼图”

把患者的健康数据想象成由三个不同的叙述者讲述的一个故事：

叙述者 A（心率监测仪）每秒钟说话一次。
叙述者 B（医生笔记）只有在医生书写时才说话。
叙述者 C（X光检查）只有在进行扫描时才说话。

有时，叙述者 B 和 C 会长时间保持沉默。旧的计算机模型（如 FuseMoE）试图通过根据他们听到的最后一段话来进行“最佳猜测”来填补这段沉默。但这往往会创造出一个扭曲的故事，因为它没有倾听叙述者 A 此时此刻 在说什么，从而无法利用 A 的信息来填补 B 和 C 的空白。

2. 解决方案：TRACE（“聪明的侦探”）

作者提出了 TRACE，其全称为 Temporal Conditional Estimation（时序条件估计）。

TRACE 并不只是孤立地猜测缺失的部分，它更像是一个利用所有可用线索来重构故事缺失部分的侦探。

类比： 想象你在一个嘈杂的派对上试图回忆朋友说了什么，但你漏掉了几句话。你不是在随机猜测单词，而是结合了朋友在说话之前和之后的内容，同时也听取了同时期其他朋友的谈话，以此来填补空白。
工作原理： TRACE 使用了一种叫做 扩散（Diffusion） 的技术。你可以把它想象成一位雕塑家，从一块粘土（随机噪声）开始，在其他叙述者提供的“线索”引导下，慢慢剔除噪声，直到呈现出一个清晰、真实的形状。它不仅仅是画一条线，而是根据现有内容的上下文来“想象”缺失的数据。

3. 两步走的过程

TRACE 通过两个截然不同的阶段运作，就像一个两人协作的团队：

第一步：重构团队（条件扩散）
在团队尝试解决最终问题之前，他们首先要协作来“修复”破碎的数据。如果心率监测器缺失了一块数据，团队会观察医生的笔记和 X 光检查，以概率性的方式（数学化地）重构出那块缺失的部分可能呈现的样子。他们不只是填入一个静态数值；他们创造了一个符合上下文的“可能性云团”。
第二步：决策团队（混合专家模型）
一旦数据被“修复”，第二个团队（称为混合专家模型，Mixture-of-Experts）就会观察这张现在已经完整的图片，并做出预测（例如预测患者是否可以出院，或一段视频是快乐还是悲伤）。因为数据更加清晰准确，这个团队能做出更好的决策。

4. 他们的发现（结果）

研究人员在两种类型的“拼图”上测试了 TRACE：

情感分析 (CMU-MOSI/MOSEI)： 根据文本、音频和视频来判断一段视频片段是积极的还是消极的。
医疗预测 (MIMIC-IV)： 根据生命体征、笔记、X 光和心电图来预测患者的预后情况（如死亡率或住院时长）。

结论：

更高的准确性： TRACE 始终优于以往的模型。在医疗测试中，它在预测患者预后方面表现得更好。
韧性： 数据缺失得越多，TRACE 的优势就越明显。当数据稀缺（缺失 30% 或更多）时，其他模型会崩溃，而 TRACE 却能保持稳定。
更接近现实： 论文表明，TRACE 创建的“修复”数据比其他模型的简单猜测更接近“真实”的现实（即如果所有传感器都完美工作时的情况）。

总结

简而言之，TRACE 改变了计算机处理缺失数据的方式。它不再说：“我直接用一个简单的平均值来填补这个空隙”，而是说：“让我看看现在发生的其他事情，以便智能地重构缺失的部分。”这产生了一个更清晰的过去图像，从而帮助计算机对未来做出更明智的预测。

技术摘要：TRACE —— 用于多模态时间序列基础模型的时序条件估计

1. 问题陈述

时间序列基础模型（TS-FMs）旨在学习可泛化的时序表示，并使其能够适应各种下游任务。然而，现实世界中的多模态时间序列数据，特别是在医疗保健和情感计算等领域，经常面临**时序对齐（temporal misalignment）和部分模态缺失（partial modality missingness）**的问题。在这些场景中，不同的模态以异构的时间尺度被观测到，或者由于采样不规则或传感器故障导致特定模态部分缺失。

现有方法通常通过朴素填补（例如，零填充、最近值填充）或在融合前进行掩码处理来解决这些问题。作者认为，这些方法未能考虑到跨模态依赖关系。通过确定性地完成缺失值，现有模型会使条件不确定性坍缩，从而可能扭曲时序动态并使下游融合产生偏差。此外，许多当前的 TS-FMs 将缺失视为预处理步骤，而非一个需要进行条件估计的潜在时序变量，这限制了它们在严重稀疏情况下的鲁棒性。

2. 方法论：TRACE

作者提出了 TRACE（Temporal Conditional Estimation，时序条件估计），这一范式重新定义了如何处理稀疏和事件驱动的观测数据。TRACE 不采用确定性补全，而是将缺失的模态输入视为在融合前需从可用辅助模态中进行条件估计的潜在变量。该架构由一个两阶段流水线组成：

第一阶段：多模态条件扩散

此阶段执行缺失组件的概率信号级估计。

跨模态上下文构建：对于目标模态 $m$ ，模型使用受混合专家（MoE）启发的门控机制聚合来自辅助模态（ $M \setminus \{m\}$ ）的观测组件。门控函数根据观测到的特征为每个辅助模态分配重要性得分，从而生成加权的跨模态上下文 $x^{(m)}_c$ 。
条件扩散过程：TRACE 采用条件去噪扩散模型（基于 DDPM）来估计未观测到的组件 $x^{(m)}_U$ $x_{U}^{(m)}$ 。
- 该过程以目标模态的观测部分 $x^{(m)}_O$ 和聚合后的跨模态上下文 $x^{(m)}_c$ 为条件。
- 前向加噪过程仅向缺失的部分添加高斯噪声，而观测项保持固定。
- 参数化为神经网络 $\epsilon_\theta$ 的反向去噪过程学习预测噪声，并在多模态上下文的条件下概率性地重建缺失值。
训练：扩散网络采用自监督掩码策略进行训练（受 CSDI 启发），其中一部分观测值被掩码并作为填补目标，同时以剩余的观测值和跨模态上下文为条件。

第二阶段：多模态融合与预测

一旦缺失组件被概率性地估计出来，完成后的模态表示将被传递到下游融合层。

MoE 融合：TRACE 采用了来自 FuseMoE 的 MoE 融合层。该层使用稀疏门控机制将模态特定的表示路由到共享的前馈专家池中，并将它们聚合成用于特定任务预测头的统一嵌入。
正则化：在损失函数中添加了一个基于熵的正则化项，以鼓励平衡的专家利用率并防止专家坍缩。

3. 核心贡献

问题识别：作者指出，在融合前对缺失观测进行确定性补全是当前 TS-FM 流水线中的一个关键瓶颈，往往会导致表示失真或退化。
TRACE 范式：他们提出了 TRACE，一种用于多模态 TS-FM 的条件估计范式。它通过基于扩散的机制实现，用于概率性的信号级估计，明确利用互补的多模态上下文来推断缺失数据。
实证验证：通过广泛的实验，作者证明了 TRACE 在多种数据集和缺失模式下都能持续提升下游性能，确立了时序条件估计作为一个有效的系统级杠杆点。

4. 实验结果

TRACE 在涵盖情感分析和临床预测的三个基准测试上进行了评估：CMU-MOSI、CMU-MOSEI 和 MIMIC-IV。

情感分析 (CMU-MOSI/MOSEI)：TRACE 在所有指标（MAE、准确率、相关性、F1）上均优于最先进的基线模型（包括 MulT、MAG、TFN 和 FuseMoE）。值得注意的是，它实现了更低的预测误差和更高的分类准确率，且方差更低，表明其跨模态估计更加稳定。
临床预测 (MIMIC-IV)：在包括 48 小时住院死亡率 (48-IHM)、住院时长 (LOS) 和表型分类 (25-PHE) 在内的任务中，TRACE 在 AUROC 和 F1 分数上取得了最强的平均表现，超越了 FuseMoE、MISTS 和 HAIM（在大多数指标上）。
对缺失率的鲁棒性：在消融研究和受控缺失实验中，随着缺失率的增加，TRACE 展示了卓越的鲁棒性。当缺失率较高（如 30-50%）时，朴素填补（FuseMoE）会导致表示退化，而 TRACE 能够保持与“预言机”（完全观测）基准接近的表示。
消融研究：
- 条件扩散：移除跨模态条件或使用无条件扩散会显著降低性能，证实了利用辅助模态的必要性。
- MoE 路由：禁用自适应路由（使用固定权重）会降低性能，凸显了数据依赖型专家选择的重要性。
- 专家数量：性能在扩散模块中使用 5 个专家时达到顶峰，由于监督稀疏，专家数量过多会导致收益递减或性能下降。
效率：TRACE 大约需要 2.7M 个参数。虽然由于扩散步骤的存在，其推理速度慢于确定性基线，但将步骤从 50 步减少到 10 步可在性能损失极小的情况下实现 4 倍加速，这对于不一定要求严格实时响应的临床环境而言是可接受的。

5. 重要性与主张

论文声称 TRACE 解决了当前多模态时间序列建模中的一个根本局限：即将缺失数据视为静态的值填充问题，而非动态的条件估计任务。

范式转变：这项工作将重点从“填补空白”转向“估计潜在变量”，保留了缺失数据的概率结构，并利用了跨模态依赖关系。
表示保真度：作者认为 TRACE 的主要益处不仅在于提高逐点填补的准确性，更在于在严重缺失的情况下保持潜在空间中有意义的时序表示。这使得下游融合层能够在更真实的资料上运行，从而实现更好的鲁棒性。
泛化性：虽然目前的实例化侧重于模态部分观测的情况（模态内缺失），但该框架被设计为一个通用的 TS-FM 范式。作者指出，对于完全缺失的模态，系统依赖于骨干网络绕过缺失输入的路由能力，但其核心贡献在于精炼数据存在但稀疏时的表示。
局限性：作者谦虚地承认，对于高度依赖特定领域归纳偏置的任务（例如 HAIM 在表型分类上的表现），专门的架构可能仍然表现更好。他们建议，通过在 TRACE 中引入轻量级的领域先验来弥合这一差距是未来的研究方向。此外，他们指出当前范围针对的是部分观测而非生成完全缺失的模态。

总之，TRACE 证明了通过扩散进行显式的时序条件估计，是构建鲁棒、可泛化的多模态时间序列基础模型的优于朴素填补的策略。