Disentangled Mode-Specific Representations for Tensor Time Series via Contrastive Learning

本文提出了一种名为 MoST 的基于对比学习的新型张量时间序列表示学习方法，该方法通过张量切片将特征解耦为模式特定和模式不变部分，从而在多个真实世界数据集的分类与预测任务中显著优于现有最先进方法。

要点

这篇论文介绍了一种名为 MoST 的新方法，专门用来处理一种非常复杂的数据——“张量时间序列”。

为了让你轻松理解，我们可以把这种数据想象成**“多维度的超级监控录像”**。

1. 什么是“张量时间序列”？（那个复杂的“超级录像”）

想象一下，你正在看一个巨大的、立体的监控屏幕，它记录了亚马逊上不同地点（如加州、德州）的搜索量随时间的变化。

• 普通的时间序列：就像看一个普通的视频，只记录“时间”和“数值”（比如：每天的气温）。
• 张量时间序列：就像是一个立体的、多角度的监控网。它不仅有“时间”，还有“地点”、“搜索词”等多个维度。
  • 地点维度：加州和德州的数据不一样。
  • 搜索词维度：搜"iPhone"和搜“圣诞树”的趋势也不一样。
  • 时间维度：这些变化是随时间发生的。

难点在于：这些数据太复杂了。传统的 AI 就像是一个只懂看平面地图的人，面对这种立体的、多角度的数据，它容易“晕头转向”，抓不住重点。

2. MoST 是怎么工作的？（它的“独门秘籍”）

MoST 的核心思想可以概括为：“切蛋糕” + “找共同点” + “找不同点”。

第一步：切蛋糕（Tensor Slicing）

面对这个巨大的立体数据块，MoST 不像别人那样试图一口吞下整个蛋糕。相反，它像切蛋糕一样，沿着不同的维度把数据切片。

• 切法 A：把“地点”固定，只看不同“搜索词”随时间的变化（比如：只看加州，看所有搜索词的趋势）。
• 切法 B：把“搜索词”固定，只看不同“地点”随时间的变化（比如：只看“圣诞树”这个词，看全美各地的趋势）。

比喻：就像你要研究一个交响乐团。

• 传统方法：试图同时听清所有乐器的声音，结果是一团乱麻。
• MoST 的方法：先把小提琴组的声音单独录下来，再把铜管组的声音单独录下来。这样就能听清每个声部的特点了。

第二步：找不同点（Mode-Specific）

MoST 会分别学习每个“切片”的独特之处。

• 比喻：在“地点切片”里，它发现加州的搜索习惯和德州很不一样（这是模式特有的特征）。在“搜索词切片”里，它发现“苹果”和“香蕉”的搜索趋势完全不同。MoST 把这些独特的个性都记下来了。

第三步：找共同点（Mode-Invariant）

虽然每个切片不一样，但它们都来自同一个“超级录像”，所以肯定有共同规律。

• 比喻：不管是在加州还是德州，也不管是搜“苹果”还是“香蕉”，大家都会在圣诞节前出现搜索高峰。这就是跨模式的共同特征（时间上的规律）。
• MoST 会把这些“大家都有的规律”提取出来，作为所有切片的共同语言。

第四步：对比学习（Contrastive Learning）

MoST 使用一种叫“对比学习”的魔法训练自己。

• 玩法：它把同一个数据切成两半（比如随机截取一段），让 AI 猜这两段是不是来自同一个时间点。如果是，就奖励它（拉近关系）；如果不是，就惩罚它（推远关系）。
• 目的：通过这种“找茬”游戏，AI 学会了：“虽然地点不同、搜索词不同，但只要时间点对得上，它们的核心规律就是相似的。”

3. 为什么要这么做？（解决了什么痛点）

以前的方法有两个主要问题：

1. 太乱：把所有数据混在一起学，导致 AI 分不清哪些是“地点特有的”，哪些是“时间共有的”。
2. 太死板：很多旧方法只关注“重建数据”（把数据原样还原），而不是“理解数据”（提取有用的特征）。

MoST 的优势：
它把数据解耦（Disentangled）了。就像把一团乱麻理成了几根清晰的线：

• 这根线代表“地点的个性”。
• 那根线代表“时间的共性”。

4. 效果如何？（实战表现）

作者在 11 个真实世界的数据集上测试了 MoST，包括：

• 谷歌搜索趋势（预测未来搜什么）。
• 空气质量监测（预测 PM2.5）。
• 共享单车使用（预测哪里需要车）。

结果：MoST 在预测未来和分类识别（比如识别这是哪种活动）的任务上，都打败了目前最先进的方法。

总结

MoST 就像一位高明的“数据侦探”：
面对一个由地点、物品、时间交织而成的复杂案件（张量时间序列），它不盲目地看整体，而是：

1. 拆解：把案件拆成不同的线索（切片）。
2. 分析：找出每条线索独有的细节（模式特定特征）。
3. 归纳：找出所有线索背后共同的作案规律（模式不变特征）。
4. 训练：通过不断的“找相同、找不同”的游戏，练就了一双火眼金睛。

最终，它能更准确地预测未来，更精准地识别现状，让复杂的立体数据变得清晰易懂。

技术摘要

论文技术总结：基于对比学习的张量时间序列解耦模式特定表示 (MoST)

1. 研究背景与问题定义 (Problem)

背景：
随着数字创新的快速发展，数据通常以多属性（多模态）的形式生成，形成了张量时间序列 (Tensor Time Series, TTS)。TTS 在搜索引擎、环境监测、金融分析等领域广泛应用。例如，在线活动数据可以表示为 {地点，查询词，时间} 的三维张量。

核心挑战：
现有的表示学习方法在处理 TTS 时面临以下困难：

1. 结构复杂性： TTS 包含非时间模态（如地点、查询词）之间的模态内依赖 (Intra-mode dependencies)（例如，不同地点之间的相关性，或不同查询词之间的相关性）以及时间维度上的时间依赖 (Temporal dependencies)。
2. 现有方法的局限性：
   • 传统的张量分解方法（如 Tucker/CP 分解）主要关注重构误差，难以提取适用于下游任务（如分类、预测）的丰富特征。
   • 现有的深度学习张量方法通常将所有模态同等对待，忽略了不同模态特有的依赖关系，导致无法有效捕捉时间依赖。
   • 现有的时间序列对比学习方法（如 TS2Vec）通常将数据视为向量或矩阵，未充分利用 TTS 的多维结构。

目标：
开发一种新的表示学习方法，能够针对 TTS 的结构特性，学习解耦的 (Disentangled) 且模态特定 (Mode-Specific) 的表示，同时保留模态不变的时间特征。

---

2. 方法论：MoST 模型 (Methodology)

作者提出了 MoST (Disentangled Mode-Specific Representations for Tensor Time Series)，其核心架构包含三个主要组件，并采用对比学习框架进行训练。

2.1 模型架构

MoST 的架构如图 2(a) 所示，主要流程如下：

1. 张量切片 (Tensor Slicing)：

   • 为了降低 TTS 的复杂性并提取模态特定特征，模型首先将输入张量 $\mathcal{X}$ 沿非时间模态进行切片。
   • 例如，对于一个三维张量（模态 1，模态 2，时间），将其切分为两组切片集合：模态 1 切片集 $\mathcal{X}^{(d1)}$ 和模态 2 切片集 $\mathcal{X}^{(d2)}$。
   • 每个切片本身是一个多变量时间序列（MTS），包含了该模态内变量间的交互。

2. 切片特征编码器 (Slice Feature Encoder)：

   • 采用模态独立性 (Mode-Independence, MI) 策略，将每个切片独立输入到编码器中。
   • 编码器结构： 包含一个可训练的线性投影层（嵌入层）和一个因果卷积编码器 (Causal Convolutional Encoder)。
   • 时间嵌入： 使用确定性加法时间嵌入来监控时间顺序。
   • 因果卷积： 堆叠多层因果卷积块（Kernel size 随层数指数增长），以捕捉不同时间尺度的长期依赖关系。
   • 输出为每个切片的潜在表示 $Z$。

3. 聚合器 (Aggregator)：

   • 使用平均池化或最大池化层，将同一模态下所有切片的表示进行聚合，生成该模态的特定表示 $V^{(d1)}$ 和 $V^{(d2)}$。
   • 最终表示 $V$ 由 $V^{(d1)}$ 和 $V^{(d2)}$ 拼接而成，实现了表示的解耦。

2.2 对比学习框架 (Contrastive Learning)

为了优化网络参数，MoST 设计了一个包含两部分的对比损失函数，旨在同时学习模态特定特征和模态不变特征。

• 实例损失 (Instance Loss, $L_I$)：

  • 目的： 学习模态特定特征（即同一模态内不同切片间的关系）。
  • 策略： 对输入张量进行随机裁剪 (Random Cropping) 生成两个增强视图。将同一时间戳下、同一增强视图中的表示视为正样本，将不同样本或不同时间戳的表示视为负样本。
  • 这迫使模型关注时间序列的局部和全局模式，而不受具体位置影响。

• 模态损失 (Mode Loss, $L_M$)：

  • 目的： 学习模态不变特征（即不同模态之间共享的时间依赖，如季节性）。
  • 策略： 将同一时间戳下、不同模态（如地点切片 vs 查询词切片）的表示视为正样本。将其他样本在同一时间戳的不同模态表示视为负样本。
  • 这迫使模型学习不同模态间共有的时间动态（例如，所有地点在圣诞节前的搜索量峰值）。

• 总损失函数：
  $$L = L_I + \alpha (L_M^{(d1)} + L_M^{(d2)})$$
  其中 $\alpha$ 是控制模态损失权重的超参数。

---

3. 主要贡献 (Key Contributions)

1. 首创 TTS 的对比学习表示： 据作者所知，这是首个利用对比学习 (CL) 为张量时间序列提供表示学习的方法。
2. 解耦的模态特定表示： 提出了基于张量切片的架构，能够分别学习不同非时间模态的特定特征（模态内依赖）以及跨模态共享的时间特征（模态不变性）。
3. 针对性的对比损失设计： 设计了实例损失和模态损失，分别用于捕捉模态特定特征和模态不变特征，有效利用了 TTS 的结构信息。
4. 广泛的实验验证： 在 11 个真实世界数据集上进行了分类和预测任务，证明了 MoST 优于现有的最先进方法。

---

4. 实验结果 (Results)

作者在 11 个真实数据集上进行了评估，包括运动传感器数据（分类）和 Google Trends、空气质量、共享单车数据（预测）。

• 分类任务 (Classification)：

  • 在 Daily 和 Realdisp 数据集上，MoST 的准确率显著优于 CoST、TS2Vec、TS-TCC 和 ATD。
  • 原因分析： MoST 利用了 TTS 结构（模态内依赖 + 时间依赖），而 ATD 忽略了时间信息，TS2Vec 未利用张量结构。

• 预测任务 (Forecasting)：

  • 在 Google Trends (US/World)、KnowAir、NYC-CB 等数据集上，MoST 在 MSE 和 MAE 指标上均取得了最佳或次佳成绩，普遍优于基于对比学习的方法（CoST, TS2Vec）、端到端预测模型（Informer, LaST）和张量分解方法（NET3, SSMF）。
  • 关键发现： 使用 TTS 结构是提升精度的关键因素。

• 消融实验 (Ablation Study)：

  • 切片与 MI 策略： 移除模态 1 或模态 2 的依赖（M1D/M2D）会导致性能显著下降，证明同时学习两种模态依赖的重要性。
  • 架构组件： 移除时间嵌入或因果卷积编码器均导致性能下降，证明捕捉长期时间依赖的必要性。
  • 损失函数： 实例损失对预测任务至关重要，而实例损失和模态损失的组合对分类任务最有利。
  • 对比端到端训练： MoST 的自监督预训练 + 下游微调策略优于直接监督的 MSE 端到端训练。

• 案例研究 (Case Study)：

  • 通过 t-SNE 可视化，MoST 能够清晰地区分不同模态内的依赖关系，而 CoST 和 TS2Vec 无法做到这一点，证明了其解耦表示的有效性。

---

5. 意义与结论 (Significance & Conclusion)

意义：

• 理论创新： 提出了一种新的范式，将张量分解思想与对比学习结合，专门针对 TTS 的复杂结构进行表示学习。
• 通用性： 学习到的表示是通用的，可以无缝应用于分类、预测等多种下游任务。
• 可解释性： 通过解耦表示，模型能够分别捕捉特定模态的交互和全局的时间模式，有助于更深入地理解 TTS 数据。

结论：
MoST 通过张量切片和特定的对比损失函数，成功解决了 TTS 表示学习中的复杂性挑战。实验表明，该方法在保持计算效率的同时，显著提升了在分类和预测任务上的性能，为处理多模态时间序列数据提供了一个强有力的新工具。代码已开源。