🤖 machine learning

Divide and Contrast: Learning Robust Temporal Features without Augmentation

本文介绍了 Divide and Contrast（Di-COT），这是一种高效的无监督时间序列表示学习框架，它通过在窗口内对比重叠子块来实现多项任务上的最先进性能，从而消除了对数据增强、多次编码器前向传播以及依赖序列长度计算的需求。

原作者： Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人仅通过观看一个人移动的视频来识别不同的人类活动。通常，要想把机器人教得这么好，需要一位人类教师观看视频的每一秒，并说出“这是走路”、“这是跑步”、“这是摔倒”。这既昂贵又缓慢，因为它需要大量的人工标注。

本文介绍了一种名为Di-COT（分而治之与对比）的新方法，它无需人类教师、无需使用棘手的“技巧”来伪造数据，也无需耗费漫长时间进行训练，就能教会机器人。

以下是其工作原理，分解为简单的概念：

1. 当前方法的问题

大多数现有的时间序列数据（如心跳、股票价格或运动传感器数据）人工智能方法试图通过以下方式学习：

数据增强：它们将视频模糊化、加速或上下翻转，以创建“伪造”版本，然后尝试教导人工智能，使其认为原始版本和伪造版本是相同的。作者认为，这就像教一个孩子认狗，方法是给他们看戴着帽子的狗、被涂成蓝色的狗以及倒立的狗。这种方法虽然有效，但杂乱无章且计算负担沉重。
逐步比较：一些方法将视频的每一秒与下一秒进行比较。本文认为，这就像试图通过比较每一个字母与其紧邻的字母来学习一个故事。如果故事从“猫坐着”变成了“狗跑了”，将“猫”中的't'与“狗”中的'd'进行比较是没有意义的。这会造成混淆。

2. Di-COT 解决方案：“分而治之与对比”

Di-COT 不使用观察整个视频或每一秒的方法，而是采用“分而治之与对比”策略。

类比：拼图块方法
想象你有一条长长的电影胶片条（即时间序列数据）。

旧方法：你一次性查看整条胶片，或者单独查看每一帧。
Di-COT 方法：你拿一把剪刀，将胶片剪成几个重叠的拼图块（子块）。
- 你不是将它们完美地切成两半，而是让它们稍微重叠，就像洗牌一样。
- 然后你问人工智能：“如果我给你看这个拼图块，来自同一条电影胶片的哪个其他拼图块紧接在它之前？”

为什么这更好？

无需伪造数据：人工智能从真实的电影胶片中学习，而不是从模糊或翻转的版本中学习。
避免混淆：通过使用拼图块（时间块）而不是单帧（秒），人工智能学习到了上下文。它理解一个“走路”片段后面跟着另一个“走路”片段，而不是被两个步伐之间的微小过渡所迷惑。
速度：因为它只将这些少数拼图块相互比较，数学运算要简单得多，速度也更快。这就像比较 5 个拼图块，而不是比较 1,000 个单独的像素。

3. 人工智能如何学习（游戏）

人工智能玩一个“猜前驱”的游戏。

它取一段数据，将其切成 5 到 10 个重叠的块。
它查看第 3 块，并问：“哪个块紧接在你之前？”
它猜测是第 2 块。
如果猜对了，就得一分。如果猜的是第 5 块或第 1 块，它就意识到自己错了并加以学习。

通过玩数百万次这个游戏，人工智能学会构建一张心理地图，其中相似的活动（如“跑步”）被归为一组，而不同的活动则相距甚远，整个过程无需被告知“这是跑步”。

4. 结果：快速且准确

作者在六个巨大的真实世界数据集（如心脏监测仪、睡眠追踪器和活动传感器）以及许多较小的基准测试上测试了这种方法。

竞赛：他们将 Di-COT 与其他顶级人工智能方法进行了比较。
获胜者：Di-COT 赢得了竞赛。它在识别活动和将相似数据聚类方面取得了最高的准确率。
速度：它是最快的。其训练时间仅为其他方法所需时间的一小部分。
- 类比：如果其他方法像是背着沉重背包（进行额外的数学运算和伪造数据）的马拉松选手，那么 Di-COT 就是背着轻便背包的短跑选手，在保持完美跑姿的同时率先冲过终点线。

5. 为什么这很重要（根据论文）

论文声称，Di-COT 解决了一个主要的权衡问题。通常，你必须在以下两者之间做出选择：

高准确率（但耗时很长，需要大量计算能力）。
快速度（但人工智能不够聪明）。

Di-COT 声称两者兼得。它学习“鲁棒”特征（意味着它理解数据的核心含义，而不仅仅是噪声），而无需被喂食伪造数据或在计算机上运行多次。

总结：
Di-COT 是一种教计算机理解基于时间的数据（如运动或心跳）的新方法。它不使用技巧，也不查看每一个微小的细节，而是将数据切成重叠的块，并玩一个简单的“之前是什么？”游戏。这使得人工智能比以往的方法更聪明、更快、更高效，而且完全不需要人类来标注数据。

技术摘要：划分与对比（Di-COT）

问题陈述

时间序列表示的自监督学习（SSL）旨在减少对标注数据的依赖，同时保持强大的下游性能。然而，现有的对比学习方法面临显著局限：

计算低效：许多方法需要多次通过编码器（用于锚点、正样本和负样本），或依赖动态时间规整（DTW）等昂贵操作来计算相似度。
数据增强偏差：严重依赖数据增强（如掩码、时域/频域变换）的方法可能会引入归纳偏差，扭曲所学特征嵌入，阻碍泛化能力。
时序假设失效：近期的高效方法（如 CaTT）通过对比时间上相邻的时间步，假设时间邻近性意味着语义相似性。这一假设在事件快速转换的数据集中（UCR 和 UEA 基准测试中常见）经常失效，导致“假阳性”，即语义不同但时间上接近的时间步被错误地视为正样本对。
可扩展性问题：某些方法的损失计算随批量大小和序列长度呈二次方增长，使其在处理长序列窗口时变得不可行。

方法论：划分与对比（Di-COT）

Di-COT 是一个无监督框架，旨在无需数据增强或多次编码器传递的情况下学习鲁棒的时序特征。它将时序对比学习重新框架化为表示空间内的密集分类任务。

核心机制

随机子块划分：Di-COT 不是处理整个序列或单个时间步，而是在每次迭代中随机将每个时间序列窗口划分为 $k$ 个重叠子块。子块数量 $k$ 从均匀分布 $U\{k_{min}, \dots, k_{max}\}$ 中采样。
- 子块长度为 $L$ ，步长为 $s$ ，由重叠率 $\rho \in (0, 1)$ 控制。
- 这种随机性使编码器暴露于多种时间粒度，隐式地鼓励在短程和长程上下文中的鲁棒性，而无需显式的层次化设计。
子块编码：每个子块通过共享的时序编码器 $f_\theta$ ，并沿时间维度进行池化，生成单个嵌入向量。
对比目标（下一子块预测）：
- 正样本对：同一实例内时间上相邻的子块被视为正样本对。具体而言，对于子块 $j$ ，其前驱子块 $j-1$ 为目标。
- 负样本对：同一序列中的所有其他子块作为负样本。
- 公式化：该任务被构建为多类分类问题。对于每个子块 $j$ ，模型预测其前驱邻居的索引。损失函数为温度缩放的交叉熵损失（类似于 InfoNCE，但应用于子块索引）：
  $\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$
  其中 $S^{(i)}_{j,p}$ 是子块 $j$ 与 $p$ 之间的相似度， $p^*(j)$ 是目标索引（对于 $j>0$ 为 $j-1$ ，对于第一个子块为 $0$）。

效率与可扩展性

复杂度：损失计算取决于批量大小 $B$ 和子块数量 $k$ ，而非序列长度 $T$ 。由于设计使得 $k \ll T$ ，时间复杂度为 $O(Bk^2d)$ ，内存复杂度为 $O(Bk^2)$ 。这使得该方法独立于序列长度，允许在非常长的序列上进行高效训练。
无增强/无多次传递：通过对比内部子结构，Di-COT 避免了数据增强的需求，并消除了那些将不同增强视图视为正样本的方法所必需的多次编码器传递。

主要贡献

无增强框架：Di-COT 消除了对数据增强、时间步掩码和多次编码器传递的需求，降低了计算开销并防止了表示扭曲。
动态子块对比：该方法引入了在单个实例内使用随机子块进行对比的机制。这防止了琐碎的时间步级区分（在快速转换期间会失效），并促进了多样化、语义有意义的表示。
重新框架化为分类：时序对比学习被重新框架化为交叉熵分类任务。这提供了密集监督（利用每个子块作为信号），同时保留了温度缩放 InfoNCE 的特性。
最先进性能：该框架在分类、聚类、kNN 和跨数据集迁移任务中取得了最先进（SOTA）的结果，同时大幅减少了训练时间。

实验结果

作者在六个大规模真实世界数据集（PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA）以及 UCR/UEA 基准测试上评估了 Di-COT。

线性评估：Di-COT 在大规模数据集上的自监督学习方法中取得了最高的平均准确率，优于 TS2Vec、TF-C 和 CaTT 等基线。它在多个数据集上达到了全监督端到端模型的性能，同时所需的训练时间显著更少。
低标签场景：在 1% 标注数据的设置下，Di-COT 优于所有其他自监督学习方法以及在相同有限数据上端到端训练的全监督基线，展示了卓越的标签效率。
非参数 kNN：Di-COT 在 1-最近邻分类中表现出最佳性能，表明所学嵌入具有结构良好的局部邻域，其中语义相似的样本被紧密映射。
聚类：Di-COT 取得了最高的归一化互信息（NMI）和调整兰德指数（ARI），表明它学习到了与真实类别对齐的全局连贯聚类。
跨数据集迁移：在迁移学习实验（例如 HARTH $\to$ PAMAP2）中，Di-COT 表现出比基线更强的域泛化能力，表明其对分布偏移具有鲁棒性。
效率：Di-COT 在基于深度学习方法中始终需要最低的训练时间。例如，在大规模数据集上，其训练时间约为 2.88 小时，而其他方法则需要 3.47–11.48 小时。

意义与主张

该论文声称，Di-COT 解决了现有时间序列对比学习方法中的根本权衡：利用时间邻近性以提高效率与保持语义一致性以实现泛化之间的张力。

对时序动态的鲁棒性：通过对比信息丰富的子结构而非单个时间步，Di-COT 避免了那些假设所有相邻时间步在语义上都相似的方法所固有的“假阳性”问题。这使其特别适用于事件频繁变化的数据集。
可扩展性：损失计算独立于序列长度，使得 Di-COT 能够高效扩展到长序列，而 CaTT 等方法则受限于内存和计算成本随序列长度呈二次方增长的局限性。
实际适用性：该框架被提出作为标注稀缺场景下的实用解决方案，提供了有利的准确率 - 计算权衡。作者指出，虽然该方法在分类、聚类和检索方面表现出色，但其对比性质（专注于判别性结构）可能与需要细粒度时序预测的预测任务正交，这被确定为局限性和未来工作的方向。

作者强调，Di-COT 学习到的表示具有局部一致性、全局良好组织性，并且可在不同域之间迁移，从而为无监督时间序列表示学习确立了新的最先进水平。