🤖 machine learning

Soft-MSM: Differentiable Context-Aware Elastic Alignment for Time Series

本文介绍了 Soft-MSM，这是一种可微的、上下文感知的弹性对齐损失函数，它平滑了移动 - 分割 - 合并距离以支持基于梯度的优化，并在时间序列聚类和分类任务中展现出优于 Soft-DTW 等现有方法的性能。

原作者： Christopher Holder, Anthony Bagnall

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Christopher Holder, Anthony Bagnall

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在比较两首歌曲。一首播放得稍快，另一首播放得稍慢。如果你试图从头到尾逐音符地将它们对齐（就像用一把僵硬的尺子），它们看起来会完全不同，因为节拍无法匹配。

动态时间规整（DTW） 就像一位聪明的听众，它会拉伸和压缩歌曲的时间轴，使节拍完美对齐，从而让你看到它们实际上是同一首歌。这对于比较基于时间的数据非常有用，例如心跳、股价或运动传感器数据。

然而，这里有一个问题：这位“聪明的听众”有点僵化。它对如何拉伸时间会做出突然而尖锐的决策。在现代人工智能的世界里，AI 通过微小的、平滑的调整来学习（就像雕塑家慢慢凿去石块），这种突然的决策方式构成了一个障碍。AI 会感到困惑，因为它无法计算出改进所需的“斜率”。

于是，Soft-MSM 登场了，这是本文介绍的新方法。

旧方法的缺陷

本文聚焦于一种非常智能的比较时间的方式，称为MSM（移动 - 分割 - 合并）。将 MSM 想象成一位超级先进的听众，它不仅拉伸时间，还能理解音乐的上下文。

移动（Move）：只是稍微移动一个音符。
分割（Split）：如果一个音符太长，它可以被分割成两个。
合并（Merge）：如果两个音符太近，它们可以被合并。

MSM 在这方面表现出色，在将相似数据分组等任务上，往往能胜过标准的“聪明听众”（DTW）。但是，就像原始的 DTW 一样，它也会做出“硬性”决策。它会说：“这个音符肯定需要分割”，或者“这肯定需要合并”。由于这些决策是尖锐且突然的，因此无法用于训练需要平滑、连续反馈才能学习的现代 AI 模型。

解决方案：Soft-MSM

作者们创造了Soft-MSM。想象一下，给那位超级聪明的听众（MSM）戴上“模糊”的护目镜。Soft-MSM 不再对是否分割或合并音符做出突然的硬性决定，而是会说：“有 60% 的可能是分割，40% 的可能是合并。”

这种“模糊性”在数学上是平滑的。它让 AI 能够看到山丘的坡度，并确切知道应该朝哪个方向微调数据以改善比较。它将一座崎岖难行、无法穿越的山脉，变成了一座平滑、可步行的小山丘。

他们是如何做到的

为了实现这一目标，作者们发明了一种新的“守门员”机制。

旧的门：原始的 MSM 有一个门，基于严格规则，要么完全打开，要么完全关闭。
新的门：他们用一扇“平滑的门”取代了它，这扇门会逐渐打开。这使得数学计算能够在系统中流动而不中断，从而使 AI 能够通过复杂的“分割与合并”逻辑计算梯度（改进的方向）。

他们的发现

研究人员在112 个不同的数据集（各种各样的基于时间的数据）上测试了这种新方法。以下是他们的发现：

更好的平均化：当试图寻找一组相似时间序列的“平均”形状时（例如寻找板球裁判信号的平均形态），Soft-MSM 生成的平均结果比以前的方法更清晰、更准确。它不会被噪声搞糊涂。
更好的分组（聚类）：当他们使用 Soft-MSM 将相似项目分组时，其表现明显优于之前的最佳方法（如 Soft-DTW）。这就像拥有一种更好的排序算法来处理一堆杂乱的衣服。
更好的分类：当他们使用这些平均值来猜测新数据属于哪个类别时，Soft-MSM 的准确率更高。

权衡

论文指出，为了获得这种平滑性，需要付出一点代价。原始的 MSM 是一个完美的“度量”（它遵循关于距离的严格数学规则）。Soft-MSM 牺牲了这种完美的数学刚性，以换取在基于梯度的平滑学习中被使用的能力。然而，作者们认为，对于大多数实际的 AI 任务而言，能够平滑学习的能力远比成为一个完美的度量更有价值。

总结

本文介绍了Soft-MSM，这是一种新工具，它使强大的时间序列比较方法（MSM）能够与现代平滑学习的 AI 兼容。通过将尖锐、突然的决策替换为平滑、概率性的决策，它使计算机能够更好地学习基于时间数据中的模式，从而产生更准确的平均值、更好的分组以及更精确的预测。代码已经在一个名为aeon的开源工具包中提供，供他人使用。

以下是论文《Soft-MSM：用于时间序列的可微上下文感知弹性对齐》（作者：Christopher Holder 和 Anthony Bagnall）的详细技术总结。

1. 问题陈述

时间序列机器学习（TSML）严重依赖距离度量来处理序列间的时间错位。弹性距离（如动态时间规整 DTW 和移动 - 分割 - 合并 MSM）通过寻找最优对齐路径来拉伸或压缩时间轴，从而解决这一问题。

弹性距离的局限性： 尽管弹性距离在聚类和分类等任务中表现有效，但传统弹性距离是不可微的。这阻碍了它们作为损失函数直接用于基于梯度的优化（例如神经网络、迭代平均）。
现有解决方案的局限性： Soft-DTW 通过将其递归中的硬最小值替换为平滑的软最小值算子，使 DTW 变得可微。然而，Soft-DTW 无法直接扩展到其他弹性距离（如MSM）。MSM 在性能上通常优于 DTW，因为它使用了上下文感知的转换成本（分割/合并惩罚），这些惩罚取决于三个值的局部排序。MSM 成本函数的分段性质产生了非平滑区域，标准软最小值方法难以通过这些区域进行微分。

2. 方法论：Soft-MSM

作者提出了Soft-MSM，这是移动 - 分割 - 合并距离的一种平滑、可微的松弛形式。核心挑战在于在保持其上下文感知结构的同时，使 MSM 转换成本变得可微。

关键技术革新：

用于转换成本的平滑门控代理：
- 原始 MSM 成本函数规定，如果点 $x$ 位于邻居 $y$ 和 $z$ 之间，则施加固定惩罚 $c$ ，否则施加额外惩罚。这是一个具有不可微边界的分段函数。
- 解决方案： 作者引入了一个平滑的“之间”门控函数 $g(x, y, z)$ ，使用类似双曲正切的近似：
  $g(x, y, z) = \frac{1}{2} \left( 1 - \frac{u}{\sqrt{u^2 + \epsilon}} \right), \quad \text{其中 } u = (x-y)(x-z)$
- 该门控函数在 $x$ 位于 $y$ 和 $z$ 之间时为 1，否则为 0，实现了平滑过渡，允许梯度流经决策边界。
- 转换成本被重新定义为：
  $\text{trans}_\gamma(x, y, z; c) = c + (1 - g(x, y, z)) \cdot \text{softmin}_\gamma((x-y)^2, (x-z)^2)$
- 此外，他们将局部距离中的绝对差替换为平方差，以确保在 $x=y$ 处的可微性。
前向与后向递归：
- 前向传递： 使用软最小值算子（ $\text{softmin}_\gamma$ ）代替硬最小值，结合新的平滑转换成本，计算累积成本矩阵 $C$ 。
- 后向传递： 推导软对齐矩阵 $A$ 以及关于输入时间序列的雅可比矩阵（梯度）。梯度被分解为来自对角线（匹配）、垂直（分割）和水平（合并）边的贡献，并按对齐概率加权。
理论性质：
- 可微性： 证明对于 $\gamma > 0$ 和 $\epsilon > 0$ ，它是连续可微的。
- 极限行为： 当 $\gamma \to 0$ 且 $\epsilon \to 0$ 时，Soft-MSM 逐点收敛到标准 MSM 递归（带有平方偏差）。
- 度量性： Soft-MSM 不是度量（它违反了不可分辨性的同一性，且可能为负值）。为了解决这个问题，作者提出了一种散度校正公式（类似于 Soft-DTW 散度），以确保非负性和零自距离。
- 复杂度： 保持了与标准 MSM 相同的 $O(m^2)$ 时间和空间复杂度。

3. 主要贡献

首个可微 MSM： 首次提出了移动 - 分割 - 合并距离的可微版本公式，使其能够用于基于梯度的学习。
新颖的平滑门控： 推导了一种平滑门控函数，能够处理 MSM 的上下文相关分割/合并惩罚，同时不丢失原始距离的结构优势。
闭式梯度： 推导了雅可比变换，允许使用 Soft-MSM 直接优化时间序列。
实现： 该方法已在开源aeon工具包中实现，支持可复现性。

4. 实验结果

作者在112 个 UCR 时间序列数据集上评估了 Soft-MSM，涵盖三个主要场景：

A. 时间序列平均（质心）

目标： 寻找一个代表时间序列（质心），使其到一组输入序列的距离之和最小。
比较： Soft-MSM 质心（Soft-MBA）与标准 MSM 质心（MBA）和随机次梯度 MBA（SSG-MBA）。
结果： 根据平滑参数 $\gamma$ 的不同，Soft-MBA 在97.2% 到 100%的数据集上实现了比 MBA 和 SSG-MBA 更低的MSM Fréchet 损失。它显著优于硬对应方法，证明了可微松弛带来了更好的收敛性和更低的损失。

B. 时间序列聚类

目标： 使用带有弹性质心的 k-means。
比较： Soft-MBA 与 Soft-DTW 质心（Soft-DBA）、k-Shape 和欧几里得 k-means。
结果：
- Soft-MBA 在聚类准确率和**调整兰德指数（ARI）**方面均显著优于 Soft-DBA。
- 尽管使用了根本不同的相似性度量，Soft-MBA 仍与k-Shape（一个强大的基线）具有竞争力。
- 与 Soft-DBA 相比，Soft-MBA 对平滑参数 $\gamma$ 表现出更强的鲁棒性。

C. 最近质心分类

目标： 基于到类别原型（质心）的距离对时间序列进行分类。
结果： 使用 Soft-MBA 原型的分类器在准确率和平衡准确率方面显著高于使用 Soft-DBA 原型的分类器。
定性分析： 在CRICKETX数据集上，与其他方法生成的嘈杂原型相比，Soft-MBA 生成了更平滑、更具可解释性的类别原型（清晰地捕捉到了“六次得分”信号）。

5. 意义与影响

弥合差距： Soft-MSM 成功弥合了高性能弹性距离（如 MSM）与现代基于梯度的深度学习框架之间的差距。
优于 Soft-DTW： 结果表明，对于许多时间序列任务，MSM 是优于 DTW 的距离度量，使其可微产生的结果比单纯使用 Soft-DTW 更好。
广泛适用性： 该方法开启了在以下领域使用基于 MSM 损失的大门：
- 深度时间序列预测。
- 用于数据增强的生成模型。
- 弱监督对齐和分割。
- 表示学习（例如 Series2Vec）。
归纳偏置： 它提供了一种基于“移动、分割和合并”操作的新归纳偏置，这对于分段常数或事件驱动的时间序列数据特别有用。

总之，Soft-MSM 是时间序列机器学习领域的一项重大进展，它提供了一种可微的、上下文感知的弹性距离，在平均、聚类和分类任务中优于现有的基于 Soft-DTW 的方法。