🤖 machine learning

FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series

本文介绍了 FMMVCC，这是一个基于 Mamba 的深度聚类框架，它将状态空间序列建模与多视图自监督学习相结合，以高效捕捉单变量时间序列中的长程时间依赖关系，并在无需人工标签的情况下，在 15 个基准数据集上实现了最先进的性能。

原作者： Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

发布于 2026-07-09✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位图书管理员，正试图整理一个充满混乱、装满了数千种不同音频录音的巨大房间。其中有些是歌曲，有些是鸟鸣，还有些仅仅是静电噪音。问题在于？没有任何标签。你不知道这些录音到底是什么，你也无法请人类去听完所有的录音并写下描述。这就是**无监督时间序列聚类（Unsupervised Time Series Clustering）**的世界：试图在没有老师告知答案的情况下，仅根据模式将数据进行分组。

这篇论文介绍了一种名为 FMMVCC 的新工具来解决这个问题。以下是通过简单的类比对它的工作原理进行的解释：

1. 旧工具的问题

传统的分拣这些“录音”的方法，就像是通过只听前五秒钟来比较两首歌。它们往往会错过全局大局，或者被冗长复杂的模式所迷惑。更新、更强大的工具（如 Transformer）就像是超级计算机，虽然能听完整首歌，但它们过于沉重且缓慢，当房间变得太大（数据量过多）时，它们就会显得力不从心。

2. 秘密武器：“Mamba”

作者选择了一种名为 Mamba 的新型引擎。把 Mamba 想象成一位高效且具有选择性的图书管理员。

旧方式： 传统的图书管理员会阅读每一本书中的每一个字来寻找模式，这需要耗费极长时间。
Mamba 方式： Mamba 非常聪明。它知道哪些词是重要的，哪些只是噪音。它可以以线性时间扫描庞大的图书馆（这意味着如果图书馆规模翻倍，工作量也仅随之翻倍，而不会呈爆炸式增长）。这使得它能够处理非常长的序列数据，而不会感到疲劳或变慢。

3. 训练方法：“蒙眼游戏”

计算机如何在没有标签的情况下学习对这些录音进行分组？论文使用了一种名为**多视图对比学习（Multi-View Contrastive Learning）**的技术。想象一下玩“传声筒”游戏或侦探训练练习：

设置： 你拿取一段录音（一个时间序列）。
掩码（Masking）： 你创建了几个不同的“视图”。在某些视图中，你用静电噪音遮盖（掩盖）了录音中的随机部分。在另一些视图中，你加速、减速或添加了一些背景噪音。
目标： 你将这些不同的、略微损坏的版本展示给 AI。AI 的任务是意识到：“嘿，尽管这个版本有静电噪音，而那个版本被加速了，但它们其实是同一首歌！”
结果： 通过迫使 AI 通过所有这些不同且杂乱的视角去观察数据，它学会了透过现象看本质，从而捕捉到数据的“灵魂”，忽略掉噪音和缺失的部分。

4. 模糊分类帽

一旦 AI 理解了数据，它就需要将数据分到不同的堆栈（簇）中。

旧方法： 它们像是严厉的法官，会说：“这段录音只能属于 A 组。”但如果一段录音听起来既有一点像 A 组，又有一点像 B 组呢？
FMMVCC（模糊方法）： 它使用“模糊聚类（Fuzzy Clustering）”。这就像是一个分类帽，它会说：“这段录音是 70% 的 A 组和 30% 的 B 组。”这至关重要，因为现实世界的数据通常是杂乱且具有歧义的。它允许 AI 优雅地处理不确定性，而不是强行给出一个僵化的、错误的答案。

5. 结果：冠军时刻

作者在 15 个不同的“房间”（数据集）中测试了这个新系统，这些数据涵盖了从心跳到股票价格的各种类型。

计分板： 在 60 way 种衡量成功的方法中，FMMVCC 29 次夺得第一名，并且拥有最佳的平均排名。
胜出原因： 它能更好地发现真实的群体结构（而不只是基于表面相似性进行猜测），并且比其他方法更加稳定。
效率： 他们还证明了他们的 “Mamba” 图书管理员比 “Transformer” 超级计算机更快，且占用的内存更少，尤其是在处理非常长的数据时。

总结

简而言之，FMMVCC 是一个智能且高效的系统，它通过以下方式学习如何对复杂、杂乱的数据流进行分类：

使用快速且具有选择性的引擎（Mamba）来读取长模式。
通过从许多不同的“破碎”视角观察同一数据（多视图掩码）来进行自我训练，从而学习真正重要的信息。
使用灵活的分类方法（模糊聚类），承认数据的歧义性，而不是强行做出僵化的选择。

该论文声称，这使其成为了当前组织无标签时间序列数据的冠军，其表现优于传统的旧方法以及更沉重的深度学习模型。

技术摘要：FMMVCC —— 基于 Mamba 的模糊多视图对比聚类用于单变量时间序列

问题陈述
物联网设备和传感器网络的激增在医疗保健、工业系统和智慧城市等领域产生了海量的单变量时间序列数据。然而，在这些环境中获取带标签的数据通常成本高昂或难以实现，因此需要无监督学习方法。虽然时间序列聚类对于将数据组织成有意义的组别至关重要，但现有的深度聚类方法面临着显著的局限性。传统方法（如带有 DTW 的 K-means）难以处理复杂的、高维的时间动态。基于深度学习的方法（尤其是基于 Transformer 的方法）通常受到相对于序列长度的二次方计算复杂度的限制，这使得它们在处理大规模或长序列数据时效率低下。此外，许多当前的方法无法稳健地处理缺失数据，也无法在不产生高昂计算成本的情况下高效捕捉长程依赖关系。

方法论
本文提出了 FMMVCC（基于 Mamba 的模糊多视图对比聚类），这是一个旨在通过三个核心组件解决上述挑战的深度聚类框架：

基于 Mamba 的表示学习：
该框架利用 Mamba 编码器，其采用了选择性状态空间模型（SSM）。与循环神经网络或 Transformer 不同，Mamba 以线性时间复杂度 ( $O(T)$ ) 处理序列，同时保持建模长程时间依赖的能力。这种架构允许高效处理长序列时间序列，而不会产生与注意力机制相关的计算瓶颈。
多视图掩码表示学习：
为了增强对噪声和缺失传感器数据的鲁棒性，该方法通过随机时间增强（抖动、缩放、置换）和时间掩码生成每个时间序列的多个视图。掩码策略通过结合结构化（连续段）和非结构化（分散点）的丢弃方式，模拟了现实中的缺失模式。这些视图由专门的编码器独立处理。
对比与重构目标：
预训练阶段采用多任务目标来学习判别性表示：
- 视图内重构： 解码器从每个视图的潜在表示中重构原始输入。
- 跨视图重构： 利用一个视图的潜在表示来重构其他视图的潜在表示，以强制执行一致性。
- 对比损失： 实例级对比目标最大化同一样本不同视图之间的相似度，同时将其与批次中的其他样本进行对比。使用一种基于 Mixup 的策略来生成更难的负样本。
面向模糊聚类的微调：
在预训练之后，模型进入微调阶段以构建潜在空间。一种时间池化机制将序列表示聚合为固定长度的向量。随后，使用基于余弦相似度的 Softmax 函数作用于可学习的聚类原型，应用模糊聚类目标。该目标包含三个项：
- 熵（Entropy）： 鼓励置信度高的聚类分配。
- 平衡（Balance）： 通过确保均匀的聚类利用率来缓解聚类崩溃。
- 分离（Separation）： 促进聚类原型之间的多样性，以提高类间距离。

核心贡献
作者确定了三个主要贡献：

基于 Mamba 的表示学习： 引入了一种利用 Mamba 编码器建模长程依赖的深度聚类框架，提供了处理大规模序列数据的高效替代方案，其具有线性计算复杂度，优于 Transformer 和基于 RNN 的模型。
多视图掩码表示学习： 一种通过随机增强和随机时间掩码生成多样化视图的策略。这使得模型能够学习对时间扰动和缺失数据具有不变性的鲁棒表示，解决了确定性增强方法往往忽略的不确定性问题。
聚类导向的表示学习： 将模糊聚类目标集成到表示学习过程中。这种方法产生了软聚类分配，使模型能够处理模糊的时间模式并提高潜在空间的聚类可分性。

实验结果
该框架在 UCR 时间序列存档中的 15 个单变量时间序列数据集上进行了评估。其性能与五种基准方法进行了比较：TimeSeriesKMeans-DTW、HDBSCAN、FCACC、PG-Mamba 和 EMTC。

性能： FMMVCC 在 60 项总指标评估（涵盖 F1、NMI、ARI 和 RI 指标）中取得了最佳整体性能，并在所有测试场景中获得了最高的平均排名（1.85）。
鲁棒性： 与 FCACC 等其他深度学习基准相比，该模型表现出更优越的稳定性，后者表现出较高的性能波动。
消融研究：
- 视图数量： 对视图数量 ( $N$ ) 的分析表明， $N=4$ 在表示丰富度和计算效率之间提供了最佳平衡，当 $N=8$ 时由于冗余噪声的存在，性能会出现下降。
- 损失组件： 敏感性分析确认，分离权重 ( $\lambda_s$ ) 有效增强了类间距离，而平衡权重 ( $\lambda_b$ ) 提高了类内紧凑性。
- 编码器方向性： 对单向和双向 Mamba 编码器的比较显示，单向（因果）配置更优，双向变体导致了显著的性能下降（ARI 下降 12.04%，NMI 下降 11.57%），这可能是由于在掩码视图中引入了时间不一致性。
- 可扩展性： FLOPs 分析证实，Mamba 编码器随序列长度呈线性扩展 ( $O(T)$ )，而与之相当的 Transformer 编码器则呈现二次方增长 ( $O(T^2)$ )，验证了该方法处理长序列时的效率。

意义与主张
论文声称，FMMVCC 通过有效地结合状态空间模型的线性时间效率与多视图对比学习的鲁棒性，代表了无监督时间序列聚类的重大进展。作者断言，他们的方法成功捕捉了长程时间依赖关系，同时处理了现实世界物联网环境中常见的噪声和缺失数据。通过集成模糊聚类目标，该框架提供了一种处理模糊时间模式的机制，而硬聚类方法可能难以应对此类模式。

作者总结道，尽管该框架目前仅限于单变量序列且缺乏对潜在表示的直接解释性，但它为高效、可扩展且鲁棒的时间序列聚类建立了一个强大的基准。未来的工作方向被确定为将该框架扩展到多变量时间序列以捕捉变量间的相关性，并增强所学特征的可解释性。

1. 旧工具的问题

2. 秘密武器：“Mamba”

3. 训练方法：“蒙眼游戏”

4. 模糊分类帽

5. 结果：冠军时刻

总结

类似论文