QSMP: finding representative time series subsequences through Quick Shift+Matrix Profile
本文介绍了 QSMP，这是一种结合了 Quick Shift 和 Matrix Profile 的新颖方法，用于高效地识别用于摘要和可视化的代表性时间序列子序列，且与现有最先进的方法相比具有更优的空间复杂度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
时间序列数据是记录事物如何随时间变化的记录，是捕捉世界脉动的连续数字流。从人类大脑的电火花到地震时的地面震动，这些流数据往往如此漫长且复杂，以至于超出了我们观察其内部真实发生情况的能力。长期以来，科学家们一直试图寻找隐藏在这些无尽流动中的“代表性”形状——即那些重复出现并讲述系统状态故事的特定模式。挑战在于，这些模式并不总是完全相同的；它们可能会在时间上发生偏移、改变速度，或者每次出现时都略有不同。寻找这些模式需要从数百万个数据点中筛选出最重要的少数几种形状，而这项任务传统上既缓慢、计算成本高昂，又容易遗漏研究人员正在寻找的信号。
在一项新方法中，研究人员开发了一种名为 QSMP 的方法来解决在极长的时间序列中寻找代表性波形的问题。这支在美国各机构开展工作的团队创建了一个系统，该系统就像一个高效的过滤器，能够扫描海量数据集，识别最常见且最重要的形状，而不会被庞大的信息量所困扰。他们的方法结合了两个现有的理念：一个旨在寻找数据点聚集在一起的“最密集”区域，另一个则能快速找到时间序列不同部分之间的最佳匹配。通过将这两者编织在一起，他们构建了一个能够处理拥有数百万个样本的数据集的工具，而这种规模在以前使得如此详细的分析变得无法实现。
他们发现的核心在于如何处理数据。他们并没有尝试将长记录中的每一个时刻与每一个时刻进行比较——这个过程会消耗不切实际的时间和计算机内存——而是使用了一个聪明的捷径。他们将长流分解为较小的、重叠的窗口，将每个窗口视为一个独特的形状。然后，他们寻找许多形状彼此非常相似的“枢纽”（hubs）。这些枢纽代表了数据中最常见的模式或“模态”。研究人员的创新之处在于，他们可以在忽略由于窗口与其相邻窗口对比而自然产生的平凡匹配的同时，找到这些枢纽，并且能够考虑到在时间上略有偏移的模式。这使得系统能够识别出即使在预期时间的前后一瞬间发生的脑电信号尖峰，仍属于同一个事件。
为了测试他们的方法，团队首先使用了一个合成数据集，该数据集旨在模拟现实世界信号（如大脑活动）的复杂性和不可预测性。他们通过缝合数千种不同的波形，从缓慢的滚动波到快速的尖锐脉冲，创建了一个长的时间序列。当他们用这种新算法运行该数据时，它成功识别了其中隐藏的所有六种不同类型的波形，并以极高的准确度恢复了几乎所有的频率。相比之下，其他现有方法表现挣扎，经常遗漏较罕见的快速模式，或者将它们与更常见的慢速模式混淆。这种新方法不仅找到了正确的形状，还保留了它们的精确形态，而其他方法往往会将它们平滑化或平均成一个无法真正代表任何单一事件的通用形状。
随后，研究人员将该工具应用于来自癫痫患者的真实世界数据，使用的是大脑表面的电活动记录。这些记录包含了数小时的数据，包括癫痫发作前后的时期以及正常活动时期。目标是观察算法能否找到已知与癫痫发作活动相关的特定、尖锐的波形模式。该方法成功地呈现了这些高频、尖锐的“尖峰”和“尖峰-波”模式，这对于医生理解该病症至关重要。它以其他方法无法达到的细节水平发现了这些独特的形状，揭示了大脑电风暴原始、锯齿状的本质，而不是将其模糊成一条无法辨认的平滑曲线。
这种新方法的一个关键优势是其效率。以往的方法需要大量的计算机内存，导致其无法用于处理最长的数据集，而这个新系统仅使用极小部分的内存空间，使其能够在标准硬件上运行，或通过多个图形处理器进行加速。这意味着科学家现在可以在几分钟内分析数小时的连续监测数据，而不是耗费数天。该方法还提供了灵活性；一旦完成初始分析，研究人员可以调整设置以查看不同层级的细节，选择是寻找几个宽泛的模式类别，还是寻找许多具体的、细微的变化，而无需重新运行整个计算过程。
结果表明，该工具提供了一种总结和可视化长流数据中最重要事件的强大方式。通过寻找真实的、代表性的形状而非数学平均值，它为专家提供了更清晰的图景。就癫痫数据而言，这意味着医生可以看到癫痫发作前预警信号的精确形态，这对于开发更好的检测系统可能至关重要。研究人员强调，虽然该工具识别了这些模式，但解释其临床意义仍需依靠人类专家，但该方法确保了原始数据以其最真实且可辨识的形式呈现出来。通过这项工作，团队提供了一种将长序列中压倒性的噪声转化为清晰、有序且具有重要意义的事件地图的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。