🤖 machine learning

Byte Pair Encoding for Efficient Time Series Forecasting

本文介绍了一种受字节对编码（Byte Pair Encoding）启发的创新型以模式为中心的标记化方案，该方案通过将时间序列样本自适应地合并为基于基元的标记，从而显著降低计算开销并提高预测准确性，并进一步通过轻量级的条件解码优化进行了增强。

原作者： Leon Götz, Marcel Kollovieh, Stephan Günnemann, Leo Schwinn

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leon Götz, Marcel Kollovieh, Stephan Günnemann, Leo Schwinn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机根据一长串杂乱无章的数字（比如股票价格、天气数据或能源使用量）来预测未来。这行数字被称为时间序列（Time Series）。

目前，大多数计算机一次只能看一个数字。这就像是在通过一次只看一个字母的方式来阅读小说。如果故事里有一个长句子如“The sky is blue”，计算机必须逐个处理“T”、“h”、“e”、“ ”（空格）、“s”、“k”、“y”……这非常缓慢、低效，并且浪费了大量的脑力。

这篇论文介绍了一种更聪明的读取这些数字的方法，其灵感来自于我们手机是如何压缩文本的。以下是使用简单类比进行的详细拆解：

1. 问题所在：“逐个字母”的瓶颈

现有的方法将每一个单独的数据点视为一个独立的“标记”（Token，即信息单位）。

类比： 想象你要发送一条包含“AAAAA”（五个 A）的消息。旧的方法会发送五个单独的字母：A, A, A, A, A。
问题： 如果你的时间序列中有长段的重复模式（比如一条平滑的直线或稳定的节奏），计算机就会在处理成千上万个微小且重复的标记时陷入泥潭。这就像是背着一个装满单块砖头的沉重背包，而不是搬运几面已经预制好的墙。

2. 解决方案：“模态（Motif）”压缩（字节对编码）

作者提出了一种名为**基于模态的标记化（Motif-Based Tokenization）**的新方法。他们借鉴了语言处理中的一个概念，叫做“字节对编码（Byte Pair Encoding）”。

类比： 与其发送“A, A, A, A, A”，计算机学会了识别“AAAAA”是一个常见的模式。它为此创建了一个特殊的快捷代码，就像一张写着“5个A”的贴纸。
工作原理：
1. 量化（Quantization）： 首先，他们将平滑的连续数字转化为简单的“箱子”（就像把颜色分类到不同的桶里：浅蓝色、中蓝色、深蓝色）。
  1. 合并（Merging）： 然后，他们扫描序列。如果发现某个模式经常重复（例如“浅蓝、中蓝、浅蓝”），他们就会把这些部分粘合在一起，变成一个单一的“模态（Motif）”标记。
2. 结果： 一个冗长且复杂的序列被压缩成了一份由这些“模态贴纸”组成的极短列表。

益处： 计算机不需要去读每一块砖，它只需要阅读预建好的墙。这使得处理过程快了 2,300%（根据论文数据），并且实际上能帮助计算机更好地预测未来，因为它看到了更宏观的图景。

3. 核心秘诀：“条件解码（Conditional Decoding）”

这里有一个问题。当你把砖头粘合在一起组成一面墙时，你会丢失一些关于原始砖头精确形状的细节。这被称为“离散化误差（Discretization Error）”。

类比： 想象你把一部电影总结为“英雄拯救了世界”。你丢失了具体的对话和面部表情。
解决方法： 作者引入了条件解码。这是一个轻量级的“后处理”步骤。
- 它观察这个“模态贴纸”，并询问：“鉴于前一个贴纸是‘X’，那么当前这个贴纸最可能的精确数值是多少？”
- 这就像是一个聪明的编辑，他阅读你的摘要，并根据上下文填补缺失的细节，而无需重新观看整部电影（不需要沉重的计算开销）。
- 这个步骤消除了细节的丢失，在不降低速度的前提下，将准确度提升了高达 48%。

4. 研究发现（结果）

团队在一个大规模的时间序列数据集（如电力使用、交通和天气）上进行了测试，并将该方法与现有的最佳模型进行了对比。

速度： 由于需要处理的标记更少，他们的方法速度极快。
准确性： 他们的预测比传统的“逐个字母”方法更准确。
适应性： 该方法非常灵活。如果模式很简单（如一条直线），它会进行深度压缩；如果模式复杂且混乱，它会保留更多细节。它不会强行采用“一刀切”的方法。
零样本学习（Zero-Shot）： 他们展示了基于此方法训练的模型可以预测从未见过的新类型数据，而无需额外的训练。

总结

你可以将这篇论文看作是发明了一种用于“时间旅行”的智能压缩工具。

与其强迫计算机去死记硬背历史上的每一秒钟，不如教会计算机去识别模式（例如“稳步上升”、“突然下降”或“循环往复”）。它将这些模式存储为单一且高效的单元。然后，它利用一种巧妙的技巧来填补可能遗漏的微小细节。其结果是一个既极速又在预测下一步走向方面极其聪明的系统。

技术摘要：用于高效时间序列预测的字节对编码（BPE）

问题陈述

当前用于时间序列预测（特别是利用 Transformer 架构）的标记化（Tokenization）方法存在显著的低效性和缺乏灵活性问题。现有方法主要分为两类：

基于样本的标记（Sample-based tokens）： 将每一个单独的时间步视为一个标记。这导致序列过长，且每个标记捕获的局部时间信息极少，给 Transformer 模型带来了沉重的计算负担，尤其是在处理长序列时。
基于补丁的标记（Patch-based tokens）： 将时间序列分割为固定长度的子序列（即补丁）。虽然这种方法缓解了序列长度问题，但僵化的补丁无法适应不同长度和复杂度的多样化时间模式。这种缺乏适应性的特性阻碍了基础模型在零样本（zero-shot）设置下的泛化能力。

这些局限性导致了次优的预测性能和高昂的计算开销，阻碍了对长序列时间数据的有效处理。

方法论

作者提出了时间序列字节对编码（BPE for Time Series），这是该领域首个以模式为中心的标记化方案。该方法通过两个主要阶段运行，并辅以一种事后优化技术：

1. 自适应基元驱动的标记化（Adaptive Motif-Based Tokenization）

受自然语言处理（NLP）中 BPE 的启发，该方法通过将重复出现的模式合并为单个标记来压缩时间序列。

离散化（Discretization）： 首先使用由等概率分箱组成的词表 $\Omega$ 将连续时间序列 $z$ 量化为一系列离散符号。这通过将回归任务转化为在离散词表上的分类任务。
基元提取（Motif Extraction）： 利用迭代算法，识别离散序列中最频繁出现的相邻标记对，并将它们合并为一个新的标记 ID。这一过程通过层级化方式重复进行，以构建包含频繁时间序列基元（不同长度的模式）的词表 $\Psi$ 。
压缩（Compression）： 通过使用对应的基元标记替换重复模式来压缩量化后的序列。这产生了一个变长的标记序列，其中复杂的模式由单个标记表示，从而实现了自适应压缩。该算法相对于序列长度具有线性复杂度 $O(|\Psi| \cdot n)$ 。

2. 条件解码（Conditional Decoding）

为了解决量化连续值引入的离散化误差，作者引入了条件解码作为一种轻量级的、事后（post-hoc）的优化方法。

机制： 解码不再是将量化标记映射回固定的分箱中心，而是使解码值取决于前一个样本。具体而言，样本 $z_i$ 的重建取决于前一个样本 $z_{i-1}$ 的量化值。
优化： 用于此条件映射的参数（ $\hat{\omega}_{j,k}$ ）是通过对特定标记转换下的底层连续样本取平均值来解析计算的。这不需要梯度计算，也不需要对主模型进行额外训练。
效率： 它在推理过程中增加了微乎其微的计算开销（等同于字典查找），并且依赖于仅含 $M^2$ 个参数的一阶马尔可夫假设。

3. 模型架构

标记化后的序列由标准 Transformer 架构（具体为 T5 变体）进行处理。模型利用有限词表 $V = \Omega \cup \Psi \cup \{MASK, EOS\}$ 预测下一个标记 ID，有效地将时间序列预测转化为下一个标记预测任务。

核心贡献

自适应标记化： 一种新颖的策略，它根据包含频繁基元的离散词表，将带有底层模式的样本合并为单个标记。这实现了自适应压缩，同时保持了受控的离散化误差。
条件解码： 一种轻量级、无梯度的事后优化方法，它利用时间序列的连续属性来减少离散化误差，在无需重新训练基础模型的情况下显著提升预测质量。
实证验证： 通过广泛的分析，证明了该方法对多样化时间模式的适应性、对未知数据的泛化能力，以及所学习到的标记表示的意义（捕捉统计矩、趋势和基元长度）。

实验结果

该方法在 Chronos 基础模型（在 1100 万条时间序列上训练）上进行了评估，并在 7 个多样化数据集（ETTh1, ETTm1, Weather, Electricity, Traffic, Solar, Fev-bench）的零样本设置下与基于样本和基于补丁的基线模型进行了对比。

性能增益： 在 Chronos 基础模型上，基于基元的标记化相比基于样本的标记化，在预测性能（MSE）上平均提升了 40%。使用条件解码后，MSE 的降幅达到了 48%。
效率： 该方法通过减少所需的标记数量和自回归步骤，使效率平均提升了 2314%（约 23 倍加速）。在特定案例中（如 Traffic 数据集），加速比达到了 56.66 倍。
与 SOTA 对比： 提出的方法在零样本设置下优于或匹配了最先进的基础模型（MOMENT, Moirai, Time-MoE, LightGTS），在 25 个案例中的 19 个案例中取得了最佳预测效果，且无需微调。
适应性： 标记器展示了可变的压缩率（例如，从 Traffic 的 3.30 到 Weather 的 23.15），能够根据数据内及跨数据集的模式复杂度进行自适应调整。研究发现，更长、更复杂的基元与更好的预测质量相关。
鲁棒性： 与基于样本的基线相比，该方法对噪声和异常值表现出更强的鲁棒性，在遇到未知的瞬态模式时，通常会退回到基于样本的标记化，而不会发生灾难性失败。

重要性与主张

论文声称引入了首个针对时间序列的以模式为中心的标记化方案，弥合了 NLP 标记的高效性与时间序列连续性之间的鸿隙。作者断言，他们的方法：

降低了计算成本： 通过将时间序列压缩为更少、信息量更大的标记，显著降低了大型基础模型的推理时间和资源消耗。
增强了泛化能力： 标记化的自适应特性使得模型相比于僵化的补丁法，能更好地泛化到未见数据和多样化的时间模式。
提供了有意义的表示： 研究表明，学习到的标记嵌入能够捕捉不同的时间序列属性，包括统计矩（均值、标准差）和趋势，验证了基元的语义价值。
提供了一种实用的优化： 条件解码被呈现为一种通用的、低成本的方法，可以增强任何具有离散输出词表的预训练模型。

作者总结道，这种方法有助于构建更可持续且高效的时间序列模型，可能降低训练和部署大型基础模型时的环境影响。他们也承认，由于计算成本限制，本文未对 T5 主干网络进行超参数搜索，并建议未来的工作可以探索更近期的 Transformer 架构。