🤖 machine learning

Accelerating Time Series Foundation Models with Speculative Decoding

本文介绍了一种专为时间序列基础模型中的连续补丁自回归量身定制的投机解码框架，该框架利用一个廉价的草稿模型来提出未来的补丁，并由目标模型并行对其进行验证，在保持准确性保证的同时，实现了高达 3.0 倍的推理加速。

原作者： Pranav Subbaraman, Fang Sun, Jinxi Yu, Yue Yao, Huacong Tang, Xiao Luo, Yizhou Sun

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Pranav Subbaraman, Fang Sun, Jinxi Yu, Yue Yao, Huacong Tang, Xiao Luo, Yizhou Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测未来，但不是通过水晶球，而是使用一台能够观察电力消耗、交通流量或天气等数据模式的超级智能计算机。这个领域被称为时间序列预测（time series forecasting）。多年来，这些计算机一直在变得越来越聪明，但它们有一个令人恼火的习惯：它们很慢。它们的工作方式就像一个人一次只能读一个词。如果你要求它们预测未来 100 小时的天气，它们必须先计算第一小时，然后利用第一小时的结果计算第二小时，接着是第三小时，以此类推。它们无法跳过步骤或同时观察全局，因为它们的设计初衷就是为了极其谨慎地进行一步步的计算。这是一个问题，因为在现实世界中，比如电网管理者需要决定“现在”该购买多少电力时，等待一台缓慢的、循序渐进计算的计算机完成任务就太晚了。我们需要快速得到答案，同时我们也需要准确的答案。

这篇论文介绍了一个聪明的技巧，可以在不降低准确性的情况下，让这些缓慢而谨慎的计算机变得更快。作者称之为“投机采样”（speculative decoding），这是一种高级的说法，意思就是“猜想与校验”。想象一下你正在和朋友一起写故事。你（那个缓慢、谨慎的专家）通常一次只写一句话。但你的朋友（那个快速、稍欠谨慎的猜想者）可以瞬间喊出接下来的五句话。与其忽略你的朋友，不如快速阅读他们写的五句话。如果这些句子看起来没错，你就直接说“没错！”并继续写下去，从而节省了你自己亲手书写的时间。如果其中一句话看起来不对，你只需修正那一个词并继续前进。论文证明了对于这些时间预测计算机，这种“猜想与校验”的方法可以使速度提升高达 3.0 倍，同时保持预测精度几乎与它们独自进行繁重工作时一样出色。

问题所在：缓慢、循序渐进的机器人

时间序列基础模型就像是巨大的、超级智能的机器人，它们阅读了数十亿个数据点。它们在预测诸如明天高速公路上的交通流量或下周城市所需能源之类的问题上表现卓越。但它们有一个瓶颈：它们是“自回归”（autoregressive）的。这意味着它们就像是在堆叠多米诺骨牌。为了预测第 100 块骨牌，它们必须先预测第 99 块，然后是第 98 块，以此类推，一直回溯到起点。它们无法无法一次性预测整个未来。如果你想要一个长期的预测（即“长时界限”），这个机器人必须进行数百个缓慢且连续的步骤。这就像要求一只蜗牛跑马拉松；它最终会到达终点，但当它到达时，比赛可能已经结束了。

解决方案：快速小助手与谨慎的大老板

作者意识到，虽然大机器人很慢，但一个更小、更廉价的版本（称为“草稿”模型）通常能以几乎同样出色的水平猜出接下来的几个步骤。然而，这个小机器人并不完美。因此，论文提出了一种团队协作策略：

快速小助手（草稿）： 一个更小、更快的计算机一次性猜出未来 K 个补丁（patches）。可以把它想象成一个打字很快的人，眨眼间就能打出句子中的下五个词。
谨慎的大老板（目标）： 这个庞大、缓慢、超级精确的计算机不再亲自打字。相反，它会查看快速打字员写的五个词。它通过一次性的并行观察来检查所有词汇。
决策： 如果老板同意快速打字员，它就会说“接受！”，然后继续前进。如果老板不同意其中一个词，它就只修正那一个词，并停止快速打字员继续进行后续猜测。

这里的奥妙在于，大计算机通常必须一步一步地进行。有了这个技巧，它可以一次性接受一整块步骤。论文证明，即使处理的数据不是像语言模型那样的文字（而是连续的数字，如温度或电压），这种方法依然有效。作者必须发明一种新的“检查”数字的方法，因为你不能像在语言模型中那样仅仅比较概率；相反，他们使用一种数学上的“距离测试”来查看猜想是否足够接近真相。

研究发现

团队在五种不同类型的预测模型上测试了这个想法，包括 Timer-XL、TimesFM、Sundial、Time-MoE 和 TiRex。他们在电力网、天气模式和交通传感器等真实世界数据上运行了这些模型。

速度： 在许多情况下，这种新方法使模型快了 1.2 到 3.0 倍。例如，在 Time-MoE 模型上，他们在特定的数据集（ETTm1）上实现了 3.05 倍的加速，同时保持了极高的准确度。
准确度： 预测结果几乎与缓慢、谨慎的方法一样好。事实上，在某些情况下，“投机”方法甚至比标准方法更准确，因为它能更频繁地纠正错误。
“免费”奖励： 如果快速小助手的所有猜想都正确，大老板就会获得一个“免费”的预测。这就像老板在不需要亲自打字的情况下就读到了下一个词。

何时失效

论文非常诚实地说明了这种技巧何时会失效。如果快速小助手已经和老板一样优秀了（那么就不需要检查了），或者如果老板检查猜想所花费的时间相对于节省的时间来说太长了，那么这个技巧就不再奏效。作者创建了一个数学公式来精确预测何时使用这种方法是值得的，这样工程师们就不必靠猜。他们发现，对于某些模型（如在特定交通数据上的 TiRex），检查过程过于昂贵，导致该方法反而减慢了速度。

总结

这篇论文不仅仅提出了一个酷炫的想法，它还构建了一个运作中的系统，将一个缓慢的、循序渐进的过程转变为一个快速的、并行的过程。它证明了你不需要在速度和准确性之间做选择。通过让一个快速的小模型承担繁重的猜想工作，并让一个大而聪明的模型执行快速的检查工作，我们可以获得两者的最佳结合。其结果是，我们可以更快地获得电力、交通和天气的优质预测，这有助于电网更高效地运行以及交通流更加顺畅，而无需等待那个缓慢的机器人完成它漫长而孤独的数据行走。

技术摘要：利用投机解码加速时间序列基础模型

问题陈述

时间序列基础模型（TSFMs）由于其能够对未见序列进行高精度的零样本预测，已成为操作性预测任务（如电力负荷、交通控制）中的最先进解决方案。然而，其部署受到推理延迟的阻碍。TSFMs 通常通过**补丁自回归解码（patch-autoregressive decoding）**运行，即模型逐个生成长度为 $P$ 的步长补丁序列。为了预测长度为 $H$ 的预测时界，模型必须执行 $\lceil H/P \rceil$ 次严格顺序的前向传递。这种顺序依赖性造成了瓶颈，使得延迟随预测时界线性增加，这与低延迟决策的需求相悖。

虽然投机解码（Speculative Decoding, SD）通过使用廉价的“草稿”模型来提议 Token，并由较大的“目标”模型进行并行验证，从而成功加速了大型语言模型（LLMs），但将其直接迁移至时间序列领域并非易事。标准的 SD 依赖于离散词表和 Token 概率。然而，TSFMs 输出的是连续补丁（位于 $\mathbb{R}^d$ 空间中），且通常具有异构头（点预测、分位数、流匹配等），这些输出并不暴露显式的概率密度。此外，标准的 SD 修正机制（从残差分布中重采样）在连续空间中计算成本极高，尤其是在草稿模型与目标模型频繁达成一致的情况下。

方法论

作者提出了一种专为连续补丁自回归设计的**高斯投机解码（Gaussian Speculative Decoding）**框架。该方法通过使用连续变量的对应物替换了 SD 中的离散成分，且无需修改目标模型的权重或进行重新训练。

1. 高斯代理头（Gaussian Surrogate Heads）

为了处理异构的 TSFM 头，该框架为目标模型 ( $p$ ) 和草稿模型 ( $q$ ) 配备了各向同性高斯代理，用于其下一个补丁的条件分布：
$p(x | h) = \mathcal{N}(\mu_p(h), \sigma^2 I_d), \quad q(x | h) = \mathcal{N}(\mu_q(h), \sigma^2 I_d)$
此处， $\mu_p$ 和 $\mu_q$ 分别是各自模型的点预测（原始输出、中位数或流匹配均值）。方差 $\sigma^2$ 是一个固定的、预设的“接受温度”，而非学习到的模型输出。

2. 接受规则

该方法不比较 Token 概率，而是使用对数域高斯似然比检验。对于位置 $i$ 处的草稿提议 $x_i$ ，接受统计量 $\ell_i$ 定义为：
$\ell_i = -\frac{\|x_i - \mu_p^{(i)}\|_d^2}{2\sigma^2} + \frac{\|x_i - \mu_q^{(i)}\|_d^2}{2\sigma^2} + \frac{1}{2}\log\frac{\sigma_q^2}{\sigma_p^2}$
其中 $\|u\|_d^2 = \frac{1}{d}\|u\|_2^2$ 是每维能量。提议被接受的概率为 $\alpha_i = \min\{1, e^{\ell_i}\}$ 。

调温（Tempering）： $1/d$ 缩放防止了对数比在维度增加时退化为硬性的 0/1 门控，使得 $\sigma$ 可以作为不同模型族之间可调节的接受温度。
均值传播（Mean Propagation）： 草稿模型提议其均值（ $x_i = \mu_q^{(i)}$ ）。这避免了注入对平方误差评估有害的采样噪声。

3. 修正与回退

与在接受率高时重采样残差分布会导致成本发散的离散 SD 不同，本方法在拒绝时会立即提交目标模型自身的预测（ $\mu_p^{(i)}$ ）。

理论依据： 作者证明了这种“回退”策略能使提交的补丁保持在目标模型仅进行解码时的平方误差半径内。之所以避免重采样，是因为在高维连续空间中进行精确修正的成本超过了在高接受率下进行投机的收益。
奖励补丁（Bonus Patch）： 如果所有 $K$ 个提议都被接受，则在同一次验证传递中生成的第 $(K+1)$ 个预测（目标模型的预测）也会被提交，从而提供一个“免费”的补丁。

4. 单次传递验证

目标模型对拼接的历史记录和 $K$ 个草稿补丁 $[h, x_1, \dots, x_K]$ 执行单次因果前向传递。该单次传递产生所有 $K+1$ 个前缀边界的预测，从而并行验证整个数据块。

核心贡献

连续补丁框架： 本文引入了第一个原生运行在连续补丁密度上的投机解码框架，在不修改目标模型的情况下消除了 TSFM 解码的顺序瓶颈。
理论保证：
- 吞吐量定律： 推导出了一个有上限的几何定律来描述吞吐量，表明加速比取决于接受率和草稿与目标的成本比例。它提供了一个可计算的标准，用于选择最优的块大小 $K$ 。
- 保真度边界： 证明了加速后的输出将保持在目标模型解码的平方误差半径内，该半径由接受温度 $\sigma$ 决定。
- 可预测性： 证明了在部署前，可以使用留出数据来预测加速效果及失效条件（例如，当草稿模型过于昂贵或接受率过低时）。
实验验证： 在五个多样化的 TSFM 系列（Timer-XL, TimesFM 2.5, Sundial, Time-MoE, TiRex）上实例化了该框架，所使用的草稿模型无需特定预训练（除了 Timer-XL 的一个蒸馏变体）。

实验结果

该方法在标准长时界预测基准（ETT, Weather, ECL, Traffic, Solar, PEMS）上进行了评估。

加速比： 该框架在五个模型系列中实现了高达 3.0× 的推理加速。
准确性： 加速后的预测保持了与草稿模型和目标模型之间的准确性。在若干情况下（例如，在 ETTm1 数据集上的 Time-MoE），投机解码的准确性甚至高于仅使用目标模型的基准线，这归功于通过定期重新锚定到目标模型的单步预测来减少误差累积。
运行点： 存在一个由 $\sigma$ 控制的准确性与速度之间的单调前沿。对于目标与草稿成本比例较大的模型（如 Time-MoE），观察到了高达 97% 的接受率。
失效分析： 论文识别了可预测的失效模式：
- 准确性门槛： 如果草稿模型的准确性与目标模型相当，则投机无法带来收益。
- 成本结构： 如果草稿模型相对于目标模型过于昂贵，或者验证成本随块大小扩展过快（如在某些数据集上的 TiRex 中所见），则会失去加速效果。

意义与主张

本文声称，投机解码不再局限于离散词表。通过为连续输出重建接受、修正和验证机制，作者将 TSFMs 的长时界顺序瓶颈转化为了一种并行机会。

无需训练： 该方法在很大程度上是无需训练的，可以复用现有的目标模型和草稿模型检查点。
可组合性： 它能与内核级优化（如 FlashAttention）组合使用，且不需要对基础模型进行架构更改。
可预测性： 该方法提供了一个理论基础，可以在部署前预测投机是否会对给定的模型对和数据集产生回报，从而避免在生产环境中的试错。

这项工作确立了对于以连续输出且通常基于平方误差进行评估的时间序列预测而言，一种均值传播、有界偏差的方法优于精确的残差重采样，为加速基础模型以实现实时操作决策提供了一条切实可行的路径。