🤖 machine learning

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

本文综述了用于零样本时间序列预测的基础模型的架构、预训练策略和优化方法，并证明了在特定数据集上对这些模型进行微调能持续提高其相对于零样本基准的预测准确性。

原作者： Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图预测未来。不是宇宙的命运，而是更实际的事情：明天一座城市需要多少电力，一家商店应该备多少把雨伞，或者一小时后繁忙的交叉路口交通将如何流动。这就是**时间序列预测（time series forecasting）**的世界。几十年来，专家们一直使用数学配方来猜测这些数字，但世界是混乱的，当数据变得怪异或复杂时，旧的配方往往会失效。

最近，一种新的“超级学习者”出现了，其灵感来自于让计算机写诗和像人类一样聊天的同类技术。它们被称为基础模型（Foundation Models）。把它们想象成一位品尝过世界上所有菜肴的大厨。这位大厨不是在学习烹饪某一种特定的菜肴（比如某家餐厅的一碗汤），而是在从数百万种不同的食谱中学习味道、热量和食材的通用规则。一旦训练完成，这位大厨可以走进一个从未见过的厨房，无需针对该特定菜肴的特定食谱，就能做出一道像样的菜。这被称为零样本学习（zero-shot learning）：仅凭其在“训练营”中学到的知识，就能对从未见过的数据做出预测。

但这里有一个大问题：是应该让这位大厨独自进入新厨房工作，还是应该在开始烹饪之前，先给他们上一堂关于这个特定厨房独特之处的快速专项课程？这就是 Morad Laglil 及其团队的新论文的核心所在。他们想知道，将这些庞大的预训练时间序列模型进行少量的额外训练（称为微调/fine-tuning），究竟是会让它们变得更擅长预测，还是会把它们搞糊涂。

伟大的“微调”实验

作者决定通过实验来验证这个想法。他们选取了目前最强大的两个“大厨”模型——Chronos 2 和 TTM-R3-PT，并让他们经历了一场严格的训练营。他们不仅是让模型进行猜测，还尝试了不同的教学方式。

他们测试了三种主要方法：

零样本（Zero-Shot）： 模型仅利用其通用训练进行预测，不接受任何额外帮助。
全量微调（Full Fine-Tuning）： 他们对整个模型进行了从头开始的重新训练，更新了大脑中的每一个数字。
参数高效微调（LoRA）： 他们没有重写整个大脑，而是添加了一个微小的、轻量级的“适配器”层。这就像是给大厨一张关于新厨房的特定小抄，而不需要改变他们的基本烹饪技能。

他们在包含 15 个不同数据集的庞大集合上测试了这些方法，涵盖了从天气模式、用电量到医院入院人数和销售额等各种领域。目标很简单：看看哪种方法实际上降低了误差率并实现了更好的预测。

结论：规模与上下文至关重要

结果令人惊讶，并让研究人员吸取了关于模型规模及其面对的数据的重要教训。

对于巨型模型 (Chronos 2)：
这个模型非常庞大，拥有 1.2 亿个参数。当研究人员尝试对其进行“全量微调”（重写整个大脑）以应对较小的数据集时，结果适得其反。模型变得混乱并开始出现“过拟合”，这就像一个学生把练习题的答案背得太死，导致在面对稍微不同的问题时无法应对真实的考试。

获胜者： 对于 Chronos 2 在中大型数据集上的表现，LoRA 方法（微小的适配器）是明确的冠军。通过添加一个微小且灵活的层，模型可以在不忘记其通用知识的情况下适应新数据。它提高了准确性，尽管在大型数据集上的增益较为温和（约 2-3%），但对于避免全量微调带来的性能下降至关重要。
教训： 对于大规模模型，你不需要重写整本书，只需要贴上几张便签纸即可。然而，在极小的数据集上，即使是这个巨型模型，通常在不进行任何微调的情况下表现也最好。

对于较小模型 (TTM-R3-PT)：
这个模型要紧凑得多，只有 100 万到 3600 万个参数。它本身已经足够小，因此不需要花哨的适配器。

获胜者： 全量微调在这里效果最好。因为模型较小，它可以处理更新自身所有权重的过程而不会感到困惑。在这种情况下，“适配器”方法（LoRA）几乎没有帮助，有时甚至会让情况变糟。
教训： 对于较小的模型，一次全身性的锻炼通常比简单的拉伸运动更有效。

“一刀切”行不通的原则

论文还发现，最佳策略很大程度上取决于数据的类型、数据的量以及具体的领域。

小数据集： 如果你只有极少量的数据（比如几天的天气记录），零样本（Zero-Shot）（让模型自行猜测）通常是最稳妥的选择。试图在过少的数据上微调一个巨型模型，就像试图通过只给博士生看三张闪卡来教他们一门新学科；他们很可能会出错。事实上，对于在小数据集上的 Chronos 2，微调实际上降低了性能。
大数据集： 当有充足的数据时，微调通常优于盲目猜测，但这并不是必然的胜利。论文显示，对于较小的 TTM 模型，即使在较大的数据集上，零样本推理在某些特定配置下仍然优于微调。
不同领域： 模型在不同主题下的表现各异。例如，在“自然”（如河流水位或天气）领域，巨型模型的预测能力已经非常出色，以至于微调反而使其表现变差。但在“交通”（如交通流量）领域，微调显著提升了两个模型的表现。

底线总结

论文得出结论，虽然基础模型是强大的预测工具，即使没有特定训练也能预测未来，但微调是让它们变得更强大的有力工具——前提是你必须为正确的情况选择正确的配方。

如果你有一个巨型模型，请使用“适配器”（LoRA）方法来进行温和的调整，尤其是在处理大型数据集时。如果你有一个较小的模型，可以放心地进行一次全面的训练。如果你手头的数据很少，或者数据非常特殊（如自然模式），那么不做干预、直接让模型尽力猜测可能是更安全的选择。

这项研究表明，我们正迈向新一代的预测时代，不再需要为每一个问题构建一个新模型。相反，我们可以使用一个庞大且聪明的模型，并给予它一次快速且定制化的课程，从而解决几乎所有的基于时间变化的难题，从预测下一波股价到规划下一条城市公交线路。预测的未来不仅仅在于拥有更大的大脑，更在于知道如何教给它正确的课程。

技术摘要：用于时间序列预测的基础模型与微调

问题陈述

时间序列预测是能源、交通和金融等多个关键领域的任务。虽然传统的统计方法（如 ARIMA）和现代深度学习模型已取得了进展，但它们通常需要针对特定的目标数据集从头开始训练。这种方法对数据量需求巨大，且在目标数据集较小或需要快速适应新场景时往往难以实现。

受自然语言处理（NLP）领域基础模型成功的启发，时间序列基础模型（TSFMs）应运而生。这些模型在海量、多样化的语料库上进行预训练，以学习具有泛化性的时间表示。尽管 TSFMs 展示了强大的零样本（zero-shot）能力（即在未见数据上进行预测而无需重新训练），但文献中对于利用**微调（fine-tuning）**这些模型在特定目标数据集上进一步提升性能的研究仍较少。本文旨在解决如何有效地将预训练的 TSFMs 适配到特定下游任务的问题，并平衡零样本泛化能力与数据集特定专业化之间的权衡。

方法论

1. 架构与训练策略综述

作者对当前 TSFMs 的现状进行了全面回顾，并按其架构和训练目标对其进行了分类（总结于论文中的表 1）：

架构： 回顾涵盖了 Transformer 模型（如 Chronos、Moirai、TimesFM、Timer-S1）、循环网络（基于 sLSTM 的 TiRex）以及 MLP-Mixer 模型（TTM）。
预训练策略： 模型利用大规模语料库（如 LOTSA、TimeBench、合成数据）进行自监督学习。目标各不相同，包括自回归标记预测（Chronos）、掩码补丁预测（Moirai）以及分位数损失最小化（TimesFM、TTM）。
适配机制： 文中详细介绍了两种主要的微调策略：
- 全参数微调 (FFT)： 在目标数据集上更新模型的所有参数。
- 参数高效微调 (PEFT)： 特别是低秩自适应 (LoRA)，它冻结预训练权重并训练低秩扰动矩阵 ( $\Delta W = BA$ )，从而显著减少了可训练参数的数量。
- 数据效率： 研究还考虑了**少样本（Few-Shot）设置（仅使用 20% 的目标数据）与全样本（Full-Shot）**设置的对比。

2. 实证评估协议

作者使用 GIFT-Eval 基准测试进行了广泛的实证研究，该基准包含 23 个数据集（15 个单变量，8 个多变量），跨越 7 个领域（如 Web/CloudOps、能源、交通、医疗保健）和 10 种频率。

选定模型： 选择了两款表现顶尖且公开可用的模型进行微调：Chronos 2（120M 参数，仅编码器 Transformer）和 TTM-R3-PT（1M–36M 参数，MLP-Mixer）。
实验设置：
- 模型在 零样本 (Zero-Shot)（仅使用预训练模型）、全参数微调 (FFT)、LoRA-FullShot 和 LoRA-FewShot 配置下进行评估。
- 超参数在所有数据集上保持固定，以模拟现实的部署约束（即不进行针对每个数据集的调优）。
- 指标： 性能通过 MAPE（用于点预测）和 MWQL（平均加权分位数损失，近似于 CRPS，用于概率预测）进行衡量，并相对于季节性朴素（Seasonal Naive）基准进行归一化。

关键结果

研究表明，微调的效果高度依赖于模型规模、数据集大小以及领域特征：

数据集大小的影响：
- Chronos 2 (大型模型)： 在小规模数据集上，零样本推理优于所有微调策略。全参数微调 (FFT) 会导致性能严重下降（过拟合），而 LoRA 的收益微乎其微甚至为负。在中等和大规模数据集上，LoRA-FullShot 成为最优策略，比零样本性能提升了 2–3%。
- TTM-R3-PT (紧凑型模型)： 由于规模较小，TTM 从直接的权重更新中获益更多。全参数微调 (FFT) 在大型数据集上提供了适度的改进，而 LoRA 变体几乎没有增益，有时甚至会降低性能。
领域特定表现：
- 交通领域： 微调通常是有益的。LoRA（特别是 Few-Shot）通常能获得最佳的 MAPE 结果，这表明轻量级的适配有助于避免对高熵噪声动态的过拟合。
- 自然与能源领域： Chronos 2 的零样本表现非常强劲，特别是在自然领域，全参数微调会显著增加误差（例如，短期预测的 MAPE 误差增加了 39%）。
- Web/CloudOps 领域： LoRA-FullShot 是 Chronos 2 最有效的策略，而零样本对于 TTM 仍具竞争力。
策略比较：
- LoRA vs. FFT： 对于像 Chronos 2 这样的大型模型，参数高效的适配（LoRA）至关重要；全参数微调是不可靠的且容易发生过拟合。对于像 TTM 这样的紧凑型模型，全参数微调通常足够且有效。
- 数据效率： 虽然 LoRA-FewShot 在特定场景下（如 Chronos 2 在能源领域）具有竞争力，但当有充足数据可用时，LoRA-FullShot 通常表现更好。

核心贡献

全面综述： 本文建立了一个统一的时间序列基础模型分析框架，详细阐述了它们的架构（Transformer、RNN、MLP）、预训练语料库及优化策略。
系统性的微调研究： 这项工作呈现了作者所声称的首次大规模微调策略实证研究。它在 95 种独特的配置（数据集 $\times$ 频率 $\times$ 预测步长）下，系统地比较了零样本、全参数微调和参数高效微调 (LoRA)。
实践指南： 研究为从业者提供了可操作的见解：
- 对于小规模数据集或计算资源有限的情况，使用 零样本 (Zero-Shot)。
- 对于大型基础模型（如 Chronos 2）在中大规模数据集上的应用，使用 LoRA-FullShot 以防止过拟合。
- 对于紧凑型模型（如 TTM），使用 全参数微调 (Full Fine-Tuning)，因为其参数量较低，不存在过拟合风险。

重要性与主张

本文将自身定位为迈向“新一代”时间序列预测模型的基石。其主要意义在于验证了微调是一种可行且往往必要的步骤，用以释放基础模型的全部潜力，但前提是适配策略必须与模型规模和数据量相匹配。

作者也谦虚地指出，虽然微调通常能提升性能，但它并非万能灵药；在数据稀缺的场景下，预训练模型的泛化能力（零样本）仍然更胜一筹。此外，论文还强调了该领域目前的局限性，包括与 NLP 相比缺乏多样化的公开时间序列数据，以及缺乏关于这些模型如何压缩和泛化时间信息的理论理解。这项工作为未来研究更稳健、更高效的时间序列基础模型适配机制提供了基准。