🤖 machine learning

OATS: Online Data Augmentation for Time Series Foundation Models

该论文提出了 OATS，一个基于原则的在线数据增强框架，该框架利用扩散模型和探索-利用机制，动态生成针对特定训练阶段定制的高质量合成时间序列数据，在增强时间序列基础模型方面显著优于静态增强基准。

原作者： Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何预测未来，比如猜测明天的天气或下个月的用电量。为了做到这一点，机器人需要研究大量的历史数据，但现实世界的数据是杂乱无章的。它们有漏洞、不一致，有时甚至数据量不足。在计算机科学领域，这被称为“时间序列”（Time Series），而我们构建用来理解它的机器人被称为“基础模型”（Foundation Models）。为了帮助这些机器人更好地学习，科学家们经常使用一种被称为“数据增强”（Data Augmentation）的小技巧。这就像是一场烹饪课，老师不仅给了你原始食谱，还递给你一大堆看起来和尝起来都与真材实料一模一样的“假”食材，以便让你进行更多练习。

长期以来，科学家制作这些假食材的方式有点像使用饼干模具。他们会拿一段真实的数据并对其应用一个简单的、静态的规则——比如轻微抖动它（添加噪声）或者将其与另一段数据混合（融合）。这是一种“一刀切”的方法：无论机器人在训练过程中已经学到了什么程度，使用的都是同一个饼干模具。但如果机器人在不同阶段需要不同类型的练习呢？如果“最好的”假数据会随着机器人的成长而变化呢？这篇论文提出了一个大问题：我们能否停止使用饼干模具，开始为机器人训练的每一个时刻烘焙新鲜、定制化的练习数据？

这篇论文的作者说“可以”，并引入了一种名为 OATS（面向时间序列基础模型的在线数据增强）的新方法。OATS 不再使用静态规则，而是扮演着一位高度专注的教练，实时观察机器人的学习过程。它是这样工作的：

首先，教练需要知道哪些练习题实际上是有帮助的。OATS 使用了一种聪明的评分系统，称为“时间序列影响力分数”（Time-Series Influence Scores）。想象一下机器人正在参加考试。教练会观察每一个练习题，并问道：“如果我现在让机器人解决这个特定的问题，它能在期末考试中表现得更好吗？”如果一个问题能帮助机器人进步，它就会获得高分。这些高分问题就成为了“引导信号”。

接下来，教练利用这些信号来烘焙新的合成数据。OATS 不是简单地复制粘贴，而是使用了一个复杂的工具——扩散模型（Diffusion Model）。把这想象成一位神奇的艺术家。教练把“最好的”练习题（引导信号）交给艺术家，并说：“创造一些全新的东西，它感觉起来和这些完全一样，但又是独特的。”然后，艺术家会生成符合机器人此时此刻学习需求的、逼真的、全新的时间序列数据。

然而，检查每一个练习题是否对机器人有帮助会消耗大量的时间和精力。为了解决这个问题，OATS 使用了一种名为 “探索-利用”（Explore-Exploit） 的策略。

探索（Explore）： 有时，教练会停下来检查一批新的题目，看看是否发现了之前错过的新的、隐藏的宝藏。这种方式很彻底，但速度较慢。
利用（Exploit）： 有时，教练会记住之前发现的高分题目，并利用它们立即生成新数据。这种方式很快且高效。
OATS 聪明地在这两种模式之间切换，在寻找新信息的需求与节省时间的需求之间取得平衡。

论文在包括用电量和天气模式在内的六个不同的真实世界数据集上测试了这个想法，并使用了两种不同类型的机器人架构。结果显示，OATS 的表现始终优于标准训练方法（没有额外数据）和旧有的“饼干模具”方法（如 TSMixup 或 Jitter）。事实上，OATS 帮助机器人学得更快，也做出了更准确的预测。作者发现，虽然检查每一个问题（始终“探索”）是最彻底的，但并不总是最好的；加入“利用”步骤（使用缓存的分数）可以在不损害结果的情况下节省大量的计算资源。

简而言之，OATS 表明，训练这些强大的时间序列机器人的最佳方式，并不是向它们投掷随机的假数据，而是仔细筛选并生成高质量的、定制化的练习数据，使其能够随着机器人的学习旅程共同进化。它将训练过程从一种静态的机械操练，转变为数据与模型之间一场动态的、有回应的对话。

技术摘要：OATS（面向时间序列基础模型的在线数据增强）

问题陈述

时间序列基础模型（TSFMs）通过大规模数据集实现了跨领域学习和零样本泛化，推动了该领域的发展。然而，其效能受到时间序列中普遍存在的数据质量问题的制约，例如缺失值、异构采样率、领域分布不平衡以及数据重复。虽然合成数据增强是缓解数据稀缺性和增强鲁棒性的广泛采用策略，但现有方法存在两个主要局限性：

依赖启发式方法： 当前的方法依赖于人工设计的模式（如正弦波、分解序列）或静态变换（如 Jittering、TSMixup）。这些启发式方法通常与具体任务无关，可能无法泛化到不同的时间序列任务中。
静态范式： 现有的增强策略在整个训练过程中生成一次合成数据并进行统一应用。这忽略了模型训练的动态特性，即特定数据样本在不同训练阶段的价值和效用是不断变化的。

方法论：OATS

作者提出了 OATS（面向时间序列基础模型的在线数据 Augmentation），这是一种能够根据特定训练步骤动态生成合成数据的原则性策略。OATS 通过三个核心模块运行：

1. 时间序列影响得分 (TSIS)

为了解决缺乏原则性合成数据质量度量的问题，OATS 利用**数据归因（Data Attribution）**来量化单个训练样本对模型性能的影响。

机制： 对于给定的训练步 $t$ 及模型参数 $w_t$ ，TSIS 函数 $F_{D_{ref}}$ 估计样本 $z_i$ 相对于参考数据集 $D_{ref}$ 的数据归因得分。
公式化： 该得分源自参考损失变化的阶一泰勒近似。它结合了影响得分（样本与参考集之间的梯度对齐）以及时间序列特有的质量指标，特别是信噪比（SNR）阈值。
输出： 具有高 TSIS 得分的样本被识别为“有价值”的样本，并作为生成的引导信号。

2. 高质量引导的数据生成

OATS 并非简单地对高分实例进行过采样，而是将它们作为条件信号来生成多样化且真实的合成数据。

架构： 采用基于扩散的模型（Diffusion-based model），并以选定的高质量样本 ( $H_t$ ) 作为条件。
条件化： 该模型整合了一个**时间序列语义原型（Time-Series Semantic Prototype）**模块，以及基于子集元数据（如领域或来源）的类别条件引导。生成过程对条件分布 $p(\hat{z}|H_t)$ 进行建模，合成既能捕捉多样化时间模式，又符合高质量引导样本特征的新样本。

3. 探索-利用机制 (Explore-Exploit Mechanism)

在每一步都计算整个数据集的 TSIS 会导致计算成本过高。OATS 引入了一种探索-利用机制，以平衡计算效率与数据质量。

探索步 (Explore Steps)： 系统随机采样新批次以计算新鲜的 TSIS 值，通过指数移动平均更新每个数据子集的动态缓存 ( $\Phi_{D_l}$ )。这使得系统能够适应不断变化的模型动态。
利用步 (Exploit Steps)： 系统利用缓存的 TSIS 值直接采样高质量批次，从而绕过昂贵的影响得分重新计算过程。
控制： 通过 $\epsilon$ -greedy 策略决定当前步骤是“探索”步还是“利用”步，从而在发现新高价值数据与高效使用已知高价值数据之间取得平衡。

核心贡献

在线数据增强范式： 本文提出了一种从静态增强向在线增强转变的范式，其中合成数据是根据当前训练状态动态生成的。
原则性策略 (OATS)： 一个将数据归因 (TSIS) 与基于扩散的生成相结合的新颖框架。它使用高影响样本作为引导信号，以产生既高质量又具多样性的合成数据。
效率机制： 引入了探索-利用机制，在保持适应训练动态能力的同时，显著降低了计算开销。
实验验证： 在六个数据集（ETTm1, EMTm2, ETTh1, ETTh2, Weather, Electricity）和两种 TSFM 架构（仅编码器和仅解码器 Transformer）上进行了全面的评估。

实验结果

作者将 OATS 与常规训练以及两种基准增强方法进行了对比：TSMixup（现有样本的加权求和）和 Jitter（添加高斯噪声）。

性能： 在几乎所有数据集和指标（归一化平均绝对百分比误差 - MAPE，以及负对数似然 - NLL）上，OATS 始终优于常规训练和基准增强方法。
鲁棒性： OATS 在两种模型架构下，在五个数据集（ETTm1, EMTm2, ETTh2, Weather, Electricity）上均取得了最佳结果。
收敛性： 测试损失曲线表明，与基准方法相比，OATS 实现了更快的 NLL 降低。
超参数敏感性： 改变探索-利用比例 ( $\epsilon$ ) 的实验表明， $\epsilon=1$ （纯探索）并不总是最优的，这表明利用缓存得分（利用）对于效率至关重要。然而，无论 $\epsilon$ 设置如何，OATS 均优于常规训练。

重要性与主张

本文声称 OATS 提供了一种原则性的方法来进行动态数据增强，超越了静态、启发式驱动方法的局限性。通过通过影响得分量化数据质量，并使生成过程适应训练阶段，OATS 解决了 TSFM 中数据稀缺和质量的关键挑战。作者断言，该方法不仅提高了模型性能，还为在复杂、现实世界的时间序列数据上训练基础模型提供了一个可扩展的框架。代码已公开，以促进该领域的进一步研究。