技术摘要：UPLOTS —— 一种用于受限时间序列生成的统一预训练语言模型

1. 问题陈述

当前的时间序列生成（TSG）方法存在显著的碎片化问题。现有的方法（包括变分自编码器 VAEs、生成对抗网络 GANs 和扩散模型 Diffusion models）通常遵循“一个数据集对应一个模型”的范式。这导致需要为每一个特定的数据集或任务进行单独的训练、调优和部署。这种碎片化导致了：

• 可扩展性差： 随着多样化数据集数量的增加，计算和人力投入呈线性或超线性增长。
• 泛化能力有限： 模型无法利用不同领域之间共享的时间结构。
• 知识吸收效率低下： 无法从多样化数据集中内化广泛的知识，从而限制了在受限生成任务中的表现。

虽然近期的研究探索了提示驱动（prompt-driven）或原型驱动（prototype-driven）的迁移，但它们通常依赖于特定领域的骨干网络或示例序列。目前仍缺乏一种能够实现跨越未见领域、无需重新训练且具备约束感知合成能力的统一生成器。

2. 方法论：UPLOTS 框架

作者提出了 UPLOTS（用于受限时间序列生成的统一预训练语言模型），该框架通过学习到的约束提示来引导一个单一的预训练大语言模型（LLM）骨干网络，从而取代了特定任务的模型。

2.1 核心架构

UPLOTS 将预训练的 LLM（具体为 GPT-2 或 LLaMA 3.2-1B）与时间序列生成流水线相结合。该框架由三个主要组件组成：

1. 时间序列提示嵌入模块 (TPEM)：

   • 功能： 该模块充当自然语言约束与时间序列数据之间的桥梁。它将数据集特定的约束（例如“早高峰模式”）编码为轻量级的自然语言提示。
   • 机制： 时间序列输入通过卷积 MLP 被投影到模型的隐藏维度中。同时，文本提示通过 LLM 的冻结词嵌入层进行分词和嵌入。
   • 融合： 提示嵌入与时间序列嵌入沿时间维度进行拼接，并输入到截断的预训练 Transformer 架构中。输出通过层归一化（LayerNorm, LN）和线性投影层映射回原始特征空间。
   • 适应性： 仅层归一化（LN）和位置嵌入是可训练的；核心 LLM 参数保持冻结，从而确保了参数效率。

2. 动态加权训练策略 (DWTS)：
   为了在异构数据集中实现有效的联合学习，UPLOTS 采用了双管齐下的策略：

   • 课程感知损失调节器 (CALM)： 在热身阶段，该机制会降低“较难”数据集（即近期损失较高的数据集）的权重，以防止早期训练不稳定。它计算每个数据集的损失运行平均值，并据此分配静态课程权重。
   • 基于滚动损失的动态采样 (RLDS)： 该组件根据每个数据集最近的损失动态调整批次（batch）采样概率。来自表现不佳（高损失）数据集的批次会被更频繁地抽取，从而确保模型在训练期间专注于困难领域。

3. 生成骨干网络 (Generation Backbone)：
   该框架使用 Diffusion-TS 模型作为底层的生成引擎。TPEM 增强后的 LLM 输出作为扩散过程的输入，扩散过程通过前向加噪和反向去噪步骤进行。训练目标是最小化联合时间/频率损失，以同时保持点对点精度和频谱内容。

2.2 工作流

• 训练： 异构时间序列数据集在单个 LLM 内进行联合训练。数据集特定的约束被编码为提示，使模型能够同时学习领域不变的模式和数据集特定的动态特性。
• 推理： 无需重新训练。若要生成特定的目标序列（例如能源数据集中的“晚高峰”），用户只需提供相应的自然语言提示。模型根据该提示进行条件化处理，按需合成所需的时序片段。

3. 主要贡献

本文概述了三项主要贡献：

1. 统一的 LLM 框架： 一种新颖的架构，通过使单个预训练模型能够在所有数据集上进行训练并在具有多样化目标的测试集上进行推理，打破了传统的“一对一”范式。
2. 提示驱动的按需生成： 该框架利用提示学习来实现特定任务的生成，而无需重新训练。例如，模型可以使用文本提示生成能源数据集的早高峰片段，并通过重复使用多样化的提示来生成不同的目标。
3. 经验优越性与泛化性： 该框架在四个真实世界数据集和涵盖四个约束族（时间峰值、日历、负载水平和波动性）的 14 种提示配置下，展现出显著优于最先进（SOTA）基准模型和基础模型变体的优势。

4. 实验结果

作者在四个真实世界基准数据集上评估了 UPLOTS：ETTh（电力变压器温度）、Energy（能源）、PEMS04 和 PEMS08。

4.1 评估指标

性能通过以下指标衡量：

• 上下文 FID (C-FID)： 评估分布保真度和时间特征依赖性。
• 判别得分 (Discriminative Score)： 评估分类器区分真实数据与生成数据的能力。
• 预测得分 (Predictive Score)： 通过“在合成数据上训练，在真实数据上测试”（TSTR）范式衡量下游效用。

4.2 主要发现

• 性能对比基准： UPLOTS 变体（使用 GPT-2 和 LLaMA 3.2）显著优于单数据集模型（TimeGAN, TimeVAE, DiffWave, DiffTime）和多数据集基准（TimeDP）。
  • 在 ETTh 和 Energy 数据集上，与无提示的“空（Empty）”基准相比，UPLOTS 的 C-FID 平均提升了 12.3 倍，判别得分提升了 9.3 倍。
  • 完整的 UPLOTS 模型在几乎所有指标和数据集上均取得了最佳结果，其中 LLaMA 3.2 骨干网络表现出的性能最高。
• 约束合规性： 模型成功实现了超越初始训练中使用的特定“早/晚高峰”设置的泛化。它在 14 种不同的提示配置（包括日历约束如工作日/周末、负载水平如高/低以及波动模式）下均保持了高保真度。
• 消融实验：
  • 移除 TPEM 模块会导致性能大幅下降（例如，ETTh_MP 的 C-FID 从 0.0243 增加到 0.1682），证实了提示嵌入机制的必要性。
  • 移除 CALM 和 RLDS 会导致性能出现虽小但持续的下降，验证了它们在平衡多数据集训练中的作用。
• 下游效用： 在使用 PhaseFormer 和 SparseTSF 进行预测任务的数据增强实验中，UPLOTS 生成的数据一致地提高了预测准确性，尤其是在低数据比例（真实数据占比 1% 到 10%）的情况下。

4.3 超参数敏感性

• 隐藏维度： 性能在隐藏维度为 64 时达到顶峰；较小的维度（16）会导致欠拟合，而较大的维度则不再带来额外收益。
• 提示长度： 模型对提示长度（从单个字符到完整句子）基本不敏感，尽管研究发现语义丰富度比长度更为关键。

5. 重要性与主张

本文将 UPLOTS 定位为面向现实世界时间序列应用的可扩展、自适应解决方案。其重要性在于：

• 范式转变： 从碎片化的、针对特定数据集的模型转向统一的、预训练的骨干网络。
• 高效性： 在无需训练单独模型或承受纯扩散流水线高延迟的情况下，实现了跨领域泛化和精确的约束控制。
• 灵活性： 通过自然语言提示实现定制化时间序列片段的“按需”生成，使系统能够高度适应不断变化的需求。

作者总结道，UPLOTS 成功内化了多样化的时间结构，并为受限时间序列生成提供了一个稳健的框架，未来计划探索更广泛的时间领域和零样本分布偏移。