Semantic-Enhanced Time-Series Forecasting via Large Language Models

该论文提出了一种语义增强大语言模型（SE-LLM），通过挖掘时间序列的周期性与异常特征来增强 Token 语义表示，并引入插件模块以同时建模长短期依赖，在冻结模型参数和降低计算成本的同时显著提升了时间序列预测性能。

要点

这篇论文介绍了一种名为 SE-LLM 的新方法，它的核心目标是：让原本只懂“说话”和“写文章”的大语言模型（LLM），也能变成预测未来的“时间序列预测专家”。

为了让你更容易理解，我们可以把这篇论文的内容想象成**“聘请一位语言天才去当天气预报员”**的故事。

1. 遇到的难题：语言天才不懂“数据”

想象一下，你请了一位语言天才（大语言模型，LLM）来预测明天的气温。

• 语言天才的特长：他读过万卷书，懂成语、懂逻辑、能写诗。如果你问他“明天天气怎么样？”，他能根据历史故事和常识给出一个很棒的回答。
• 他的短板：但他看不懂数字表格。他不知道“过去 24 小时气温每 10 分钟波动一次”这种枯燥的数据规律。
• 现有的问题：以前的方法（比如把数字强行翻译成文字给模型看），就像把“气温数据”硬生生翻译成“今天有点冷，昨天很热”这样的句子。虽然模型能读懂句子，但它丢失了数据原本的数学规律（比如周期性、突发的异常波动）。这就像让语言天才去解数学题，虽然他能读题，但解题思路（语义）和数学逻辑（数据模式）对不上号。

2. 我们的解决方案：SE-LLM（给天才装上“数据眼镜”和“时间大脑”）

为了解决这个问题，作者给这位语言天才装上了两个神奇的“插件”：

插件一：TSCC（时间 - 语义交叉关联模块）—— “给数据穿上语义的外衣”

• 比喻：想象语言天才戴上了一副**“智能翻译眼镜”**。
• 作用：这副眼镜能把枯燥的数字波动，直接翻译成语言天才能理解的“语义概念”。
  • 比如，当数据出现周期性波动（像心跳一样规律），眼镜会告诉模型：“看，这是‘呼吸’，是有规律的。”
  • 当数据出现异常尖峰（像突然的尖叫），眼镜会告诉模型：“注意，这是‘异常’，是噪音，需要过滤掉或者特别关注。”
• 效果：这样，语言天才就不再是死板地看数字，而是能理解数据背后的“故事”和“情绪”（周期性、异常点），从而更准确地预测未来。

插件二：Time-Adapter（时间适配器）—— “给天才装上‘时间大脑’"

• 比喻：语言天才虽然聪明，但他习惯的是“长篇小说”的逻辑（比如写故事，讲究起承转合），而不擅长处理“短促的突发事件”和“长期的趋势”。
  • 长期依赖：就像记住整本书的情节。
  • 短期异常：就像记住刚才那一瞬间的闪电。
• 作用：这个插件就像给天才装了一个专门处理时间的“外置大脑”（里面有两个并行的 LSTM 模块，你可以理解为两个专门记笔记的小助手）。
  • 一个小助手专门负责记长远趋势（比如季节变化）。
  • 另一个小助手专门负责抓短期突变（比如突然的暴雨）。
• 效果：它弥补了语言模型在“时间感”上的不足，让它既能看长远，又能抓细节。

3. 为什么这个方法很厉害？（三大亮点）

1. 不伤筋动骨（冻结模型）：

   • 以前的方法可能需要把语言模型从头到尾重新训练一遍，这就像让语言天才重新上小学，既费钱又容易把他原本的语言能力搞乱。
   • SE-LLM 的做法：语言模型本身完全不动（冻结），只训练那两个小小的“插件”。这就像只给天才配了眼镜和笔记板，既省钱，又保留了他原本的语言天赋。

2. 既快又准（效率高）：

   • 通过把长长的数据序列“压缩”一下，再喂给模型，大大减少了计算量。就像把一厚本书压缩成精华版，读起来更快，但核心内容没丢。

3. 举一反三（零样本预测）：

   • 这是最酷的一点。如果你让语言天才预测一个他从未见过的数据集（比如从预测“股票”突然变成预测“交通流量”），他也能做得很好。
   • 原因：因为我们的插件教会了他识别“通用的时间规律”（比如什么是周期、什么是异常），而不是死记硬背某个特定数据集。这就像教他学会了“骑自行车”的原理，他就能骑任何品牌的自行车，而不仅仅是你教他的那辆。

4. 总结

这篇论文的核心思想就是：不要试图把大语言模型强行变成数学机器，而是通过“语义增强”和“时间适配器”，让大语言模型发挥它理解“模式”和“逻辑”的特长，去处理时间序列数据。

一句话概括：
SE-LLM 就像给一位语言大师配了一副能看懂数据规律的“透视眼镜”和一个专门记时间规律的“速记本”，让他不用重新学习，就能成为预测未来的超级专家，而且速度快、成本低、还能适应各种新任务。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 《Semantic-Enhanced Time-Series Forecasting via Large Language Models》（基于大语言模型的语义增强时间序列预测）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管大语言模型（LLMs）在通用领域表现出色，且近期研究尝试利用其泛化能力进行时间序列预测，但现有方法存在以下核心局限性：

• 模态鸿沟（Modality Gap）： 现有方法大多停留在Token 级别的模态对齐（即将时间序列数据转换为文本提示或简单的嵌入对齐），未能真正弥合语言知识结构（语义空间）与时间序列数据模式（周期性、异常、动态变化）之间的内在鸿沟。这导致语义表示能力受限。
• 短期异常建模能力弱： 基于 Transformer 的 LLM 擅长捕捉长程依赖，但在处理时间序列中的**短期异常（Short-term Anomalies）**和局部动态变化方面表现不佳。
• 计算成本与效率： 直接微调 LLM 参数不仅计算成本高昂，还可能导致预训练获得的通用语义能力退化（Catastrophic Forgetting）。
• 可解释性不足： 现有的 Token 对齐方法缺乏对时间序列内在模式（如趋势、季节性、异常）的显式语义增强，使得模型决策过程难以解释。

2. 方法论 (Methodology)

作者提出了 SE-LLM (Semantic-Enhanced LLM) 框架，该框架在冻结 LLM 参数的前提下，通过两个核心组件将时间序列特性注入语义空间，从而激活 LLM 的时序分析潜力。

2.1 总体架构

SE-LLM 采用冻结的 LLM 作为骨干网络，输入经过滑动窗口处理的时间序列数据。模型包含两个主要创新模块：

1. 时序 - 语义互相关模块 (TSCC, Temporal-Semantic Cross-Correlation)
2. 时间适配器 (Time-Adapter)

2.2 核心组件详解

A. 时序 - 语义互相关模块 (TSCC)
该模块旨在将时间序列的内在模式（周期性、异常）注入到 LLM 的 Token 嵌入中，增强其语义表示。

• 跨模态对齐 (Cross-Modality Alignment)： 使用交叉注意力机制（Cross-Attention）将时间序列嵌入（TS Embeddings）与 LLM 的语义空间（Semantic Space）对齐，生成联合空间（Joint Space）。
• 异常模式建模 (Anomaly Pattern Modeling)： 引入 AM-VAE (Anomaly Modeling Variational Autoencoder)。该模块在联合空间中重构均值和方差，显式地解耦并建模异常语义（Anomaly Semantic, $D_C$）和去异常语义（De-anomaly Semantic, $D_A$）。这使得模型能够区分正常趋势和突发噪声。
• 时序模式注入 (Temporal Pattern Infusion)： 计算时间特征与语义特征的相关性矩阵，利用 Top-K 过滤机制筛选强相关位置，将时序特征加权注入到 $D_A$ 和 $D_C$ 中。
• 门控融合 (Gated Fusion)： 通过门控机制将增强后的去异常语义和异常语义与原始时间嵌入融合，生成富含时序模式的增强 Token 表示，供 LLM 处理。

B. 时间适配器 (Time-Adapter)
针对 LLM 在短/长期依赖建模上的不足，作者设计了一个嵌入在自注意力机制（Self-Attention）Key 和 Value 向量中的插件模块。

• 结构设计： 基于 LoRA 思想，但用双线性层和两个并行 LSTM 单元替代了传统的低秩矩阵。
• 功能：
  • 长程依赖： 一个 LSTM 路径捕捉长周期的时间模式。
  • 短程依赖： 另一个 LSTM 路径（配合反向投影）捕捉局部的短期动态。
• 优势： 该模块显式地弥补了 Transformer 在时序建模上的短板，且由于只训练少量参数，保持了 LLM 的冻结状态，计算效率高。

3. 主要贡献 (Key Contributions)

1. 提出 SE-LLM 框架： 首次通过语义增强机制，有效弥合了时间序列数据与语言模型之间的模态差异，激活了 LLM 在时序分析中的泛化能力。
2. 设计 TSCC 模块： 创新性地利用 AM-VAE 解耦异常与正常模式，并通过互相关分析将时序特征注入语义空间，显著提升了 Token 嵌入的可解释性和时序感知能力。
3. 设计 Time-Adapter： 提出了一种专门针对时序任务设计的插件模块，通过并行 LSTM 结构同时建模长短期依赖，解决了 LLM 在时序数据上“长程强、短程弱”的痛点。
4. 高效性与性能： 采用冻结 LLM + 轻量级插件的策略，大幅降低了计算成本，同时在多个基准数据集上取得了 SOTA（State-of-the-Art）性能。

4. 实验结果 (Results)

作者在多个数据集上进行了广泛实验，涵盖长期预测、短期预测和零样本（Zero-Shot）预测。

• 长期预测 (Long-Term Forecasting)：
  • 在 ETTh1, Traffic, ECL, Solar 等数据集上，SE-LLM 均取得了最佳性能。
  • 在 Traffic 数据集上，相比最佳基线 MSE 降低了 4.4%。
  • 消融实验表明，TSCC 和 Time-Adapter 分别对性能提升有显著贡献，且在不同 LLM 骨干（GPT2, BERT, Qwen2.5-0.5B 等）上均有效。
• 短期预测 (Short-Term Forecasting)：
  • 在 M4 数据集上，SE-LLM 在 SMAPE、MASE 和 QWA 指标上均优于现有 SOTA 方法（如 TimeMixer++, AutoTimes 等）。
• 零样本预测 (Zero-Shot Forecasting)：
  • 在 M3 $\to$ M4 和 M4 $\to$ M3 的跨域/跨频率迁移任务中，SE-LLM 展现了极强的泛化能力。
  • 得益于 AM-VAE 对潜在分布的学习，模型在未见过的数据分布上表现优异，M3 $\to$ M4 任务中 SMAPE 降低了 0.1%。
• 效率分析：
  • 相比其他 LLM 基方法，SE-LLM 在训练和推理时间上具有显著优势，且随着模型参数量的增加，其效率优势依然保持。

5. 意义与价值 (Significance)

• 理论突破： 该研究指出，单纯依靠 Token 对齐不足以让 LLM 理解时间序列。必须通过显式的语义增强（如解耦异常、注入周期性）来构建语言模型与时间数据之间的桥梁。
• 方法论创新： 提出的 TSCC 和 Time-Adapter 为“冻结 LLM + 轻量插件”的范式提供了新的设计思路，证明了在不完全微调大模型的情况下，通过针对性模块设计也能解决特定领域的复杂问题。
• 实际应用： 该方法在金融、能源、气象等对异常检测和长期趋势预测要求极高的领域具有广泛的应用前景，且由于其低计算成本，易于部署。
• 可解释性提升： 通过显式建模“异常语义”和“去异常语义”，使得模型对时间序列中突发变化的理解更加透明和可解释。

总结：
SE-LLM 通过语义增强和专用适配器，成功将大语言模型的通用语义能力转化为强大的时间序列预测能力，解决了现有方法中模态对齐浅层化、异常建模缺失以及计算效率低下的问题，为未来基于 LLM 的时序分析研究提供了新的范式。