💬 NLP

Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting

本文介绍了 TempoWave，一种新型的多小波数字嵌入接口，它将标量时间序列观测值映射为兼容 Transformer 的表示形式，以克服大语言模型中的数值失配问题，从而在上下文感知的时间序列预测中实现了最先进的性能。

原作者： Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、博学多才的图书管理员（即大语言模型，LLM），他非常擅长理解故事、新闻和人类对话。你想让这位图书管理员根据一长串数字来预测未来的天气或股票价格。

问题在于，这位图书管理员只说“语言”。他们并不自然地理解像 24.5 或 -0.3849 这样的原始数字。如果你试图把数字喂给他们，他们往往会将这些数字拆解成细碎且令人困惑的碎片（比如把“2026”视为“20”和“26”这两个独立的词）。这会导致图书管理员丢失对实际数值的追踪，从而使他们的预测变得不可靠。

解决方案：TempoWave
这篇论文的作者创建了一个特殊的翻译器，叫做 TempoWave。你可以把它想象成一个“通用适配器”，直接插进图书管理员的大脑中，让他们无需将数字转化为笨拙的文字，就能理解数字。

以下是它的工作原理，使用简单的类比进行说明：

1. “逐位数字”翻译器

与其把整个数字如 3.14 递给图书管理员，TempoWave 会将其分解为单个数字：3、.、1、4。

旧方法： 图书管理员看到“3”、“1”和“4”时，认为它们是彼此没有联系的随机符号。
TempoWave 的方法： 它为每个数字发放一张特殊的“身份证”，利用一种被称为**小波（Wavelets）**的数学工具来描述该数字的形状和大小。

2. “小波”类比：聆听一场交响乐

想象你正在聆听一场交响乐。

标准数字： 如果你只是看乐谱，你看到的只是音符。
小波： TempoWave 就像一位超级听众，能将音乐分解成不同的层次：深沉的低音（全局趋势）、中频的旋律（中等变化）以及高频的镲片声（微小且快速的波动）。

当 TempoWave 看到一个数字时，它不仅仅是将该数字视为一个符号；它还会利用这些不同的层次为该数字创建一个“声音印记”。这确保了图书管理员不仅理解这个数字“是什么”，还理解它与周围数字之间的“关系”。一个 3 与 4 之间有着明显的区别，而 3.1 与 3.2 之间也是紧密相连的。

3. 为什么这很重要：保持“顺序”完整

在旧的方法中，图书管理员可能会认为 19 和 20 是完全不同的，因为它们看起来像是完全不同的单词。但实际上，它们是邻居。

问题： 标准方法破坏了数字的“邻里关系”。
修复方案： TempoWave 保持了邻里关系的完整。它确保如果你轻微改变一个数字（比如将 10.0 改为 10.1），图书管理员的内部表征也只会发生微小的变化，就像现实世界中一样。这对于准确预测至关重要。

4. 结果：一位更聪明的图书管理员

研究人员在五个不同的真实场景（如用电量、交通流量和比特币价格）中测试了这个新适配器，在这些场景下，图书管理员还可以获取额外的上下文信息（如新闻标题或天气报告）。

结果： 配备了 TempoWave 的图书管理员在预测未来方面，表现显著优于：
- 使用旧的、笨拙的数字方法的图书管理员。
- 专门为数字设计的“纯数学”机器人。
核心启示： 通过让图书管理员用“听”的方式（利用那些小波层）去感知数字的结构，而不是仅仅通过“读”的方式将其视为文字，预测变得更加准确和可靠。

简而言之： 论文表明，如果你想让 AI 擅长预测数字，你不应该强迫它像读一本书那样去阅读数字。相反，你应该给它一个特殊的接口（TempoWave），将数字转化为一种丰富的、多层次的语言，让 AI 能够真正理解，从而保留数值之间微妙的关系。

技术摘要：TempoWave —— 用于时间序列预测的多小波数嵌入

1. 问题陈述

将大语言模型（LLMs）集成到时间序列预测中面临着根本性的架构不匹配。LLMs 针对离散标记（token）预测进行了优化，而时间序列预测则需要对连续数值进行精确建模。标准的面向语言的标记化方法（例如，将“2026”拆分为“20”和“26”）会将数字破碎成与其量级无关的子标记。这种破碎破坏了序关系，掩盖了时间过程固有的连续性，并在数值差异较大的值之间引入了伪相似性。因此，将实值序列转化为离散标记的转换层成为了一个主要的瓶颈，即使模型捕捉到了高层的时间模式，也往往会导致不可靠的数值行为。

现有的弥合这一差距的尝试——例如专门的基础模型、将 LLM 与工具耦合的智能体系统，或通过补丁（patching）和量化进行的输入适配——通常会牺牲数值忠实度、模糊细粒度的变化，或者依赖于降低端到端可微性的外部组件。在如何在原则性的、信息保留的方式下，在标准 Transformer 输入空间内表示连续数值方面，仍然存在持久的空白。

2. 方法论：TempoWave

作者提出了 TempoWave（多小波数嵌入），这是一种即插即用的时间小波数字接口，旨在将标量观测值映射为由多小波、多尺度系数构建的稠密向量嵌入。

核心机制

数字级标记化： TempoWave 不会对整个数字进行标记化，而是将输入的序列值渲染为固定精度的字符串（例如 $V.FFFF $）。每个数字$ d \in {0, \dots, 9}$ 被视为一个独立的标记。
基于小波的嵌入构建：
- 信号表示： 每个数字 $d$ 被归一化为 $\tilde{d} \in [0, 1]$ ，并表示为固定网格上的离散脉冲（Kronecker delta）。
- 多小波系数： 数字信号被投影到一组预定义的小波族 $\Psi$ （例如 Haar, db4, Morlet）以及多个尺度 $S$ 上。数字 $d$ 在小波 $\psi_i$ 和尺度 $s_j$ 下的小波系数是通过数字信号与采样小波的内积计算得出的： $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$ 。
- 嵌入生成： 这些系数被拼接成特征向量 $\phi(d)$ ，并通过一个固定的对齐函数 $g(\cdot)$ 映射到 LLM 的嵌入维度 $D$ 。这产生了一个数字嵌入 $E(d) \in \mathbb{R}^D$ 。
集成： 输入序列中数字位置的标准标记嵌入会被这些计算出的 $E(d)$ 向量所覆盖，而文本和上下文标记则保留标准嵌入。LLM 主干保持不变，并通过监督微调（SFT）进行训练以预测未来的数值标记。

设计原则

结构忠实性： 通过利用结构化的多尺度模式而非原始标量量级来编码数字，TempoWave 确保了数值身份是由相对模式决定的。这使得嵌入对于 Transformer 中常用的归一化层（如 LayerNorm, RMSNorm）具有鲁棒性，因为这些层通常会重新缩放和重置中心。
单调邻域一致性： 多小波构建诱导了一个具有改进可分性的有限数字码本。理论分析表明，通过跨小波-尺度对进行拼接，可以增加数字嵌入之间的成对距离，从而确保鲁棒的最近邻可恢复性并保持数值顺序。

3. 主要贡献

一种基于小波的数值接口： TempoWave 实现了直接使用标准 LLM 主干进行数值预测，而不依赖于语言对数字的标记化，有效地弥合了模态间隙。
忠实且稳定的表示： 该方法建立了与数值忠实度和稳定性相关的属性，包括在不同数值间改进的可分性，以及对常见归一化操作的鲁棒性。
全面的评估与诊断： 作者在多种基准测试上进行了广泛实验，并引入了诊断分析（例如探测单调邻域一致性），以解释该嵌入接口如何重塑模型内的数值邻域。

4. 实验结果

作者在五个富上下文增强的预测基准测试上评估了 TempoWave：

数据集： AUL（澳大利亚电力）、BIT（比特币）、MSPG（墨尔本太阳能）、PTF（巴黎交通流）和 LEU（伦敦用电量）。这些数据集将历史时间序列与文本或事件类上下文（如新闻、天气、日期）配对。
基准模型： 包括标准 LLM 标记化、替代嵌入接口（如基于傅里叶变换的 FoNE）、专门的时间序列模型（DLinear, Autoformer, TimesNet）以及时间序列基础模型（Chronos, Moirai）。
性能表现：
- TempoWave 在 10 个报告指标（RMSE 和 MAE）中的 7 个 上达到了新的 SOTA（最先进水平）。
- 它在所有指标中排名在前 2 位。
- 相对于之前的最佳方法，TempoWave 在 MAE 上实现了平均 7.0% 的相对提升，其中在 LEU（14.4%）和 AUL（11.2%）上的增益尤为显著。
- 与基于傅里叶的接口相比，它在非平稳、事件驱动型数据集（如比特币）上表现出更优越的鲁棒性。
消融研究：
- 上下文： 引入丰富的上下文信息（Catch22 特征、情境上下文）一致地提高了性能，全上下文设置的效果最好。
- 嵌入对齐： 对标记 ID 差异分布的分析表明，TempoWave 产生了一个围绕零的平滑、单峰分布，这表明其具有很强的局部接近性和与底层时间序列动态的一致性。相比之下，基准模型表现出更平坦的分布或异常尖峰，表明其对齐能力较弱或存在过拟合。

5. 意义与主张

论文指出，数值接口是基于 LLM 的时间序列预测中的关键瓶颈。通过引入 TempoWave，作者证明了原则性的多分辨率嵌入可以更好地将 LLM 的上下文推理能力与精确的数值预测耦合起来。

这项工作的意义在于：

保留数值结构： 它提供了一种能够尊重序关系和多尺度时间结构（局部波动和全局趋势）来表示连续值的方法，从而适应离散的 Transformer 架构。
鲁棒性： 它解决了 LLM 在归一化和分布偏移下的数值推理脆弱性问题。
泛化性： 它表明，当配备了具备数值基础的接口时，标准的 LLM 主干可以超越专门的时间序列模型，特别是在需要整合异构文本信号（上下文感知预测）的场景中。

作者总结道，尽管挑战依然存在，但 TempoWave 为更忠实、更可靠的基于 LLM 的预测提供了一条路径，并建议未来的工作可以探索其在依赖离散化的非上下文流水线中的适用性。