💻 计算机科学

VRATF: Vision-based Retrieval-Augmented Time Series Forecasting

本文提出了 VRATF，这是一个基于视觉的检索增强框架，通过将去噪后的趋势分量转换为图像以进行视觉相似性检索，并将这些检索到的模式与轻量级 DLinear 基准预测器进行融合，从而提升时间序列预测性能，尤其是在长周期预测场景下表现优异。

原作者： Zhun Xie, Jing Ling, Zhihao Zhang, Guifeng Xia

发布于 2026-10-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhun Xie, Jing Ling, Zhihao Zhang, Guifeng Xia

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

预测随时间变化的数字的未来，是一项塑造现代世界的任务。从电力调度员决定傍晚发电量的时刻，到交易员根据市场趋势买入或卖出货币的瞬间，预判下一步走势的能力都至关重要。几十年来，科学家们一直试图教会计算机识别这些模式，将时间序列数据视为需要分析的一串数字。其目标很简单：观察过去发生了什么，并利用它来猜测未来会发生什么。然而，这些序列通常是杂乱无章的。它们充满了突然的峰值、随机噪声和高频抖动，这些看起来像是重要信号的东西实际上只是干扰。当计算机试图寻找一个类似的过去事件来辅助预测时，它经常被这种噪声所迷惑，将当前的趋势与历史上的某个趋势进行匹配，而两者之所以看起来相似，仅仅是因为一个随机的故障，而非因为它们共享相同的底层逻辑。

一个研究小组提出了一种通过改变计算机“观察”数据的方式来解决这一问题的新方法。他们建议不要让机器去比较原始数字，而是将数据转换为图片。想象一下，将股票价格或温度读数的折线图展示给计算机看。这种被称为 VRATF 的方法依赖于这样一个理念：趋势的整体形状——线条如何弯曲、上升或下降——比每一个单点的精确数值更为重要。通过将数据转化为视觉格式，系统可以忽略微小的、嘈olo的波动，转而关注大局。研究人员发现，当他们使用这种视觉方法来寻找相似的历史事件时，由此产生的预测往往更加准确，尤其是在进行远期预测时。

这种新方法的核心包含一个模仿人类处理复杂预测时的两步过程。首先，系统会对数据进行清洗。它获取一长串数字，滤除高频噪声，仅保留平滑且缓慢移动的趋势。随后，它将这些清洗后的趋势绘制成简单的折线图，就像你在报纸上看到的图表一样。这些图像会被输入到一个强大的视觉系统——一种专门用于识别图像中形状和模式的 AI 类型——该系统从未见过时间序列数据，但非常擅长识别几何相似性。该系统会建立一个此类趋势图像的库。当需要进行预测时，系统会将当前的趋势绘制成图像，并在库中搜索视觉上最相似的历史模式。一旦找到匹配项，系统就会观察在该历史模式出现之后发生了什么，并以此作为对未来的引导。

在进行视觉搜索的同时，一个独立的、轻量级的计算机模型也会严格基于它当前看到的数字做出自己的预测。研究人员随后将这两个来源的信息结合起来。他们并非简单地取平均值；相反，他们使用了一种智能且可调节的机制，学习在特定情况下应该信任视觉搜索还是数值模型。如果视觉搜索找到了一个非常强的匹配，系统就会严重依赖那个历史参考；如果匹配很弱，系统则更多地依赖数值模型。这种平衡是在训练过程中自动学习的，使系统能够适应不同类型的数据，无论是天气模式的稳定节奏，还是金融市场的剧烈波动。

研究人员在六个不同的现实世界数据集上测试了这种方法，包括用电量、天气状况和货币汇率。他们将自己的方法与十种其他领先的预测技术进行了对比，其中包括依赖海量数据和先进数学结构的复杂模型。结果显示，这种基于视觉的方法具有极强的竞争力。在许多情况下，它的表现优于其他方法，尤其是在预测周期较长时。例如，在预测 720 小时后的用电量时，该方法与标准模型相比显著降低了误差率。研究表明，这种视觉方法在处理噪声数据方面特别有效，而在这些数据中，传统方法往往难以区分真实的趋势与随机的波动。

一个最引人注目的发现是该系统如何处理不同类型的数据。对于具有清晰重复模式的数据集（如每小时温度变化），视觉法在所有时间范围内都表现良好。对于更混乱的数据（如每日货币汇率），视觉法依然能站得住脚，尽管研究人员指出，噪声过滤的程度需要仔细调整。他们发现，过度去除细节会损害预测效果，而去除过少则会让系统被噪声困扰。这种最佳平衡点取决于数据的具体性质。此外，研究人员发现他们的系统不仅准确，而且高效。由于创建视觉库的大部分繁重工作是在预先完成的，因此预测模型的实际训练速度很快，在实现高性能方面所需的时间仅为其他复杂模型的一小部分。

研究还探讨了为什么这种视觉方法比其他方法更好。他们将其与一种使用文本描述来寻找相似趋势的方法，以及另一种直接使用原始数字的方法进行了对比。视觉法始终优于基于文本的方法，这表明曲线的几何细节——其斜率和转折点——比趋势的文字描述具有更强的预测能力。它也优于原始数字方法，证实了过滤噪声并将数据转化为干净图像的初始步骤至关重要。通过专注于趋势的形状而非特定数值，系统避免了因随机峰值而导致误匹配两个序列的陷阱。

最终，这项研究为解决一个老问题提供了全新的视角。它表明，我们如何呈现数据，与我们使用什么样的算法来分析数据同样重要。通过将时间序列转化为现代人工智能所擅长的视觉语言，研究人员得以构建出一个既强大又高效的预测工具。该方法在预测阶段不需要庞大的计算能力，也不需要针对每个新数据集从头开始重新训练。相反，它利用了视觉系统的现有优势，去寻找隐藏在噪声中的故事。虽然研究人员承认仍有改进空间，特别是在处理极大规模数据库或适应全新类型的数据方面，但他们的工作证明了：有时，观察未来的最佳方式，是将过去看作一幅画。

技术摘要：VRATF：基于视觉的检索增强型时间序列预测

1. 问题定义

时间序列预测对于能源、金融和气象等领域的决策至关重要。虽然近期的检索增强方法试图通过检索相似的历史片段来改进预测，但它们面临两个根本性的局限：

检索敏感性： 现有方法通常在原始数值序列上计算相似度。这使得检索极易受到高频噪声、传感器抖动和异常峰值的影响，从而检索到在数值上相似但在时间趋势信息上对未来并无参考价值的片段。
融合僵化： 当前的方法缺乏显式且具有解释性的机制来平衡基础预测器与检索参考之间的贡献。融合通常发生在隐空间中，采用固定权重或局部门控机制，导致模型难以全局调节其对历史检索与当前输入外推的依赖程度。

2. 方法论：VRATF 框架

作者提出了 VRATF（Vision-based Retrieval-Augmented Time Series Forecasting，基于视觉的检索增强型时间序列预测），该框架将检索范式从原始数值空间转向视觉嵌入空间。该架构由两个互补的分支组成：

A. 图像检索器（检索分支）

VRATF 并不直接比较原始时间序列，而是将历史趋势转化为视觉表示，以捕捉全局几何形态（斜率、曲率、转折点）。

预处理与去噪： 对输入序列进行归一化以消除水平偏移。应用基于快速傅里叶变换（FFT）的低通滤波器来提取低频趋势成分，从而抑制高频噪声。
视觉渲染： 将去噪后的趋势序列渲染为 224×224 的 RGB 折线图图像。
视觉编码： 使用冻结的预训练视觉编码器（CLIP ViT-B/32）从这些图表中提取视觉嵌入。这利用了模型学习结构化表示的能力，而无需从头开始训练视觉模型。
检索与聚合： 对于查询序列，系统计算其与预构建的视觉嵌入数据库之间的余弦相似度。系统会检索出前 $K$ 个最相似的历史片段。通过基于相似度得分的高斯核加权方案对它们的未来轨迹进行聚合，从而生成基于检索的预测 ( $\hat{Y}_r$ )。

B. 预测器（基础分支）

一个轻量级的 DLinear 模型作为基础预测器 ( $f_b$ )。它通过移动平均法将输入分解为趋势和季节性成分，并将它们线性投影到预测时界，以生成基础预测 ( $\hat{Y}_b$ )。

C. 可学习的预测级融合

与在隐空间进行特征融合的方法不同，VRATF 在预测层级进行融合。

一个单一的可学习标量参数 $w$ 通过 Sigmoid 函数映射为权重 $\alpha \in (0, 1)$ 。
最终预测为线性组合： $\hat{Y}_{fused} = \alpha \hat{Y}_b + (1-\alpha) \hat{Y}_r$ 。
这使得模型能够显式地学习针对给定数据集，在插值外推（基础模型）与历史参考（检索）之间的最优平衡。
随后通过轻量级的通道维度输出投影和偏移恢复来生成最终预测。

3. 核心贡献

视觉趋势检索： 本文引入了一种全新的检索机制，该机制在去噪后的视觉趋势表示（折线图）而非原始数值序列上运行。这种方法优先考虑全局趋势形态而非点对点的数值相似性，从而降低了对高频噪声的敏感度。
可解释的融合策略： 作者设计了一种通道独立的检索机制和一种可学习的预测级融合策略。这显式地平衡了基础预测器与检索预测之间的贡献，相比于隐空间融合，提供了更高的可解释性。
高效性与高性能： 通过保持视觉编码器冻结并使用轻量级的可训练预测组件（DLinear + 融合层），该框架保持了极高的参数效率。

4. 实验结果

作者在六个多元预测基准数据集上评估了 VRATF：ETTh1, ETTh2, ETTm1, ETTm2, Weather, 和 Exchange。

与检索增强型方法的对比： 与近期的检索增强基准模型（RAFT, DUET, SERAF）相比，VRATF 在四个数据集（ETTh1, ETTh2, ETTm2, Exchange）上取得了最佳的平均 MSE。值得注意的是，在 Exchange 数据集上，VRATF 显著优于 SERAF（在时界 336 时，MSE 分别为 0.324 vs. 0.908），这表明视觉检索对于嘈杂的金融数据更具鲁棒性。
与通用预测模型的对比： 在五个数据集中，VRATF 的表现优于其骨干网络 DLinear 以及其他代表性模型（PatchTST, TimeMixer, CycleNet）。在 ETTh1 上，相比 DLinear，其平均 MSE 降低了 20.0%。
长时界性能： 该模型在长时界设置（例如时界 720）中表现出特别的优势，在此类场景下，随着未来不确定性的增加，检索分支提供了越来越有价值的历史参考。
消融实验：
- 移除检索分支会导致所有时界下的性能下降。
- 视觉检索在五个数据集中优于基于文本的检索（SERAF），在 Exchange 数据集上提升了 53.1%，这表明视觉表示比文本描述能更有效地捕捉趋势形态。
- 视觉编码在数值检索（包括原始数值和经过低通滤波的数值）方面表现一致优异，尤其是在噪声较大的数据集中。
- 可学习融合的表现明显优于固定融合（0.5 权重），尤其是在较长的时界下。

5. 重要性与主张

本文声称 VRATF 通过将检索空间从原始数字转向视觉趋势，解决了现有检索增强预测的局限性。作者认为：

鲁棒性： 视觉嵌入对局部波动和噪声的敏感度较低，能够检索出具有一致时间动态的历史相关片段。
可解释性： 预测级融合提供了一个清晰的、可学习的度量，用于衡量模型在多大程度上依赖于历史检索与当前外推。
高效性： 通过将离线的视觉表示构建与在线预测优化相分离，VRATF 实现了具有竞争力的性能，同时保持了轻量级的可训练足迹。在效率测试中，VRATF 比仅使用 DLinear 的模型用时缩短了一半即可收敛到更低的测试损失，这表明检索增强的参考提供了一种有效的归纳偏置。

作者总结道，虽然该方法在长时界和高噪声数据集上特别有效，但未来的工作可以探索自适应频率选择和更强的视觉预训练目标。