🤖 AI

Differencing the Diffusion Trajectory toward Uncertain Components for Time Series Forecasting

DiffDiff 是一种用于时间序列预测的新颖扩散框架，它通过将噪声状态从目标值逐步向其二阶差分转移，直接将可预测性不对称性嵌入到扩散轨迹中，从而使模型能够在利用历史连续性作为锚定内容的同时，将其生成精力集中在不确定成分上。

原作者： Chen Su, Yuanhe Tian, Yan Song

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Chen Su, Yuanhe Tian, Yan Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

预测未来的艺术

想象一下，你正在试图预测下周的天气。你观察天空，检查风向，发现已经连续下了三天的雨。你几乎可以肯定明天也会下雨。这是简单的一部分：那些“缓慢变化”的内容。但要预测一场突如其来的、混乱的雷阵雨究竟会在何时出现？这才是难点。在科学领域，这被称为时间序列预测（time series forecasting）。它是指通过观察一段过去的数据——比如用电量、股票价格或心率——来推测接下来的走势。

长期以来，计算机在这方面变得越来越出色，但它们往往在“不确定性”的处理上表现挣扎。它们试图一次性预测整个未来的全貌，将可预测的趋势（如气温的稳步上升）与狂野且不可预测的剧变（如股市的突然崩盘）同等对待。最近，一种名为**扩散模型（Diffusion Models）**的新型人工智能成为了这一领域的明星。你可以把这些模型想象成一位雕塑家，他从一块充满噪声和静电感的大理石中开始，通过慢慢凿去噪声，最终显现出一尊完美的雕像。在预测任务中，“雕像”就是未来的数据，而“噪声”则是我们无法预测的随机性。目标是教会 AI 如何通过凿去噪声，来揭示尽可能准确的未来。但问题在于：如果你试图以同样的速度凿去整个石块中的噪声，你可能会在浪费时间处理那些枯燥、可预测的部分时，不小心把那些令人兴奋且不可预测的细节也给磨平了。

新型雕塑家：DIFFDIFF

这篇论文介绍了一种名为 DIFFDIFF（差分扩散，Differencing Diffusion）的新方法，它改变了雕塑家的工作方式。作者意识到，在时间序列中，未来并非一张白纸；它是基于过去可以轻易推测的部分与纯粹混沌的部分的结合体。如果你观察一条河流，水位可能会缓慢且可预测地上升（受过去数据的锚定），但水面的涟漪却是狂野且随机的。标准的扩散模型对整条河流一视同仁，试图同时对缓慢的上升和狂野的涟漪进行“去噪”。这种做法效率低下，就像试图用完全相同的笔触去同时锐化模糊照片中的天空和飞鸟一样。

DIFFDIFF 通过让“凿去噪声”的过程变得更聪明，从而改变了游戏规则。它不再平等地对待整个未来，而是使用了一种特殊的数学技巧，称为差分（differencing）。想象你在观察一辆行驶在路上的汽车。如果你只看汽车的位置，它的移动是平滑的。但如果你观察它加速或减速的程度（即它的加速度），你就能看到真正的、不可预测的变化。DIFFDIFF 转移了它的注意力。随着 AI 尝试去除噪声，它会逐渐不再关注未来中平滑、可预测的部分（因为过去已经告诉了我们这些部分的情况），转而开始密集地关注那些“锯齿状”的部分——即那些真正具有不确定性的快速变化和波动。

论文表明，通过这样做，AI 不再在它已知的事情上浪费脑力。它将所有的能量都留给了最难的部分：不可预测的峰值和跌幅。为了确保它不会完全忘记平滑的部分，它使用了一个巧妙的“门控（gate）”系统。这个门控就像一个交通控制器，告诉 AI 何时该关注过去的平滑趋势，何时该忽略它们以专注于混沌。

研究发现

研究人员在包括用电量、交通流量和天气模式在内的七个不同现实世界数据集上测试了 DIFFDIFF。他们将其与六种其他顶尖的扩散模型进行了对比。结果非常明确：DIFFDIFF 始终优于其他模型。

具体而言，论文发现：

它擅长处理难点： 该模型在预测长期未来（长达 720 个时间步）方面表现出色，而在这些场景下不确定性最高。
它很高效： 它不需要更多的计算能力或运行时间；它只是更明智地利用了现有的力量。
“门控”有效： 这个决定何时关注过去、何时关注混沌的系统，实际上能够适应不同类型的数据。例如，在电力数据（具有高度规律性和周期性）上，门控在整个过程中保持高位开启，以保持“差分”关注的活跃；而在风力数据（具有高度随机性和混沌性）上，门控则保持抑制状态，因为那里的微分信息大多只是噪声。

作者还通过实验证明，他们的这种方法是通过“转移”焦点，而非仅仅通过增加复杂度来起作用的。他们展示了如果移除“差分”技巧，模型的表现会变差；如果移除“门控”，表现也会变差。但当两者结合在一起时，模型能将精力精准地集中在真正需要的地方：即未来的不确定部分。

简而言之，DIFFDIFF 教会了 AI 不要试图去猜测显而易见的事实，而要专注于令人惊喜的事实。这有点像告诉一名学生：“不要把时间浪费在背诵‘重力’的定义上（我们已经知道了）；相反，你应该把时间花在研究一颗特定的、摇晃的苹果会如何落下。”通过这样做，该模型生成的预测不仅更加准确，而且能更好地展示未来可能性的范围，这对于管理电网或应对极端天气等任务至关重要。

技术摘要：DIFFDIFF —— 通过对扩散轨迹进行差分处理以应对时间序列预测中的不确定成分

1. 问题陈述

概率时间序列预测旨在建模给定历史观测窗口后未来值的条件分布。虽然去噪扩散概率模型（DDPMs）已成为该任务的强大框架，通过建模复杂的预测分布且无需严格的参数化假设，但它们面临着标准扩散过程无法解决的时间序列数据中的根本不对称性问题。

在时间序列预测中，未来并非空白，而是历史观测的延续。因此，预测的不确定性并不是均匀分布的。与历史强相关的成分（如平滑趋势、季节性模式）所携带的剩余不确定性极小；而历史无法确定的成分（如快速波动、机制转变）则集中了剩余的不确定性。现有的基于扩散的预测器通常尝试通过在扩散过程之前使用外部规则（例如，冻结一个点预测器来处理趋势）将目标解耦为确定性和不确定性成分。然而，这种方法将不对称性局部化在了扩散流水线之外，使得破坏轨迹（corruption trajectory）对于哪些部分已被历史锚定而“视而不见”。因此，扩散模型的容量被浪费在了重建那些本可以通过确定性方式提供的历史锚定内容上，而不是专注于最需要生成能力的高不确定性成分。

2. 方法论：DIFFDIFF

作者提出了 DIFFDIFF（差分扩散），这是一个将预测不对称性直接嵌入到扩散轨迹本身的框架。DIFFDIFF 不采用外部解耦，而是通过一个与步骤相关的前向算子，使噪声中间状态逐步从目标值向其二阶差分结构转移。

2.1 步相关前向过程

核心创新在于前向过程 $q(x_t | x_0)$ 。不同于添加各向同性高斯噪声的标准扩散，DIFFDIFF 定义了一个广义前向边缘分布：
$q(x_t | x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t} A_t x_0, (1 - \bar{\alpha}_t)I)$
其中 $A_t$ 是一个步相关转换矩阵。

渐进式差分： $A_t$ 定义为 $(1 - \lambda_t)I + \lambda_t D^2$ ，其中 $D^2$ 是二阶差分算子， $\lambda_t$ 随扩散步数 $t$ 单调增加。
效果： 早期步骤（ $t \approx 0$ ）仍接近原始目标 $x_0$ 。随着扩散推进， $A_t$ 越来越多地抑制低频成分（水平和趋势），这些成分易被历史锚定，同时保留高频成分（波动和曲率），这些成分携带了剩余的不确定性。
扩展目标： 为了确保跨边界连续性，目标 $x_0$ 被定义为一个扩展窗口 $[x_{label}, x_{fut}]$ ，包括一段来自观测历史的短重叠。这使得 $D^2$ 能够编码历史与未来边界处的曲率。

2.2 阶段自适应条件去噪器

由于前向过程在后期步骤会抑制值域（value-domain）内容，反向过程需要一个能够重新提供此类信息的条件路径。DIFFDIFF 采用了一个阶段自适应条件去噪器，它融合了历史的两种视图：

值域（Value Domain）： 编码原始历史 $x_{hist}$ （保留水平、尺度和趋势）。
差分域（Difference Domain）： 编码一阶差分 $\Delta x_{hist}$ （捕捉局部速度和短期波动）。

这两个表示通过一个时间步自适应门控 $g$ 进行融合：
$c = h_{val} + g \odot h_{diff}$
其中 $g$ 是以扩散时间步为条件的 Sigmoid 函数。该门控动态调整差分分支的贡献：当噪声状态保留更多差分结构时（后期步骤），门控保持开启；当值域内容足以支撑时（早期步骤），则抑制差分分支。

2.3 训练与采样

训练： 模型最小化值域中的位置加权重建损失（ $x_0$ 预测），并结合辅助损失来预测实例归一化统计量（均值和方差），以恢复绝对尺度。
采样： 终端分布趋向于标准高斯分布 $\mathcal{N}(0, I)$ ，保持了与现有加速采样器（如 DDIM）的兼容性。反向过程使用步相关矩阵 $A_t$ 在每一步将预测映射回正确的信号表示。

3. 核心贡献

内部化不对称性： DIFFDIFF 是第一个通过步相关前向算子将确定性-不确定性不对称性直接嵌入扩散轨迹的扩散框架，而非依赖于外部预分解。
频率选择性破坏： 通过在前向过程中利用二阶差分算子，该方法创建了一个非均匀的信噪比（SNR）剖面。它比高频（不确定）成分更快地衰减低频（历史锚定）成分，从而有效地将模型的生成能力重新分配到目标中最不确定的部分。
阶段自适应调节： 引入的时间步自适应门控机制允许去噪器动态平衡值域和差分域的历史信息，补偿由前向过程引起的抑制。
理论一致性： 作者证明了尽管存在步相关前向过程的非马尔可夫性质，反向过程仍能与前向轨迹保持边缘一致性，从而确保有效的采样。

4. 实验结果

作者在七个多样化的时间序列基准数据集（Electricity, ETTm2, Exchange Rate, Traffic, Solar-Energy, Weather, Wind）上进行了评估，涵盖四个预测步长（ $H \in \{96, 192, 336, 720\}$ ）。

性能： DIFFDIFF 在 84 个设置中的 53 个 中超越了六种最先进的扩散基准模型（包括 CSDI, TimeDiff, TMDM, Nsdiff, MA-TSD, D3U）。它在大多数情况下取得了最佳的连续排位概率评分（CRPS）。
消融研究：
- 前向过程（差分） 被确定为主要的改进来源；不包含该过程的变体表现明显较差。
- 阶段自适应门控 至关重要；移除它或将其替换为固定融合机制会导致性能下降，尤其是在具有不同程度随机性的数据集上。
- 二阶差分（ $D^2$ ） 被证明比一阶（ $D^1$ ）或三阶（ $D^3$ ）算子更具鲁棒性，在捕捉曲率与避免外推误差放大之间取得了平衡。
分析： 频谱分析证实，前向过程成功地随着扩散推进，将保留的信号能量向高频成分转移。此外，门控动力学显示出能适应数据集特征：对于周期性序列（Electricity, Traffic）保持差分分支开启，而对于高度随机的序列（Solar, Wind）则予以抑制。

5. 意义与主张

本文的主张是，DIFFDIFF 证明了通过将可预测不对称性直接编码进扩散轨迹，可以显著提升概率时间序列预测的效果。通过重塑破坏路径以逐步抑制历史锚定的内容，该模型避免了在重建已知内容上浪费生成能力。相反，它将表示预算集中在“困难”成分——即历史无法确定的动力学特征上——同时依靠条件路径来提供锚定的内容。

作者强调，这种方法允许单个端到端的扩散过程实现对目标的“感知”，从而在无需外部分解规则或复杂多阶段流水线的情况下，实现卓越的校准度和锐度（更低的 CRPS）。该方法保持了与标准扩散采样技术的兼容性，使其成为现有扩散式预测框架的一个实用且高效的升级方案。