🤖 machine learning

Spectral Transformer Neural Processes

本文介绍了谱变换神经过程（STNPs），这是一种感知频率的变换神经过程扩展，它引入谱聚合器以注入谱混合核偏差，从而显著提升了在时间序列、空间及图像应用中针对周期性和准周期性数据的建模能力。

原作者： Xianhe Chen, Hao Chen, Yingzhen Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Xianhe Chen, Hao Chen, Yingzhen Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据一些零散的线索来预测未来。在机器学习领域，这被称为神经过程（Neural Process）。它就像一位超级聪明的侦探，观察一小部分证据（即“上下文”），尝试推测其余故事的全貌，同时也会承认自己对推测结果的不确定性。

通常，这些侦探非常擅长识别呈直线重复的模式（例如汽车在道路上行驶）。但当模式是周期循环时——比如潮汐的涨落、心跳或季节更替——它们往往会感到困惑。当数据具有强烈的节奏感时，传统的侦探倾向于放弃，仅仅猜测平均值，从而完全错过了节奏。

本文介绍了一位名为**STNP（谱变换神经过程，Spectral Transformer Neural Processes）**的新侦探。以下是其工作原理，通过简单的类比进行说明：

1. 问题所在：“直线型”侦探

标准的神经过程就像一位只懂直线的侦探。如果你给它看一个正弦波（一种平滑且重复的波形），它可能会观察前几个点，心想：“好的，它在上升”，然后继续猜测它会永远上升下去。它忽略了波形本应转折并回落的事实。它们出现了“欠拟合”——由于缺乏理解节奏的工具，它们无法看到全貌。

2. 解决方案：“音乐耳”

作者赋予新侦探 STNP 一种名为谱聚合器（Spectral Aggregator）的特殊工具。你可以将其想象为一副音乐耳或音响工程师的均衡器。

谱聚合器不再仅仅按顺序查看图表上的数据点（时间或空间），而是瞬间将数据转换为频率谱。

类比：想象你在听一首歌。标准模型是一个个音符地听。然而，STNP 能瞬间看到乐谱。它能告诉你：“啊，这首歌有每分钟 60 拍的强劲节拍，且旋律每 4 小节重复一次。”
工作原理：模型观察已有的线索，计算不同节奏的“能量”，并精确找出在当前特定任务中占主导地位的频率。

3. 魔法技巧：“谱混合”

一旦模型识别出节奏，它不会仅仅死记硬背，而是为这些节奏创建一份定制配方。

它将复杂的节奏数据压缩为几个关键成分（称为“谱混合”）。
随后，它对这些成分进行采样，生成一种特殊的谱特征。
最后，在将这些数据输入主脑（Transformer）之前，它将这些“节奏成分”与原始数据点混合。

结果：该模型现在拥有了对周期性的内置偏好。它知道，如果一个模式是重复的，那么时间上相距很远的点，实际上可能与当前的点非常相似，即使它们在地图上看起来相距甚远。它连接了节奏间隙中的各个点。

4. 论文声称取得的成果

作者在三种类型的挑战中测试了这位新侦探：

合成任务（训练健身房）：他们创建了包含完美波形、锯齿形状和重复模式的虚假数据。即使初始线索很少，STNP 在推测波形形状方面也远优于之前的模型。它不仅仅猜测平均值，而是保持了节奏的延续。
图像补全（拼图游戏）：他们要求模型填补图片中缺失的部分（如条纹或气泡的纹理）。之前的模型会使条纹变得模糊或中断图案。而 STNP 保持了条纹的清晰和气泡的完美重复，因为它理解了纹理的“频率”。
真实世界数据（现实世界）：
- 交通与天气：他们使用了加州的交通数据和英国的天气数据（潮汐、波浪、温度）。这些现象具有每日和每年的周期。STNP 预测交通高峰和潮汐高度的准确性远超其他模型，尤其是在数据杂乱或存在缺失的情况下。
- 电力：他们预测了电力消耗，这具有每日和每周的周期。STNP 的表现优于所有其他神经过程模型。

总结

简而言之，论文指出：标准 AI 模型不擅长预测呈周期循环的事物。 作者构建了一个新模型（STNP），为 AI 添加了一个“频率探测器”。该探测器倾听数据的节奏，找出重复模式，并利用这些知识对潮汐、交通、天气和纹理等事物做出更准确的预测。它使 AI 能够理解，由于数据底层的节拍，“现在发生的事”往往与“一周前发生的事”紧密相连。

技术摘要：谱变换神经过程（STNPs）

问题陈述

神经过程（NPs）旨在将上下文集映射到预测性随机过程，从而实现带有不确定性量化的数据高效学习。虽然现有的 NP 模型在处理平移等变数据时表现有效，但当数据表现出强烈的周期性或准周期性（例如时间序列、空间数据、具有重复纹理的图像）时，现有 NP 模型则难以应对。

标准变换神经过程（TNPs）依赖于在所学时域嵌入内的目标到上下文注意力机制。然而，标准的 ReLU-MLP 嵌入并不固有地编码周期性。因此，当观测值在欧几里得空间中相距甚远但在相位上对齐（即相隔整数周期）时，TNPs 无法有效地关联它们。这导致在周期性设置中出现欠拟合、训练分布之外的泛化能力差，以及倾向于坍缩为均值预测。此前试图改进平移等变性的尝试（例如 ConvCNPs、TETNPs）并未显式捕捉周期性或准周期性模式，因为它们缺乏从上下文中推断任务特定频率结构的机制。

方法论：谱变换神经过程（STNPs）

作者提出了谱变换神经过程（STNPs），这是 TNPs 的一种频率感知扩展。其核心创新是谱聚合器（Spectral Aggregator），这是一个从上下文集中提取任务自适应谱信息并将其注入 TNP 主干网络的模块。

谱聚合器

受博赫纳定理（Bochner's theorem，该定理将平稳正定核与非负谱测度联系起来）的启发，谱聚合器将上下文点投影到频域以估计经验谱。该过程包含四个阶段：

经验谱估计：
- 上下文响应被中心化，并使用余弦和正弦基投影到固定的频率网格 $\{\tilde{\omega}_k\}_{k=1}^K$ 上。
- 计算每个网格频率的谱能量 $E_k$ ，并归一化为网格上的离散概率分布 $p_k$ 。这定义了一个经验谱测度 $\hat{\nu}_{DC}$ 。
潜在谱分解：
- 为了避免原始网格的高维度和不连续性，引入潜在混合变量 $Z \in \{1, \dots, Q\}$ 。
- 一个轻量级的卷积网络（“责任网络”）沿频率轴处理谱摘要序列。它输出逻辑值，定义条件分类分布（责任 $r_{qk}$ ），将每个网格频率分配给 $Q$ 个谱混合成分之一。这强制了谱几何中的局部连续性（例如，峰值形状、带宽）。
概率谱压缩：
- 离散谱被压缩为具有 $Q$ 个成分的连续高斯混合模型（GMM）。
- 混合权重 $w_q$ 、均值 $\mu_q$ 和方差 $\sigma^2_q$ 是根据给定责任下的经验分布的条件矩导出的。这产生了一组紧凑的参数 $\theta_{DC} = \{(w_q, \mu_q, \sigma^2_q)\}_{q=1}^Q$ 。
谱特征构建：
- 从推断的高斯混合成分中采样频率。
- 这些采样的频率用于构建谱嵌入 $\phi_S(x)$ ，其由受采样频率和成分权重调制的正弦特征（余弦和正弦）组成。
- 这些谱特征与标准的时域 MLP 嵌入拼接，并投影到模型维度，然后输入到 TNP 编码器中。

理论性质

平移等变性： 以推断的谱参数和采样频率为条件，谱特征具有平移等变性。
平移不变性： 这些特征的诱导内积具有平移不变性。
谱混合核： 在期望意义上，该内积定义了一个谱混合（SM）核，有效地从上下文集中摊销（amortize）了任务特定的核，而无需修改注意力机制本身。
有效随机过程： STNPs 满足科尔莫戈罗夫扩张定理，确保它们定义了有效的条件随机过程。

主要贡献

STNPs 的提出： 一种新颖的架构，通过谱聚合器增强 TNP，该聚合器通过压缩特征采样机制提取上下文频率信息。
理论保证： 证明了所提出的谱特征具有条件平移等变性，并诱导了一个平移不变核估计量，其在期望上对应于谱混合核。这隐式地将 SM 核结构集成到了 TNP 中。
实证优越性： 大量实验表明，STNPs 在以下方面优于现有基线（包括 NP、CNP、ANP、TNP、TETNP、ConvCNP 和 SConvCNP）：
- 合成回归任务（RBF、Matérn、Periodic、Sawtooth）。
- 图像补全（DTD 数据集），特别是针对重复纹理。
- 七个数据集（包括电力、交通、汇率和气候数据）上的真实世界时间序列预测和插补。

实验结果

合成回归： 在周期性和锯齿波任务中，STNPs 取得了最高的对数似然值，而基线模型往往失败或坍缩。它们在分布外（OOD）区域表现出稳健的插值和外推能力。
图像补全： 在 DTD 数据集上，与 TNP（过度平滑）和 SConvCNP（仅恢复粗略连续性）相比，STNPs 生成了更锐利的补全结果，对周期性模式（条纹、晶格）具有更好的结构保真度。
时间序列预测：
- 通用基准： STNPs 在六个数据集（电力、ETTh1、汇率、国家疾病、交通、天气）上显著降低了 MAE 和 MSE，通常优于 Autoformer 和 Informer 等专用时间序列模型。
- 插补： 在加利福尼亚交通流量数据上，STNPs 取得了最佳的对数似然值和 RMSE，比竞争对手更好地捕捉了尖锐峰值。
- 气候预测： 在 Chichester Harbour 数据集上，STNPs 有效地转移了重复的季节性模式，同时适应了局部上下文，其 RMSE 和 MAE 低于 TETNP 和 SConvCNP。
消融研究：
- 用固定傅里叶特征（FAN 风格）或直接离散谱嵌入替换谱分支会导致性能显著下降，证实了谱混合的任务自适应性质至关重要。
- 用前馈网络（FFN）替换 CNN 责任网络会降低性能，突显了对局部谱交互进行建模的重要性。

意义与主张

本文声称，STNPs 将神经过程的适用范围从平移等变性扩展到有效建模周期性和准周期性。通过从上下文集中推断任务自适应的谱混合核，STNPs 结合了谱高斯过程的归纳偏置与变换神经过程的灵活性。

作者指出，虽然 STNPs 显著提高了性能，但频率网格大小和成分 - 样本分配等超参数的选择仍然是任务自适应选择的一个未决问题。这项工作代表了朝着针对重复模式普遍存在的结构化数据进行更稳健的元学习迈出的一步。