🤖 machine learning

Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions

本文提出了一种新颖的时间序列建模方法，该方法将 Transformer 中计算昂贵的神经微分方程替换为闭式阻尼谐振子框架，通过将注意力机制视为共振现象，从而实现了对不规则时间序列的高效、可扩展且具备理论基础的建模。

原作者： Yashas Shende, Aritra Das, Reva Laxmi Chauhan, Arghya Pathak, Debayan Gupta

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Yashas Shende, Aritra Das, Reva Laxmi Chauhan, Arghya Pathak, Debayan Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文《振荡器即所需》的解释。

大问题：时间是混乱的

想象你试图教计算机理解一个故事，但这个故事并非以整齐、规律的节奏讲述。有时叙述者每秒说一次；有时他们停顿五分钟；有时在长时间沉默后突然喊出一个词。

大多数现代人工智能模型（如 Transformer）就像严格的指挥家。它们期望音乐在完美的均匀节拍（1、2、3、4）中发生。当数据不规则时——例如心跳、股票交易或天文数据——这些模型会感到困惑。它们试图将不规则数据强行塞入网格中，这破坏了信息的自然流动和连续性。

旧方案：沉重的计算器

为了解决这个问题，先前的研究人员使用了一种称为“神经常微分方程”（NODEs）的方法。这可以想象为一个非常聪明但极其沉重的计算器。它不是猜测下一个节拍，而是试图通过数学精确计算数据在每一个不规则时刻之间的确切路径。

虽然这种方法有效，但它极其缓慢且计算成本高昂。这就像试图通过实时计算道路上每一个颠簸的物理原理，来驾驶一辆法拉利穿过城市。引擎（计算机）会过热，整个过程会无限拖延。

新想法：秋千架（OsciFormer）

这篇论文的作者问道：“如果我们不再试图一步步计算路径，而是利用一个天然处理时间的物理系统，会怎样？”

他们用阻尼谐波振荡器取代了那个沉重的计算器。

类比：
想象一个孩子坐在秋千架上。

秋千：代表数据的隐藏状态。
推力：代表在不规则时间到达的新信息。
摩擦（阻尼）：代表如果你不推它，秋千自然减速并停止的趋势。
共振：如果你在恰当时机（与其自然节奏匹配）推秋千，它会荡得很高。如果你在错误的时间推，它几乎不动。

作者构建了一个名为OsciFormer的模型，它将每一段数据都视为一个秋千。

键和值（秋千）：当数据到达时，它会“推”一个特定的秋千。秋千不会只是停止；它会继续移动、减速并自然地摇摆，直到下一段数据到达。这无需沉重的计算器即可保持时间的连续性。
查询（聆听者）：模型提出一个问题（“查询”）。它聆听所有的秋千。
注意力即共振：在普通人工智能中，“注意力”只是一个数学分数。在 OsciFormer 中，注意力是共振。如果“查询”的振动频率与“键”（一个秋千）相同，该秋千就会共振并获得高注意力分数。如果它们不同步，秋千就会保持安静。

为什么这是游戏规则的改变者

这种方法的魔力在于秋千拥有一个已知且简单的公式。

旧方法：要知道秋千在任何时刻的位置，你必须模拟成千上万个微小步骤（数值求解器）。
新方法：因为我们了解秋千的物理原理，我们可以写出一个单一的封闭形式方程，瞬间精确告诉我们秋千在任何时间的位置。

结果：

速度：该模型快了几个数量级。论文声称，在某些场景下，它可以快达 640 倍，因为它跳过了沉重的逐步计算。
内存：它使用的计算机内存少得多，允许处理更长的序列而不崩溃（旧模型在某些数据集上无法做到这一点）。
准确性：尽管速度更快，它在预测未来方面与缓慢、沉重的模型一样出色。它甚至在某些医疗和金融基准测试中超越了它们。

他们证明了什么

作者并非只是猜测这会奏效；他们从数学上证明了这一点。

通用近似：他们表明，一组这样的秋千可以模仿传统模型能创建的任何复杂模式。如果旧模型能做到，秋千模型也能做到，只是更快。
物理对称性：因为它们基于物理原理，这些模型天然地尊重空间和时间的规则（例如，无论地图如何旋转，天气模式看起来都是一样的）。这使它们非常适合天气建模等任务。

总结

这篇论文指出：停止将不规则的时间数据强行塞入僵硬的网格，停止使用沉重的计算器来模拟时间。

相反，将数据视为游乐场上的秋千。让它们在一次观测和下一次观测之间自然地摆动。利用共振的物理原理来决定哪些信息是重要的。这将给你一个极其快速、占用更少内存的模型，并且像过去那些缓慢、庞大的巨人一样，同样理解时间的自然流动。

技术摘要：振荡器即所需

问题陈述

Transformer 通过注意力机制捕捉长期时间模式，在时间序列建模中展现出卓越性能。然而，标准 Transformer 假设时间间隔均匀，使其难以适用于金融、医疗和天文学等领域常见的不规则时间序列。尽管**神经常微分方程（NODEs）**通过将隐藏状态视为连续演化的轨迹来有效建模不规则数据，但它们存在显著的计算瓶颈：依赖重型数值求解器（如 RK4）来近似积分。这导致计算成本高昂且内存开销大，特别是在扩展到长序列时。虽然连续 RNN 存在闭式解，但其在捕捉长程依赖方面的效率和表达能力尚未达到注意力机制的水平。

方法：OsciFormer

作者提出了OsciFormer，这是一种新颖的架构，用基于物理类比推导出的闭式解——即线性阻尼受迫谐振子——取代了 NODEs 的数值积分。

核心机制

键和值的振荡器类比：
模型不再通过 NODEs 学习任意向量场，而是利用代表阻尼谐振子的二阶常微分方程（ODEs）来调控键（ $k$ ）和值（ $v$ ）的演化：
$\ddot{x}(t) + 2\gamma \dot{x}(t) + \omega^2 x(t) = F(t)$
其中， $\gamma$ （阻尼）和 $\omega$ （固有频率）为可学习参数， $F(t)$ 为驱动力。该系统对任意时间 $t$ 均存在解析闭式解，从而消除了对迭代数值求解器的需求。
注意力即共振：
注意力机制被重新诠释为一种共振现象。查询 $q(t)$ 被展开为正弦基（模式之和），而键则作为受迫振荡器演化。注意力分数定义为查询轨迹与键轨迹之间的时间平均内积，成为频谱重叠的度量。当查询的频率与键的固有频率对齐时，发生共振，产生高注意力权重。
闭式积分：
作者推导出了注意力积分 $\alpha_i(t) = \frac{1}{t-t_i} \int_{t_i}^t \langle q(\tau), k_i(\tau) \rangle d\tau$ 的精确解析表达式。该解分解为：
- 齐次贡献： 基于初始条件和阻尼状态（欠阻尼、临界阻尼、过阻尼）。
- 特解（受迫）贡献： 通过驱动力的稳态解和瞬态解推导得出。
  这些积分利用预先推导的核函数（如 $I_{cc}, I_{cs}, I_{sc}, I_{ss}$ ）进行计算，使模型能够以相对于积分区间恒定的时间评估注意力分数。
通用近似：
论文证明，此类振荡器组可以通用近似任何由 ContiFormer 连续键实现的离散注意力矩阵。通过将连续键函数展开为三角多项式（通过 Fejér 均值），并利用振荡器初始条件实现这些多项式，该模型保留了原始连续时间架构的表达能力。

主要贡献

新颖架构（OsciFormer）： 一种 Transformer 变体，用线性阻尼受迫谐振子取代 NODEs，为连续时间注意力提供闭式解。
理论保证：
- 通用近似证明： 基于振荡器的参数化可以任意精确地近似任何连续注意力矩阵。
- 证明小阻尼不会损害通用性。
- 讨论了E(3)-等变性，表明该模型保留了时空任务中有用的物理对称性。
计算效率：
- 时间复杂度： 将数值求解器占主导地位的 $O(N^2 S d^2)$ 成本（其中 $S$ 为求解器步数）降低至 $O(N^2 J d)$ ，其中 $J$ 为振荡器模式数量。
- 内存： 消除了存储数值积分中间状态的需求，将激活内存减少了 $S$ 倍。
- 速度： 相比 ContiFormer，训练时间快了数个数量级。

实验结果

作者在包括事件预测、长上下文分类和临床预测在内的全面不规则时间序列基准测试中评估了 OsciFormer。

事件预测： 在六个数据集（Synthetic, Neonate, Traffic, MIMIC, StackOverflow, BookOrder）上，OsciFormer 在准确率和对数似然方面与 ContiFormer 相当，但速度快得多。
长上下文分类（UCR 档案）： OsciFormer 实现了64.5%的最高平均准确率，优于或持平于 LRU、S5 和 Mamba 等最先进模型。值得注意的是，在MI 数据集上，其准确率达到91.8%，大幅领先竞争对手。
临床预测（HR 基准）： OsciFormer 在心率预测任务上实现了最低的均方根误差（RMSE，2.56 ± 0.18）。相比之下，ContiFormer 在此任务上因内存不足（OOM）而失败，突显了闭式方法的可扩展性优势。
合成不规则序列： OsciFormer 达到了**99.83%**的准确率，且在所有对比模型中拥有最快的每轮训练时间（0.56 分钟）。
消融研究： 性能在少量振荡器模式（ $J=8$ ）下即达到饱和，证实高表达能力无需过度的计算开销。

意义与主张

论文声称，OsciFormer 成功弥合了连续时间注意力的表达能力与闭式解的效率之间的鸿沟。通过利用物理原理（阻尼谐振子），作者证明了：

数值 ODE 求解器的计算瓶颈可以被完全消除，同时不牺牲建模能力。
注意力机制可以被根本性地理解和实现为物理系统中的共振探测器。
该方法为不规则时间序列建模提供了一种可扩展且理论扎实的替代方案，能够处理此前因内存限制而失败的连续时间 Transformer 任务。

作者总结道，这种基于振荡器的视角不仅推动了时间序列建模的发展，还为将物理原理嵌入大语言模型（LLMs）以模拟“意义”如何在语义维度上“振动”提供了潜在途径，尽管这目前仍属于未来探索的方向，而非当前的实验结果。