🤖 machine learning

Efficient Neural Controlled Differential Equations via Attentive Kernel Smoothing

本文提出了 MVC-CDE，一种结合了核/高斯过程平滑以实现高效轨迹正则性，以及基于注意力的多视图机制以恢复丢失细节的新型神经 CDE 框架，在显著降低相比于传统样条插值方法计算成本的同时，实现了最先进的准确率。

原作者： Egor Serov, Ilya Kuleshov, Alexey Zaytsev

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Egor Serov, Ilya Kuleshov, Alexey Zaytsev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Efficient Neural Controlled Differential Equations via Attentive Kernel Smoothing》的解释，通过简单的语言和富有创意的类比进行了翻译。

问题所在：“锯齿状道路”的数据

想象你正驾驶着一辆高性能跑车（Neural CDE，一种强大的 AI 模型）行驶在一条由数据构成的道路上。你的目标是尽可能准确地从 A 点到达 B 点（预测未来或进行模式分类）。

在现实世界中，数据是杂乱无章的。传感器会出错，测量值会丢失，记录也会带有噪声。当标准的 AI 模型试图根据这些杂乱的数据构建地图时，它们使用了一种叫做**插值（interpolation）**的技术。你可以把它想象成画一条线，试图完美地连接每一个点，哪怕这些点本身是抖动且不稳定的。

结果： 道路变得异常颠簸且充满锯齿。
后果： 你的跑车（AI 求解器）不得不减速爬行。它必须迈出极小、极小的步幅，才能在不脱离道路的情况下行驶，以免发生“车祸”。从技术角度来看，这意味着计算机需要进行数百万次额外的计算（称为函数评估或 NFE），仅仅为了走一小段距离。这就像是在施工区开车，你必须每走一寸就停一下并重新启动；虽然准确，但速度慢得令人痛苦。

解决方案：平整道路

这篇论文的作者意识到，问题不在于车，而在于路。他们提出了一个疑问：如果我们先把路铺平呢？

他们没有选择连接每一个嘈杂的点，而是提议先对数据进行平滑处理（smoothing）。他们使用了被称为**核函数（Kernels）和高斯过程（Gaussian Processes）**的数学工具（可以把它们想象成“压路机”）来抹平那些颠簸。

类比： 与其直接碾过每一颗碎石，不如先铺上一层平整的沥青。
益处： 现在，跑车可以高速飞驰。由于路径变得规则且可预测，它可以用更少的步数覆盖同样的距离。这使得 AI 的速度在某些情况下提升了 10 倍。

难点：不要把细节也抹平了

这里有一个棘手的部分：如果你把路修得过于平滑，你可能会抹掉重要的特征。也许路上的一个小坑洼其实是一个关键线索（比如它能预示某种特定的地形）。如果你把它抹平了，车虽然开得快，却会错过重要的细节，从而导致错误的判断。

创新点： “多视角”团队

为了解决这个问题，作者发明了一种聪明的团队协作方法，称为 Multi-View CDE (MV-CDE)，以及它的卷积升级版 MVC-CDE。

想象你正在导航一座复杂的城市。与其派一名司机去同时观察一切，不如派出一支驾驶员团队，每位成员都佩戴着一副不同的眼镜：

司机 A 戴着厚重的雾面眼镜。他们看的是大局，看到的是平坦的长路，忽略了微小的细节。
司机 B 戴着高清锐利的眼镜。他们能看到细小的、锯齿状的细节和特定的转弯。
司机 C 戴着中等清晰度的眼镜，在两者之间取得了平衡。

“注意力（Attention）”机制：
AI 不仅仅是挑选一名司机。它使用了一种聪明的注意力机制（受 Q-Former 模型启发）。你可以把它想象成一位队长。

队长观察当前的情况。
如果路面平直且光滑，队长就会听从司机 A（平滑视角）的意见。
如果路况变得复杂且需要急转弯，队长就会听从司机 B（细节视角）的意见。
队长综合所有驾驶员的见解，做出最佳决策。

这使得 AI 既能享受平滑道路带来的速度，又能找回在平滑过程中可能丢失的细节。

结果：快速且准确

作者在真实世界的数据集（如手写识别、阿拉伯语数字语音、姿态库）上测试了这种方法。

速度： 相比于传统的“锯齿状道路”方法，该方法快了 5 到 14 倍。它大幅减少了所需的计算量。
准确性： 尽管平滑了道路，但他们并没有损失精度。事实上，他们达到了最先进的（state-of-the-art）准确度，击败了包括 Mamba 在内的其他现代模型以及传统的 Neural CDE。
鲁棒性： 当他们在数据中加入额外的“噪声”（比如收音机里的静电噪音）时，该方法依然保持冷静且高效，而标准方法则会陷入噪声的泥潭并减速。

一句话总结

作者通过先平滑处理杂乱的数据，再利用一个拥有不同专注度的聪明“驾驶员团队”来确保在提速的同时不会错过任何重要细节，从而修复了一个缓慢的 AI 模型。

技术摘要：通过注意力核平滑实现高效的神经控制微分方程

1. 问题陈述

神经控制微分方程（Neural CDEs）为建模不规则采样的时间序列提供了一个基于原则的连续时间框架，将输入数据视为连续控制路径 $X(t)$ 。然而，其在实际应用中的效率受到驱动路径**粗糙度（roughness）**的严重制约。

标准实现依赖于精确插值方案（例如线性或自然三次样条曲线），以确保路径经过每一个观测数据点。在现实世界的场景中，当数据具有噪声或采样不规则时，这些精确插值器会引入高频变化和剧烈的导数。由于自适应 ODE 求解器（如 Dormand-Prince）的步长与路径的高阶导数量级成反比，这些“锯齿状”路径会迫使求解器采取极小的积分步长。这导致了**函数评估次数（NFE）**的大幅增加，通常使得 Neural CDEs 比传统的离散时间模型慢一个数量级，尽管它们在理论上具有优势。

识别出的核心挑战是输入噪声引起的**刚性（stiffness）**问题：求解器必须遍历噪声观测值的精确几何复杂度，从而导致计算瓶颈，限制了 Neural CDEs 的适用性。

2. 方法论

所提出的解决方案 MVC-CDE（多视图卷积控制微分方程） 通过路径平滑和注意力重构的双重方法来解决这种刚性问题。

2.1 通过核函数与高斯过程进行路径平滑

为了不再使用精确插值，作者提出通过用基于平滑的替代方案取代样条曲线，来实现轨迹平滑度与输入噪声的解耦：

核平滑（Kernel Smoothing）： 利用带有高斯径向基函数（RBF）核的 Nadaraya-Watson 估计器来构建平滑的控制路径 $X_{kernel}(t)$ 。
高斯过程（GP）平滑： 将底层信号建模为高斯过程（GP）先验。控制路径被定义为在假设高斯噪声条件下对观测值的后验均值。从理论上讲，GP 平滑提供了最优的线性重构，确保平滑后的轨迹既能忠实于底层信号，又能限制导数的大小。

理论洞察： 本文建立了一个结论：对于带宽为 $h$ 的平滑核，轨迹的 $p$ 阶导数被一致地限制在 $O(h^{-p})$ 范围内。因此，NFE 随 $O(h^{-1})$ 缩放，且独立于输入噪声的方差。这使得模型可以通过超参数 $h$ 显式地控制轨迹的正则性，从而显著减少求解器步数，与样条曲线相比效果显著。

2.2 带有注意力的多视图架构

过度平滑的一个潜在缺点是会丢失对预测至关重要的高频信息。为了在不重新引入刚性的情况下恢复这些细节，作者引入了一个受 Q-Former 模型启发的**多视图（Multi-View）**架构：

多条轨迹： 模型构建 $M$ 条不同的连续路径 $\{X^{(m)}(t)\}_{m=1}^M$ 。每条路径都使用特定的平滑带宽和可学习的注意力权重生成。
注意力机制： 可学习的查询向量（query vectors）为每个观测值 $x_k$ $x_{k}$ 计算注意力分数 $\alpha_{m,k}$ $α_{m, k}$ 。这些分数决定了每个观测点对于特定轨迹头的相关性。
- 在加权核路径中，注意力分数修改核密度估计。
- 在加权 GP 路径中，注意力分数定义了一个异方差噪声协方差矩阵，将高注意力点视为高精度观测，将低注意力点视为噪声。
卷积扩展（MVC-CDE）： 为了在注意力机制之前更好地捕捉局部时间上下文，该模型使用一维卷积网络从原始观测中提取特征描述符 $u_k$ 。这些描述符引导注意力机制，而控制路径仍作为原始输入的函数，以保持可解释性。
并行积分： 系统在一个单一的块对角 ODE 求解器调用中同时积分 $M$ 个隐状态。全局步长受限于“最硬”的头（即具有最小带宽 $h_{min}$ 的头），但这种集成方式允许模型在平衡精细细节捕捉与整体积分效率之间取得平衡。

3. 核心贡献

将刚性识别为主要瓶颈： 作者通过实证和理论证明，Neural CDEs 高 NFE 的原因在于自适应求解器对噪声数据精确插值器之粗糙度的敏感性。
基于平滑的路径构建： 提出使用核平滑和 GP 平滑取代确定性样条曲线来构建 Neural CDEs 的路径。这实现了积分成本与输入噪声的解耦，使数值积分加速了一个数量级。
多视图注意力架构（MV-CDE/MVC-CDE）： 一种新型架构，通过聚合来自多个平滑轨迹的信息，缓解了过度平滑带来的信息损失。它在保持驱动信号平滑的同时，利用可学习的查询恢复高频细节。
达到最先进水平（SOTA）的性能： 在真实世界基准测试上的验证表明，所提方法达到了与近期线性时间状态空间模型（如 Mamba）和离散 RNN 相当的准确率，同时提供了显著的加速。

4. 实验结果

该方法在 UEA Archive 的三个不同类型的序列分类基准测试上进行了评估：CharacterTrajectories（高频笔迹动力学）、SpokenArabicDigits（高维语音特征）和 UWaveGestureLibrary（复杂人体动作）。

准确率： 使用 GP 平滑的 MVC-CDE 一致地达到了 SOTA 准确率，优于标准的线性/三次样条 Neural CDEs、ODE-RNNs 和 GRU-D。其表现与 Mamba 相当。
效率： 所提方法展示了显著的加速效果：
- 比标准 CDE 方法快 4.3× 至 14.5×。
- 在复杂任务上比 ODE-RNN 快达 16×。
- 大幅降低了 NFE（例如，在 UWaveGestureLibrary 上将 NFE 从约 1000 次降低到约 200 次）。
噪声鲁棒性： 在加性白高斯噪声下，标准插值法表现出 NFE 和误差率的剧烈上升。相比之下，基于平滑的方法保持了近乎恒定的 NFE，并表现出显著更慢的准确率下降。
缺失数据： 在具有 30% 随机缺失率的预测任务（ETTm1 数据集）中，MVC-CDE 在 MSE 和训练速度方面均优于标准三次样条 NCDEs 和 GRU 基准模型。
高维可扩展性： 在 963 维的 PEMS-SF 数据集上，MVC-CDE 的速度接近标准线性 CDE 的十分之一，同时实现了更高的准确率（84.09% vs 63.64%）。

5. 意义与主张

本文声称，路径平滑不应仅仅被视为一种预处理启发式方法，而应被视为实现可扩展、高效连续时间序列建模的关键架构组件。

解耦成本与噪声： 主要意义在于将积分的计算成本与输入信号的噪声水平解耦。通过将带宽 $h$ 视为任务感知型超参数，该方法针对下游预测任务专门优化了偏差-方差-NFE 的权衡。
几何与代数效率： 不同于通过签名（signatures）对数据进行总结以解耦步长与采样率的代数方法（如 Log-Neural CDEs），这项工作针对的是输入路径本身的几何不规则性。它提供了一种与代数压缩互补的并行几何替代方案。
实际应用价值： 结果表明，通过使用注意力平滑取代精确插值，可以将 Neural CDEs 转化为处理现实世界、含噪且不规则时间序列的实用工具，在实现 SOTA 准确率的同时，消除了以往框架中令人望而生畏的计算成本。

作者也承认了局限性，包括对自适应求解器的依赖（不适用于固定步长求解器）、对带宽调优的需求，以及如果平滑过于剧烈可能导致高频特征丢失的风险（尽管多视图机制缓解了这一点）。