🤖 machine learning

Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions

本文介绍了 HyenaND，这是一种亚二次方、依赖输入的算子，它直接对原生多维数据结构应用全局卷积，以克服标准注意力机制和循环模型的局限性，并通过专门的 CUDA 实现实现了具有竞争力的准确度和显著的速度提升。

原作者： David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Pali

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Paliwal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人理解这个世界。目前，最优秀的机器人使用一种叫做“注意力”（attention）的工具来同时观察所有事物，就像一名学生扫描整页文本以寻找最重要的词汇一样。这对于短篇故事非常有效，但如果你给机器人一整个图书馆、一部 3D 电影或一张复杂的天气图，这个“注意力”工具就会不堪重负。它必须将每一块数据与其它每一块数据进行比较，这所消耗的时间和能量巨大，以至于机器人会崩溃，或者不得不通过一个微小的钥匙孔（这个过程被称为“分块化”，patchification）来勉强观察数据以求生存。

为了解决这个问题，科学家们一直试图构建更快的工具。一个流行的想法是使用“循环”（recurrent）模型，它们像阅读文本行一样，一个词接一个词地读取数据。但这就像是通过单一角度观察一个 3D 雕塑，然后去猜测其余部分；这破坏了物体的自然形状。另一个想法是使用“卷积”（convolutions），它们就像是在图像上滑动放大镜以发现模式。这些方法速度很快且能保持 3D 形状完整，但它们通常表现得像一个僵硬的印章，在图像的每个部分都应用完全相同的模式，而不去关注实际存在的内容。计算机科学领域的关键问题在于：我们能否构建一种工具，它既足够快以处理大规模 3D 数据，又能保持数据的自然形状，并且足够聪明，能根据它所看到的内容来改变其“放大镜”？

本文介绍了一种名为 HyenaND 的新工具，它给出了肯定的回答：“是的”。可以将 HyenaND 想象成一个神奇的、形状可变的放大镜，它可以滑过一个 3D 物体（如医学扫描或天气模拟），而永远不会将其压扁成一条 1D 线条。与过去那些僵硬的印章不同，这个工具可以先观察整个物体，决定它需要寻找什么样的模式，然后瞬间调整其镜头以与之匹配。它利用了一个涉及“傅里叶变换”（Fourier transforms，一种将图像转化为声波以进行更快处理的方法）的巧妙数学技巧，这使得它的速度极快，随着数据规模的增大，其成本仅略微增长，而不是爆炸式增长。

作者发现，HyenaND 是处理复杂多维数据的游戏规则改变者。在测试中，他们展示了 HyenaND 如何处理那些会让标准“注意力”工具因内存限制而崩溃的任务，例如分析 3D 医学图像或模拟流体动力学。当他们在一种“复制”游戏中测试时（机器人需要在 3D 网格中记住特定的颜色），HyenaND 的准确度比旧方法高出数千倍。他们还开发了一个名为 nSubQ 的特殊软件引擎，以确保这种数学技巧能在真实的计算机芯片上以闪电般的速度运行，将理论上的速度转化为实际的时间节省。

论文指出，虽然 HyenaND 本身已经非常强大，但当它与旧有的“注意力”工具组成混合团队时，效果会更好。在针对 DNA 序列、计算机视觉（ImageNet）和医学成像的实验中，这些混合团队击败了纯粹的注意力模型以及其他尝试按线性读取数据的快速模型。作者认为，我们不再需要在速度和智能之间做出选择；我们可以拥有一个既尊重数据 3D 几何结构、又能扩展到海量规模，同时仍能关注细节的工具。他们总结道，这种方法消除了一个主要的瓶颈，让未来的 AI 终于能够以其原生的高分辨率 3D 姿态来“看见”世界，而不必通过一个微小的钥匙孔来眯眼观察。

技术摘要：HyenaND 与 nSubQ

问题陈述
深度学习模型正日益处理大规模、多维（ND）数据，例如高分辨率图像、3D 医学体积和物理场。标准的 Transformer 架构虽然原生支持多维，但其计算复杂度相对于序列长度呈二次方增长（ $O(L^2)$ ），这阻碍了其在处理高分辨率或长上下文任务中的应用。常见的折中方案是“分块化”（patchification），即通过牺牲性能来换取可处理性；然而，为了恢复细粒度结构而缩小分块尺寸会增加 Token 数量，从而重新引入二次方瓶颈。

现有的亚二次方（subquadratic）替代方案在应用于 ND 数据时面临显著局限：

循环模型（例如 Mamba）： 这些模型本质上是 1D 且具有因果性的。为了处理 ND 数据，它们需要将输入“光栅化”为特定的 1D 扫描顺序，这破坏了数据的空间结构和几何归纳偏置。此外，它们的输入依赖性通常是 Token 级别的，对于近似线性时不变（LTI）且全量可用（非自回归设置）的信号来说，这种方式并非最优。
标准卷积： 虽然它们保留了 ND 结构并提供了快速的基于 FFT 的路径，但传统的长卷积缺乏输入依赖性，限制了其相对于注意力机制的表达能力。

方法论：HyenaND
作者引入了 HyenaND，一种亚二次方的、全局的、输入依赖型算子，旨在直接作用于多维数据的原生几何结构，而无需进行光栅化。

架构重构： 论文将“状态空间模型”（SSM）的图景解构为两个截然不同的分支：
- 广义循环（Generalized Recurrent）： 适用于 1D 非 LTI 数据（如文本）。
- 广义卷积（Generalized Convolutional）： 适用于近似 LTI 的多维数据。HyenaND 属于这一分支。
原生 ND 卷积： HyenaND 直接在 $N$ 维网格（ $L_1 \times \dots \times L_N$ ）上执行卷积。它利用通过 $N$ 维快速傅里叶变换（FFT）评估的全局隐式参数化核 $K$ ，实现了 $O(L \log L)$ 的复杂度。
通过寄存器与 FiLM 实现输入依赖型核： 为了克服标准卷积缺乏输入依赖性的问题，HyeneND 根据整个输入样本而非单个 Token 来调节核。
- 寄存器（Registers）： 在输入网格前添加 $R$ 个可学习的寄存器 Token。这些 Token 被共同处理以整合全局信息。
- FiLM 调节： 通过 Softmax 加权平均从寄存器激活中导出控制变量 $z(x)$ 。该变量通过特征线性调制（FiLM）来调节基于坐标的 SIREN（正弦表示网络）MLP $f_\theta$ 。
- 核合成： 最终的核为 $K(x) = w(c) \odot f_\theta(c; z(x))$ ，其中 $w$ 是一个可学习的高斯窗口。这使得核能够适应特定的输入实例，同时保持单一的全局 FFT 路径。
核参数化： 核定义在连续的坐标网格上，利用 SIREN 实现分辨率无关性。作者引入了“块对角多频初始化”来处理 SIREN 的频率缩放因子 $\omega_0$ ，以确保核能够解析不同通道中的低频和高频内容。
边界处理： 实现过程支持循环卷积（用于周期性物理系统）和非循环卷积（用于自然图像/体积），通过将输入进行零填充以使网格大小翻倍，从而避免人工边界泄漏。

实现：nSubQ
为了弥合渐近复杂度与实际运行时间性能之间的差距，作者开发了 nSubQ，一个感知 I/O 的 CUDA 库。

融合算子（Fused Kernels）： nSubQ 将前向 FFT、频谱调制（应用输入依赖型核）、逆 FFT 以及输出分割融合进单个 CUDA 核中。
内存效率： 通过将中间表示保留在片上共享内存中，最大限度地减少了高带宽内存（HBM）的流量。
性能： 这种融合将理论上的 $O(L \log L)$ 优势转化为实际的加速，特别是在注意力机制容易受到内存带宽瓶颈影响的长序列任务中。

核心贡献

概念重构： 明确区分了亚二次方算子的循环类（1D）和广义卷积类（ND）家族，并主张后者是多维 LTI 数据的自然原语。
HyenaND 算子： 一种原生的 ND、样本级输入依赖、亚二次方算子，它保留了 LTI 归纳偏置并避免了光栅化。
nSubQ 库： 一个高性能的 CUDA 实现，实现了 ND FFT 卷积的实际运行时间加速。
实证验证： 在 1D（基因组学）、2D（ImageNet）、3D（医学成像）和 PDE 建模方面的全面评估。

结果

受控空间召回（Controlled Spatial-Recall）： 由于具备平移等变先验，HyenaND 在 3D “简单复制”任务上显著优于注意力机制和双向 Mamba（MSE 低 3–4 个数量级）。它保持了原生的 3D 分辨率，而注意力机制要么因显存溢出（OOM）失败，要么需要进行激进的分块化。
长上下文基因组学 (1D)： 在 OpenGenome2 上，混合 HyenaND-Attention 模型（特别是包含 2 层 MHA 的 H2）实现了最低的困惑度（Perplexity），优于全 Transformer 和纯 Hyena 配置。HyenaND 展示了高达 10M token 上下文的稳定吞吐量扩展。
计算机视觉 (ImageNet-1K)： 纯 HyenaND（ViT-5-Small 骨干网络）达到了 81.5% 的 Top-1 准确率，与注意力基准持平。混合配置（例如 $(H A) \times 6$ ）优于纯注意力及基于循环的 Mamba 混合模型，在 FLOPs 大幅降低的情况下（在小分块尺寸下可节省高达 82%）达到了 82.1% 的准确率。
PDE 建模 (The Well)： HyenaND 在所有五个数据集（流体力学、MHD 等）上均取得了最低的方差归一化 RMSE (VRMSE)，优于全分辨率 ConvNeXt U-Net 和注意力基准。其相对于注意力的性能增益随序列长度增加而提升。
3D 医学分割 (PanTS)： 混合 HyenaND-Attention 模型达到了最高的 Mean Dice 分数（0.7559），超过了纯注意力及纯 Hyena 变体。HyenaND 变体也比注意力基准减少了约 10.8% 的峰值 GPU 内存分配。

意义与主张
论文声称 HyenaND 和 nSubQ 解决了迫使基础模型依赖分块化的根本约束，而分块化会侵蚀细粒度的结构信息。通过提供一种原生的 ND、输入依赖型、亚二次方算子，作者使模型能够以其内在几何形状和原生分辨率摄取数据。

作者将 HyenaND 定位为一种互补的专家，而非通用的注意力替代品。纯 HyenaND 堆叠可以匹配强大的注意力基准，而混合配置（交替使用 HyenaND 和注意力）一致地优于纯注意力及基于循环的混合模型。这表明，卷积分支（针对全局 LTI 结构）和注意力分支（针对细粒度选择性）最好结合使用，以构建多模态基础模型。这项工作发布了 HyenaND 架构和 nSubQ 库，以促进这种架构设计的转变。

技术摘要：HyenaND 与 nSubQ

类似论文