🤖 AI

EUGens: Efficient, Unified, and General Dense Layers

本文介绍了 EUGens，一类新型高效、统一且通用的稠密层，该类方法利用随机特征和输入范数来近似全连接层，从而实现线性推理复杂度并减少参数量，同时能够对多项式激活函数进行无偏近似，并实现对预训练模型的快速适配，从而在各种任务中显著提升推理速度和内存效率。

原作者： Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营一家规模宏大、高端的餐厅（即一个神经网络），每天为数百万名顾客服务。你运营中最昂贵且最耗时的部分并不是烹饪本身，而是菜单规划。

在现代人工智能中，这种“菜单规划”是由**全连接前馈层（FFLs）**完成的。这些层负责接收海量信息，并将其与大量的规则（权重）相乘，从而产生结果。问题在于，随着餐厅规模的扩大，菜单规划变得异常缓慢，并且需要巨大的存储空间。这就像是试图为每一位顾客都编写一本独特的、长达 10,000 页的食谱。

本论文介绍了一种新的厨房工具——EUGens（高效、统一且通用的稠密层），旨在解决这一问题。以下是其工作原理的简单类比：

1. “魔法过滤器” vs. “沉重的计算器”

旧方法（标准 FFLs）：
想象你有一个巨大的计算器。为了得到答案，对于每一位顾客，你都必须按下键盘上的每一个按钮。如果你有 1,000 名顾客，你就得按 1,000 次按钮。这就是二次复杂度——它会变得非常慢。

新方法（EUGens）：
EUGens 就像是一个魔法过滤器。它不再需要按下每一个按钮，而是通过接收顾客的订单（输入）和厨师的规则（权重），将它们转化为一份更短、更简单的食材清单。

诀窍： 它使用了被称为**随机特征（Random Features）**的技术。你可以把它想象成一种特殊的、预制好的香料混合物。与其为每道菜从头开始测量每一种香料，厨ers直接使用这种混合物来模拟出味道。
结果： 计算过程从“按下每一个按钮”变成了“搅拌几个碗”。这把一个缓慢的二次过程转变为快速的线性过程。如果你有 1,000 名顾客，你只需完成一小部分的工作。

2. “变形金刚”（统一不同的方法）

在此之前，科学家们拥有各种让 AI 变快的“黑科技”，但它们就像是针对不同工作的不同工具：有的工具用于数学问题，有的用于图片，有的用于文本。

EUGens 就像是一把瑞士军刀。它们是“统一的”。无论你是教机器人看东西（计算机视觉）、教电脑说话（语言模型），还是教系统构建 3D 世界（NeRFs），EUGens 都能用同一个高效的工具来取代沉重的菜单规划。

3. “魔镜”（无偏近似）

简化过程最大的担忧之一就是失去准确性。如果使用捷径，食物的味道会变吗？

论文声称 EUGens 是无偏的（unbiased）。想象一面魔镜，它反射出一幅复杂的高清图像。即使这面镜子是由简单的低分辨率瓷砖组成的，它的反射也极其准确，以至于你无法分辨其中的差异。
作者在数学上证明了，EUGens 可以模仿原始沉重层的复杂“风味”（激活函数，如 ReLU 或 GELU），而无需从头开始重新训练整个系统。

4. “即时升级”（知识蒸馏）

通常，如果你想升级餐厅的厨房，你必须关闭餐厅，解雇所有员工，并从第一天起重新培训所有人。这需要耗费数月时间。

论文引入了一种蒸馏技术，它就像是一种“复制-粘贴”式的升级。你可以拿取一个现有的、预训练好的 AI 模型（一家已经训练好的餐厅），然后瞬间将沉重的菜单规划器替换为 EUGens。
由于 EUGens 背后的数学原理，你不需要重新训练整个系统。你只需使用一个简单的公式计算出新的设置（无需反复试错）。这使得你可以立即加速现有的模型。

他们究竟取得了什么成就？

论文在三个特定领域测试了这种“魔法过滤器”：

语言模型（LLMs）： 他们在类似 GPT-2 的模型中替换了沉重层。结果：模型的思考速度提升了 27%，内存占用减少了 30%，同时依然能写出优秀的文本。
图像分类（视觉）： 他们在识别照片中物体的模型（如 ImageNet）上进行了测试。结果：模型保持了同样的准确度，但运行速度更快。
3D 场景重建（NeRFs）： 他们利用它从 2D 照片构建 3D 世界。结果：渲染这些 3D 世界的速度提升了 24% 到 27%，使得创建实时逼真的场景成为可能。

总结

可以将 EUGens 想象成一种方法，用一个轻量化、高科技的引擎替换赛车中沉重、缓慢的定制引擎，这个新引擎不仅跑得一样快，而且消耗的燃料却只有原来的一半。它并没有改变目的地（AI 学习的内容保持不变）；它只是让你能更快、更轻松地到达目的地。

技术摘要：EUGens：高效、统一且通用的稠密层

问题陈述

现代机器学习架构，特别是 Transformer（用于大语言模型和视觉 Transformer）以及隐式神经表示（INR，如 NeRF），高度依赖于全连接前馈层（FFL）。虽然 FFL 对模型的表达能力至关重要，但它们引入了显著的计算和参数瓶颈。其标准实现方式在时间与空间复杂度上相对于隐藏层大小呈二次方缩放，阻碍了大规模模型在实时和资源受限环境中的部署。现有的解决方案，如降维（Johnson-Lindenstrauss 变换）、剪枝、量化或特定的核方法，往往缺乏通用性，或仅限于特定的激活函数，或者无法为任意多项式激活函数提供无偏近似。

方法论：EUGens

作者提出了 EUGens（高效、统一且通用的稠密层），这是一种能够泛化标准 FFL 的新型稠密层。EUGens 利用**随机特征（Random Features, RF）**来近似 FFL 计算，同时引入了对输入范数的直接依赖。

核心机制

与标准 FFL 中输出为 $f(Wx)$ 不同，EUGens 将权重矩阵 $W$ 与输入向量 $x$ 解耦。它们通过非线性映射 $f$ 和 $g$ 将两者转化为低维表示，使得层输出可以通过点积进行计算：
$\text{EUGen}(W, x) = g(W)^\top f(x)$

这些变换涉及：

输入/权重增强： 将输入 $x$ 与 $1 $以及$ |x|^2$ 进行拼接（权重亦然）。
随机投影： 对这些增强后的向量应用一系列随机矩阵 $G^i_j$ 。
非线性映射： 对这些投影的哈达玛积（Hadamard products）应用逐元素函数 $\Psi$ 和 $\Phi$ 。
阶数 $k$ ： 层的“阶数”控制了表达能力，允许近似 $k$ 次多项式激活函数。

理论基础

无偏近似： 论文证明（定理 3.1）了 EUGens 可以为具有任意多项式激活函数的 FFL 提供无偏估计。这是通过从特定的零均值分布中采样投影矩阵的条目来实现的。
向连续函数的泛化： 通过利用 Bernstein 定理，作者扩展了这些结果，表明 EUGens 可以近似具有一般连续激活函数的 FFL（定理 3.4），因为闭区间上的任何连续函数都可以用多项式来近似。
集中不等式（Concentration Bounds）： 理论分析（定理 3.2 和 3.3）提供了集中性结果，证明了估计的方差随随机特征数量 $m$ 的增加而减小，且偏离均值的概率是指数级小的。
复杂度降低： 通过解耦权重与输入，推理复杂度从二次方的 $O(d^2 + dl)$ 降低到线性的 $O(mdk^2 + ml)$ （或在特定优化下为 $O(mdk + ml) $），其中$ m \ll d$。

实践增强

拟蒙特卡洛（Quasi-Monte Carlo, QMC）： 作者引入了结构化随机矩阵（例如高斯正交矩阵）来进一步降低估计的方差。
解析蒸馏（Analytic Distillation）： 提出了一种绕过反向传播的层级知识迁移技术。通过存储预训练层的输入/输出，可以解析地优化 EUGen 参数以模仿原始层，从而实现向预训练模型中的“零样本”集成。

核心贡献

提出 EUGens： 一种新型稠密层类，利用随机特征和输入范数依赖关系，统一了现有的高效扩展并泛化了 FFL。
理论保证： 首个能为任意多项式激活函数提供无偏近似的算法，并附带严格的集中不等式。
经验优越性： 证明了 EUGens 能比低秩（Low-Rank）和 SNNK 等基准方法更准确地近似标准激活函数（ReLU, GeLU, Softplus），且具有更低的均方误差（MSE）。
广泛集成： 成功集成到包括 Transformer（LLM, ViT）和 INR（NeRF, iSDF, Mip-NeRF 360）在内的多种架构中。
蒸馏框架： 一种无需重新训练即可替换预训练模型中 FFL 的方法，在实现加速的同时无需承担完整模型重建的开销。

实验结果

作者在多个任务中评估了 EUGens，报告了显著的推理速度提升和内存效率增益：

语言建模 (GPT-2)： 在 OpenWebText 上进行预训练时，EUGens 在使用显著更少的参数的情况下，实现了与原生 GPT-2 相当的验证损失。将 FFL 替换为 EUGens 可以在性能损失极小的情况下实现大幅度的参数缩减。
图像分类 (ViT)： 在 ImageNet 和 Places365 上，基于 EUGen 的 ViT 在减少近 30% 推理参数（例如替换 6 个层）的同时，达到了原生 ViT 的准确度。
3D 场景重建 (NeRF & iSDF)：
- NeRF： 在几乎不损失重建质量（PSNR）的情况下，实现了 24% 的推理时间减少和 30% 的模型大小缩减。
- Mip-NeRF 360： 实现了 27% 的推理速度提升。
- iSDF： 与标准 MLP-based iSDF 相比，实现了 22.6% 更快的推理速度和 5% 更快的训练速度。
蒸馏： 解析蒸馏方法成功恢复了原始 NeRF 模型的质量，同时将推理速度提升了高达 26%，且完全无需反向传播。

重要性与主张

论文声称，EUGens 代表了向大规模神经网络在现实场景中可扩展部署迈出的重要一步。通过将 FFL 的计算复杂度从二次方降低到线性，并显著降低参数量，EUGens 能够在不牺牲原模型表达能力的前提下，实现更快的推理和更低的内存占用。

作者强调，EUGens 与其他效率技术（如剪枝或稀疏采样）是正交的，并且可以与之结合。此外，能够将 EUGens 蒸馏到预训练模型中而无需重新训练，解决了在现有生产系统中采用高效层的重大障碍。这项工作凸显了高效神经网络对于机器人、计算机视觉和自然语言处理等应用至关重要，在这些领域中，实时性能和资源约束是关键因素。