🤖 machine learning

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations

本文建立了一个通用的可区分性框架，以刻画浮点神经网络在真实执行语义下的通用可表示性，证明激活函数实现中的任意归约顺序和有界单位最后一位误差并不妨碍对一大类实用激活函数的精确函数表示。

原作者： Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将神经网络想象成一座巨大而复杂的工厂，旨在将原材料（数据）分拣并转化为成品（答案）。几十年来，这些工厂的蓝图由数学家绘制，他们假设工厂拥有完美的工具。他们假设，如果你将两个数字相加，结果总是完全正确的，并且工厂的“激活开关”（决定信号传递多少的部分）能以绝对、精确的数学方式运作。

然而，现实世界的计算机并不使用完美的工具。它们使用浮点运算，这就像一家使用略微磨损的尺子的工厂。当你相加数字时，相加的顺序可能会改变结果（因为尺子并不完美），“激活开关”可能并未设置在精确的理论位置上——它们可能偏离了头发丝宽度的极小一部分。

这篇论文提出了一个关键问题：如果我们用这些不完美的、现实世界的工具来构建神经网络工厂，它是否仍然能够完成我们需要它做的一切？ 具体来说，它是否仍然能够学习表示任何可能的模式或函数，还是说这种不完美会打破这种魔力？

以下是他们发现的分解，使用了简单的类比：

1. “运算顺序”问题

在完美的世界里，数字相加就像堆叠积木：无论你先在 B 上堆 A 再堆 C，还是先在 C 上堆 B 再堆 A，塔都是一样的。
在现实世界（浮点数）中，顺序很重要。这就像试图在一个略有渗漏的桶里混合颜料。如果你先倒红色颜料，再倒蓝色，得到的色调会与先倒蓝色再倒红色略有不同。

论文发现： 作者证明，即使工厂使用任何随机顺序来混合这些颜料（相加数字），只要“激活开关”足够好，网络仍然可以学习任何东西。你不需要固定、完美的顺序来完成任务。

2. “可区分性”测试

为了理解工厂如何分拣物品，想象你有两个外观非常相似的苹果（输入 A 和输入 B）。

问题： 如果工厂的第一台机器（第一层）将两个苹果都压成完全相同的形状，工厂的其余部分将永远无法知道它们原本是不同的。它将永远把它们当作同一个苹果处理。
论文解决方案： 作者引入了一条称为**“可区分性”*的规则。他们证明，为了使网络成为“通用”学习者（能够做任何事），其第一层必须能够区分每一对*不同的输入。如果第一层无法区分两个不同的输入，整个网络就会失败。
好消息： 他们表明，大多数常见的激活函数（如 ReLU、Sigmoid、Tanh、Swish 等）即使在不完美的数学运算下，也能够区分输入。

3. “不完美开关”问题

理论上，开关可能在输入达到 0.5 时正好开启。实际上，由于制造限制，开关可能在 0.5000001 或 0.4999999 时开启。

论文发现： 先前的理论认为，“如果开关不完美，网络可能会崩溃。”这篇论文说：“不一定。”
他们证明，只要“不完美”（误差）很小且有界（例如仅偏离几个微小单位，或称为"ulps"），网络仍然可以区分输入并学习任何东西。
结果： 他们确认，现实生活中广泛使用的激活函数——如Sigmoid、Tanh、ReLU、GELU、Swish，甚至 Sin——都足够稳健，即使其计算机代码实现并非数学上完美，也能完美工作。

4. “余弦”反例

作者还发现了一个工厂确实会崩溃的具体情况。他们表明，如果你使用余弦激活函数（像波浪一样上下波动），网络可能无法区分某些输入，因为波浪会重复自身。这就像一家工厂，其中两个不同颜色的球被涂成了完全相同的蓝色，因为油漆机循环颜色的速度太快。

这解释了为什么某些理论函数在数学课上有效，但在实际的计算机代码中却会失败。

总结：核心要点

这篇论文本质上说的是：“不要担心计算机数学中的微小误差。”

尽管现实世界的计算机存在：

不完美的尺子（舍入误差），
改变结果的混合顺序（非结合性加法），
未完美校准的开关（不精确的激活实现），

……但使用这些工具构建的神经网络仍然强大到足以表示你抛给它们的任何函数，只要你使用标准的激活函数（如 ReLU 或 Sigmoid）。神经网络的“魔力”在从完美的数学理论过渡到混乱的现实世界工程时依然幸存。

技术摘要：具有任意归约顺序和不精确激活实现的浮点神经网络的表达能力

1. 问题陈述

现有的神经网络表达能力理论框架主要依赖于精确实数算术。然而，实际的神经网络运行在有限精度浮点算术之下，其特征包括：

有限可表示性：参数和激活值属于机器数的离散集合。
舍入误差：算术运算会产生舍入误差。
非结合性：浮点加法不具备结合性，这意味着仿射变换的输出取决于归约顺序（即各项求和的顺序）。
不精确实现：激活函数（如 exp、tanh、sin）的实际实现通常为了优化计算成本，其值与正确舍入值存在数个最低有效位（ulp）的偏差。

先前关于浮点表达能力的研究工作受限于理想化假设，例如：

将分析限制在分段线性激活函数（如 ReLU、Step）。
假设固定的从左到右归约顺序。
假设正确舍入的激活函数实现。

这些假设未能捕捉现代大规模并行环境（如 GPU）中网络的行为，在这些环境中归约顺序是变化的，且广泛使用的平滑激活函数（如 Sigmoid、GELU、Swish）是以有界近似误差实现的。因此，在这些现实条件下，浮点神经网络是否仍保留其通用表示能力，目前尚不清楚。

2. 方法论

作者引入了一个通用框架，用于分析浮点神经网络的通用表示能力。如果网络能够精确表示预定浮点域之间的每一个函数，则被视为“通用表示器”。

关键定义与框架

浮点神经网络 ( $N(I,S)$ )：在任意归约顺序 $S$ 下定义。第 $\ell$ 层的仿射变换计算 $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$ ，其中 $\Sigma$ 表示根据顺序 $o$ 进行的归约求和， $\otimes$ 和 $\oplus$ 分别为浮点乘法和加法。
可区分性：引入的核心概念是 $\sigma$ -可区分性。如果对于任意不同的 $x, x' \in X$ $x, x^{'} \in X$ ，存在一个浮点仿射变换 $\phi$ $ϕ$ 使得 $\sigma(\phi(x)) \neq \sigma(\phi(x'))$ $σ (ϕ (x)) \neq = σ (ϕ (x^{'}))$ ，则域 $X$ $X$ 在 $S$ $S$ 下是 $\sigma$ $σ$ -可区分的。
- 必要性：论文证明，如果一个域不是 $\sigma$ -可区分的，则网络无法表示该域上的所有函数（引理 2）。
- 充分性：在激活函数满足 mild 条件（条件 1）的情况下， $\sigma$ -可区分性被证明足以实现通用表示能力（定理 5）。

技术方法

分离点：作者定义了“分离点”（ $\eta$ ），即激活函数输出相对于浮点网格发生不连续变化的点（即 $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$ ）。他们确立了在正确舍入和不精确实现下这些点存在的条件。
可传递性：一系列技术引理（第五节）表明，在条件 1 下，特定的浮点数对可以通过从左到右的加法和激活函数被“传递”到目标值。这使得构建能够隔离特定输入的网络成为可能。
处理不精确性：对于具有有界 ulp 误差的实现，作者推导了条件（条件 2），确保只要精度 $p$ 足够高（例如 $p \geq 7$ ），近似误差就不会导致必要的分离点消失。

3. 主要贡献

A. 通用可区分性框架

论文建立了一个基于可区分性的通用表示能力的充要条件。

必要条件：如果网络无法在第一层通过仿射变换后接激活函数来区分每一对不同的输入，则它无法表示所有函数。该框架将之前的反例（例如正确舍入的余弦函数）推广到更广泛的函数类。
充分条件：如果激活函数满足条件 1（存在特定的输出值 $C_0, C_1, C_2$ ）且域是 $\sigma$ -可区分的，则一个四层网络可以表示该域上的任何函数。至关重要的是，这对任意归约顺序均成立，证明了通用表示能力并非特定求和序列的产物。

B. 扩展到实际激活函数

该理论超越了分段线性函数，扩展到一大类平滑的实际激活函数：

正确舍入：论文证明了Sigmoid、tanh、ReLU、ELU、SeLU、GELU、Swish、Mish 和 sin的正确舍入版本具有通用表示能力。
不精确实现：作者提供了可验证的条件，表明具有有界 ulp 误差（高达 $K=10$ ulps）的实现仍然是通用表示器。这涵盖了 exp 和 sin 等函数被近似实现的实用库。

C. 负面结果与反例

该框架识别出在某些条件下无法成为通用表示器的特定激活函数。

推论 4：使用正确舍入的余弦、 $\sqrt{1+x^2}$ 、双曲余弦或 $e^{-x^2}$ 的网络无法在特定域（例如 $[-2^{p+3}, 2^{p+3}]_F$ ）上表示所有函数，因为它们未能满足可区分性条件。这推广了已知的余弦激活函数反例。

4. 结果

论文确立了以下主要定理：

定理 5：如果 $\sigma$ 满足条件 1 且 $X$ 是 $\sigma$ -可区分的，其范围为 $[-2^{e_{max}}, 2^{e_{max}}]_F$ ，则任何函数 $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ 均可由任意归约顺序 $S$ 下的四层 $\sigma$ 网络表示。
推论 9 和 12：对于正确舍入的Sigmoid、tanh、ReLU、ELU、SeLU、GELU、Swish、Mish 和 sin，通用表示能力在大型域（例如 $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$ ）上成立。值得注意的是，即使是恒等激活函数也被证明在浮点算术中是通用表示器（这与实数算术不同），这是由于浮点运算的非仿射性质。
推论 13 和 16：对于以有界 ulp 误差实现的Sigmoid、tanh、ReLU、ELU、SeLU、GELU、Swish、Mish 和 sin（满足条件 2），只要精度 $p \geq 7$ ，通用表示能力即成立。

5. 意义与主张

论文声称极大地推广了对浮点神经网络理论理解：

现实性：它超越了理想化假设（固定归约顺序、正确舍入），转向反映实际硬件执行（任意顺序、有界 ulp 误差）的模型。
广泛适用性：它为使用平滑、非分段线性激活函数（如 GELU 和 Swish）的网络在现实浮点语义下的表达能力提供了首个理论保证。
根本洞察：它表明浮点算术中的“通用近似”现象对加法的非结合性和实现的不准确性具有鲁棒性，前提是激活函数保持足够的“分离”特性。
局限性：结果在低精度格式（如 float8）方面较为有限，因为可表示值的数量太少，导致推导出的条件无法成立，除非使用特定的查找表实现。论文还指出，证明依赖于特定分离点的存在，这可能在某些函数（如余弦）或极低精度下失效。

作者强调，这些结果源于一个新的框架，该框架不依赖于分段线性、固定求和顺序或精确的激活行为，从而为理解实际有限精度设置中的神经网络提供了更坚实的基础。