🔢 mathematics

The Entropy of Floating-Point Numbers

本文提出了浮点数熵的解析近似，通过一种新量建立了其与离散熵的联系，证明了该熵在缩放下的近似不变性，并为常见分布提供了闭式表达式。

原作者： Sultan Daniels, Samuel H. D'Ambrosia, Michael R. DeWeese, Anant Sahai

发布于 2026-05-13

📖 1 分钟阅读🧠 深度阅读

原作者： Sultan Daniels, Samuel H. D'Ambrosia, Michael R. DeWeese, Anant Sahai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《浮点数的熵》的解释。

宏观视角：衡量计算机数字的“惊喜”

想象你试图用一组离散的踏脚石来描述一个连续的景观，比如一座平滑的山丘。在计算机世界中，这些踏脚石就是浮点数。它们是计算机使用有限数量的位（0 和 1）来存储现实世界数值（如 3.14159 或 0.00001）的方式。

这篇论文的作者提出了一个根本性问题：如果我们取一个随机变量（比如波浪的高度或房间的温度）并将其强制映射到这些踏脚石上，结果中还剩下多少“信息”或“惊喜”？

在信息论中，这种“惊喜”被称为熵。熵越高，数字越不可预测；熵越低，数字越可预测。

问题所在：刻度可移动的尺子

要理解这篇论文的贡献，你必须了解浮点数是如何工作的。

均匀量化（普通尺子）： 想象一把标准尺子，其刻度始终精确地相距 1 厘米。如果你测量一段长距离，刻度在任何地方的大小都是一样的。这很容易分析。
浮点量化（可缩放尺子）： 浮点数则不同。它们像一把可以缩放进出的尺子。
- 在零附近，刻度非常微小且紧密排列（高精度）。
- 在远离零的地方，刻度变得巨大且彼此相距甚远（低精度）。

因为“尺子刻度”的大小会根据你所在的位置而变化，所以计算熵（惊喜度）非常困难。你不能直接使用适用于固定尺子的标准公式。

解决方案：一个新的“魔法公式”

作者开发了一种预测性解析近似法。你可以将其想象为一个“魔法公式”，它允许你在无需进行数百万次复杂计算的情况下，估算浮点数的熵。

他们发现，浮点数的熵大致等于：

原始数据的“平滑度”减去一个基于浮点尺子如何拉伸的修正因子。

他们将这个新量称为**“微分浮点熵”**。

关键发现：缩放无关性

论文中最有趣的发现之一是关于缩放的。

如果你取一个随机变量（比如温度）并将其乘以 2（使其热度加倍），微分熵（针对平滑数据的标准度量）会发生变化。它会变大。
然而，作者证明，对于浮点数而言，只要不触及计算机的“溢出”（太大）或“下溢”（太小）限制，当你将数据放大或缩小时，熵保持大致不变。

类比： 想象你有一张城市地图。

如果你缩小视图（放大比例），标准地图会显示城市看起来更大、更复杂。
但浮点地图就像一张“智能地图”，当你缩放时，它会自动调整其网格线。因为网格线会随缩放级别拉伸和收缩，所以你在地图上看到的“细节”（熵）量保持不变。

他们实际计算了什么

该论文为常见的数据类型分布提供了一份公式“菜单”（论文中的表 I）。他们计算了以下类型的近似熵：

高斯分布（钟形曲线）： 标准的“正态”分布。
均匀分布： 数据在某个范围内任何位置出现的可能性均等。
伽马分布、卡方分布、拉普拉斯分布、逻辑分布、威布尔分布、对数正态分布、帕累托分布、贝塔分布和 t 分布： 各种其他形状的数据分布。

对于每一种分布，他们都给出了一个涉及浮点数精度（ $p$ ，即用于小数部分的位数）的简单方程。

结果： 对于几乎所有这些分布，熵大约为：
$\text{精度} + \text{一个常数}$
这意味着，如果你知道计算机用于小数部分的位数，你就可以以惊人的准确度预测数据的熵，而不管数据分布的具体形状如何（只要它适合计算机的范围）。

近似效果如何？

作者并非凭空猜测；他们证明了他们的“魔法公式”与真实答案的接近程度。

平滑化： 他们用一条平滑曲线替换了浮点数锯齿状、阶梯式的特性，以使数学计算更简单。他们证明了由此平滑化产生的误差非常小（每维度小于 0.5 位）。
界限： 他们计算了误差的“最坏情况”。他们表明，只要数据不试图表示计算机无法处理的过大或过小的数字，他们的公式与精确答案之间的差异就微乎其微。

主要“要点”总结

浮点数是一种非均匀尺子： 它在零附近有微小的步长，而在远处有巨大的步长。
新的联系： 该论文利用一个新公式，将现实世界数据的“平滑”熵与浮点数的“离散”熵联系起来。
缩放不变性： 与标准数学不同，浮点数的熵不会因为你仅仅将数据乘以一个常数（即缩放它）而改变。计算机的“尺子”会自动调整。
简单公式： 现在，你只需知道浮点格式的精度，就可以计算许多常见数据类型（如钟形曲线或均匀分布）的熵。

简而言之，这篇论文为我们提供了一种简单、准确的方法来衡量浮点数中存储了多少“信息”，揭示了计算机这种缩放进出的方式创造了一种独特且稳定的熵类型，这种熵不关心数字的大小，只关心它们的相对精度。

技术摘要：浮点数的熵

问题陈述

浮点数是现代计算中连续变量的标准离散表示形式，尤其在深度学习算法和硬件中。尽管微分熵与均匀量化随机变量的离散熵之间的关系已确立（特别是在高分辨率极限下），但对于非均匀量化（如浮点表示）尚缺乏类似的解析框架。

本文探讨了一个根本性问题：将随机变量量化到浮点格式后的输出熵是多少？ 现有方法依赖于对精确离散熵的数值评估，计算成本高昂。作者旨在推导该熵的预测性解析近似，并给出近似误差的严格界限。

方法论

作者开发了一个多步解析框架，用于近似浮点量化随机变量 $X_{fp}$ 的离散熵 $H(X_{fp})$ ：

精确关系推导：扩展 Kostina [9] 关于均匀量化的工作，作者推导出了一个精确恒等式，将非均匀量化的离散熵与底层连续变量 $X$ 的微分熵 $h(X)$ 联系起来。该恒等式包含一个修正项，涉及真实密度 $f_X$ 与分段常数近似 $g$ 之间的 Kullback-Leibler (KL) 散度：
$H(X_{fp}) = h(X) - E[\log \Delta(X)] + D(f_X || g)$
其中 $\Delta(X)$ 表示浮点量化器的可变区间大小。
近似策略：
- 忽略 KL 散度：作者提出将非负的 KL 散度项 $D(f_X || g)$ 忽略，作为一阶近似。他们分析了该项较小的条件，表明这取决于密度相对于区间大小的“尖锐程度”。
- 平滑区间大小：精确的浮点区间大小函数 $\Delta(x)$ 是一个阶跃函数。作者引入了平滑近似 $\Delta_s(x) \approx \frac{|x|}{\sqrt{2}} 2^{1-p}$ ，使得能够进行闭式积分。这将区间大小函数的定义域从“粒度区域”（即存在可表示值的区域）扩展到了整个实数线 $\mathbb{R}$ 。
误差分析：
- 平滑误差：作者证明，由平滑区间大小和扩展定义域引入的误差被 $d/2$ （其中 $d$ 为维度）加上一个项 $\epsilon$ 所界定，该项代表上溢和下溢区域中的概率质量。
- 尺度不变性：一个关键的理论步骤是证明近似熵在底层随机变量缩放时保持不变（即 $H((aX)_{fp}) \approx H(X_{fp})$ ），前提是上溢和下溢的概率可忽略不计。这与随 $\log|a|$ 变化的微分熵形成对比。

主要贡献

1. 解析近似公式

本文提供了具有精度 $p$ 的随机变量 $X$ 的浮点熵的闭式近似：
$\tilde{H}_s(X_{fp}) = p - \frac{1}{2} - E[\log(|X| f_X(X))]$
该公式有效地将熵分离为依赖于精度的常数项（ $p - 1/2$ ）和依赖于分布的项，后者被称为“微分浮点熵”。

2. 常见分布的闭式表达式

利用推导出的近似，作者为多种常见分布（如高斯分布、均匀分布、伽马分布、拉普拉斯分布、对数正态分布、帕累托分布、贝塔分布、学生 t 分布）的熵提供了显式闭式表达式。值得注意的是，对于单变量分布，尺度参数在近似中相互抵消，证实了尺度不变性。

3. 严格误差界限

本文建立了近似误差的界限：
$|H(X_{fp}) - \tilde{H}_s(X_{fp})| \leq \frac{1}{2} + \epsilon + D(f_X || g)$
其中 $\epsilon$ 解释了上溢/下溢的贡献， $D(f_X || g)$ 解释了密度在区间内对均匀性的偏离。作者证明，对于平滑分布和足够大的指数范围，误差极小。

4. 尺度不变性性质

作者证明，与微分熵不同，近似浮点熵对标量随机变量具有尺度不变性。这意味着，只要数值在可表示范围内，浮点表示的熵主要取决于分布的形状和精度 $p$ ，而非数值的大小。

结果

准确性：解析近似值与各种分布（高斯、均匀等）在不同尺度参数范围内的数值评估精确离散熵高度吻合。在由指数位定义的下溢和上溢边界内，一致性表现良好。
精度与指数位：结果表明，只要指数位数量（ $E$ ）足以保持上溢和下溢的概率较低，即使精度（ $p$ ）较低，近似值依然准确。
尺度不变性验证：经验图表证实，量化高斯变量的熵在标准差 $\sigma$ 变化时保持恒定，直到 $\sigma$ 接近浮点指数范围的极限。

意义与主张

本文声称揭示了一个“不同的量”（微分浮点熵），它在浮点量化的背景下将微分熵与离散熵联系起来，这与均匀量化的情况不同。

这项工作的意义在于提供了一种预测性解析工具，用于估算浮点表示的熵，而无需诉诸昂贵的数值积分。这与以下领域尤为相关：

可变率量化器设计：理解浮点格式的熵 - 失真权衡。
深度学习：分析以浮点格式（如 FP8、BF16）表示的神经网络权重和激活的信息内容及压缩极限。
硬件设计：为新型浮点格式中精度、动态范围与内存使用之间的权衡提供理论依据。

作者保持了谦逊的语气，强调其结果是带有已证明界限的近似值，在假设上溢和下溢概率较低且分布相对于量化区间足够平滑的前提下有效。他们并未提出新的硬件或具体的算法变更，而是提供了分析现有浮点表示的理论基础。