💻 computer science

Floating-point autotuning with customized precisions

本文介绍了 PROMISE，一种利用容器化并行搜索框架来为数值应用识别最优混合精度浮点配置的自动化精度调优工具，证明了通过在不牺牲准确性的前提下降低精度，可以实现显著的性能和效率提升。

原作者： Xinye Chen, Thibault Hilaire, Fabienne Jézéquel

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinye Chen, Thibault Hilaire, Fabienne Jézéquel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正试图烤出一个完美蛋糕的厨师。多年来，你一直为每一种食材——从面粉到一撮盐——都使用最昂贵、精度最高的量杯（我们称之为“金杯”）。你这样做是因为你担心，如果使用廉价的量杯，蛋糕可能会塌陷。

但如果有一天你意识到，对于面粉，粗略地舀一下就足够了，但对于香草精，你绝对需要用到那个“金杯”呢？如果你对所有东西都使用“金杯”，你就会浪费金钱和时间，尽管做出来的蛋糕味道是一样的。

这正是计算机科学家在处理浮点数（计算机处理小数的方式）时面临的问题。几十年来，计算机一直对几乎所有的计算都使用一种名为**双精度（FP64）**的“金杯”标准。它极其精确，但也很笨重、缓慢且耗能。

这篇论文介绍了一个名为 PROMISE（代表 PRecision OptiMISE，即精度优化）的新型工具。你可以把它想象成一个智能自动化副厨，它会品尝你的蛋糕（运行你的代码），然后准确地告诉你哪些食材需要用“金杯”，哪些可以用廉价的塑料勺。

以下是该论文如何通过简单的概念来解释其新方法的：

1. 问题所在：并非所有尺寸都适用

现代计算机芯片（比如你手机或显卡中的芯片）在处理“较小”数字（如 FP16 甚至自定义的 8 位格式）方面的能力正在提升。这些小数字就像是使用塑料勺：它们速度快，且消耗极少的能量。然而，如果你对所有东西都使用它们，你的结果可能会变成垃圾（蛋糕会烧焦）。

挑战在于找到完美的平衡点：在安全的地方使用“塑料勺”，只在绝对必要的地方使用“金杯”。

2. 旧方法 vs. 新方法

旧方法： 之前的工具只能在几种标准尺寸之间切换（比如在茶匙和汤匙之间切换）。它们无法发明新的尺寸。
新方法（定制化精度）： 作者升级了 PROMISE，使其支持定制尺寸的量杯。想象一下，你可以要求一个正好包含 5 位“整数部分”和 2 位“小数部分”的测量工具。这对于像 FPGA（可重构芯片）这样允许你设计自己数学规则的新硬件来说至关重要。

3. PROMISE 如何工作：“增量调试”游戏

工具如何知道哪些变量（食材）可以缩小尺寸？它使用了一个被称为**增量调试（Delta Debugging）**的聪明游戏。

想象你有一行 100 种食材。你想知道哪些可以用塑料勺来测量。

从高精度开始： 你首先用“金杯”测量所有食材，以获得一个完美的参考蛋糕。
进行猜测： 你尝试将一半的食材换成塑料勺。
品尝测试： 你再次烘焙蛋糕。
- 如果蛋糕味道没变（数学计算仍然足够准确），你就保留这些塑料勺，并尝试更换更多的食材。
- 如果蛋糕毁了，你就知道你换得太多了。回到上一步，尝试更换较少的食材。
得出结果： 工具会迅速缩小范围，找到维持蛋糕品质所需的最小“金杯”数量，同时对其他部分使用塑料勺。

4. “神奇眼镜”（CADNA）

为了在不进行百万次实际烘焙的情况下判断蛋糕是否“毁了”，PROMISE 使用了一个名为 CADNA 的库。你可以把 CADNA 想象成计算机在烹饪时戴着的一副神奇眼镜。这些眼镜不仅能看到数字，还能看到数字中的“不确定性”或“噪声”。它们能分辨出：“嘿，这个计算非常敏感，即使是微小的塑料勺误差也会毁掉结果，”或者“这个计算非常稳健，用塑料勺完全没问题。”

5. “工厂”（基准测试框架）

运行这些品尝测试需要大量时间。为了提高速度，作者建立了一个容器化工厂。

想象你有 100 个不同的食谱（算法）要测试。
与其在一个厨房里一个接一个地测试，不如把每个食谱放在自己的Docker 容器（一个自包含的厨房单元）中。
他们在强大的服务器上同时运行 6 个这样的厨房。
结果： 原本需要 13 小时的工作现在只需 3 小时。这就像是有了一支并行工作的厨师团队，而不是一个厨师在独自苦干。

6. 他们的发现（结果）

团队在各种“食谱”上测试了这一点，包括：

神经网络（教计算机识别图像）。
热模拟（研究热量如何在计算机芯片中移动）。
医学成像（追踪视频中的粒子）。
线性代数（解决复杂的数学方程）。

重大发现：
他们发现，对于大多数程序来说，标准的“金杯”（双精度）是极大的过度设计。

43% 的变量可以使用 32 位精度（中等尺寸的量杯）或更小的精度进行计算。
28% 可以使用 16 位精度甚至更小的精度（微型塑料勺）进行计算。
在某些情况下，他们可以在不破坏准确性的前提下，对大约 23% 的变量使用定制的 8 位格式（如文中提到的 E5M2 格式）。

总结

这篇论文并不声称发明了新的蛋糕配方或新的医疗手段。相反，它提供了一种更好的测量食材的方法。

通过升级 PROMISE 工具以处理定制尺寸的量杯，并在并行“工厂”中运行测试，作者证明了我们可以在不牺牲准确性的情况下，让计算机程序变得更快、更高效且更节能。我们只需要停止对所有东西都使用“金杯”，并开始针对不同的任务使用合适的工具。

技术摘要：基于定制精度的浮点数自动调优

问题陈述
降低精度算术在提高数值应用的性能、内存使用量和能效方面具有巨大潜力，特别是在硬件加速器（如 GPU、FPGA）日益支持非标准和低精度格式的背景下。然而，为特定应用确定最优精度配置具有挑战性。标准双精度（FP64）通常过度配置，但盲目降低精度会损害数值稳定性和准确性。现有的精度调优工具往往局限于标准 IEEE 754 格式（FP16、FP32、FP64），或者缺乏探索定制化位宽配置（例如特定的指数和尾数大小）的灵活性，而这正是新兴硬件所必需的。此外，对于大型代码库而言，探索庞大的混合精度配置空间所带来的计算成本仍然是实际部署中的一个障碍。

方法论
作者提出了 PROMISE（PRecision OptiMISE）的一个增强版本，这是一个基于增量调试（delta debugging）和离散随机算术（DSA）的自动化精度调优工具。该方法集成了三个核心组件：

通过 FloatX 实现定制精度仿真：该工具通过集成 FloatX（一个 C++ 头文件库）进行了扩展，以支持用户定义的浮点格式。与固定指数/尾数大小或依赖内存分配（如 MPFR）的标准库不同，FloatX 允许用户指定指数 ( $e$ ) 和尾数 ( $t$ ) 的精确比特分配。PROMISE 利用这一点来仿真非标准格式（如 E5M2、E4M3）以及定制配置，并将其纳入统一的混合精度框架中。为了确保仿真的真实性，作者使用 C++ 函数重载实现了定制精度的数学函数（如 sin、exp），确保输入和输出在计算前后都经过目标精度的舍入处理。
通过 CADNA 进行数值验证：PROMISE 利用 CADNA 库，该库实现了 DSA，用于估计计算中正确有效数字的数量。通过使用随机舍入模式执行代码，CADNA 可以提供数值准确性的统计估计并检测不稳定性。这使得 PROMISE 能够验证降低精度后的配置是否满足用户定义的准确度约束（例如，特定的正确位数），而无需要求提供地面真值（ground-truth）参考解，从而避免了使用统一 FP64 作为低精度比较基准时的不可靠性。
增量调试搜索策略：该工具采用增量调试算法来系统地搜索最低精度配置。搜索从高精度基准开始，并迭代地降低变量的精度。如果配置满足准确度要求，搜索将继续向该方向进行；否则，它会进行回溯。作者实现了一种多级策略，其中精度类型按单位舍入误差（unit roundoff）进行排序，并在连续的类型对之间应用增量调试。
容器化基准测试框架：为了解决高昂的搜索成本，作者开发了一个容器化基准测试框架。该框架将 PROMISE 封装在一个并行流水线中，支持本地并行化（通过 GNU Parallel）和分布式执行（通过基于 MPI 的 Python 调度器）。这允许并发执行多个算法内核在不同参数配置下的运行，显著减少了总运行时间。

核心贡献

扩展了支持定制格式的 PROMISE：本文引入了一个新版本的 PROMISE，它通过定义尾数和指数的比特数来实现对浮点算术的指定。这允许用户探索针对特定硬件约束（如 FPGA）和新兴低精度格式定制的非标准精度配置。
可扩展的基准测试基础设施：作者开发了一个旨在进行大规模部署的混合精度基准测试工具。这包括一套用于数值算法的模拟基准测试，以及一个并行执行框架，通过进程级并行化，将精度调优实验的运行时间减少了约 3.4 倍（在他们的测试中从约 13 小时降至约 3 小时）。
全面的实证验证：该方法在包括线性求解器（稠密和稀疏 LU 分解）以及 Rodinia 基准测试集中的应用（Back Propagation、HotSpot、Particle Filter、SRAD）在内的系列数值程序上得到了验证。

结果
实验评估了两种精度组合：(I) E5M2-FP16-FP32-FP64 和 (II) E5M2-BF16-FP32-FP64，涵盖不同的准确度要求（1 到 10 个正确位数）。

精度降低：结果表明，很大比例的变量可以安全地降低到较低精度。平均而言，43% 的变量可以用 32 位精度或更低表示，28% 的变量可以降低到 16 位精度或更低。
FP64 的过度配置：研究证实，对于许多科学计算任务，标准双精度通常是过度配置的。
定制格式的效用：研究发现定制格式（如 E5M2）对于相当一部分变量是可行的（这些配置中的变量平均占比 23%），且 E4M3 也显示出类似的比例。
算法特定的敏感性：分析显示，精度需求因算法组件而异。例如，在 Back Propagation 中，sigmoid 激活路径需要更高的精度来稳定指数运算的评估；而在 LU 分解中，主元选择操作通常可以容忍 8 位格式。

意义与主张
本文声称，当扩展到支持定制格式时，自动精度调优可以推导出针对特定应用准确度需求定制的高效混合精度配置。作者将这项工作定位为科学界的指南，证明了在无需人工干预的情况下，可以获得显著的性能和资源收益。FloatX 和并行基准测试框架的集成解决了格式灵活性和搜索可扩展性的双重挑战。作者谦虚地指出，虽然目前的工作侧重于直接线性求解器和特定内核，但未来的工作将涉及迭代求解器以及将混合精度数值内核（例如用于 Krylov 方法）集成到调优过程中。该工具和基准测试已向社区开放，以促进该领域的进一步研究。