🔢 mathematics

Balancing Inexactness in Mixed Precision Matrix Computations

本文通过分析如何平衡低精度计算产生的数值误差与其他固有不精确性（如离散化或测量误差），探讨了在高性能计算中利用混合精度算术的策略，旨在提升性能且不损害整体精度。

原作者： Erin Claire Carson

发布于 2026-02-05

📖 1 分钟阅读🧠 深度阅读

原作者： Erin Claire Carson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：为什么“足够好”的数学更胜一筹

想象一下，你是一位正在为庞大的人群烘焙蛋糕的厨师。你拥有一个超快速、高科技的烤箱（现代超级计算机），每秒钟可以烤制数千个蛋糕。然而，只有当你使用简单、标准的原料时，这个烤箱才能高效运作。如果你试图在每一个步骤中都使用极其精确、稀有且昂贵的原料，烤箱就会变得臃跚蹒跚，导致你无法烤出足够的蛋糕。

在科学计算的世界里，“原料”就是数字，而“烘焙”就是数学。

几十年来，科学家们坚持要求在每一次计算中都使用尽可能精确的数字（称为“双精度”），以确保万无一失。但作者埃琳·卡森（Erin Carson）认为，这就像是用钻石尖刀去切面包一样——这既没必要，又慢，而且浪费了现代机器的性能。

该论文提出了一种新策略：混合精度（Mixed Precision）。这意味着在数学运算的某些部分使用“较粗糙”、更快、质量较低的数字，同时将超精确的数字留给最关键的部分。目标不是为了偷懒或草率，而是要聪明地决定在哪里投入我们的“数学成本”。

问题所在：数学本身本就具有“模糊性”

论文指出了一个有趣的真相：科学数学本身从来都不是完美的精确。

想想天气预报：

建模误差（Modeling Error）： 大气层的数学模型并不完美；它只是现实的一个简化草图。
离散化误差（Discretization Error）： 我们无法测量每一滴雨水；我们必须基于一组点阵来推测天气。
舍入误差（Rounding Error）： 计算机无法存储无限的小数，因此必须对数字进行舍入。

通常，科学家会忽略舍入误差，因为他们假设其他误差（草图和点阵带来的误差）要大得多，以至于舍入误差可以忽略不计。但现在，随着能够进行“低精度”（非常粗略的数字）运算的超高速计算机出现，舍入误差变得越来越显著。

如果我们盲目使用低精度，舍入误差可能会变成最大的问题，从而毁掉我们的结果。论文的核心思想是平衡误差。我们希望舍入误差既能快到足以提升效率，又足够小，不至于压倒模型中已有的其他“模糊性”。

工具箱：现代计算机是如何工作的

论文研究了现代硬件（如 NVIDIA H100 GPU）拥有的不同“尺寸”的数字桶：

双精度（64位）： 一个巨大、精细的桶。非常准确，但填充速度慢。
半精度（16位）或 FP8： 微小的桶。它们承载的细节较少，范围也较窄，但填充速度极快。

使用微小的桶可以让计算机运行速度提高 10 到 50 倍。但如果你试图用一个小桶去测量一座山，你可能会发生“溢出”（桶溢出了）或者“欠载”（桶太小，装不下水）。

三个“平衡误差”的案例

论文给出了三个如何安全混合这些桶大小的具体例子：

1. “粗略地图”预条件算子

场景： 想象你正在尝试寻找一个巨大且纠缠不清的迷宫中的最短路径（求解线性系统）。你会使用一个“预条件算子”，它就像一张帮助你导航的粗略地图。
技巧： 通常，你会用高精度的笔绘制这张地图。论文表明，你可以改用蜡笔（低精度）来画这张地图。
平衡： 只要这张地图“足够好”能引导你前进，线条有点歪扭也没关系。论文证明，只要迷宫不是过于复杂（即条件数不是特别差），蜡笔地图就完全可行，并且能节省大量的内存和时间。

2. “单次通过”快照

场景： 想象你有一个巨大的相册（一个巨大的矩阵），你想找出其中的主要主题（特征值）。你只能看一次照片。
技巧： 你使用低分辨率相机（低精度）拍一张相册的“快照”，以获取大致的概念。
平衡： 论文计算了相机在变得完全没用之前，究竟可以有多模糊。如果相册的主题非常鲜明（特征值之间存在巨大间隙），你可以使用非常模糊的相机。如果主题非常相似，你就需要更清晰的相机。通过将相机质量与相册的内容相匹配，你可以在不丢失主线剧情的前提下，快速获得结果。

3. “层级式”房屋

场景： 想象一座有很多房间的大房子（一个层级矩阵）。有些房间是空的或简单的（非对角块），而主厅则是复杂的（对角块）。
技巧： 你可以将简单的房间存放在纸箱里（低精度），而将复杂的厅堂存放在钢制保险柜里（高精度）。
平衡： 论文显示，如果简单的房间本身就是一个近似值（它们并不是真实房间的完美复制品），那么把它们存在纸箱里并不会增加任何“新”的误差。这样你节省了大量空间，且房屋的总“混乱度”保持不变。

结论：一种全新的思维方式

论文的结论是，我们不应再将计算机的舍入误差视为必须不惜一切代价消除的“敌人”。相反，我们应该将其视为食谱中的另一种原料。

正如厨师通过平衡盐、糖和热量来烹饪美味佳肴一样，科学家必须平衡建模误差、离散化误差和舍入误差。通过仔细选择哪些计算部分接受“超精确”处理，哪些部分接受“快速且粗略”的处理，我们可以释放现代超级计算机的全部潜力，同时又不牺牲科学发现的准确性。

简而言之：不要用钻石去切面包。根据任务选择合适的工具，你就能更快地完成工作。

技术摘要：平衡混合精度矩阵计算中的不精确性

问题陈述

随着计算能力进入“百亿亿次级（exascale）时代”，高性能架构越来越多地支持多种精度和数值格式的算术运算。然而，一个重大挑战仍然存在：如何设计既能安全利用这些能力，又不会损害准确性的算法。

在计算科学中，由于多种误差来源（包括建模误差、离散化误差、线性化误差、算法近似误差以及有限精度舍入误差），矩阵计算本质上是不精确的。在历史上，这些误差通常被孤立地研究，而舍入误差往往被忽略，其假设前提是双精度（64位）已足够。

本文解决的核心问题是：在现代硬件具备多样化位宽格式（如 FP16、BF16、FP8）的情况下，忽视舍入误差及其与其他不精确性来源之间的相互作用，既是危险的，也是错失性能提升机会的表现。本文认为，当其他显著的不精确性来源（如低秩近似、离散化）已经存在时，可以在特定的计算步骤中安全地降低精度。目标是“平衡”这些误差——选择合适的精度 $u$ ，使得舍入误差不会主导总误差预算，从而在不明显降低准确性的情况下提高性能。

方法论

本文采用了一种整体性的分析方法，将有限精度误差分析与来自其他不精确性来源的现有误差界限相结合。该方法并非将舍入误差视为一个独立的实体，而是通过以下方式进行：

推导混合精度界限： 建立结合了算法近似误差（如截断、随机化）与由低精度算术引入的舍向误差的理论界限。
误差平衡准则： 开发使有限精度误差相对于主导近似误差保持有界的条件。这允许选择满足条件 $u \lesssim \text{approximation error}$ 的最低可能精度 $u$ 。
经验验证： 使用 MATLAB 2025a 对来自 SuiteSparse 集合的矩阵进行数值实验，以验证理论界限并展示存储与性能收益。

本文回顾了混合精度迭代细化（Iterative Refinement, IR）的历史，将其作为“自纠错”算法的一个基础案例，在此基础上，将这一理念扩展到三个误差占主导地位的具体领域。

核心贡献与示例

本文提出了三个展示“平衡”方法的具体示例：

1. 混合精度稀疏近似逆（SPAI）预条件子

背景： SPAI 预条件子用于 Krylov 子空间方法。构建这些预条件子的计算成本很高。
方法： 作者分析了构造稀疏近似逆 $M \approx A^{-1}$ 的过程。他们推导出了一个条件：只要满足 $u_s \cdot \text{cond}_2(A) \lesssim \tau$ （其中 $\tau$ 是残差的停止容差），整个构造过程就可以在较低精度 $u_s$ 下完成。
结果： 在 steam1 矩阵上的实验表明，在双精度 GMRES-IR 框架下使用单精度进行预条件子构造，是 LU 预条件的有效替代方案。虽然它可能需要更多的 GMRES 迭代次数，但生成的预条件子在存储和应用成本上显著更低（例如，1,296 个非零元素对比 LU 的 14,081 个），展示了迭代次数与应用成本之间的权衡。

2. 混合精度随机 Nyström 近似

背景： 该方法使用秩为 $k$ 的 Nyström 近似来近似对称正定矩阵 $A$ 。主要的成本在于矩阵-矩阵乘法 $Y = A\Omega$ 。
方法： 本文推导了总误差的界限，即精确近似误差与有限精度误差之和。作者提出了一个启发式规则：如果用于访问 $A$ 的精度 $u_p$ 满足 $u_p \leq n^{-1/2} (\lambda_k / \lambda_1)$ （其中 $\lambda_k$ 和 $\lambda_1$ 分别是第 $k$ 个和最大的特征值），则有限精度误差不会占据主导地位。
结果： 对 bcsstm07 矩阵的实验证实，对于特征值衰减较慢（高近似误差）的目标秩 $k$ ，可以使用半精度进行矩阵访问，而不会比精确算术降低总误差。单精度在更广泛的范围内也被证明是安全的。

3. 混合精度分层矩阵（HODLR）近似

背景： HODLR 矩阵将非对角块近似为低秩矩阵，从而将复杂度从 $O(n^2)$ 降低到 $O(pn \log n)$ 。
方法： 由于非对角块本身已经以相对误差 $\epsilon$ 进行了近似，本文分析了以较低精度 $u_k$ 存储这些块的情况。推导出的界限显示，如果 $u_k \leq \epsilon / (2^{k/2}\xi_k)$ ，则全局误差仍由近似误差 $\epsilon$ 主导，而非舍入误差。
结果： 开发了一种自适应精度方法。在各种 SuiteSparse 矩阵上的实验表明，通过以较低精度（如 FP16 或 FP8）存储非对角块，可以在保持全局误差在目标 $\epsilon$ 内的同时，实现显著的存储节省（高达 2 倍或更多）。论文还提供了关于设置后续操作（如矩阵-向量乘法或 LU 分解）中工作精度的指南，以确保后向误差不超过表示误差。

结果

数值实验一致表明：

性能/存储收益： 在特定组件（预条件子构造、随机化方法中的矩阵访问、分层矩阵中的非对角块）中使用较低精度，可以在不降低最终解准确性的情况下实现。
误差主导地位： 在所有案例中，当满足推导出的平衡条件时，有限精度误差始终处于次要地位，低于固有的近似误差（离散化、截断或低秩近似）。
可行性： 混合精度不仅是一个理论上的可能性，更是现代大规模（exascale）硬件上减少内存占用和提高吞吐量的实用策略。

意义与展望

本文声称，这项工作的意义在于改变了误差分析的范式。与其将舍入误差视为一种需要通过使用最高精度来最小化的“麻烦”，不如将其视为一种可以与其他不可避免的误差进行平衡的“资源”。

作者强调，随着硬件变得更加异构（整合了 GPU、专用加速器和非 IEEE 格式），算法设计必须演进，以考虑“整个计算科学过程”。文章最后指出，这种平衡行为对于未来的范式（包括近似硬件、量子计算和类脑计算）至关重要。这项工作也向研究人员发出号召：应分析各自应用中的特定误差来源，以识别利用混合精度的安全机会。

本手稿旨在向 Nicholas J. Higham 致敬，感谢他对混合精度算法的基础性影响。