Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme

技术摘要：基于 Ozaki-II 方案的矩阵乘法模拟误差分析

问题陈述
现代 AI 硬件，特别是配备了 INT8 矩阵引擎的 GPU，提供了极高的低精度算术吞吐量，其性能显著优于原生的单精度（FP32）和双精度（FP64）浮点运算。然而，经典高性能计算（HPC）和许多机器学习工作负载需要更高精度的数值可靠性。虽然存在通过低精度运算序列来重建高精度结果的模拟方法，但这些方法的准确性并不能在所有输入分布下得到保证。具体而言，利用中国剩余定理（CRT）来模拟矩阵乘法的 Ozaki-II 方案虽然表现出了高性能，但缺乏严谨的确定性误差分析。以往的研究指出，当输入矩阵具有较宽的指数分布时，该方案的准确性会下降，这需要大量的低精度乘法才能维持精度。由于缺乏理论界限，很难确定实现特定精度目标所需的模数数量。

方法论
本文针对应用于单精度（SGEMM）和双精度（DGEMM）通用矩阵乘法（GEMM）的 Ozaki-II 方案，提出了严谨的确定性误差分析。其方法论包括：

1. 形式化 Ozaki-II 方案： 作者详细阐述了模拟过程，即通过对角缩放和截断将浮点矩阵 $A$ 和 $B$ 转换为整数矩阵 $A'$ 和 $B'$。随后，这些整数被分解为两两互质的整数 $p_\ell$ 的模。乘积使用 INT8 矩阵引擎进行计算，结果通过 CRT 进行重建以形成乘积的整数近似值，最后再缩放回浮点格式。
2. 推导误差界限： 作者将总误差分解为三个主要部分：
   • 截断误差（Truncation Error）： 源于从浮点输入到缩放整数的转换过程。
   • 累积误差（Accumulation Error）： 源于在高精度浮点运算中对模乘积进行求和的过程。
   • 最终归约误差（Final Reduction Error）： 发生在 CRT 重建和缩放步骤期间。
3. 理论证明： 本文通过一系列引理提供形式化证明，确立了候选解的唯一性、截断误差与累积误差的界限，以及重建过程中所使用的舍入操作的有效性。这些引理最终汇聚为定理 2，该定理为误差 $|AB - C_b|$ 提供了一个确定性的上界，其中 $C_b$ 是计算结果。
4. 实验验证： 在 NVIDIA GeForce RTX 4090 GPU 上进行了数值实验。文中推导出的理论误差界限与不同动态范围（由参数 $\phi$ 控制）矩阵的观测数值误差进行了对比。

核心贡献

• 严谨的确定性误差分析： 主要贡献在于推导出了 Ozaki-II 方案的确定性误差界限（定理 2）。该界限明确地将数值误差与输入矩阵的指数分布以及 CRT 中使用的模数数量（$N$）联系起来。
• 精细化界限： 本文提供了两种形式的误差估计：一种是更紧凑的界限（式 16），它取决于中间整数乘积 $|A'B'|$；另一种是更保守但计算成本更低的界限（式 20），它用一个常数上界替换了该项。
• 验证准确性行为： 该分析从理论上解释了为什么该方案的准确性取决于输入的指数分布，并证实了增加模数数量可以减少截断误差，从而提高准确性。
• 实现细节的正确性证明： 作者证明了特定的实现选择（例如使用 double-double 算术处理常数以及对 INT8 溢出的特定处理方式）不会引入会导致最终结果失效的无界误差。

结果

• 理论与观测误差对比： 在 RTX 4090 上的数值实验表明，对于 SGEMM 和 DGEMM，观测到的模拟误差始终受限于定理 2 中推导出的理论估计值。
• 界限紧密度： 研究发现，与保守界限（式 20）相比，更紧凑的界限（式 16）能更准确地捕捉观测误差的范围。然而，保守界限被证明对于稳健的误差估计是实用的，因为它仅依赖于矩阵-向量乘积，而非计算可能昂贵的 $|A'B'|$。
• 与原生精度对比： 结果展示了模拟精度相对于原生 FP32 和 FP64 算子的相对准确性，证实了只要配置适当数量的模数，Ozaki-II 方案即可实现高精度。

意义
本文声称，该误差分析为 Ozaki-II 方案的未来发展提供了关键基础。具体而言，它能够实现准确性相关参数的自动调优（例如根据输入矩阵的指数分布来确定模数数量），以达到预期的数值精度水平。通过阐明输入特性与数值可靠性之间的关系，该分析解决了该方案的高性能与变动不定的准确性之间的矛盾，使其在现代 AI 硬件上进行通用高精度计算更具可行性。作者指出，这一分析框架未来也可扩展到复数矩阵乘法的模拟。