Limited-Precision Stochastic Rounding

本文作为对 2022 年随机舍入（SR）综述的更新，重点介绍了近四年在该领域的研究进展，特别是针对固定随机数精度的“有限精度随机舍入”新变体，并探讨了其工业应用、数值分析及硬件实现前景。

要点

这篇文章就像是一份**“给计算机算数方法的一次全面体检报告”**。

为了让你轻松理解，我们可以把计算机做数学题（特别是加法和乘法）想象成**“在厨房里用不同精度的量杯倒水”**。

1. 核心问题：传统的“四舍五入”太死板了

想象一下，你有一个量杯，只能量到“毫升”位（比如 3.142 毫升）。

• 传统方法（RN，Round-to-Nearest）： 就像是一个死板的厨师。如果水到了 3.1424，他就坚决倒掉 0.0004，变成 3.142；如果是 3.1426，他就坚决加到 3.143。
  • 问题： 如果你要倒 1000 杯水，每一杯都因为“四舍五入”被偷偷倒掉了一点点水（比如总是向下舍去），最后这 1000 杯加起来，总量就会少一大截。这就叫“误差累积”。在计算机里，这会导致计算结果越来越不准，甚至出现“死机”（数值不再变化，叫“停滞”）。

2. 新方案：随机舍入（SR）——“抛硬币”的智慧

这篇文章介绍了一种叫**“随机舍入”（Stochastic Rounding, SR）**的新方法。

• 怎么做： 还是那个只能量到毫升的量杯。如果水是 3.1424（离 3.142 差 0.0004，离 3.143 差 0.0006）。
  • 传统方法：直接变成 3.142。
  • 随机方法： 厨师拿出一枚硬币。60% 的概率变成 3.142，40% 的概率变成 3.143。
• 为什么好？ 虽然单次看好像“乱来”，但如果你倒 1000 杯水，多出来的和少出来的会互相抵消。
  • 比喻： 就像一群人走迷宫，如果大家都往同一个方向偏（传统方法），最后会离终点十万八千里；如果大家偶尔向左、偶尔向右（随机方法），虽然每个人都在晃，但群体的平均位置却稳稳地指向终点。
• 效果： 在超级计算机做海量加法时，这种方法的误差增长速度是 $\sqrt{n}$（像平方根一样慢），而传统方法是 $n$（线性增长，很快爆炸）。

3. 新发现：有限精度的随机（Limited-Precision SR）

文章重点讨论了一个新变种：“有限精度的随机舍入”。

• 理想情况： 完美的随机需要无限精度的硬币（比如抛硬币能精确到小数点后 100 位）。
• 现实情况： 计算机芯片里的“硬币”（随机数生成器）精度是有限的。
• 比喻： 就像你只能用一把只有 10 个刻度的尺子去量东西，虽然不够完美，但文章发现，只要这把尺子的刻度够用（比如随机数的位数 $r$ 和计算量 $n$ 匹配得当），效果依然非常好，而且成本更低，速度更快。

4. 谁在用这个？（硬件与软件）

这篇文章不仅讲理论，还盘点了一下**“谁已经把这个技术装进芯片里了”**：

• 显卡巨头（NVIDIA, AMD）： 他们的最新芯片（如 Blackwell, MI300）已经内置了这种“抛硬币”功能。以前需要软件模拟，现在硬件直接支持，速度快得像闪电。
• AI 芯片（Graphcore, Google TPU）： 专门为了训练人工智能（AI）设计的芯片，也大量使用这个技术。
• 为什么 AI 这么喜欢？ 现在的 AI 模型（比如大语言模型）有几千亿个参数，如果用高精度的“量杯”，内存根本装不下。用低精度（比如 4 位、8 位）的“小量杯”虽然容易出错，但加上“随机舍入”这个魔法，就能在省内存的同时，保证 AI 学得不偏不倚。

5. 其他神奇的应用

除了算数，这个方法还在其他领域大显身手：

• 天气预报： 天气是混沌的，微小的误差会被放大。用随机舍入，可以让低精度的超级计算机在模拟几千天的气候时，依然保持统计上的准确性，不会像传统方法那样把气候模拟成“死循环”。
• 类脑计算： 模仿人脑神经元的芯片，利用这种随机性来模拟生物神经的“突触可塑性”，让机器更像人脑。
• 数学分析： 甚至能用来修复那些“秩缺失”（数据看起来像是一堆废柴）的矩阵，让原本算不出来的结果变得有解。

总结

这篇文章告诉我们：“完美”不是必须的，“随机”反而可能是更优解。

在计算机处理海量数据（尤其是 AI 和科学模拟）时，不再执着于每一次计算都“绝对精确”，而是允许偶尔的“小错误”，只要这些错误是随机且公平的，它们最终会互相抵消，反而能让我们用更小的芯片、更少的内存，算出更靠谱的结果。

这就好比**“大智若愚”**：有时候，稍微“糊涂”一点（随机），比“死脑筋”（传统四舍五入）更能看清大局。

技术摘要

有限精度随机舍入（Limited-Precision Stochastic Rounding）技术综述总结

本文是对 2022 年 Croci 等人关于随机舍入（Stochastic Rounding, SR）综述的更新，重点回顾了 2022 年至 2026 年间在 SR 的应用、分析及实现方面的最新进展。文章特别聚焦于有限精度随机舍入（Limited-Precision SR），即使用固定精度的随机数进行舍入的新变体，并探讨了其在工业界和学术界的发展现状。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

• 传统舍入的局限性：在大规模低精度计算（如机器学习、气候模拟）中，传统的确定性舍入模式（如“四舍五入”RN）会导致误差随求和项数 $n$ 线性增长（$O(n)$），且容易产生**停滞（Stagnation）**现象，即较小的加数在求和过程中被完全舍去，无法对总和产生贡献。
• 随机舍入的优势：SR 是一种概率性舍入方法，其期望误差为零。在长度为 $n$ 的求和中，SR 的误差以高概率按 $\sqrt{n}$ 增长，远优于 RN 的线性增长。此外，SR 能有效缓解停滞问题。
• 实施挑战：理想的 SR 需要知道精确值 $x$ 并生成无限精度的随机数以计算精确的舍入概率。然而，在实际硬件实现中，这通常不可行。因此，有限精度 SR（SR$_{p,r}$）成为研究重点，即先将近似值舍入到 $p+r$ 精度，再使用 $r$ 位随机数进行概率舍入。

2. 方法论与理论框架 (Methodology)

• 有限精度 SR 定义：
  • 理想 SR：$SR_p(x)$ 根据 $x$ 到上下界距离的比例 $q(x)$ 进行概率舍入。
  • 有限精度 SR：$SR_{p,r}(x) = SR_p(fl_{p+r}(x))$。首先将 $x$ 舍入到 $p+r$ 精度（$fl_{p+r}$），然后基于此近似值计算概率。
  • 偏差分析：由于 $fl_{p+r}(x) \neq x$，有限精度 SR 的期望值不再严格等于 $x$，引入了偏差。研究表明，选择随机数位数 $r \approx \lceil (\log_2 n)/2 \rceil$ 能在成本和精度之间取得最佳平衡。
• 误差分析模型：
  • 利用鞅（Martingale）技术和Bienaymé–Chebyshev 不等式推导概率误差界。
  • 对于许多算法，SR 将确定性误差界 $O(nu)$ 改进为概率误差界 $O(\sqrt{nu})$。
• IEEE P3109 标准：
  • 定义了三种有限精度 SR 变体（StochasticA, B, C），旨在平衡偏差与实现复杂度。
  • StochasticA：最简测试，可能引入小偏差。
  • StochasticB：使用更多子区间减少偏差，但增加复杂度。
  • StochasticC：用“四舍五入到偶数”（RNE）替代取整操作，最接近理想 SR。

3. 关键贡献 (Key Contributions)

• 硬件实现的全面梳理：
  • 详细记录了 Graphcore、AMD (MI300)、NVIDIA (Blackwell B200/B300)、Intel 和 Google (TPU) 等厂商对 SR 的硬件支持。
  • 随机数位数（$r$）的标准化：不同厂商针对不同格式转换（如 FP32 到 FP8/FP16）使用了不同位数的随机数（从 7 位到 24 位不等）。例如，AMD MI300 使用 20-21 位随机数，NVIDIA 的 .rs 修饰符支持多种变体。
  • 实现机制：大多数硬件采用“添加随机位 + 进位判断”的机制。Graphcore 和 NVIDIA 倾向于在尾数后添加随机位，利用进位决定舍入方向。
• 去随机数生成器（PRNG）化趋势：
  • 多项专利（Intel, NVIDIA, Mellanox, Huawei）提出从数据本身提取“伪随机”位（如利用低位数据或 XOR 逻辑），以消除对独立 PRNG 的依赖，提高可重现性（Reproducibility）并降低硬件成本。
• 软件生态更新：
  • 介绍了 StochasTorch, Jochastic, mptorch, Gfloat, sr-float 等库，支持 PyTorch/JAX 中的 SR 操作，特别是针对神经网络训练中的参数更新。
• 应用领域的扩展：
  • 从传统的数值计算扩展到大语言模型（LLM）训练、神经形态计算、气象气候模拟及科学计算。

4. 主要结果与发现 (Results)

• 机器学习（ML）：
  • SR 是混合精度训练（MPT）的关键，特别是在反向传播中计算无偏梯度估计。
  • 在极低精度（如 4-bit NVFP4, MXFP4）训练中，SR 结合随机 Hadamard 变换（RHTs）能有效减少量化方差，防止梯度停滞。
  • 研究表明，SR 在参数更新阶段能稳定下降过程，但在梯度极小时收益递减。
• 神经形态计算：
  • 在 FPGA 和模拟电路中，SR 用于模拟突触可塑性。研究发现，利用数据本身生成的随机性（Stochastic Sticky Bit）可以替代昂贵的 PRNG，解决加数差异过大导致的停滞问题。
• 气象与气候模拟：
  • 在长期混沌系统模拟中，RN 会导致轨迹陷入短周期轨道（人工稳定），而 SR 引入的无偏随机误差能保持系统的长期统计特性，使低精度（如 FP16）模拟结果接近高精度（FP32/FP64）基准。
• 科学计算：
  • 在 DaCe 框架和 ICON 气候模型中，SR 将长累加链的误差增长降低了三个数量级，特别是在舍入偏差主导截断误差的场景下效果显著。
• 线性代数：
  • SR 对高瘦矩阵（Tall-and-thin matrices）的最小奇异值具有隐式正则化作用，能防止秩亏缺，改善矩阵条件数。

5. 意义与展望 (Significance)

• 硬件普及的催化剂：随着 NVIDIA Blackwell、AMD MI300 等新一代 AI 芯片原生支持 SR，该算法正从理论走向大规模工业应用，特别是在大模型训练和推理中。
• 精度与成本的平衡：有限精度 SR 证明了无需无限精度的随机数即可在低精度计算中获得显著的数值稳定性，为设计专用 AI 加速器（DSA）提供了理论依据。
• 可重现性挑战：尽管硬件支持日益完善，但不同厂商在随机数位数（$r$）和生成机制上的差异，导致跨平台结果的可重现性（Reproducibility）仍面临挑战。
• 未来方向：
  • 进一步优化 SR 在硬件中的实现，特别是减少 PRNG 开销。
  • 深入研究 SR 在更复杂算法（如非线性优化、微分方程求解）中的理论边界。
  • 推动 IEEE 标准的完善，统一不同硬件平台间的 SR 行为，确保计算结果的一致性。

总结：本文标志着随机舍入技术从理论探索阶段迈向了成熟的工业应用阶段。有限精度 SR 已成为解决低精度计算中误差累积和停滞问题的核心方案，并在下一代 AI 硬件架构中占据了重要地位。