🤖 machine learning

Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL

本文介绍了 HEAL，这是一个混合误差缓解框架，它通过将针对 KV 张量的 INT16 量化与 16 位 Tensor Core 上的代数误差补偿相结合，实现了跨异构 GPU 的任务关键型 LLM 推理可复现性，从而在避免使用全局 FP32 流水线所带来的高昂性能和内存成本的同时，消除了灾难性的输出偏差。

原作者： Zhenting Zhu, Lucas Thai, Shan Yu, Yicheng Liu, Yifan Qiao, Chenxi Wang, Harry Xu, Junyi Shu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenting Zhu, Lucas Thai, Shan Yu, Yicheng Liu, Yifan Qiao, Chenxi Wang, Harry Xu, Junyi Shu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《揭秘 LLM 推理中的数值不稳定性：通过 HEAL 实现对任务关键型任务的可复现推理》的解释，已翻译为通俗易懂的中文。

核心问题：AI 的“手抖”现象

想象你是一位在高风险法庭上的法官（例如处理医疗诊断或法律裁决）。你需要一名证人（AI）在每次你询问同一个问题时，无论你使用哪种麦克风或录音室，都能给出完全相同的证词。

在大型语言模型（LLM）的世界里，这目前是一个噩梦。即使你使用完全相同的设置询问 AI 同一个问题两次，答案也可能发生细微变化。

场景： 你问：“这个疾病的代码是什么？”
运行 1： AI 说“代码 A”。
运行 2： AI 说“代码 B”。

在闲聊中，这并不重要。但在金融、医疗或法律领域，一个错误的字母都可能导致灾难。这篇论文称之为不可复现性（non-reproducibility）。

调查研究：为什么 AI 会“变卦”？

研究人员（来自加州大学洛杉矶分校、伯克利分校等）想要知道：为什么 AI 会改变主意？

他们怀疑 AI 在进行数学运算时表现得有些“模糊”。为了找到罪魁祸首，他们深入研究了运行这些模型的计算机芯片（GPU）内部。

误解：
大多数人认为 AI 做所有的数学运算时都使用了低精度（就像用一个只有粗略刻度的尺子），因为这样更快。他们认为“模糊性”源于数学运算本身。

真正的罪魁祸首（“算子边界” Kernel Boundary）：
研究人员发现，芯片内部的数学运算实际上非常精确（就像使用激光测量的尺子）。问题发生在边界处——即不同计算部分之间的“门口”。

类比：水桶接力队
想象一支工人队伍正在传递水桶（数据）以灭火。

在手中： 工人们稳稳地拿着水桶（芯片内部的数学运算是精确的）。
交接环节： 当一名工人将水桶传给下一个人时，他们必须将水倒入一个稍微不同的容器中。
溢出： 每次倾倒时，都会洒出一点点水。
结果： 如果队伍很短，掉一两滴水没关系。但在 LLM 中，这条队伍长达数英里（数千个层级）。这些微小的水滴会不断累积。到水到达终点时，水桶可能空了或者水量不对，导致 AI 选择了错误的答案。

这种“溢出”现象是因为计算机为了节省空间，将数据存储在较小的容器（低精度）中，从而在每次移动数据时丢失了一点细节。

旧有的解决方案：“暴力破解”法

在此之前，有两种修复方法，但效果都很糟糕：

“严格顺序”法： 强制要求工人们按特定的、僵化的顺序传递水桶，以免产生混乱。
- 缺点： 速度极其缓慢，且仅适用于特定类型的硬件。如果你更换了不同品牌的 GPU，它就会失效。
“大水桶”法： 完全不再使用小容器。全程使用巨大的、沉重的、超高精度的水桶（FP32）来传递。
- 缺点： 因为太重了，工人们移动起来像是在慢动作。AI 会变得慢 13 倍，从而无法用于实时应用。

新的解决方案：HEAL（混合误差缓解技术）

作者提出了一个聪明的折中方案，称为 HEAL。他们不是让整条队伍都变得沉重或僵化，而是修复那些特定会导致“漏水”的地方。

1. “智能打包”技巧（针对注意力机制 Attention）

问题： “键”（Key）和“值”（Value）水桶（用于注意力机制的数据）通常大部分是空的或者数字很简单。对它们使用巨大的水桶是非常浪费的。
解决方法： HEAL 使用了一种特殊的“打包胶带”（INT16 量化）。它将数据压缩成一个更小、更紧凑的包裹，使其完美契合。
神奇之处： 尽管包裹很小，但工人们会将其拆解为两个较小的水桶（Dual-FP16）来进行数学运算。这保持了水位的高水平（高精度），同时又不需要使用那些会让一切变慢的巨大、沉重的水桶。

2. “误差补偿”技巧（针对数学运算）

问题： 在进行重度数学运算（GEMM）时，标准的做法会导致水桶丢失一点精度。
解决方法： HEAL 将数学运算分为两步。
- 第一步：使用标准水桶进行主要的数学运算。
- 第二步：使用一个小水桶进行快速的“清理”运算，以捕捉第一步中洒出的微小水滴。
- 结果： 你获得了巨大水桶的精度，但只在繁重的体力活中使用轻便的水桶。

实验结果：快速、准确且可靠

研究人员使用他们创建的新基准测试 MCR-Bench（任务关键型可复现性基准测试）对该方法进行了测试，该测试包含了来自医学、法律和金融领域的难题。

可复现性： HEAL 达到了与那个超慢、沉重的“大水桶”方法同等的“完美一致性”水平。
速度： 它比沉重的“大水桶”方法快了 7.1 倍。
内存： 它不需要额外的内存，不像沉重的“大水桶”方法那样需要翻倍的内存需求。

总结

这篇论文证明了我们不需要为了让 AI 变得可靠而减慢整个系统的速度。我们只需要修补那些数据在交接过程中丢失的特定“漏洞”即可。

简而言之：
与其为了确保不会熄火而将整个赛车引擎更换为缓慢、沉重的拖拉机引擎，作者们找到了一种方法，可以加固现有引擎上的螺栓。现在，这辆车（AI）运行得和拖拉机一样可靠，但它依然拥有赢得比赛的速度。

技术摘要：通过 HEAL 解密 LLM 推理中的数值不稳定性

问题陈述

随着大语言模型（LLM）被部署到金融、医疗和法律等关键任务领域，输出的可复现性已成为一项严格的系统要求。虽然从业者通常采用贪婪解码（greedy decoding）来消除算法随机性，但在使用 16 位精度（如 BF16）的实际部署中，不同硬件（如不同代的 NVIDIA GPU 或 AMD 加速器）之间仍会出现灾难性的输出偏差。

现有的缓解策略面临着不可接受的抉择：

严格的位级确定性（Bit-Wise Determinism）： 强制执行确定性的浮点数规约顺序或使用专门的算子，这会将部署限制在狭窄的执行路径中，禁用现代硬件特性，并牺牲吞吐量。
全局高精度流水线： 使用 FP32 进行所有计算可以消除下转型噪声，但会带来极高的系统代价。完全使用 FP32 进行推理会使每个输出标记的时间（TPOT）增加高达 13.1 倍，并使键值（KV）缓存的内存占用翻倍，这在规模化服务中是不具备经济可行性的。

核心挑战在于：如何在不牺牲 16 位硬件加速器效率的前提下，实现稳健且可用于部署的可复现性。

方法论：HEAL（混合误差缓解技术）

作者提出了 HEAL，一种旨在近似 FP32 级可复现性并遵循硬件约束的有针对性的干预措施。该方法基于对不可复现性根源的系统性研究，实现了从宏观失效到微观起源的深入剖析。

1. 根因分析

通过 SASS 级剖析和误差分解，本文指出不可复现性并非由内部算子算术驱动（其主要通过 Tensor Cores 以 FP32 运行），而是由**在算子边界处引入的下转型截断误差（truncation errors）**驱动的。

微观起源： 不稳定性源于在算子边界处将高精度寄存器强制截断为低精度存储格式的过程（例如，将 FP32 累加器的结果写回 BF16 内存）。
累积效应： 这些微观层面的分数精度损失在网络层之间呈指数级累积。一旦累积误差超过特定阈值，它就会改变最终的对数概率，从而改变 Top-1 token 的选择，导致“结果翻转（result flipping）”。
核心洞察： 稳健的可复现性并不要求与 FP32 基准实现严格的数学等价，而仅要求将数值噪声控制在触发结果翻转的阈值之下。

2. HEAL 解决方案

HEAL 通过两个针对性机制解决了全局 FP32 流水线的两大瓶颈（注意力机制的内存压力与 GEMM 的计算压力）：

A. 通过 INT16 量化缓解注意力机制截断

问题： 将键值（KV）缓存上转型为 FP32 会使内存占用翻倍，造成内存瓶颈。
解决方案： HEAL 认识到标准浮点格式在存储 Q、K、V 张量时并未充分利用其位宽。它采用 INT16 量化来存储这些张量。
机制： 在执行过程中，INT16 张量被代数性地拆解为两个 FP16 张量（ $X_{hi}$ 和 $X_{lo}$ ）。较低的张量通过因子 $2^{10}$ 进行偏移，使得这对组合 $(X_{hi} + X_{lo}/2^{10})$ 能够模拟 20 位的连续分数精度。
收益： 这在保持 KV 缓存严格 16 位内存占用的同时，显著降低了截断误差，有效地防止了偏差，而无需扩大内存使用。

B. 通过代数误差补偿缓解 GEMM 截断

问题： 将 GEMM 输入上转型为 FP32 会迫使硬件绕过高吞吐量的 16 位 Tensor Cores，导致严重的性能退化。
解决方案： HEAL 利用在 16 位 Tensor Cores 上完全执行的代数误差补偿策略来合成高精度矩阵乘法。
机制： 输入激活被分解为一个主 16 位值和一个残差误差项。系统执行两次使用标准 16 位输入的并行矩阵乘法并对结果求和。这捕捉到了截断误差，同时保持了原生 16 位硬件的吞吐量。
溢出处理： 为了应对 FP16 较窄的动态范围，HEAL 对稀有的异常通道（占比不到 1% 的固定通道）进行针对性的重缩放，以防止灾难性溢出，且不会增加显著开销。

核心贡献

不稳定性诊断： 本文证明了内在的不可复现象本质上是由边界截断误差而非普遍的算术非结合性驱动的。它确立了稳健的可复现性需要将此类噪声限制在结果翻转阈值之下。
HEAL 框架： 引入了两阶段解决方案，通过保护注意力机制（通过 INT16 量化）和合成高精度 GEMM（通过代数误差补偿）来规避硬件惩罚。
MCR-Bench： 引入了关键任务可复现性基准测试（Mission-Critical Reproducibility Benchmark），这是一个针对医疗、法律、金融等对结果一致性要求极高的领域所设计的全新评估套件。
效率-可复现性权衡： 证明了 HEAL 在不同硬件类型上均能实现面向下游任务的 FP32 级可复现性，同时相比全 FP32 流水线减少了高达 7.1 倍的性能开销。

实验结果

在五种模型（Qwen3-8B/14B/32B, Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B）和三种硬件类型（NVIDIA A100, H100, AMD MI300X）上进行了评估：

可复现性： HEAL-Full（完整的混合流水线）实现的答案翻转率和最终隐藏层 MSE 与 FP32 基准几乎一致（例如，Llama-8B 和 DeepSeek-14B 的翻转率为 0.0%，而原生 BF16 分别为 11.7% 和 12.8%）。
性能开销：
- FP32 基准： 使 TPOT 增加了 4.2 倍至 13.1 倍。
- HEAL-Full： 相对于原生 BF16 基准，仅产生 40%–109% 的 TPOT 开销。
- 内存： HEAL 维持了 KV 缓存的 16 位内存占用，避免了全 FP32 上转型所需的 2 倍内存扩张。
硬件无关性： 在固定精度配置下，不同硬件类型的累积数值误差保持一致，证实了 HEAL 有效中和了硬件特有的偏差。

意义

本文声称，认为实现稳健可复现性必须付出全量高精度流水线这种“全或无”成本的假设是不正确的。通过识别出不可复现性是针对特定异常特征（边界截断）的局部敏感性，而非普遍的噪声问题，HEAL 恢复了跨异构硬件的确定性行为。至关重要的是，该方法通过升级不到 1% 的总计算量（通过代数补偿）并优化存储格式，实现了这一稳定性，为在需要精确数值输出且不愿承担全 FP32 推理经济负担的关键任务环境中部署 LLM 提供了一条切实可行的路径。