The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators

本文提出了专为 AI 加速器设计的 AetherFloat 系列浮点架构，通过采用四基（Base-4）缩放、显式尾数及无块缩放（Block-Scale-Free）特性，在消除动态缩放硬件开销的同时，显著降低了 MAC 单元的芯片面积、功耗和延迟，并实现了更优的动态范围与梯度稳定性。

要点

这篇论文介绍了一种名为 AetherFloat（以太浮点） 的新型数字格式，它是专门为人工智能（AI）芯片设计的。

为了让你更容易理解，我们可以把传统的 AI 计算比作在拥挤的旧式高速公路上开车，而 AetherFloat 则是一条专为赛车设计的新型赛道。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 旧问题：为什么现在的 AI 芯片“堵车”了？

目前的 AI 芯片（如 NPU）主要使用一种叫 IEEE 754 的老式数字标准（就像几十年前的交通规则）。虽然它很通用，但在处理海量 AI 数据时，它有三个主要缺点：

• 隐藏位（Hidden Bit）的麻烦：就像开车时，你必须先检查后视镜（隐藏位）才能决定怎么变道。这在芯片里意味着需要额外的电路来“解码”，浪费空间和时间。
• 对齐困难（Alignment）：当两个数字相乘时，如果它们的大小不一样，芯片需要把它们“对齐”。这就像两辆不同长度的卡车并排，需要复杂的机械臂去调整位置，非常耗电且慢。
• 大数字的“溢出”危机：现在的 AI 大模型（LLM）经常产生一些特别大或特别小的数字（异常值）。传统的 8 位数字格式（如 FP8）装不下这些大数字，就像小卡车装不下大象。为了防止数据溢出，工程师必须给每辆车都配一个动态伸缩的保险杠（Block-Scaling/AMAX）。这个保险杠非常笨重，占用了大量芯片空间，还让计算变慢。

2. 新方案：AetherFloat 是怎么解决的？

AetherFloat 家族（特别是 AF8 版本）通过三个“魔法”重新设计了数字规则：

魔法一：把“负数”变成“正数”看（字典序补码）

• 传统做法：在旧标准里，负数排序很乱，计算机需要专门的逻辑去判断谁大谁小，就像在混乱的停车场找车。
• AetherFloat：它把负数“翻转”了一下（使用反码），让所有数字（无论正负）都能像普通整数一样直接排序。
• 比喻：以前你要找“最重的箱子”，得先分清是“正箱子”还是“负箱子”，再分别称重。现在，AetherFloat 把所有箱子都贴上了统一的标签，直接按标签大小排好队。这样，芯片里的“比较器”（比如判断 ReLU 激活函数）可以直接用简单的整数逻辑，零延迟完成，不需要额外的电路。

魔法二：四进制（Base-4）加速（Quad-Radix）

• 传统做法：旧标准是二进制（Base-2），每次调整数字大小只能“进位”一次（×2）。
• AetherFloat：它改用四进制（Base-4），每次调整是“进位”两次（×4）。
• 比喻：想象你在爬楼梯。旧标准是一级一级爬，每层都要停下来调整呼吸（对齐电路）。AetherFloat 是一次跨两级台阶，虽然偶尔会踩空一点点（精度有微小波动），但在 AI 训练中，这种微小的波动反而像是一种“随机抖动”，能帮助模型跳出局部最优解（类似正则化），而且不需要那些复杂的对齐机械臂了。

魔法三：显式小数（Explicit Mantissa）与“去隐藏位”

• 传统做法：为了省空间，旧标准会“隐藏”小数点前的那个"1"（就像大家都默认穿白衬衫，就不印在衣服上了）。但这导致芯片必须预留空间去“猜”这个 1 在哪，乘法器必须做得很大（4x4）。
• AetherFloat：它明明白白地把那个"1"印在衣服上（显式存储）。
• 比喻：虽然多印了一个字（少了一位精度），但省去了“猜谜”的环节。这让芯片里的乘法阵列从 4x4 缩小到了 3x3。
• 结果：芯片面积减少了 33%，功耗降低了 22%，速度也更快了。

3. 核心亮点：Block-Scale-Free（无需动态伸缩）

这是 AF8 最厉害的地方。

• 现状：现在的 8 位 AI 芯片为了处理大数字，必须配备一个“动态伸缩保险杠”（AMAX 逻辑），每算一次都要停下来检查最大值，非常慢。
• AetherFloat：因为它用了四进制，动态范围（能装下的数字大小）比传统格式大得多（从 448 扩大到了 57,344 甚至更高）。
• 比喻：以前的车只能装 400 公斤，遇到大象（大数字）就得停下来换个大箱子（AMAX）。AetherFloat 的车本身就是一个巨型集装箱，大象直接就能装进去，完全不需要停下来换箱子。
• 代价：为了拥有这个“巨型集装箱”，你需要在训练阶段就精心调整货物摆放（量化感知训练 QAT），不能像以前那样随便把旧模型搬过来就用（后训练量化 PTQ）。

4. 实验结果：真的好用吗？

• 硬件层面：在芯片设计上，它确实省了面积，省电，速度快。
• 软件层面：
  • AF16（16 位版）：几乎可以完美替代现有的 bfloat16，精度损失微乎其微。
  • AF8（8 位版）：
    • 如果直接拿来用（后训练量化），效果不如 FP8，因为它没有那个“动态保险杠”来救急。
    • 但是，如果经过专门训练（QAT），它不仅能处理大数字，还能在训练过程中通过一种“随机舍入”技术（像给模型加点随机噪音防止死板），保持很好的收敛性。
    • 在测试中，AF8 在训练后期的稳定性甚至优于传统的 FP8。

总结

AetherFloat 就像是为 AI 芯片量身定做的一套“新交通规则”：

1. 去掉了繁琐的“隐藏位”和“对齐机械臂”，让芯片更小巧、更省电。
2. 把数字范围做得更大，让 AI 模型不再需要笨重的“动态伸缩保险杠”来防止溢出。
3. 代价是：它要求开发者在训练模型时更用心（QAT），不能直接“拿来主义”。

一句话概括：AetherFloat 通过牺牲一点点数学上的“完美隐藏”，换来了硬件上的巨大效率提升和更宽的动态范围，是未来 AI 芯片加速的一个极具潜力的新方向。

技术摘要

1. 研究背景与核心问题 (Problem)

现有的 IEEE 754 浮点标准在现代大规模并行神经网络处理器（NPU）中面临显著的效率瓶颈，特别是在向 8 位及更低精度格式（如 FP8）转型的过程中：

• 硬件开销大：IEEE 754 的 Base-2（二进制）归一化要求、隐藏位（Hidden Bit）机制以及符号 - 幅值（Sign-Magnitude）编码，导致需要复杂的深对齐交叉开关（Barrel Shifters）和大量的逻辑门，增加了硅面积和功耗。
• 流水线停顿：处理非规格化数（Subnormals）通常需要微码陷阱（Microcode traps），导致流水线停顿。
• LLM 激活值异常值（Outliers）问题：大语言模型（LLM）的激活值存在巨大的异常值。现有的 8 位格式（如 FP8 E4M3）动态范围有限，必须依赖**块缩放（Block-Scaling/AMAX）**硬件逻辑来防止溢出。这种动态缩放机制引入了额外的硬件复杂性、延迟和功耗，且会导致小数值被量化为零。
• 比较操作低效：传统的浮点格式无法直接利用整数 ALU 进行排序或比较，处理 ReLU 等非线性操作时需要专用的 FPU 逻辑。

2. 方法论与核心架构创新 (Methodology)

AetherFloat 家族提出了一种从硬件/软件协同设计（Co-Design）角度出发，基于第一性原理重新设计的浮点架构。其核心创新包括以下三点：

A. 字典序反码解包 (Lexicographic One's Complement Unpacking)

• 机制：将传统的符号 - 幅值编码转换为**反码（One's Complement）**映射。对于负数，仅对其幅值位进行按位取反（XOR），而不进行进位传播。
• 优势：
  • 零延迟整数可比性：浮点数在硬件层面直接表现为单调的有符号整数，允许使用廉价的整数 ALU 直接执行 ReLU（max(0, x)）和最大池化操作，无需专用 FPU 逻辑。
  • 消除分支：无需复杂的比较逻辑，实现了零周期的 FPU 旁路。

B. 四基（Base-4）缩放 (Quad-Radix Scaling)

• 机制：摒弃 IEEE 754 的 Base-2，采用 Base-4（4 的幂次）作为指数基数。
• 优势：
  • 扩大动态范围：指数增长更快，能够原生吸收 LLM 中的大异常值，从而消除对动态块缩放（AMAX）硬件的需求（即"Block-Scale-Free"）。
  • 简化硬件：操作数对齐移位仅在 2 位对（2-bit pairs）级别进行，将深位级交叉开关替换为超浅层的 2 级多路复用器（MUX）。
  • 精度方差（Wobble）的利用：虽然高基数会引入精度方差（Wobble），但论文指出在深度学习的随机梯度下降（SGD）中，这种方差（约 3.04 dB 的 SQNR 损失）可被视为一种良性正则化，不会显著降低模型精度。

C. 显式尾数与非规格化数无陷阱处理 (Explicit Mantissa & No-Trap Subnormals)

• 机制：
  • 显式尾数：完全放弃“隐藏位”设计。例如在 AF8 中，存储的 3 位尾数即为实际尾数。
  • 无分支非规格化：当指数为 0 时，硬件直接暂停“前导位非零”规则，非规格化数直接流经相同的乘法器阵列，无需微码陷阱。
• 优势：
  • 硬件缩减：以牺牲一位数学精度为代价（将 4x4 乘法器缩减为 3x3），大幅减少了 MAC（乘加）单元的硅面积。
  • 流水线畅通：彻底消除了处理非规格化数时的流水线停顿。

D. 向量共享随机舍入 (Vector-Shared Stochastic Rounding)

• 采用基于 32 位 Galois LFSR 的向量共享拓扑，为 SIMD 向量线广播随机位，用于训练过程中的随机舍入，防止梯度消失，同时避免了每个 ALU 独立生成随机数的巨大硬件开销。

3. 关键贡献 (Key Contributions)

1. 提出 AetherFloat 架构家族：包括 AF8（8 位）和 AF16（16 位），专为 AI 加速器优化。
2. 实现"Block-Scale-Free"推理：AF8 通过 Base-4 扩展动态范围（约 $1.22 \times 10^{-4}$到$57,344$），原生容纳 LLM 异常值，完全移除了动态 AMAX 缩放硬件。
3. 硬件性能突破：
   • MAC 单元面积减少 33.17%。
   • 总功耗减少 21.99%。
   • 关键路径延迟减少 11.73%。
4. 软件/硬件协同策略：明确了 AF8 作为QAT（量化感知训练）优先的格式，而非 PTQ（训练后量化）的即插即用替代品。通过 STE（直通估计器）和反向传播的随机舍入，解决了梯度流问题。
5. 开源与验证：提供了基于 SkyWater 130nm PDK 的 Verilog 代码、PyTorch 仿真框架及 C++ 验证工具，并申请了相关专利。

4. 实验结果 (Results)

• 硬件指标：在 SkyWater 130nm 工艺下，AF8 的 MAC 单元相比传统 FP8 实现了显著的面积和功耗降低。
• 精度表现 (PTQ)：
  • AF16：作为 bfloat16 的替代品，在 WikiText-2 和 HellaSwag 等基准测试中表现出近无损的精度（PPL 仅增加 0.0012）。
  • AF8 (PTQ)：在纯 PTQ 设置下，由于缺乏 AMAX 且权重可能低于最小非零值，导致精度下降（如 WikiText-2 PPL 升至 10.6）。
• 训练收敛 (QAT)：
  • 在 Qwen2.5-7B 模型的 QAT 实验中，AF8 表现出比 FP8 更好的收敛稳定性。
  • 在 200 步的可行性测试中，AF8 在训练后期（Step 150）的 Loss（约 3.0）优于 FP8（约 3.8），证明了在无 AMAX 硬件支持下，通过 STE 和随机舍入可实现有效的梯度流动。
• 动态范围对比：AF8 的动态范围（最高约 57,344）远大于 FP8 E4M3（约 448），无需外部缩放即可处理 LLM 激活值的极端异常。

5. 意义与局限性 (Significance & Limitations)

意义：

• 架构简化：AetherFloat 通过消除隐藏位、简化对齐逻辑和移除 AMAX 硬件，为 AI 加速器提供了一种更简洁、高效的浮点数据路径。
• 解决 LLM 缩放痛点：为 8 位推理提供了一种无需复杂动态缩放硬件的解决方案，降低了硬件设计的复杂度和延迟。
• 软硬协同新范式：证明了通过调整量化策略（QAT）可以弥补硬件格式在数学精度上的微小损失，换取巨大的硬件收益。

局限性：

• QAT 依赖：AF8 不能直接用于 PTQ，必须经过量化感知微调，这增加了部署前的训练成本。
• 工艺依赖：硬件数据基于 SkyWater 130nm 教育工艺，先进工艺（如 5nm）下的绝对数值可能不同，但相对趋势预计保持一致。
• 验证范围：目前的收敛性验证基于单种子、单模型（Qwen2.5-7B）的短周期测试，需要更多模型和长周期训练来验证统计显著性。
• 数值稳定性：反码编码在长求和链中的灾难性抵消（Catastrophic Cancellation）等极端数值边缘情况尚未完全评估。

总结：AetherFloat 家族通过大胆牺牲一位数学精度（显式尾数）和引入 Base-4 缩放，成功换取了巨大的硬件效率提升和动态范围扩展，为下一代 AI 加速器提供了一种极具潜力的"Block-Scale-Free"浮点架构方案。