想象一下人工智能的世界就像一座巨大且繁忙的图书馆，巨大的机器人（被称为大语言模型）正试图学习阅读、写作和推理。为了做到这一点，它们需要处理海量的信息，这需要消耗巨大的能量和内存。这就像是试图用一节 AA 电池来驱动一台超级计算机；效果会非常糟糕。科学家们一直试图通过教这些机器人使用“更简单”的数字来提高效率。与其使用复杂的高精度小数（比如测量到百万分之一毫米的距离），他们尝试使用更粗略的 4 位（4-bit）数字（比如以整英寸为单位进行测量）。这节省了大量的空间和能量。然而，问题在于：当这些机器人尝试使用这些粗略的数字进行学习时，它们经常会感到困惑、出错，甚至停止学习。这就像是在一个规则不断变化的迷宫中导航。

你即将阅读的这篇论文就在探讨这种特定的困惑。它在问：为什么用超简单的数字教这些 AI 机器人会导致它们崩溃？作者们发现，问题不仅仅在于数字太简单，而是在于当机器人从“向前学习”（阅读句子）切换到“向后学习”（检查错误）时，组织这些数字的方式发生了变化。这就像机器人从左到右读一本书，但当它检查笔记时，却突然变成了从右到左读，导致页码乱套，逻辑全失。论文提出了一个聪明的解决方法：一种新的组织数字的方式，让规则无论在哪个方向观察时都保持一致。这使得机器人即使使用最简单的数字也能稳定学习，从而在不损失智能的前提下，让训练变得更快、更便宜。

---

大数字大洗牌：修复 AI 的记忆故障

所以，你想建造一个超级聪明的 AI，但你的计算机正面临电力和内存不足的问题。通常的做法是告诉 AI 使用“低精度”数学。可以这样想：通常情况下，AI 使用一把带有极其微小刻度的超精密尺子（比如 BF16 或 FP8）。但为了节省空间，我们希望它使用一把只有四个大块刻度的尺子（FP4）。这会快得多，占用的空间也更少。但问题在于：当 AI 尝试用这些粗略的刻度进行学习时，它往往会崩溃。它会开始胡乱猜测，导致训练中断。

长期以来，科学家们认为问题仅仅在于这些粗略的刻度不够精细。他们尝试通过将数字分组并赋予每个组一个共享的“缩放比例”（一种拉伸或收缩数字以适应范围的方法）来解决问题。这效果还可以，但 Mehdi Rahimifar 及其团队的新论文指出：“等等！我们找到了真正的元凶。”

元凶是一个被称为**转置（transposition）**的隐蔽小故障。

“从左到右 vs 从右到左”的问题

想象你有一组排列成行的便利贴贴在墙上。你在每张便签上写下一个数字，并在整行旁边贴上一个标签，说明这些数字的大小。这就是 AI 通常组织数据的方式。

现在，想象 AI 正在学习。首先，它从左到右阅读便签（“前向传播”）。它看到了数字和标签，并从中学习。但随后，为了检查工作并修正错误，它必须翻转这个网格（在数学中这被称为“转置”）。突然间，行变成了列。

灾难发生了：在旧的方法中（称为 1D 分块量化），当网格翻转时，便签会被重新洗牌进新的组里。原本属于“组 A”且带有特定标签的便签，现在变成了“组 B”，并带有了完全不同的标签。AI 会想：“等等，我以为这个数字很小，但现在的标签却说它很大！”这种在学习时看到的数字与检查工作时看到的数字之间的不匹配，产生了一种令人困惑且带有偏差的信号。这就像是在遵循一个食谱，而每当你翻页时，配料表都会发生变化。结果呢？AI 变得晕头转向，训练变得不稳定，最终失败。

2D 方块解决方案

论文的作者提出了一个绝妙的想法：不要让分组在翻转网格时发生改变。

他们提议使用 2D 方块块（2D square blocks）。想象一下，不再是长条形的便签行，而是将它们排列成完美的正方形（就像一个 32x32 的棋盘格）。当你翻转一个正方形网格时，正方形依然是正方形。原本位于左上角的便签，仍然处于对应的同一个组内，只是位置发生了翻转。无论 AI 是向前还是向后看，这些数字对应的标签（缩放比例）都保持完全一致。

通过强制执行这种**转置不变性（transposition-invariant）**规则，AI 不再会感到困惑。它在学习时看到的数字，与它在纠错时看到的数字是相同的。这个简单的改变消除了这种“眩晕感”，并允许 AI 使用超简单的 FP4 数字进行稳定训练。

安全网：无截断与随机取值

不仅如此，仅仅修复分组还不够。因为 FP4 数字非常简单，它们很容易变得太大（溢出），或者以一种引入偏差的方式进行舍入（例如总是向上取整）。

为了解决这个问题，团队增加了两个安全特性：

1. 无截断缩放（Truncation-Free Scaling）： 与其直接切掉过大的数字（这会扭曲数据），不如调整“尺子”本身，使每一个数字都能舒适地落在范围内。这就像拉伸尺子，让房间里最高的人也能轻松容纳，而不会被切掉脑袋。
2. 随机舍入（Stochastic Rounding）： 当一个数字落在尺子的两个刻度之间时，AI 不会总是舍入到最近的一个（这会产生偏差），而是“抛硬币”。有时向上舍入，有时向下舍入。随着时间的推移，平均值会保持完美准确。这就像一场公平的游戏，庄家不会作弊。

针对“注意力机制”的“特殊酱料”

AI 大脑中有一个非常棘手的环节叫做“注意力机制（Attention）”，模型通过它来决定句子中哪些词是重要的。这个部分对精度极其敏感。如果你在这里使用简单的 FP4 数字，AI 就会陷入混乱。

因此，作者们采用了一种**混合精度（mixed-precision）**策略。他们使用超高效的 FP4 数字来进行繁重的体力活（主要的数学运算），但针对“注意力机制”部分，则切换到稍微精确一点的格式（MXFP8）。这就像是用一把粗糙、快速的铲子来挖大坑，但在处理中间精致的花床时，换成了一把精细的小铲子。这既保持了整个系统的快速高效，又保护了最敏感的部分。

它真的有效吗？

团队在一些非常大的 AI 模型上测试了这个想法，其中包括参数量高达 300 亿（这相当于非常多的脑细胞！）的模型。他们在高达 1000 亿个 token（单词和符号）的数据上进行了训练。

结果令人印象深刻：

• 稳定性： 模型从头到尾训练平稳。那些没有使用这种 2D 方块技巧的旧方法会在早期就崩溃。
• 性能： 使用这种新方法训练的 AI 模型，其表现与使用缓慢、沉重的高精度数字训练的模型几乎完全一样。两者之间的质量差异极小——在某些测试中不到 1.3%。
• 效率： 他们节省了大量的内存（减少了约 65%），并且理论上在未来的专用硬件上可以运行得快 3.5 倍。

总结

这篇论文表明，让 AI 训练变得超高效的最大障碍不仅仅在于使用更小的数字，还在于确保这些数字无论 AI 如何观察，都能保持一致的行为。通过从混乱、偏移的行转向整齐、稳定的方块，作者们找到了一种让 AI 训练既快速如闪电又稳如磐石的方法。

当然，挑战依然存在。由于目前还没有广泛普及能够原生进行此类计算的特殊芯片，团队必须在现有计算机上进行模拟。但数学逻辑是成立的，前进的方向也非常明确：如果我们想要 AI 更快、更便宜，我们就必须停止这种“数字洗牌”，并保持规则的一致性。