Pro-KLShampoo: Projected KL-Shampoo with Whitening Recovered by Orthogonalization
Pro-KLShampoo 是一种新颖的优化器，它通过利用其预条件器中观测到的“尖峰 - 平坦”特征值结构，将低维子空间上的全谱跟踪与剩余方向上的正交化相结合，从而在多种大语言模型规模下实现了验证损失、内存效率和训练速度的卓越性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教一个巨大且复杂的机器人（大型语言模型）说人类语言。为此，你向它展示数百万个示例，并让它犯错。每次它犯错时，你都会给它一个“推动”（梯度）来修正其路径。
问题在于，这些推动是混乱的。有时，机器人需要在某个方向上接受微小而精准的推动，而在另一个方向上则需要巨大的推力。如果你只是随机地推动它，它的学习速度就会很慢。为了快速学习，你需要一个智能的“预条件器”——一种能够重塑这些推动、使其达到完美平衡和高效状态的工具。
用于此项工作的两种流行工具是KL-Shampoo和Muon。
- KL-Shampoo就像一位大师级雕塑家。它试图为每一个单独的推动雕刻出完美的形状。它非常精准，但需要大量的繁重工作（计算能力和内存）来计算拼图每一块的形状。
- Muon则像一位体操运动员。它不试图重塑每一块；相反，它只是理顺推动的动量，使它们以干净、正交（直角）的方式移动。它快速且轻量，但可能会错过雕塑家所捕捉到的一些细微细节。
重大发现：“尖峰 - 平坦”模式
本文作者仔细研究了“雕塑家”的工作（即 KL-Shampoo 预条件器），并注意到一种奇怪而美丽的模式。他们发现，“推动形状”并非随机。相反，它们看起来像是一个尖峰 - 平坦的地貌：
- 尖峰： 少数方向具有巨大且主导的数值（就像几座高耸的山峰）。
- 平坦： 其余方向的高度大致相同（就像一片广阔的平原）。
这种现象贯穿机器人大脑的所有层级，从第一层到最后一层皆是如此。仿佛机器人只真正关心少数特定方向，而在其他地方，它只是“平坦”的噪声。
解决方案：Pro-KLShampoo
作者构建了一种名为Pro-KLShampoo（投影 KL-Shampoo）的新优化器。可以将其视为一种混合工具，利用“尖峰 - 平坦”的发现，兼收并蓄。
以下是其工作原理，使用一个简单的类比：
“贵宾室”（子空间）：
算法识别出“尖峰”方向——即那几座重要的山峰。它将它们放入一个特殊的“贵宾室”（一个被追踪的子空间）中。在这个房间里，它使用沉重而精准的雕塑工具（KL-Shampoo）为这几个关键方向塑造完美的形状。它不会在其余部分浪费时间。“开阔地”（补集）：
对于“平坦”方向（地貌的其余部分），它不再试图雕刻每一颗小石子。相反，它使用一种称为正交化的巧妙技巧（借用于 Muon 工具）。- 魔法技巧： 作者从数学上证明，如果你只是“理顺”（正交化）平坦区域中的推动，就能神奇地恢复出与在那里进行繁重雕刻完全相同的代数结果。这就像意识到，对于一片平坦的田野，你不需要地图；你只需要沿直线行走，最终到达的位置与计算了每一个坐标后到达的位置完全相同。
为什么这更好？
- 速度： 通过忽略“平坦”部分的繁重雕刻，仅对其进行理顺，算法运行速度快得多。它节省了计算机“挂钟时间”（现实世界时间）的大量时间。
- 内存： 它不需要存储平坦部分的巨大复杂形状。它只存储小的“贵宾”形状以及其余部分的单个数值。这节省了大量计算机内存。
- 性能： 在不同规模机器人（GPT-2 和 LLaMA）的测试中，Pro-KLShampoo 的学习速度更快，达到的错误率更低，同时使用的内存更少。
总结
论文指出：“我们发现，现代 AI 训练背后的复杂数学具有一个简单的模式：少数几个大尖峰和一个平坦的尾部。我们构建了一种新工具，对尖峰给予极度细致的处理，而对平坦尾部则使用一种简单、快速的技巧。这种技巧的效果与复杂的数学计算一样好，但运行起来更快、成本更低。”
结果是一种更智能、更快速的 AI 模型训练方法，它在保持质量的同时节省了时间和计算机资源。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。