🤖 machine learning

Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization

本文提出了一种名为 CAQ-ZO 的零阶优化方法，该方法通过在变换后的潜在空间中执行扰动，使查询几何与非均匀压缩量化器相一致，从而消除端点舍入残差并提升低比特模型的微调性能。

原作者： Yao Shu, Zilin Zhu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yao Shu, Zilin Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试调谐一台非常复杂的高科技收音机（一个大型 AI 模型），以获得尽可能清晰的信号。你无法看到内部的旋钮或刻度盘；你只能聆听声音（即“损失”），并猜测该朝哪个方向转动旋钮以改善声音。这被称为零阶优化（Zeroth-Order Optimization）。

通常，为了弄清楚该朝哪个方向转动旋钮，你会在左右两侧轻微地晃动旋钮，聆听声音的差异，然后将旋钮移向能改善声音的方向。

问题：“低比特”收音机

现在，想象这台收音机是 built 在一个特殊的、节省内存的约束下构建的：它只理解“低分辨率”的设置。这就好比收音机有一个数字刻度盘，它只能落在少数几个特定的“咔哒”声或“步长”上，而不是平滑、连续的旋转。

在旧的方法中（论文称之为权重空间查询（Weight-Space Queries）），你会：

在脑海中决定将旋钮向左和向右轻微晃动（连续移动）。
让收音机在这两个新位置播放声音。
故障： 因为收音机只理解特定的“咔哒”声，它会将你的连续晃动“吸附”到最近的可用咔哒声上。
- 如果某些区域的“咔哒”声非常密集，你微小的晃动可能在两侧都被吸附到同一个咔哒声上。收音机听不出任何差异，你得到的信息量为零。
- 如果其他区域的“咔哒”声相距甚远（稀疏），你微小的晃动可能会被吸附到一个实际上远远偏离你意图位置的咔哒声上。你得到的是一个失真的信号。

论文认为，这种“吸附”现象为优化器制造了一张令人困惑且失真的地图，使其难以学习。

解决方案：CAQ-ZO（“地图对齐”方法）

作者 Yao Shu 和 Zilin Zhu 提出了一种询问收音机问题的新方法。他们称之为CAQ-ZO（Compander-Aligned Queries，压缩扩展器对齐查询）。

他们不再在原始的“连续”世界中思考旋钮，而是改变了视角。他们意识到，如果通过一个特殊的漏斗（一种称为压缩扩展器 compander 的数学变换）来观察，收音机的“咔哒”声实际上是完美均匀分布的。

漏斗的类比：
想象收音机的设置是一条凹凸不平的道路。

旧方法： 你试图在这条凹凸不平的道路上行走固定的距离（比如 1 米）。有时你在深泥坑中行走 1 米（几乎没动），有时你在平滑的小山上行走 1 米（飞速前进）。你的步伐是不一致的。
CAQ-ZO 方法： 你通过一个特殊的漏斗透镜观察这条道路。透过这个透镜，凹凸不平的道路看起来像是一条完全平坦、笔直且铺有均匀瓷砖的道路。
- 现在，你不再在凹凸不平的道路上行走 1 米，而是直接在平坦的瓷砖路上行走一块瓷砖的距离。
- 你问收音机：“如果我正好向左移动一块瓷砖，声音会是什么样？向右移动一块瓷砖呢？”
- 因为你正好是从一块瓷砖移动到另一块瓷砖，收音机的“吸附”机制完全不会扭曲你的移动。它会精确地落在你告诉它的位置上。

他们的发现

理论： 他们从数学上证明，如果你坚持在特殊透镜视图（即压缩扩展器坐标系）中的“瓷砖”上移动，你获得的测量结果是完全准确的。不存在“吸附误差”。
实验：
- 合成测试： 他们创建了虚假的数学问题以隔离这种“吸附”误差。他们表明，他们的新方法（CAQ-ZO）完全消除了该误差，而旧方法则持续受其困扰。
- 真实 AI 模型： 他们在真实的语言模型（如 Qwen 和 Llama）上测试了这种方法，使用了名为NF4的特定低精度格式。他们发现，通过使用这种“瓷砖行走”方法，模型的学习效果更好，并取得了比使用旧“凹凸道路”方法的模型更高的准确率，尽管它们使用了完全相同的内存和硬件。

核心结论

这篇论文并没有发明一种新型收音机或一种新的数据存储方式。相反，它修正了我们向低精度收音机提问的方式。

旧方法： “轻微晃动旋钮。”（结果：收音机将晃动吸附到随机位置，给你糟糕的数据）。
CAQ-ZO 方法： “精确移动到下一个咔哒标记处。”（结果：收音机听到你确切的要求，给你完美的数据）。

通过使他们的提问与收音机内部的“咔哒”声对齐，他们使低内存 AI 训练变得更加高效。

技术摘要：针对量化零阶优化的压缩器对齐查询几何

1. 问题陈述

本文探讨了零阶（ZO）优化在应用于**低精度（量化）大语言模型（LLM）**时存在的一个根本性局限。虽然 ZO 方法（如 MeZO）通过仅依赖前向传播和标量损失值实现了内存高效的适配，但现有方法在模型以低比特精度（例如 NF4）存储和查询时面临困难。

核心问题是由非均匀量化引起的测量失配：

标准 ZO：在连续权重空间（ $x \pm \mu u$ ）中扰动权重，并测量损失差异。
量化 ZO：引擎评估舍入后的端点 $Q(x \pm \mu u)$ 。
冲突：对于非均匀压缩量化器（如 NF4、 $\mu$ $μ$ -law），量化单元并非均匀的。固定的权重空间扰动半径 $\mu$ $μ$ 可能：
1. 坍缩：完全落入单个密集的量化单元内，导致零损失差异（无梯度信号）。
2. 过度跨越：跨越多个稀疏单元，测量的是非局部割线而非局部梯度。
3. 失准：产生一条与预期更新方向 $u$ 不平行的“舍入弦” $Q(x+\mu u) - Q(x-\mu u)$ 。

这导致了查询时的量化 - 扰动耦合，引入了一个偏差通道，扭曲了下降方向，即使码本本身对重建是最优的，也会阻碍收敛到驻点。

2. 方法论：CAQ-ZO

作者提出了CAQ-ZO（用于零阶优化的压缩器对齐查询），该方法将查询几何从权重空间转移到压缩器坐标空间。

理论框架

本文将标量非均匀量化建模为压缩过程：
$Q = \phi^{-1} \circ U \circ \phi$
其中：

$\phi$ ：单调坐标映射（压缩器）。
$U$ ：在变换空间 $z = \phi(x)$ 中具有网格间距 $\Delta$ 的均匀量化器。
$\phi^{-1}$ ：映射回权重空间的扩展器。

算法

CAQ-ZO 不在权重空间中扰动 $x$ ，而是在 $z$ 空间中操作：

坐标变换：在压缩器坐标中保持迭代变量 $z_t = \phi(x_t)$ 。
网格内模板：直接在 $z$ 空间中生成扰动，使用单步 Rademacher 模板： $z_t \pm \Delta r$ ，其中 $r \in \{-1, +1\}^d$ 。
查询：将端点映射回权重空间： $x_{query} = \phi^{-1}(z_t \pm \Delta r)$ 。
测量：查询低精度预言机。由于端点 $z_t \pm \Delta r$ 恰好位于 $U$ 的均匀网格上，量化器 $Q$ 在查询点处表现为恒等映射（端点处不发生舍入误差）。
更新：在 $z$ 空间中计算梯度估计并更新 $z_{t+1}$ ，将结果投影回网格以保持未来查询的不变性。

关键区别：CAQ-ZO 不改变码本、优化器包装器或前向预言机。它仅改变有限差分模板的几何形状，使其与量化器的内部网格对齐。

3. 主要贡献

本文做出了四项主要贡献：

查询几何的表述：将量化 ZO 从码本比较问题重新框架化为测量几何问题。它将码本、查询坐标、方向分布、平滑半径和端点网格对齐作为独立的控制变量进行隔离。
失配的理论分析：
- 定理 1：证明没有任何固定的权重空间半径 $\mu$ 能够全局校准非均匀单元；有效网格跨度 $\rho$ 取决于局部压缩器斜率 $\nabla \phi$ 。
- 定理 2：分解估计器误差，表明标准权重空间查询会产生与 $\Delta^2/\mu^2$ （端点舍入）成正比的残差，而 CAQ-ZO 使该查询时残差精确为零。
- 定理 3 和 4：提供驻点界限，证明权重空间查询因舍入偏差而遭受残差下限，而 CAQ-ZO 的收敛仅由标准有限差分偏差和随机方差支配。
算法设计：引入了 CAQ-ZO 算法（算法 1），该算法利用压缩器坐标中的网格内 Rademacher 有限差分，并强制更新时投影以保持网格对齐。
实证验证：
- 合成实验：隔离了端点舍入通道，表明 CAQ-ZO 消除了困扰权重空间基线（Vanilla Gaussian ZO, QuZO）的残差通道。
- LLM 微调：展示了在使用NF4量化时对Qwen-2.5-1.5B和Llama-2-7B的改进。在相同的量化器和评估预算下，CAQ-ZO 在多个任务（SST-2, RTE, CB, SQuAD 等）上优于权重空间基线（QuZO）。

4. 结果

合成实验：在具有 $\mu$ -law 和 NF4 风格压缩器的高维（ $d=10,000$ ）合成实验中，CAQ-ZO 实现了最低的最终损失与初始损失比率。它特别消除了权重空间方法中观察到的“端点舍入残差”，即使增加迭代次数，该残差在权重空间方法中仍保持非零。
LLM 微调：在匹配的 NF4 微调实验中：
- CAQ-ZO 在两个模型的所有指标上始终优于 QuZO（权重空间基线）。
- 显著增益包括 Qwen 和 Llama 在 CB 任务上分别提高了 18.8/21.4 个准确率点，以及在 SQuAD 任务上分别提高了 24.0/28.1 个 F1 分数。
- 结果证实，在保持码本固定的情况下，改变有限差分端点可以改善训练后的量化模型。

5. 意义与范围

本文声称，量化 ZO 并非仅由码本决定；有限差分模板与量化单元之间的相互作用同样关键。

核心洞察：对于静态重建最优的码本（例如 NF4），如果查询几何失准，则对于权重空间扰动可能是次优的。CAQ-ZO 通过使查询几何与压缩器对齐来解决这一问题。
主张的适度性：作者明确界定了其主张的范围：
- 该理论适用于标量单调压缩器（包括通过单调插值的 NF4）。
- 证据仅限于受控的合成实验和匹配的 NF4 LLM 微调。
- 本文不声称其具有对所有非标量码本（例如矢量量化器）的普遍可迁移性，或在未经单独验证的情况下提出更广泛的关于大模型的声明。
- 它被定位为针对“低精度前向传播”设置的特定解决方案，区别于修改码本或使用直通估计器的方法。

总之，CAQ-ZO 提供了一种理论扎实且经实证验证的方法，用于消除零阶优化中由量化舍入引入的偏差，从而实现量化 LLM 更有效的内存高效适配。