技术摘要：优化器记忆使洗牌顺序成为微调噪声的一阶来源

1. 问题陈述

在大型语言模型的微调过程中，数据领域（或批次）呈现的顺序会显著影响最终的模型参数。以往的理论分析通常假设为无记忆梯度步，预测重新排列等量多重集（equal multiset）仅会在相对于学习率 $\eta$ 的二阶水平（$O(\eta^2)$）上影响最终状态。这是因为在无记忆展开式中，一阶项是多重集的平坦总和，该总和在置换下保持不变。

然而，像 AdamW 这样的实际优化器并非无记忆的；它们维护着状态缓冲区（动量、方差估计和偏差修正计数器），这些缓冲区是基于离散步数索引 $k$ 而非连续时间训练变量 $\tau = \eta k$ 进行推进的。本文指出，这种“固定时钟”的状态推进导致相同的梯度根据其在序列中的位置而获得不同的权重。因此，相同数据的两种不同排序（例如序列 $AB$与$BA$）之间的差异可能成为一个一阶效应（$O(\eta)$），而非二阶效应，这使得洗牌顺序可能成为微调比较中的主要噪声来源。

2. 研究方法

理论框架：提升状态时钟定理 (Lifted-State Clock Theorem)

作者引入了一个“提升状态”框架，其中优化器状态 $z = (\theta, \xi)$ 包含参数 $\theta$ 和内部缓冲区 $\xi$。他们分析了在固定测量状态下，优化器在有限窗口 $K$ 步内的局部行为。

• 常规优化器 (Regular Optimizers)： 定义为局部状态映射 $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ 的脉冲权重与位置无关的优化器。对于这类优化器，等量多重集的对比差异为 $O(\eta^2)$。
• 固定时钟优化器 (Fixed-Clock Optimizers)： 在 AdamW 等优化器中，缓冲区的状态更新（例如 $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$）随步数索引 $t$ 推进。作者推导出了一个提升状态时钟定理，表明对于固定时钟优化器，同一多重集的两个排列 $w$ 和 $w'$ 之间的终点参数差异为：
  $$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$$
  其中 $\Lambda_{w,w'}(u)$ 是“冻结参数优化器状态重放”的差异。如果该重放系数非零，则顺序对比度按 $O(\eta)$ 缩放。

解析特化：冻结预处理器的 AdamW (Frozen-Preconditioner AdamW)

为了推导出闭式解，论文将研究对象特化为在测量状态下具有冻结预处理器（$P_0$）的 AdamW，同时保持一阶矩缓冲区和偏差修正时钟处于激活状态。

• 脉冲权重 (Impulse Weights)： 作者推导出了位置相关的脉冲权重核 $W^{(s,\beta)}_{r,K}$，用于描述位置 $r$ 处的梯度。与常规优化器不同，这些权重是非平坦的（例如，在典型超参数下，在 16 步的窗口内从 0.815 衰减至 0.100）。
• 方差底限 (Variance Floor)： 他们推导了随机排列结果的渐近方差下界。领先项为：
  $$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$$
  其中 $\sigma^2_\phi$ 是投影梯度的方差，$V_K$ 是优化器记忆对比度（脉冲权重的方差）的度量。对于常规优化器，$V_K=0$，产生 $O(\eta^4)$ 方差；对于固定时钟优化器，$V_K > 0$，产生 $O(\eta^2)$ 方差。

实验方案

作者使用 Pythia-1B 和 Llama-3.2-1B 上的局部 LoRA 微调单元验证了这些主张。

• 指数拆分 (Exponent Split)： 他们测量了中值参数差异（$\|\theta_{AB} - \theta_{BA}\|$）相对于学习率 $\eta$ 的缩放关系。
• 对照组 (Controls)： 他们将 AdamW 与以下模型进行对比：
  • SGD： 无记忆。
  • 匹配时钟动量 (Matched-Clock Momentum)： 其中衰减 $\beta$ 和归一化随 $\eta$ 进行缩放（例如 $\beta = e^{-a\eta}$），以恢复常规的 $O(\eta^2)$ 行为。
  • 固定-$\beta$ 动量 (Fixed-$\beta$ Momentum)： 一个非自适应控制，用于隔离缓冲效应与坐标自适应性的影响。
• 位级确定性重放 (Bitwise-Deterministic Replay)： 为了隔离机制，他们派生了一个预热的优化器状态，并使用位级确定的步骤进行不同顺序的重放，从而消除了随机梯度噪声。
• 诊断工具： 他们引入了指标 $\rho$（用于局部有效性的信任区域比率）、$\chi$（标量冻结-$P$ 与完整重放之间的保守性间隙）以及 $\rho_{curl}$（成对顺序偏好的标量可排序性）。

3. 关键结果

1. 从二阶到一阶的指数偏移

经验测量证实了理论上的缩放指数偏移：

• SGD 和匹配时钟动量： 顺序对比度接近 $\eta^2$ 缩放（指数 $\approx 2.0$）。
• 固定时钟 AdamW 和 Lion： 顺序对比度接近 $\eta^1$ 缩放（指数 $\approx 0.91 - 1.09$）。
• 固定-$\beta$ 动量： 一个带有固定时钟缓冲的非自适应控制也表现出接近 $1.0$ 的指数（斜率 0.998），证实了仅靠缓冲（无需坐标自适应性）就足以产生一阶通道。

2. 方差底限与顺序噪声

• 方差缩放： 固定时钟 AdamW 的顺序轨道方差按 $\eta^{1.20}$（原始）或 $\eta^{1.83}$（在控制异质性输入时）缩放，显著大于 SGD 和匹配时钟控制观察到的 $\eta^{3.83}$–$\eta^{4.00}$ 缩放。
• 确定性重放： 位级确定性重放产生的方差斜率分别为 1.83 (AdamW)、2.00 (固定-$\beta$ 动量) 和 4.00 (SGD)，从而将机制从随机梯度噪声中分离出来。

3. 局部有效性与可排序性

• 信任区域 ($\rho$)： 当 $\rho < 1$ 时，一阶冻结-$P$ 近似预测的实时结果具有高相关性（皮尔逊相关系数 0.80）。
• 标量可排序性 ($\rho_{curl}$)： 在摄动机制下，成对顺序偏好在很大程度上可以由标量势函数进行排序（当 $\rho_{curl} < 1$ 时，未观察到有向三循环）。当 $\rho_{curl}$ 接近 1 时，非保守的括号项会产生有向循环（传递性失效）。

4. 洗牌种子预算 (Shuffle-Seed Budget)

论文提供了一个公式，用于计算在给定顺序噪声标准差 $\sigma_{ord}$ 的情况下，解决性能差距 $\Delta$ 所需的洗牌种子数量。

• 启示： 当配置之间的差距与顺序噪声底限相当时（$|\Delta|/\sigma_{ord} < 1$），单次洗牌比较是不够稳健的，并且很容易翻转结果的符号。例如，在 held-out NLL 校准中，当差距相对于噪声较小时，符号改变率达到了 33–44%。

4. 意义与主张

本文声称隔离并量化了一个特定的机制——固定时钟优化器记忆——它将数据排序从一个微不足道的二阶效应提升为微调中的主要一阶噪声来源。

• 机制识别： 它证明了以往理论工作中的“无记忆”假设对于标准优化器是不成立的，因为它们的内部时钟（步数计数器）并不随学习率缩放。这导致了梯度具有位置依赖性的权重。
• 实际影响： 产生的“顺序通道”足够大，以至于单个随机种子就可以翻转微调过程中接近的 A/B 测试结果。这对使用单种子进行超参数调优和模型选择的可靠性提出了挑战。
• 诊断工具： 作者提供了一种“无需拟合”的方法，通过推导出的方差底限和脉冲权重来衡量这种噪声的大小，从而为确定实现可重复比较所需的洗牌种子预算提供了判据。
• 范围限制： 作者明确指出，他们的闭式结果仅限于有限的测量窗口，并且依赖于冻结预处理器的近似。他们并不声称解决了全局收敛问题或提供了通用的排序策略，而是旨在解释局部微调单元中观察到的方差。

总之，本文认为，优化器记忆使洗牌顺序成为微调噪声的一个一阶来源，在使用像 AdamW 这样的固定时钟优化器时，这要求进行更大规模的种子预算管理，并对微调比较的结果进行谨慎解读。