技術要約：オプティマイザのメモリがシャッフル順序をファインチューニングにおける一次ソースのノイズにする

1. 問題提起

大規模言語モデルのファインチューニングにおいて、データドメイン（またはバッチ）が提示される順序は、最終的なモデルパラメータに大きな影響を与える可能性がある。メモリレスな勾配ステップを仮定した従来の理論的解析では、等しいマルチセットのデータを並べ替えても、学習率 $\eta$ に対して二次レベル（$O(\eta^2)$）のレベルで最終状態に影響を与えるだけであると予測されていた。これは、メモリレスな展開における一次項はマルチセット上の平坦な和であり、置換に対して不変であるためである。

しかし、AdamWのような実用的なオプティマイザはメモリレスではなく、内部状態（モーメンタム、分散推定、バイアス補正カウンタ）を保持しており、これらは連続的な時間変数 $\tau = \eta k$ ではなく、離散的なステップインデックス $k$ に基づいて進行する。本論文は、この「固定クロック（fixed-clock）」による状態進行が、同じ勾配であってもシーケンス内の位置によって異なる重みを受け取る原因になると主張している。その結果、同じデータの2つの異なる順序（例：シーケンス $AB$と$BA$）のコントラストは、二次的な効果ではなく、一次的な効果（$O(\eta)$）となり、シャッフル順序をファインチューニングの比較における支配的なノイズの源へと変貌させる可能性がある。

2. 手法

理論的枠組み：リフテッド・ステート・クロック定理（Lifted-State Clock Theorem）

著者らは、オプティマイザの状態 $z = (\theta, \xi)$ をパラメータ $\theta$ と内部バッファ $\xi$ を含むとする「リフテッド・ステート（持ち上げられた状態）」の枠組みを導入する。彼らは、固定された測定状態における、有限のウィンドウ $K$ ステップにわたるオプティマイザの局所的な挙動を分析する。

• レギュラー・オプティマイザ（Regular Optimizers）: ローカル状態マップ $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ のインパルス重みが位置に依存しないものとして定義される。これらの場合、等しいマルチセット間のコントラストは $O(\eta^2)$ である。
• 固定クロック・オプティマイザ（Fixed-Clock Optimizers）: AdamWのようなオプティマイザでは、バッファ（例：$m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$）のステート更新はステップインデックス $t$ とともに進行する。著者らは、リフテッド・ステート・クロック定理を導出し、固定クロック・オプティマイザにおいて、同じマルチセットの2つの置換 $w$ と $w'$ の間のエンドポイント・パラメータ差が以下のようになることを示した：
  $$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$$
  ここで、$\Lambda_{w,w'}(u)$ は「凍結パラメータ・オプティマイザ・ステート・リプレイ」の差である。このリプレイ係数がゼロでない場合、順序のコントラストは $O(\eta)$ としてスケールする。

解析的特殊化：凍結プリコンディショナを用いたAdamW（Frozen-Preconditioner AdamW）

閉形式の結果を導出するために、本論文は測定状態において凍結されたプリコンディショナ（$P_0$）を持つAdamWに特殊化し、一方で第一モーメント・バッファとバイアス補正クロックはアクティブなままにする。

• インパルス・ウェイト: 著者らは、位置 $r$ における勾配の、位置依存的なインパルス・ウェイト・カーネル $W^{(s,\beta)}_{r,K}$ を導出した。レギュラーなオプティマイザとは異なり、これらの重みは非平坦である（例：典型的なハイパーパラメータの下で、16ステップのウィンドウ全体にわたって0.815から0.100へと減衰する）。
• 分散フロア（Variance Floor）: ランダムな置換による結果の分散に対する漸近的な下界を導出した。主要項は以下の通りである：
  $$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$$
  ここで、$\sigma^2_\phi$ は投影勾配の分散であり、$V_K$ はオプティマイザ・メモリのコントラスト（インパルス・ウェイトの分散）の指標である。レギュラーなオプティマイザでは $V_K=0$ であり、$O(\eta^4)$ の分散となるが、固定クロック・オプティマイザでは $V_K > 0$ となり、$O(\eta^2)$ の分散となる。

実験プロトコル

著者らは、Pythia-1BやLlama-3.2-1Bなどのモデルを用いた局所的なLoRAファインチューニング・セルを使用して、これらの主張を検証した。

• 指数分割（Exponent Split）: 学習率 $\eta$ に対する中央値パラメータ差（$\|\theta_{AB} - \theta_{BA}\|$）のスケールを測定した。
• コントロール（対照実験）: AdamWを以下と比較した：
  • SGD: メモリレス。
  • マッチド・クロック・モーメンタム（Matched-Clock Momentum）: 減衰 $\beta$ と正規化が $\eta$ と共にスケールする（例：$\beta = e^{-a\eta}$）もの。これにより、レギュラーな $O(\eta^2)$ の挙動を復元する。
  • 固定-$\beta$ モーメンタム（Fixed-$\beta$ Momentum）: コーディネート適応性（coordinate adaptivity）からバッファリングの効果を分離するための、非適応的なコントロール。
• ビット単位決定論的リプレイ（Bitwise-Deterministic Replay）: メカニズムを分離するため、ウォームアップされたオプティマイザ・ステートをフォークし、異なる順序でビット単位決定論的なステップを用いてリプレイを行い、確率的な勾配ノイズを排除した。
• 診断: 著者らは、ローカルな妥当性の信頼領域比率 $\rho$、スカラー凍結Pとフルリプレイの間の保存性ギャップ $\chi$、およびペアごとの順序選好のスカラ・ソータビリティ（可ソート性） $\rho_{curl}$ などの指標を導入した。

3. 主要な結果

1. 二次から一次への指数のシフト

実測により、理論的なスケーリング指数のシフトが確認された：

• SGDおよびマッチド・クロック・モーメンタム: 順序コントラストは $\eta^2$ 近傍でスケールする（指数 $\approx 2.0$）。
• 固定クロックAdamWおよびLion: 順序コントラストは $\eta^1$ 近傍でスケールする（指数 $\approx 0.91 - 1.09$）。
• 固定-$\beta$ モーメンタム: バッファリングのみが一次の順序チャネルを作り出すことを確認した、非適応的なコントロールも、指数1.0付近（スロープ 0.998）を示す。

2. 分散フロアと順序ノイズ

• 分散のスケーリング: 固定クロックAdamWのオーダー・オービット分散は $\eta^{1.20}$（生データ）または $\eta^{1.83}$（不均一な入力を制御した場合）でスケールし、SGDやマッチド・クロック・コントロールで見られる $\eta^{3.83}$–$\eta^{4.00}$ のスケーリングよりも著しく大きい。
• 決定論的リプレイ: ビット単位決定論的リプレイは、1.83 (AdamW)、2.00 (固定-$\beta$ モーメンタム)、4.00 (SGD) の分散スロープを生じさせ、確率的な勾配ノイズからメカニズムを分離した。

3. ローカルな妥当性とソータビリティ

• 信頼領域 ($\rho$): 第一近似の凍結Pは、$\rho < 1$ のときに高い相関（ピアソン 0.80）を持つライブな結果を予測する。
• スカラ・ソータビリティ ($\rho_{curl}$): 摂動領域において、ペアごとの順序選好は主にスカラー・ポテンシャルによってソート可能である（$\rho_{curl} < 1$ のとき、有向3サイクルは観察されない）。$\rho_{curl}$ が1に近づくと、非保存的なブラケット項が有向サイクル（非推移的な選好）を生じさせる可能性がある。

4. シャッフル・シード予算

論文では、与えられた順序ノイズの標準偏差 $\sigma_{ord}$ に対して、性能差 $\Delta$ を解決するために必要なシャッフル・シードの数を計算する公式を提供している。

• 示唆: 設定間の差が順序ノイズのフロアに対して小さい場合（$|\Delta|/\sigma_{ord} < 1$）、単一のシャッフル比較は統計的検出力が不足しており、結果の符号を容易に反転させうる。例えば、保持されたNLLキャリブレーションにおいて、差がノイズに対して小さい場合、符号の変化率は33〜44%に達した。

4. 意義と主張

本論文は、固定クロック・オプティマイザ・メモリという特定のメカニズムを特定し、定量化することで、データの順序付けを無視できる二次的な効果から、ファインチューニングにおける支配的な一次ソースのノイズへと押し上げたことを主張している。

• メカニズムの特定: 従来の理論的作業における「メモリレス」の仮定が、標準的なオプティマイザにおいては、その内部クロック（ステップカウンタ）が学習率と共にスケールしないために失敗することを証明した。これが、勾配に対して位置依存の重みを生み出す。
• 実用的な影響: 結果として生じる「順序チャネル」は十分に大きく、単一のランダムシードが、ファインチューニングにおける密接なA/Bテストの結果を反転させうる。これは、ハイパーパラメータチューニングやモデル選択における単一シード比較の信頼性に疑問を投げかけるものである。
• 診断ツール: 導出された分散フロアとインパルス・ウェイトを用いて、このノイズのサイズを「フィットフリー（適合不要）」に算出する方法を提供しており、再現可能な比較のために必要なシャッフル・シード予算を決定するための基準を提示している。
• 範囲の制限: 著者らは、彼らの閉形式の結果が有限の測定ウィンドウに対して局所的であり、凍結プリコンディショナ近似に基づいていることを明記している。彼らはグローバルな収束問題や普遍的な順序ポリシーを解決しようとしているのではなく、局所的なファインチューニング・セルで見られる分散を説明することを目指している。

要約すると、本論文は、オプティマイザのメモリがシャッフル順序をファインチューニングにおける一次ソースのノイズにすることを主張しており、AdamWのような固定クロック・オプティマイザを使用する場合、より大きなシード予算と、ファインチューニング比較の慎重な解釈が必要であることを示している。