Résumé Technique : La mémoire de l'optimiseur fait de l'ordre de mélange une source de premier ordre du bruit de réglage fin (fine-tuning)

1. Énoncé du problème

Lors du réglage fin (fine-tuning) de grands modèles de langage, l'ordre dans lequel les domaines de données (ou les lots/batches) sont présentés peut impacter de manière significative les paramètres finaux du modèle. Les analyses théoriques précédentes, supposant souvent des étapes de gradient sans mémoire, prédisaient que le réordonnancement d'un multiensemble de données ne devrait affecter l'état final qu'à un niveau de second ordre ($O(\eta^2)$) par rapport au taux d'apprentissage $\eta$. Ceci est dû au fait que le terme de premier ordre dans une expansion sans mémoire est une somme plate sur le multiensemble, laquelle reste invariante sous permutation.

Cependant, les optimiseurs pratiques comme AdamW ne sont pas sans mémoire ; ils maintiennent des tampons d'état (momentum, estimations de la variance, compteurs de correction de biais) qui progressent en fonction de l'indice de l'étape discrète $k$, et non en fonction de la variable de temps de l'entraînement continu $\tau = \eta k$. Le papier postule que cette progression de l'état à « horloge fixe » fait en sorte que le même gradient reçoive des poids différents selon sa position dans la séquence. Par conséquent, le contraste entre deux ordonnancements différents des mêmes données (par exemple, la séquence $AB$ vs $BA$) peut devenir un effet de premier ordre ($O(\eta)$) plutôt que de second ordre, ce qui pourrait faire de l'ordre de mélange une source dominante de bruit lors des comparaisons de réglage fin.

2. Méthodologie

Cadre théorique : Théorème de l'horloge à état élevé (Lifted-State Clock Theorem)

Les auteurs introduisent un cadre d'« état élevé » où l'état de l'optimiseur $z = (\theta, \xi)$ inclut à la fois les paramètres $\theta$ et les tampons internes $\xi$. Ils analysent le comportement local de l'optimiseur sur une fenêtre finie de $K$ étapes avec un état de mesure fixe.

• Optimiseurs réguliers : Définis comme ceux dont la carte d'état local $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ possède un poids d'impulsion indépendant de la position. Pour ceux-ci, les contrastes de multiensembles sont de $O(\eta^2)$.
• Optimiseurs à horloge fixe : Dans les optimiseurs comme AdamW, la mise à jour de l'état pour les tampons (ex: $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$) progresse avec l'indice de l'étape $t$. Les auteurs dérivent un Théorème de l'horloge à état élevé, montrant que pour les optimiseurs à horloge fixe, la différence de paramètre terminal entre deux permutations $w$ et $w'$ du même multiensemble est :
  $$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$$
  où $\Lambda_{w,w'}(u)$ est la différence de « rejeux d'état d'optimiseur à paramètres gelés ». Si ce coefficient de replay est non nul, le contraste d'ordre passe à l'échelle $O(\eta)$.

Spécialisation analytique : AdamW à préconditionneur gelé (Frozen-Preconditioner AdamW)

Pour dériver des résultats en forme close, le papier se spécialise sur AdamW avec un préconditionneur gelé ($P_0$) à l'état de mesure, tout en gardant les horloges du tampon du premier moment et de la correction de biais actives.

• Poids d'impulsion : Les auteurs dérivent un noyau de poids d'impulsion dépendant de la position $W^{(s,\beta)}_{r,K}$ pour un gradient à la position $r$. Contrairement aux optimiseurs réguliers, ces poids ne sont pas plats (ex: décroissant de 0,815 à 0,100 sur une fenêtre de 16 étapes pour des hyperparamètres typiques).
• Plancher de variance : Ils dérivent une borne inférieure asymptotique pour la variance des résultats sur des permutations aléatoires. Le terme principal est :
  $$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$$
  où $\sigma^2_\phi$ est la variance des gradients projetés et $V_K$ est une métrique du contraste de la mémoire de l'optimiseur (variance des poids d'impulsion). Pour les optimiseurs réguliers, $V_K=0$, produisant une variance de $O(\eta^4)$ ; pour les optimiseurs à horloge fixe, $V_K > 0$, produisant une variance de $O(\eta^2)$.

Protocole expérimental

Les auteurs valident ces affirmations en utilisant des cellules de réglage fin LoRA locales sur des modèles tels que Pythia-1B et Llama-3.2-1B.

• Division d'exposant : Ils mesurent l'échelle de la différence médiane de paramètres ($\|\theta_{AB} - \theta_{BA}\|$) par rapport au taux d'apprentissage $\eta$.
• Contrôles : Ils comparent AdamW à :
  • SGD : Sans mémoire.
  • Momentum à horloge synchronisée (Matched-Clock Momentum) : Où la décroissance $\beta$ et la normalisation sont mises à l'échelle avec $\eta$ (ex: $\beta = e^{-a\eta}$) pour restaurer le comportement régulier $O(\eta^2)$.
  • Momentum à $\beta$ fixe : Un contrôle non adaptatif pour isoler l'effet de la mise en tampon de l'adaptativité des coordonnées.
• Rejeu bit à bit déterministe : Pour isoler le mécanisme, ils forcent un état d'optimiseur préchauffé et rejouent avec différents ordonnancements en utilisant des étapes bit à bit déterministes, éliminant ainsi le bruit de gradient stochastique.
• Diagnostics : Ils introduisent des métriques telles que $\rho$ (ratio de la région de confiance pour la validité locale), $\chi$ (écart de conservativité entre le $P$ scalaire gelé et le replay complet) et $\rho_{curl}$ (tri scalaire des préférences d'ordre par paires).

3. Résultats clés

1. Décalage d'exposant du second au premier ordre

Les mesures empiriques confirment le décalage théorique des exposants d'échelle :

• SGD et Momentum à horloge synchronisée : Le contraste d'ordre suit une échelle proche de $\eta^2$ (exposants $\approx 2,0$).
• AdamW et Lion à horloge fixe : Le contraste d'ordre suit une échelle proche de $\eta^1$ (exposants $\approx 0,91 - 1,09$).
• Momentum à $\beta$ fixe : Un contrôle non adaptatif avec mise en tampon à horloge fixe présente également un exposant proche de $1,0$ (pente de 0,998), confirmant que la mise en tampon seule (sans l'adaptativité des coordonnées) est suffisante pour créer le canal de premier ordre.

2. Plancher de variance et bruit d'ordre

• Échelle de variance : La variance de l'orbite d'ordre pour AdamW à horloge fixe suit une échelle de $\eta^{1,20}$ (brut) ou $\eta^{1,83}$ (lorsque l'hétérogénéité de l'entrée est contrôlée), ce qui est nettement plus grand que l'échelle $\eta^{3,83}$–$\eta^{4,00}$ observée pour SGD et les contrôles à horloge synchronisée.
• Rejeu déterministe : Le rejeu bit à bit déterministe produit des pentes de variance de 1,83 (AdamW), 2,00 (momentum à $\beta$ fixe) et 4,00 (SGD), isolant le mécanisme du bruit de gradient stochastique.

3. Validité locale et triabilité

• Région de confiance ($\rho$) : L'approximation de premier ordre avec $P$ gelé prédit des résultats vivants avec une corrélation élevée (Pearson 0,80) lorsque $\rho < 1$.
• Triabilité scalaire ($\rho_{curl}$) : Dans le régime perturbatif, les préférences d'ordre par paires sont largement triables par un potentiel scalaire (aucun cycle dirigé de 3 éléments observé quand $\rho_{curl} < 1$). Lorsque $\rho_{curl}$ approche 1, des termes de crochet non conservatifs peuvent créer des cycles dirigés (préférences intransitives).

4. Budget de graines de mélange (Shuffle-Seed Budget)

Le papier fournit une formule pour calculer le nombre de graines de mélange nécessaires pour résoudre un écart $\Delta$ étant donné l'écart-type du bruit d'ordre $\sigma_{ord}$.

• Implication : Lorsque l'écart entre les configurations est comparable au plancher de bruit d'ordre ($|\Delta|/\sigma_{ord} < 1$), une comparaison à graine unique est sous-dimensionnée et peut facilement inverser le signe du résultat. Par exemple, dans un étalonnage NLL sur données de test, les taux de changement de signe ont atteint 33–44 % lorsque l'écart était faible par rapport au bruit.

4. Signification et revendications

Le papier affirme avoir isolé et quantifié un mécanisme spécifique — la mémoire de l'optimiseur à horloge fixe — qui élève l'ordonnancement des données d'un effet de second ordre négligeable à une source de bruit de premier ordre dominante lors du réglage fin.

• Identification du mécanisme : Il démontre que l'hypothèse de « sans mémoire » utilisée dans les travaux théoriques précédents échoue pour les optimiseurs standards car leurs horloges internes (compteurs d'étapes) ne passent pas à l'échelle avec le taux d'apprentissage. Cela crée des poids dépendants de la position pour les gradients.
• Impact pratique : Le « canal d'ordre » résultant est suffisamment important pour qu'une seule graine aléatoire puisse inverser le résultat d'un test A/B serré lors du réglage fin. Cela remet en question la fiabilité des comparaisons à graine unique lors de la recherche d'hyperparamètres et de la sélection de modèles.
• Outils de diagnostic : Les auteurs fournissent une méthode « sans ajustement » (fit-free) pour dimensionner ce bruit en utilisant le plancher de variance et les poids d'impulsion dérivés, offrant ainsi un critère pour déterminer le budget de graines de mélange nécessaire pour des comparaisons reproductibles.
• Limites de portée : Les auteurs précisent explicitement que leurs résultats en forme close sont locaux à une fenêtre de mesure finie et reposent sur une approximation de préconditionneur gelé. Ils ne prétendent pas résoudre les problèmes de convergence globale ou fournir une politique d'ordonnancement universelle, mais cherchent à expliquer la variance observée dans les cellules de réglage fin locales.

En résumé, le papier soutient que la mémoire de l'optimiseur fait de l'ordre de mélange une source de premier ordre du bruit de réglage fin, nécessitant des budgets de graines plus importants et une interprétation prudente des comparaisons de réglage fin lorsque l'on utilise des optimiseurs à horloge fixe comme AdamW.