Résumé Technique : « Pas de sous-espace à suivre : non-identifiabilité et état de l'optimiseur dans l'entraînement à bas rang »

Énoncé du Problème

Les optimiseurs économes en mémoire comme GaLore (Zhao et al., 2024) réduisent l'empreinte mémoire de l'entraînement des grands modèles de langage en projetant les gradients sur un sous-espace de bas rang (rang $r$) recalculé périodiquement et en exécutant Adam au sein de ce sous-espace. Le postulat géométrique sous-jacent de cette approche est que le sous-espace des $r$ plus hauts gradients est un objet significatif et dont la dérive est lente, pouvant être suivi à travers les intervalles de rafraîchissement ($T$ étapes). Si ce postulat était vérifié, les estimations consécutives du sous-espace seraient similaires, et le transport de l'état de l'optimiseur (moments) à travers un rafraîchissement ne nécessiterait que des corrections mineures.

Cet article remet en question ce postulat, arguant qu'au-delà d'un petit noyau reproductible, le sous-espace des $r$ plus hauts gradients n'est pas un objet stable mais est statistiquement non identifiable. Par conséquent, la « rotation » apparente du sous-espace à chaque rafraîchissement est dominée par le bruit de l'estimateur plutôt que par le mouvement d'une structure géométrique stable.

Méthodologie

Les auteurs emploient un cadre de mesure rigoureux pour quantifier la stabilité du sous-espace et l'impact de la non-identifiabilité sur la performance de l'optimiseur :

1. Mesure de la rotation du sous-espace : L'article introduit une métrique de distance chorale corrigée par le signe ($\|\Delta U\|_F$) pour mesurer la rotation entre l'ancienne base ($U_{old}$) et la nouvelle base ($U_{new}$) à chaque rafraîchissement. Cette métrique varie de 0 (identique) à $\sqrt{2r}$ (orthogonale).
2. Contrôle par étape identique (Le test « Sans Temps ») : Pour distinguer la dérive temporelle réelle du bruit de l'estimateur, les auteurs divisent un seul minibatch en deux moitiés disjointes au même pas d'entraînement. Ils calculent le sous-espace de rang $r$ pour chaque moitié et mesurent le désaccord. Si le sous-espace était une propriété stable du gradient, les estimations à la même étape devraient concorder. S'ils divergent autant que des estimations prises à $T$ étapes d'intervalle, la rotation est du bruit.
3. Analyse spectrale : Les auteurs analysent le spectre des valeurs singulières des gradients pour déterminer si un écart spectral existe à un rang $r$ qui justifierait une découpe de sous-espace stable.
4. Expériences de moyennage : L'article teste si le moyennage des gradients sur $N$ étapes (ou le moyennage de la base au fil du temps) peut « sauver » l'identifiabilité en ouvrant un écart spectral.
5. Évaluation des remèdes : Les auteurs testent trois stratégies pour atténuer les coûts des redessins de sous-espace :
   • Moyennage de la base : Utiliser une moyenne mobile exponentielle (EMA) de la matrice de covariance pour stabiliser la base.
   • Transport d'état : Transporter explicitement les moments de l'optimiseur (premier et second) via la matrice de rotation $R = U_{new}^\top U_{old}$ (comme dans LDAdam).
   • Raccourcissement de la mémoire : Réduire le paramètre de décroissance de l'Adam $\beta_2$ pour raccourcir la mémoire du second moment, empêchant ainsi l'intégration de statistiques obsolètes issues de sous-espaces précédents.

Les expériences ont été menées sur quatre familles de modèles (Pythia, GPT-2, Qwen2.5, Llama-3) allant de 70M à 6,9 milliards de paramètres, ainsi que sur un Vision Transformer (ViT-B).

Principaux Résultats

1. Le sous-espace est non identifiable

• Rotation maximale : À chaque rafraîchissement, la rotation mesurée $\|\Delta U\|_F$ sature à 96,7–99,6 % du maximum géométrique $\sqrt{2r}$. La nouvelle base est presque orthogonale à l'ancienne.
• Dominance du bruit : Le contrôle par étape identique révèle que deux estimations provenant de deux moitiés disjointes du même batch divergent de $0,725\sqrt{2r}$, ce qui est presque identique à la rotation temporelle de $0,742\sqrt{2r}$. La « rotation » n'est pas un mouvement ; c'est du bruit d'estimateur.
• Noyau reproductible ($k^\star$) : Seule une petite fraction des directions est reproductible. Pour $r=128$, seules $k^\star \approx 39$ directions sont cohérentes entre les minibatches. Les $r - k^\star$ directions restantes sont effectivement des tirages aléatoires d'une queue spectrale sans écart.

2. Causes spectrales et échec du moyennage

• Spectre sans écart : Le spectre des gradients consiste en un petit pic dominant (quelques dizaines à ~20 directions), suivi d'une queue lisse et quasi-isotrope sans écart à un rang $r$. Le rapport des valeurs singulières adjacentes à $r=128$ est d'environ $1,005$.
• Signal, pas bruit : La queue spectrale profonde n'est pas un bruit d'échantillonnage ; c'est un signal avec un spectre en loi de puissance. Sous un moyennage $N$-fois, cette queue ne diminue que selon $N^{-1/4}$ plutôt que $N^{-1/2}$ comme attendu pour un pur bruit. Par conséquent, aucun budget de moyennage fini ne peut ouvrir un écart ou stabiliser le sous-espace.
• L'échec du moyennage : Le moyennage de la base sur 10 000 étapes réduit la rotation par rafraîchissement de façon très légère (de 97 % à 84 % du maximum) et n'a aucun effet mesurable sur la perplexité finale (une étendue de seulement 0,36).

3. Pourquoi GaLore fonctionne-t-il ?

Malgré l'absence de sous-espace stable, GaLore fonctionne car le rôle de la projection est principalement la capture d'énergie, et non le suivi. Puisque la queue du gradient est quasi-isotrope, n'importe quel cadre de dimension $r$ qui inclut le pic dominant capture une fraction constante de l'énergie du gradient ($\gamma_g \approx 0,67–0,73$). Le choix spécifique des directions importe peu pour la direction de descente, tant que la fraction d'énergie est préservée.

4. Remèdes efficaces

Le coût du redessin est la vétusté de l'état de l'optimiseur transporté, particulièrement le second moment (variance).

• Transport d'état : Transporter le premier moment via $R$ et le second moment via les carrés des entrées de $R$ est optimal. Transporter aveuglément le second moment est prouvé sous-optimal par un facteur d'environ $(r - k^\star)/2$. Dans des tests contrôlés, le transport de l'état avec le $\beta_2=0,999$ par défaut a atteint une perplexité de 18,73, battant le GaLore non transporté (19,28).
• Raccourcissement de la mémoire : Réduire $\beta_2$ de 0,999 à 0,99 aide les optimiseurs en cours de rafraîchissement en empêissant l'intégration de statistiques obsolètes provenant de sous-espaces précédents désormais invalides. Cela a amélioré la perplexité de 1,8 à 26 points selon l'optimiseur et la recette.
• Inefficacité du moyennage de la base : Comme indiqué, stabiliser la base par moyennage ne fonctionne pas car le sous-espace est fondamentalement non identifiable.

Signification et Revendications

L'article affirme fournir la première mesure directe du postulat géométrique sous-jacent aux optimiseurs de gradient à bas rang, concluant qu'il est faux aux rangs typiquement utilisés.

• Clarification du mécanisme : L'article clarifie que GaLore fonctionne non pas parce qu'il suit une structure stable, mais parce qu'il capture une fraction constante de l'énergie du gradient dans un cadre qui est effectivement redessiné.
• Outil de diagnostic : Les auteurs proposent une sonde pratique : mesurer le rang reproductible $k^\star$ en divisant un batch. Si le rang choisi $r > k^\star$, les directions excédentaires sont du bruit.
• Prescription d'ingénierie : L'article prescrit deux correctifs exploitables pour l'entraînement à bas rang :
  1. Transporter l'état à travers la rotation (comme dans LDAdam) plutôt que de le transporter aveuglément.
  2. Réduire $\beta_2$ à 0,99 pour réduire la mémoire du second moment, atténuant ainsi la vétusté causée par les redessins périodiques.
• Portée : Les conclusions s'appliquent spécifiquement aux optimiseurs qui calculent et rafraîchissent explicitement un sous-espace de gradient. Elles ne s'appliquent pas aux paramétrisations comme LoRA qui ne calculent pas de sous-espace de gradient.

Les auteurs concluent que l'« objet » (le sous-espace stable de bas rang) n'existe pas au-delà d'un petit noyau, et que tenter de le suivre revient à poursuivre un fantôme. La voie à suivre consiste à reconnaître le redessin et à adapter l'état de l'optimiseur en conséquence.