Stochastic Rounding Increases Small Singular Values

Résumé Technique : L'arrondi stochastique augmente les petites valeurs singulières

Énoncé du Problème
Des recherches récentes ont établi que l'arrondi stochastique (Stochastic Rounding, SR) agit comme un régularisateur implicite en augmentant la plus petite valeur singulière des matrices, particulièrement celles présentant des rapports d'aspect extrêmes (très hautes et fines ou courtes et larges). Cependant, la compréhension théorique actuelle de ce phénomène est limitée de deux manières critiques :

1. Contraintes de rapport d'aspect : Les bornes existantes s'appliquent largement uniquement aux matrices où le nombre de lignes et de colonnes diffère de manière significative (par exemple, $d \ll n^{1/4}$). Elles ne parviennent pas à traiter les matrices avec des rapports d'aspect constants, qui sont omniprésentes dans l'apprentissage automatique moderne (ex. : poids d'attention auto-attention, couches entièrement connectées).
2. Portée spectrale : Les analyses antérieures se concentrent presque exclusivement sur la plus petite valeur singulière ($\sigma_{\min}$). Elles ne tiennent pas compte de la « queue spectrale » — des grappes de petites valeurs singulières qui encodent des informations fines et influencent la généralisation dans le deep learning.

L'article cherche à déterminer si l'effet de régularisation du SR persiste pour les matrices avec des rapports d'aspect constants et s'il s'étend au-delà de la seule plus petite valeur singulière pour soulever des grappes entières de valeurs singulières à la queue du spectre.

Méthodologie
Les auteurs analysent une matrice $\tilde{A} \in \mathbb{R}^{n \times d}$ obtenue en appliquant un quantificateur uniformément dithé (Uniformly Dithered Quantizer) entrée par entrée à une matrice $A$. Ce processus est modélisé comme $\tilde{A} = A + E$, où $E$ est une matrice de bruit avec des entrées indépendantes, centrées, bornées et sub-gaussiennes.

L'analyse procède selon deux directions principales :

1. Plus petite valeur singulière ($\sigma_d(\tilde{A})$) :
   Les auteurs utilisent l'inégalité $\sigma_d(\tilde{A}) \geq \sigma_d(E) - \|P_A E\|_2$, où $P_A$ est le projecteur orthogonal sur l'espace colonne de $A$.

• Ils emploient une borne inférieure précise pour $\sigma_d(E)$ dérivée de Brailovskaya et van Handel [2024], qui prend en compte les variances de bruit non homogènes.
• Ils dérivent une nouvelle borne supérieure plus étroite pour le terme de projection $\|P_A E\|_2$ en utilisant des arguments de $\epsilon$-réseau et l'inégalité de Hoeffding.
• En combinant ces éléments via une borne supérieure (union bound), ils établissent une borne inférieure de haute probabilité pour $\sigma_d(\tilde{A})$ qui tient sous des contraintes de rapport d'aspect constant ($d \leq c_0 n$).

2. Régularisation de la queue spectrale :
   Pour analyser les grappes de valeurs singulières, les auteurs supposent que $A$ possède un grand écart spectral à l'indice $k$ ($\sigma_k(A) \gg \sigma_{k+1}(A)$). Ils définissent l'« énergie excédentaire attendue de la queue » $T$ comme la différence dans la somme des carrés des valeurs singulières de l'indice $k+1$ à $d$ entre $\tilde{A}$ et $A$.

• Intégration de contour : Ils utilisent la représentation du résolvant des projecteurs spectraux. En définissant un contour $\Gamma$ qui englobe les $k$ premières valeurs propres de la matrice de Gram $G = A^\top A$ mais exclut les autres, ils expriment le décalage d'énergie sous la forme d'une série d'intégrales de contour.
• Expansion de Neumann : Le résolvant perturbé est développé en une série de Neumann. Les termes de premier ordre ($I_1, I_2$) sont calculés exactement par le calcul des résidus, tandis que les termes d'ordre supérieur sont bornés en utilisant des inégalités de concentration et des bornes de norme d'opérateur sur la perturbation $\Delta = \tilde{G} - G$.
• Identité d'énergie : Ils exploitent l'identité selon laquelle la masse attendue de la somme des carrés des valeurs singulières augmente de la norme de Frobenius au carré attendue du bruit, leur permettant ainsi de relier le décalage d'énergie de la queue à l'énergie des $k$ premières valeurs.

Contributions Clés et Résultats

1. Généralisation aux rapports d'aspect constants :
   L'article prouve que l'effet de régularisation du SR n'est pas restreint aux déséquilibres dimensionnels extrêmes.

• Résultat : Pour une matrice $A$ avec $d \leq c_0 n$, la plus petite valeur singulière de la matrice arrondie $\tilde{A}$ satisfait $\sigma_d(\tilde{A}) \gtrsim \rho \sqrt{n} \nu$ avec une haute probabilité, où $\rho$ est la résolution de quantification et $\nu$ mesure la variance par colonne du bruit.
• Comparaison : Cela améliore significativement les travaux précédents (ex. : Dexter et al. [2025]), qui exigeaient $d = o((n/\log n)^{1/4})$. La nouvelle borne couvre les matrices où $d$ et $n$ sont du même ordre, rendant le résultat applicable aux matrices de poids standards du deep learning.

2. Régularisation des grappes de valeurs singulières :
   L'article démontre que le SR ne soulève pas seulement la valeur singulière minimale, mais une partie non triviale de la queue spectrale.

• Résultat : L'énergie excédentaire attendue de la queue $T$ est minorée par la somme des plus petites $(d-k)$ variances de colonne de la matrice de bruit, moins les termes d'ordre inférieur dépendant de l'écart spectral et de l'amplitude de la perturbation.
• Implication : Cela indique que le SR injecte un bruit qui se diffuse à travers les directions, empêchant la concentration dans des sous-espaces de faible dimension. Par conséquent, il renforce les modes spectraux faibles à travers une grappe, plutôt que d'agir comme un régularisateur unidimensionnel.

Signification et Revendications
Les auteurs affirment que ces résultats fournissent une caractérisation plus générale et plus précise de l'arrondi stochastique en tant que régularisateur spectral.

• Fondement théorique : Ce travail offre une base rigoureuse au succès empirique du SR dans l'entraînement à basse précision, suggérant que le bruit de quantification « nuisible » est en fait structuré de manière à améliorer la géométrie spectrale.
• Mécanisme de régularisation implicite : En montrant que le SR affecte la queue spectrale, l'article relie le SR au phénomène de l'auto-régularisation implicite observée dans le deep learning, où les spectres à queue lourde sont corrélés à la capacité de généralisation.
• Limites : Les auteurs reconnaissent modestement que leurs bornes pour la queue spectrale reposent sur des hypothèses restrictives, incluant un fort écart spectral, des ratios de valeurs propres bornés et de faibles niveaux de perturbation. Ils notent que le régime quasi-carré ($d \approx n$) pour la borne de la plus petite valeur singulière n'est pas entièrement couvert par leur analyse actuelle, et qu'une validation empirique supplémentaire dans des tâches de deep learning en aval est nécessaire.

En résumé, l'article établit que l'arrondi stochastique agit comme un régularisateur spectral polyvalent qui opère sur des matrices à rapports d'aspect constants et qui soulève des grappes entières de petites valeurs singulières, remodelant ainsi le sous-espace de faible énergie du spectre de la matrice.