Stochastic Rounding Increases Small Singular Values

Technische Samenvatting: Stochastische Afronding Verhoogt Kleine Singuliere Waarden

Probleemstelling
Recent onderzoek heeft vastgesteld dat Stochastische Afronding (SR) fungeert als een impliciete regularisator door de kleinste singuliere waarde van matrices te verhogen, met name bij matrices met extreme aspectratio's (zeer hoge en smalle of lage en brede matrices). De huidige theoretische bevindingen over dit fenomeen zijn echter op twee kritieke punten beperkt:

1. Aspectratio-beperkingen: Bestaande grenzen zijn grotendeels alleen van toepassing op matrices waarbij het aantal rijen en kolommen aanzienlijk van elkaar verschilt (bijv. $d \ll n^{1/4}$). Ze adresseren geen matrices met constante aspectratio's, die alomtegenwoordig zijn in moderne machine learning (bijv. self-attention gewichten, fully connected lagen).
2. Spectraal Bereik: Eerdere analyses richten zich bijna uitsluitend op de kleinste singuliere waarde ($\sigma_{\min}$). Zij houden geen rekening met de "spectrale staart"—clusters van kleine singuliere waarden die fijnmazige informatie coderen en de generalisatie in deep learning beïnvloeden.

Het paper beoogt te bepalen of het regulariserende effect van SR standhoudt voor matrices met constante aspectratio's en of het zich uitstrekt voorbij de enkelvoudige kleinste singuliere waarde om volledige clusters van singuliere waarden aan de staart van het spectrum te verhogen.

Methodologie
De auteurs analyseren een matrix $\tilde{A} \in \mathbb{R}^{n \times d}$ verkregen door een Uniform Dithered Quantizer elementgewijs toe te passen op een matrix $A$. Dit proces wordt gemodelleerd als $\tilde{A} = A + E$, waarbij $E$ een ruismatrix is met onafhankelijke, gecentreerde, begrensde en sub-Gaussische elementen.

De analyse verloopt in twee hoofdrichtingen:

1. Kleinste Singuliere Waarde ($\sigma_d(\tilde{A})$):
   De auteurs maken gebruik van de ongelijkheid $\sigma_d(\tilde{A}) \geq \sigma_d(E) - \|P_A E\|_2$, waarbij $P_A$ de orthogonale projectie is op de kolomruimte van $A$.

   • Zij hanteren een scherpe ondergrens voor $\sigma_d(E) \text{ afgeleid van Brailovskaya en van Handel [2024], die rekening houdt met niet-homogene ruisvarianties.
   • Zij leiden een nieuwe, nauwere bovengrens af voor de projectieterm $\|P_A E\|_2$ met behulp van $\epsilon$-net argumenten en de Hoeffding-ongelijkheid.
   • Door deze via een union bound te combineren, stellen zij een high-probability ondergrens voor $\sigma_d(\tilde{A})$ vast die standhoudt onder constante aspectratio-beperkingen ($d \leq c_0 n$).

2. Regulering van de Spectrale Staart:
   Om clusters van singuliere waarden te analyseren, nemen de auteurs aan dat $A$ een grote spectrale kloof heeft bij index $k$ ($\sigma_k(A) \gg \sigma_{k+1}(A)$). Zij definiëren de "verwachte excessieve staartenergie" $T$ als het verschil in de som van de gekwadrateerde singuliere waarden van index $k+1$ tot $d$ tussen $\tilde{A}$ en $A$.

   • Contour Integratie: Zij maken gebruik van de resolvent-representatie van spectrale projectoren. Door een contour $\Gamma$ te definiëren die de top $k$ eigenwaarden van de Gram-matrix $G = A^\top A$ omsluit maar de rest uitsluit, drukken zij de energieverschuiving uit als een reeks contourintegralen.
   • Neumann Expansie: De geperturbeerde resolvent wordt uitgebreid in een Neumann-reeks. De leidende termen ($I_1, I_2$) worden exact berekend met behulp van residu-calculus, terwijl hogere-orde termen worden begrensd met concentratie-ongelijkheden en operatornorm-grenzen op de perturbatie $\Delta = \tilde{G} - G$.
   • Energie Identiteit: Zij maken gebruik van de identiteit dat de verwachte totale gekwadrateerde singuliere waarde-massa toeneemt met de verwachte gekwadrateerde Frobeniusnorm van de ruis, waardoor ze de staartenergieverschuiving kunnen relateren aan de top-$k$ energieverschuiving.

Kernbijdragen en Resultaten

1. Generalisatie naar Constante Aspectratio's:
   Het paper bewijst dat het regulariserende effect van SR niet beperkt is tot extreme dimensionale onbalans.

   • Resultaat: Voor een matrix $A$ met $d \leq c_0 n$, voldoet de kleinste singuliere waarde van de geronde matrix $\tilde{A}$ aan $\sigma_d(\tilde{A}) \gtrsim \rho \sqrt{n} \nu$ met een hoge waarschijnlijkheid, waarbij $\rho$ de kwantisatieresolutie is en $\nu$ de kolomgewijze variantie van de ruis meet.
   • Vergelijking: Dit is een significante verbetering ten opzichte van eerder werk (bijv. Dexter et al. [2025]), dat vereiste dat $d = o((n/\log n)^{1/4})$. De nieuwe grens dekt matrices waarbij $d$ en $n$ van dezelfde orde zijn, wat het resultaat toepasbaar maakt op standaard deep learning gewichtsmatrices.

2. Regulering van Singuliere Waarde Clusters:
   Het paper demonstreert dat SR niet alleen de minimale singuliere waarde verhoogt, maar ook een niet-triviaal deel van de spectrale staart.

   • Resultaat: De verwachte excessieve staartenergie $T$ wordt ondergrenst door de som van de kleinste $(d-k)$ kolomvarianties van de ruismatrix, minus lagere-orde termen afhankelijk van de spectrale kloof en de perturbatiegrootte.
   • Implicatie: Dit geeft aan dat SR ruis injecteert die zich over richtingen verspreidt, waardoor concentratie in laagdimensionale subruimtes wordt voorkomen. Bijgevolg versterkt het zwakke spectrale modi over een cluster heen, in plaats van te fungeren als een eendimensionale regularisator.

Betekenis en Claims
De auteurs claimen dat deze resultaten een algemener en nauwkeuriger karakterisering bieden van stochastische afronding als spectrale regularisator.

• Theoretisch Fundament: Het werk biedt een rigoureuze theoretische basis voor het empirische succes van SR in low-precision training, waarbij gesuggereerd wordt dat de "schadelijke" kwantisatieruis eigenlijk gestructureerd is op een manier die de spectrale geometrie verbetert.
• Mechanisme van Impliciete Regularisatie: Door aan te tonen dat SR de spectrale staart beïnvloedt, verbindt het paper SR met het fenomeen van impliciete zelf-regularisatie geobserveerd in deep learning, waarbij zware staarten in spectra correleren met generalisatiecapaciteit.
• Beperkingen: De auteurs erkennen bescheiden dat hun grenzen voor de spectrale staart rusten op restrictieve aannames, waaronder een sterke spectrale kloof, begrensde eigenwaarde-ratio's en kleine perturbatieniveaus. Zij merken op dat het bijna-vierkante regime ($d \approx n$) voor de kleinste singuliere waarde-grens niet volledig wordt gedekt door hun huidige analyse, en dat verdere empirische validatie in downstream deep learning taken nodig is.

Samenvattend stelt het paper vast dat stochastische afronding fungeert als een algemene spectrale regularisator die werkt op matrices met constante aspectratio's en volledige clusters van kleine singuliere waarden verhoogt, waardoor de laag-energetische subruimte van het spectrum van de matrix wordt hervormd.