Stochastic Rounding Increases Small Singular Values

Resumo Técnico: O Arredondamento Estocástico Aumenta os Valores Singulares Pequenos

Enunciado do Problema
Pesquisas recentes estabeleceram que o Arredondamento Estocástico (SR) atua como um regularizador implícito ao aumentar o menor valor singular de matrizes, particularmente aquelas com razões de aspecto extremas (muito altas e estreitas ou baixas e largas). No entanto, a compreensão teórica atual deste fenômeno é limitada de duas maneiras críticas:

1. Restrições de Razão de Aspecto: Os limites existentes aplicam-se amplamente apenas a matrizes onde o número de linhas e colunas difere significamente (ex: $d \ll n^{1/4}$). Eles falham em abordar matrizes com razões de aspecto constantes, que são onipresentes no aprendizado de máquina moderno (ex: pesos de atenção self-attention, camadas totalmente conectadas).
2. Escopo Espectral: Análises anteriores focam quase exclusivamente no menor valor singular ($\sigma_{\min}$). Elas não consideram a "cauda espectral" — aglomerados de valores singulares pequenos que codificam informações detalhadas e influenciam a generalização no aprendizado profundo.

O artigo busca determinar se o efeito regularizador do SR persiste para matrizes com razões de aspecto constantes e se ele se estende além do único menor valor singular para elevar aglomerados inteiros de valores singulares na cauda do espectro.

Metodologia
Os autores analisam uma matriz $\tilde{A} \in \mathbb{R}^{n \times d}$ obtida aplicando um Quantizador Uniformemente Dithered elemento a elemento em uma matriz $A$. Este processo é modelado como $\tilde{A} = A + E$, onde $E$ é uma matriz de ruído com entradas independentes, centradas, limitadas e sub-gaussianas.

A análise procede em duas direções principais:

1. Menor Valor Singular ($\sigma_d(\tilde{A})$):
   Os autores utilizam a desigualdade $\sigma_d(\tilde{A}) \geq \sigma_d(E) - \|P_A E\|_2$, onde $P_A$ é o projetor ortogonal sobre o espaço das colunas de $A$.

   • Eles empregam um limite inferior agudo para $\sigma_d(E)$ derivado de Brailovskaya e van Handel [2024], que leva em conta variâncias de ruído não homogêneas.
   • Eles derivam um novo limite superior mais justo para o termo de projeção $\|P_A E\|_2$ usando argumentos de $\epsilon$-net e a desigualdade de Hoeffding.
   • Ao combinar ambos via limite superior de união (union bound), eles estabelecem um limite inferior de alta probabilidade para $\sigma_d(\tilde{A})$ que se mantém sob restrições de razão de aspecto constante ($d \leq c_0 n$).

2. Regularização da Cauda Espectral:
   Para analisar aglomerados de valores singulares, os autores assumem que $A$ possui um grande gap espectral no índice $k$ ($\sigma_k(A) \gg \sigma_{k+1}(A)$). Eles definem a "energia de cauda excedente esperada" $T$ como a diferença na soma dos quadrados dos valores singulares do índice $k+1$ até $d$ entre $\tilde{A}$ e $A$.

   • Integração de Contorno: Eles utilizam a representação de resolvente de projetores espectrais. Ao definir um contorno $\Gamma$ que envolve os $k$ autovalores superiores da matriz de Gram $G = A^\top A$, mas exclui o restante, eles expressam o deslocamento de energia como uma série de integrais de contorno.
   • Expansão de Neumann: A resolvente perturbada é expandida em uma série de Neumann. Os termos líderes ($I_1, I_2$) são computados exatamente usando cálculo de resíduos, enquanto os termos de ordem superior são limitados usando desigualdades de concentração e limites de norma de operador sobre a perturbação $\Delta = \tilde{G} - G$.
   • Identidade de Energia: Eles utilizam a identidade de que a massa esperada do quadrado do valor singular total aumenta pelo quadrado da norma de Frobenius esperada do ruído, permitindo que relacionem o deslocamento de energia da cauda com o deslocamento de energia do topo-$k$.

Contribuições Principais e Resultados

1. Generalização para Razões de Aspecto Constantes:
   O artigo prova que o efeito regularizador do SR não é restrito a desequilíbrios dimensionais extremos.

   • Resultado: Para uma matriz $A$ com $d \leq c_0 n$, o menor valor singular da matriz arredondada $\tilde{A}$ satisfaz $\sigma_d(\tilde{A}) \gtrsim \rho \sqrt{n} \nu$ com alta probabilidade, onde $\rho$ é a resolução de quantização e $\nu$ mede a variância das colunas do ruído.
   • Comparação: Isso melhora significativamente o trabalho anterior (ex: Dexter et al. [2025]), que exigia $d = o((n/\log n)^{1/4})$. O novo limite cobre matrizes onde $d$ e $n$ são da mesma ordem, tornando o resultado aplicável a matrizes de pesos padrão de aprendizado profundo.

2. Regularização de Aglomerados de Valores Singulares:
   O artigo demonstra que o SR eleva não apenas o valor singular mínimo, mas uma parte não trivial da cauda espectral.

   • Resultado: A energia de cauda excedente esperada $T$ é limitada inferiormente pela soma das menores $(d-k)$ variâncias de coluna da matriz de ruído, menos termos de ordem inferior dependentes do gap espectral e da magnitude da perturbação.
   • Implicação: Isso indica que o SR injeta ruído que se difunde através das direções, impedindo a concentração em subespaços de baixa dimensão. Consequentemente, ele fortalece modos espectrais fracos através de um aglomerado, em vez de agir como um regularizador unidimensional.

Significância e Alegações
Os autores alegam que estes resultados fornecem uma caracterização mais geral e precisa do arredondamento estocástico como um regularizador espectral.

• Fundamentação Teórica: O trabalho oferece uma base teórica rigorosa para o sucesso empírico do SR no treinamento de baixa precisão, sugerindo que o ruído de quantização "prejudicial" é, na verdade, estruturado de uma forma que melhora a geometria espectral.
• Mecanismo de Regularização Implícita: Ao mostrar que o SR afeta a cauda espectral, o artigo conecta o SR ao fenômeno de autorregularização implícita observado no aprendizado profundo, onde espectros de cauda pesada correlacionam-se com a capacidade de generalização.
• Limitações: Os autores reconhecem modestamente que seus limites para a cauda espectral dependem de suposições restritivas, incluindo um forte gap espectral, razões de autovalores limitadas e baixos níveis de perturbação. Eles observam que o regime quase-quadrado ($d \approx n$) para o limite do menor valor singular não é totalmente coberto por sua análise atual, e que uma validação empírica adicional em tarefas de aprendizado profundo subsequentes é necessária.

Em resumo, o artigo estabelece que o arredondamento estocástico atua como um regularizador espectral de propósito geral que opera em matrizes com razões de aspecto constantes e eleva aglomerados inteiros de pequenos valores singulares, remodelando assim o subespaço de baixa energia do espectro da matriz.