Stochastic Rounding Increases Small Singular Values

Resumen Técnico: El redondeo estocástico aumenta los valores singulares pequeños

Planteamiento del problema
Investigaciones recientes han establecido que el Redondeo Estocástico (SR, por sus siglas en inglés) actúa como un regularizador implícito al aumentar el valor singular más pequeño de las matrices, particularmente aquellas con relaciones de aspecto extremas (muy altas y delgadas o cortas y anchas). Sin embargo, la comprensión teórica actual de este fenómeno es limitada en dos aspectos críticos:

1. Restricciones de la relación de aspecto: Los límites existentes se aplican principalmente a matrices donde el número de filas y columnas difiere significamente (por ejemplo, $d \ll n^{1/4}$). No logran abordar matrices con relaciones de aspecto constantes, las cuales son ubicuas en el aprendizaje automático moderno (por ejemplo, pesos de atención de auto-atención, capas totalmente conectadas).
2. Alcance espectral: Los análisis previos se centran casi exclusivamente en el valor singular más pequeño ($\sigma_{\min}$). No tienen en cuenta la "cola espectral" (spectral tail)—conglomerados de valores singulares pequeños que codifican información detallada e influyen en la generalización en el aprendizaje profundo.

El artículo busca determinar si el efecto regularizador del SR persiste para matrices con relaciones de aspecto constantes y si se extiende más allá del único valor singular más pequeño para elevar conglomerados enteros de valores singulares en la cola del espectro.

Metodología
Los autores analizan una matriz $\tilde{A} \in \mathbb{R}^{n \times d}$ obtenida mediante la aplicación de un cuantificador uniformemente ditherizado elemento a elemento a una matriz $A$. Este proceso se modela como $\tilde{A} = A + E$, donde $E$ es una matriz de ruido con entradas independientes, centradas, acotadas y sub-gaussianas.

El análisis procede en dos direcciones principales:

1. Valor singular más pequeño ($\sigma_d(\tilde{A})$):
   Los autores utilizan la desigualdad $\sigma_d(\tilde{A}) \geq \sigma_d(E) - \|P_A E\|_2$, donde $P_A$ es el proyector ortogonal sobre el espacio de columnas de $A$.

• Emplean un límite inferior agudo para $\sigma_d(E)$ derivado de Brailovskaya y van Handel [2024], que tiene en cuenta las varianzas de ruido no homogéneas.
• Derivan un nuevo límite superior más ajustado para el término de proyección $\|P_A E\|_2$ utilizando argumentos de $\epsilon$-net y la desigualdad de Hoeffding.
• Al combinar estos mediante un límite superior de unión (union bound), establecen un límite inferior de alta probabilidad para $\sigma_d(\tilde{A})$ que se mantiene bajo restricciones de relación de aspecto constante ($d \leq c_0 n$).

2. Regularización de la cola espectral:
   Para analizar los conglomerados de valores singulares, los autores asumen que $A$ posee una gran brecha espectral en el índice $k$ ($\sigma_k(A) \gg \sigma_{k+1}(A)$). Definen la "energía de cola excedente esperada" $T$ como la diferencia en la suma de los cuadrados de los valores singulares del índice $k+1$ al $d$ entre $\tilde{A}$ y $A$.

• Integración de contornos: Utilizan la representación del resolvente de los proyectores espectrales. Al definir un contorno $\Gamma$ que encierra los $k$ autovalores superiores de la matriz de Gram $G = A^\top A$ pero excluye el resto, expresan el desplazamiento de energía como una serie de integrales de contorno.
• Expansión de Neumann: El resolvente perturbado se expande en una serie de Neumann. Los términos principales ($I_1, I_2$) se computan exactamente usando cálculo de residuos, mientras que los términos de orden superior se acotan utilizando desigualdades de concentración y límites de norma de operador sobre la perturbación $\Delta = \tilde{G} - G$.
• Identidad de energía: Aprovechan la identidad de que la masa esperada del cuadrado del valor singular total aumenta por la norma de Frobenius al cuadrado esperada del ruido, lo que les permite relacionar el desplazamiento de la energía de la cola con el desplazamiento de la energía de los $k$ superiores.

Contribuciones clave y resultados

1. Generalización a relaciones de aspecto constantes:
   El artículo demuestra que el efecto regularizador del SR no está restringido a desequilibrios dimensionales extremos.

• Resultado: Para una matriz $A$ con $d \leq c_0 n$, el valor singular más pequeño de la matriz redondeada $\tilde{A}$ satisface $\sigma_d(\tilde{A}) \gtrsim \rho \sqrt{n} \nu$ con alta probabilidad, donde $\rho$ es la resolución de cuantización y $\nu$ mide la varianza por columna del ruido.
• Comparación: Esto mejora significativamente el trabajo previo (por ejemplo, Dexter et al. [2025]), que requería $d = o((n/\log n)^{1/4})$. El nuevo límite cubre matrices donde $d$ y $n$ son del mismo orden, haciendo que el resultado sea aplicable a las matrices de pesos estándar del aprendizaje profundo.

2. Regularización de conglomerados de valores singulares:
   El artículo demuestra que el SR no solo eleva el valor singular mínimo, sino una parte no trivial de la cola espectral.

• Resultado: La energía de cola excedente esperada $T$ está acotada inferiormente por la suma de las varianzas de columna más pequeñas de la matriz de ruido, menos términos de orden inferior dependientes de la brecha espectral y la magnitud de la perturbación.
• Implicación: Esto indica que el SR inyecta ruido que se difunde a través de las direcciones, evitando la concentración en subespacios de baja dimensión. En consecuencia, fortalece los modos espectrales débiles a través de un conglomerado, en lugar de actuar como un regularizador unidimensional.

Significancia y afirmaciones
Los autores afirman que estos resultados proporcionan una caracterización más general y precisa del redondeo estocástico como un regularizador espectral.

• Fundamento Teórico: El trabajo ofrece una base teórica rigurosa para el éxito empírico del SR en el entrenamiento de baja precisión, sugiriendo que el ruido de cuantización "dañino" está en realidad estructurado de una manera que mejora la geometría espectral.
• Mecanismo de Regularización Implícita: Al mostrar que el SR afecta la cola espectral, el artículo conecta el SR con el fenómeno de la autorregularización implícita observada en el aprendizaje profundo, donde los espectros de cola pesada se correlacionan con la capacidad de generalización.
• Limitaciones: Los autores reconocen modestamente que sus límites para la cola espectral dependen de supuestos restrictivos, incluyendo una fuerte brecha espectral, relaciones de autovalores acotadas y niveles de perturbación pequeños. Señalan que el régimen casi-cuadrado ($d \approx n$) para el límite del valor singular más pequeño no está totalmente cubierto por su análisis actual, y que se necesita una mayor validación empírica en tareas de aprendizaje profundo descendentes.

En resumen, el artículo establece que el redondeo estocástico actúa como un regularizador espectral de propósito general que opera en matrices con relaciones de aspecto constantes y eleva conglomerados enteros de valores singulares pequeños, remodelando así el subespacio de baja energía del espectro de la matriz.