Stochastic Rounding Increases Small Singular Values

기술 요약: 확률적 반올림(Stochastic Rounding)은 작은 특이값들을 증가시킨다

문제 정의
최근 연구는 확률적 반올림(SR)이 행렬의 가장 작은 특이값을 증가시킴으로써 암묵적 정규화 도구 역할을 한다는 사실을 밝혀냈다. 이는 특히 극단적인 종횡비를 가진(매우 길고 좁거나 짧고 넓은) 행렬에서 두드러진다. 그러나 현재의 이론적 이해는 두 가지 결정적인 측면에서 한계가 있다:

1. 종횡비 제약: 기존의 경계값들은 행과 열의 수가 크게 차이 나는 경우(예: $d \ll n^{1/4}$)에만 주로 적용된다. 이는 현대 머신러닝에서 흔히 볼 수 있는(예: 셀프 어텐션 가중치, 완전 연결 계층) 일정한 종횡비를 가진 행렬들을 다루지 못한다.
2. 스펙트럼 범위: 이전의 분석들은 거의 전적으로 가장 작은 특이값($\sigma_{\min}$)에만 집중되어 있다. 이들은 미세한 정보를 인코딩하고 딥러닝의 일반화에 영향을 미치는 "스펙트럼 꼬리(spectral tail)"—즉, 작은 특이값들의 클러스터—를 고려하지 않는다.

본 논문은 SR의 정규화 효과가 일정한 종방향비를 가진 행렬에서도 지속되는지, 그리고 단일 최솟값 특이값을 넘어 스펙트럼 꼬리에 있는 전체 특이값 클러스터를 끌어올리는지 여부를 규명하고자 한다.

방법론
저자들은 행렬 $A$에 요소별로 균등 디더링 양자화기(Uniformly Dithered Quantizer)를 적용하여 얻은 행렬 $\tilde{A} \in \mathbb{R}^{n \times d}$를 분석한다. 이 과정은 $\tilde{A} = A + E$로 모델링되며, 여기서 $E$는 독립적이고 중심(centered)이며 유계인 서브 가우시안(sub-Gaussian) 성분을 가진 노이즈 행렬이다.

분석은 두 가지 주요 방향으로 진행된다:

1. 최소 특이값 ($\sigma_d(\tilde{A})$):
   저자들은 $\sigma_d(\tilde{A}) \geq \sigma_d(E) - \|P_A E\|_2$ 부등식을 활용한다. 여기서 $P_A$는 $A$의 열 공간에 대한 직교 투영(orthogonal projector)이다.

• 저자들은 비균질 노이즈 분산을 고려한 Brailovskaya와 van Handel [2024]의 연구로부터 유도된 $\sigma_d(E)$에 대한 날카로운 하한값을 사용한다.
• $\epsilon$-net 논법과 호프딩 부등식(Hoeffding's inequality)을 사용하여 투영 항 $\|P_A E\|_2$에 대한 새로운, 더 타이트한 상한을 유도한다.
• 이를 결합하여, 일정한 종횡비 제약($d \leq c_0 n$) 하에서도 성립하는 고확률 하한을 설정한다.

2. 스펙트럼 꼬리 정규화:
   특이값 클러스터를 분석하기 위해, 저자들은 $A$가 인덱스 $k$에서 큰 스펙트럼 갭($\sigma_k(A) \gg \sigma_{k+1}(A)$)을 가진다고 가정한다. 저자들은 "기대 과잉 꼬리 에너지(expected excess tail energy)" $T$를 $\tilde{A}$와 $A$ 사이의 인덱스 $k+1$부터 $d$까지의 제곱 특이값 합의 차이로 정의한다.

• 경로 적분(Contour Integration): 저자들은 스펙트럼 투영의 레졸번트(resolvent) 표현을 활용한다. 그람 행렬 $G = A^\top A$의 상위 $k$개 고유값을 포함하되 나머지는 제외하는 경로 $\Gamma$를 정의함으로써, 에너지 변화를 경로 적분의 급수로 표현한다.
• 노이만 전개(Neumann Expansion): 섭동된 레졸번트를 노이만 급수로 전개한다. 주요 항들($I_1, I_2$)은 유수 계산법(residue calculus)을 통해 정확히 계산되며, 고차 항들은 집중 부등식(concentration inequalities)과 섭동 $\Delta = \tilde{G} - G$에 대한 연산자 노름 상한을 사용하여 제한된다.
• 에너지 항등식: 기대 총 제곱 특이값 질량이 기대 제곱 프로베니우스 노름(squared Frobenius norm)의 노이즈에 의해 증가한다는 항등식을 활용하여, 꼬리 에너지 변화를 상위-$k$ 에너지 변화와 연결한다.

주요 기여 및 결과

1. 일정한 종횡에 대한 일반화:
   본 논문은 SR의 정규화 효과가 극단적인 차원 불균형에 국한되지 않음을 증명한다.

• 결과: $d \leq c_0 n$인 행렬 $A$에 대해, 반올림된 행렬 $\tilde{A}$의 최소 특이값은 높은 확률로 $\sigma_d(\tilde{A}) \gtrsim \rho \sqrt{n} \nu$를 만족한다. 여기서 $\rho$는 양자화 해상도이고 $\nu$는 노이즈의 열별 분산을 측정한다.
• 비교: 이는 $d = o((n/\log n)^{1/4})$를 요구했던 이전 연구(예: Dexter et al. [2025])를 크게 개선한 것이다. 새로운 경계값은 $d$와 $n$이 같은 차수(order)인 행렬을 포괄하며, 이를 통해 표준 딥러닝 가중치 행렬에 적용 가능하게 만든다.

2. 특이값 클러스터의 정규화:
   본 논문은 SR이 단순히 최소 특이값만을 끌어올리는 것이 아니라, 스펙트럼 꼬리의 비자명한 부분(non-trivial portion)을 끌어올린다는 것을 보여준다.

• 결과: 기대 과잉 꼬리 에너지 $T$는 노이즈 행렬의 가장 작은 $(d-k)$개 열 분산의 합에서 스펙트럼 갭과 섭동 크기에 의존하는 저차 항들을 뺀 값보다 크다는 하한을 갖는다.
• 함의: 이는 SR이 노이즈를 주입하여 이를 여러 방향으로 확산시킴으로써, 저차원 부분 공간에 집중되는 것을 방지한다는 것을 나타낸다. 결과적으로, SR은 일차원적 정규화 도구로서 작용하기보다 클러스터 전반의 약한 스펙트럼 모드들을 강화한다.

의의 및 주장
저자들은 이러한 결과가 확률적 반올림을 스펙트럼 정규화 도구로서 더욱 일반적이고 정확하게 특징짓는다고 주장한다.

• 이론적 토대: 본 연구는 저정밀도 훈련에서 SR이 거두는 경험적 성공에 대한 엄밀한 이론적 근거를 제공하며, "해로운" 양자화 노이즈가 실제로는 스펙트럼 기하학을 개선하는 방식으로 구조화되어 있음을 시사한다.
• 암묵적 정규화의 메커니즘: SR이 스펙트럼 꼬리에 영향을 미친다는 것을 보여줌으로써, 본 논문은 헤비 테일(heavy-tailed) 스펙트럼이 일반화 능력과 상관관계가 있다는 딥러닝의 암묵적 자기 정규화 현상과 SR을 연결한다.
• 한계점: 저자들은 스펙트럼 갭, 유계된 고유값 비율, 작은 섭동 수준을 포함한 제한적인 가정들에 기반하여 스펙트럼 꼬리에 대한 경계값을 설정했음을 겸허히 인정한다. 또한, 최소 특이값 경계값에 대한 근사 정사각형(near-square) 영역($d \approx n$)은 현재의 분석으로 완전히 다뤄지지 않았으며, 다운스트림 딥러닝 태스크에 대한 추가적인 경험적 검증이 필요함을 언급한다.

요약하자면, 본 논문은 확률적 반올림이 일정한 종횡을 가진 행렬에 작용하고 스펙트럼 꼬리의 작은 특이값 클러스터 전체를 끌어올림으로써, 행렬 스펙트럼의 저에너지 부분 공간을 재형성하는 범용 스펙트럼 정규화 도구임을 입증한다.