기술 요약: SparseOpt – 희소 훈련에서 정규화로 인한 기울기 왜곡 해결

문제 제기

동적 희소 훈련 (DST) 방법은 훈련 중 네트워크 토폴로지 (마스크) 를 동적으로 적응시켜 높은 희소성을 가진 신경망을 훈련하는 것을 목표로 합니다. DST 는 계산 비용과 메모리 사용량 감소를 약속하지만, 밀집 훈련에 비해 현저히 느린 수렴이라는 중요한 실용적 한계를 겪습니다. 기존 DST 방법은 밀집 모델과 동등한 일반화 성능을 달성하기 위해 종종 최대 5 배 더 많은 에포크가 필요하여, 잠재적인 효율성 이득을 무효화합니다.

저자들은 배치 정규화 (BN) 를 이 불안정성의 주요한, 이전에 탐구되지 않은 원인으로 지목합니다. BN 은 훈련을 안정화하고 수렴을 가속화하기 위해 밀집 네트워크에서 표준으로 사용되지만, 이 논문은 희소 네트워크에서는 BN 이 기울기 왜곡 (gradient skew) 을 유발함을 보여줍니다. 구체적으로, 희소 층의 뉴런은 이질적인 연결성 (가변적인 입력 연결 수, 즉 fan-in) 을 가지므로, BN 은 국소 분산에 기반하여 입력을 정규화합니다. 이 분산은 활성 연결 수에 직접적으로 의존합니다. 결과적으로 BN 은 개별 희소성 수준에 의존하는 인자로 희소 뉴런의 기울기를 재조정하여, 층 전체에 걸쳐 비균일한 기울기 스케일링을 초래합니다.

마스크 업데이트 단계에서 마스크 (따라서 개별 뉴런의 희소성) 가 급격히 변하는 DST 맥락에서, 이 BN 으로 인한 재조정은 기울기 방향과 크기에 뉴런 의존적인 갑작스러운 변화를 유발합니다. 이는 최적화 궤적을 방해하여 노이즈와 불안정성을 도입하고 수렴을 지연시킵니다.

방법론: SparseOpt

이 문제를 해결하기 위해 저자들은 SparseOpt, 즉 희소성을 인식하는 사전 조건부 경사 하강 최적화기를 제안합니다. 핵심 통찰은 BN 이 도입하는 기울기 왜곡이 순수하게 곱셈적이며 뉴런별 희소성 수준 $s_i$에 의존한다는 것입니다.

이론적 기반

저자들은 희소성 $s_i$를 가진 뉴런 $i$에 대해, BN 이 있는 희소 층에서의 기울기 $\frac{\partial L}{\partial x'_i}$가 동등한 밀집 층의 기울기에 비해 $(1-s_i)^{-1/2}$ 인자로 증폭됨을 유도했습니다.
$$\frac{\partial L}{\partial x'_i} = \frac{1}{\sqrt{1-s_i}} \frac{\partial L}{\partial x_i}$$
이 증폭은 뉴런마다 달라 기울기 성분의 상대적 기여도를 변경하고 매개변수 공간에서 업데이트 방향을 회전시킵니다.

SparseOpt 업데이트 규칙

SparseOpt 는 균일성을 회복하기 위해 기울기를 재조정하는 대각 사전 조건부 행렬 $D$를 적용함으로써 이 왜곡을 보정합니다. 업데이트 규칙은 다음과 같이 정의됩니다:
$$w_{t+1} = w_t - \frac{\eta}{\sqrt{1-s_{avg}}} D \nabla L(w_t)$$
여기서:

• $\eta$는 학습률입니다.
• $s_{avg}$는 뉴런 간의 평균 희소성입니다.
• $D$는 뉴런 $i$에 대한 항목이 $\sqrt{1-s_i}$인 대각 행렬입니다.

기울기에 $\sqrt{1-s_i}$를 곱함으로써 SparseOpt 는 BN 으로 인한 (1-s_i)^{-1/2) 증폭을 효과적으로 상쇄합니다. $\sqrt{1-s_{avg}}$로 추가 정규화함으로써 전역 기울기 노름을 보존합니다. 밀집 층의 특수한 경우 (모든 $i$에 대해 $s_i=0$), 사전 조건부 행렬은 단위 행렬로 축소되어 SparseOpt 를 표준 확률적 경사 하강법 (SGD) 과 동일하게 만듭니다.

주요 기여

1. 희소 훈련에서의 BN 에 대한 이론적 분석: 이 논문은 이질적인 연결성으로 인해 BN 이 희소 층에서 기울기 방향을 변경함을 보여주는 최초의 체계적인 이론적 및 실증적 분석을 제공합니다. BN 이 $(1-s_i)^{-1/2}$로 기울기를 재조정하여 DST 마스크 업데이트 중 불안정성을 유발함을 입증합니다.
2. SparseOpt 알고리즘: 저자들은 기울기 왜곡을 보정하기 위해 뉴런별 희소성을 명시적으로 고려하는 새로운 사전 조건부 경사 하강법을 제안합니다. 이 방법은 기존 DST 프레임워크 (RigL 및 SET 등) 와 다른 최적화기 (HAM 등) 와 호환됩니다.
3. 실증적 검증: CIFAR-100 및 ImageNet 에서의 ResNet 아키텍처에 대한 광범위한 실험은 SparseOpt 가 특히 높은 희소성 수준 (0.90, 0.95, 0.97) 에서 일관되게 수렴을 가속화하고 일반화를 개선함을 보여줍니다.

실험 결과

저자들은 ResNet-20(CIFAR-100) 과 ResNet-50(ImageNet) 에서 RigL(Rigging the Lottery) 과 SET(Sparse Evolutionary Training) 을 사용하여 SparseOpt 를 평가했습니다.

• 수렴 속도: SparseOpt 는 표준 SGD 를 사용하는 기존 DST 방법에 비해 더 적은 훈련 에포크로 더 높은 정확도를 달성합니다. 예를 들어, 90% 희소성에서 ImageNet 을 사용할 때, SparseOpt 를 적용한 RigL 은 90 에포크에서 75.06% 의 Top-1 정확도에 도달한 반면, 기존 방법은 73.88% 에 그쳤습니다.
• 일반화: 이 방법은 다양한 훈련 예산에 걸쳐 일관되게 더 나은 테스트 정확도를 제공합니다. 연결성 이질성이 가장 큰 높은 희소성 수준에서 성능 격차가 가장 두드러집니다.
• 마스크 탐색: 이 연구는 "ITOP rate"(마스크 탐색 다양성의 척도) 를 분석합니다. SparseOpt 가 훈련 역학을 개선하지만, RigL 의 마스크 재생성 단계에서 원본(보정되지 않은) 기울기를 사용하면 더 나은 탐색이 이루어진다는 것을 발견합니다. 이는 최적화기가 가중치 업데이트를 위해 보정된 기울기를 얻는 반면, 마스크 탐색 메커니즘은 BN 의 영향을 받는 원본 기울기 크기에 의존한다는 분리를 시사합니다.
• 호환성: 이 방법은 최첨단 쌍곡선 인식 최소화 (HAM) 최적화기와 상호 보완적임이 입증되어, 결합 시 수렴을 추가로 개선합니다.

중요성 및 주장

이 논문은 동적 희소 훈련에서 불안정성의 원인으로 배치 정규화를 식별하고 체계적인 해결책을 제안한 최초의 작업이라고 주장합니다. 저자들은 현재 정규화 층이 균일한 연결성을 암묵적으로 가정하고 있으며, 이는 밀집 층에서는 유효하지만 희소 네트워크에서는 위배된다고 강조합니다.

이 작업의 중요성은 다음과 같습니다:

• 격차 해소: 근본적인 최적화 병목 현상을 해결함으로써 DST 를 밀집 훈련과 실용적으로 경쟁력 있게 만드는 중요한 단계를 밟습니다.
• 설계 시사점: 밀집 모델을 위해 개발된 기법을 직접 이전하는 대신, 정규화 메커니즘에서 "희소성 인식" 설계의 필요성을 강조합니다.
• 실용적 효율성: 더 빠른 수렴을 가능하게 함으로써 희소 모델을 훈련하는 데 필요한 총 훈련 시간과 계산 자원을 줄여 배포를 더 실현 가능하게 만듭니다.

저자들은 범위에 대해 겸손하게, SparseOpt 가 수렴률을 개선하지만 DST 의 완전한 잠재력은 최적화 역학과 마스크 탐색 전략 간의 상호작용에 달려 있으며 이는 향후 연구 영역이라고 언급합니다. 또한 초기 연구에서 그들의 분석이 레이어 정규화 (LN) 로도 확장됨을 지적하여 발견 사항의 더 넓은 적용 가능성을 시사합니다.