기술 요약: 단일 학습 사이클을 통한 점진적 크기 기반 가지치기를 이용한 희소 서브네트워크 탐색

1. 문제 정의

심층 신경망은 컴퓨터 비전 및 자연어 처리 분야에서 놀라운 성공을 거두었으나, 계산 및 메모리 요구량으로 인해 자원이 제한된 환경(모바일, 에지, IoT)에 배치할 때 상당한 배포 과제에 직면해 있습니다. 신경망 가지치기(Pruning)는 예측 성능을 유지하면서 모델 크기를 줄이기 위해 덜 중요한 파라미터를 제거하는 해결책을 제공합니다.

그러나 기존의 패러다임은 다음과 같은 구체적인 한계를 가집니다:

• 반복적 가지치기 (예: 로터리 티켓 가설 - LTH): LTH는 조밀한 네트워크 내에 희소한 "당첨 티켓(winning tickets)"이 존재함을 보여주지만, 이를 찾는 과정은 여러 번의 완전한 학습 사이클(학습, 가지치기, 가중치를 초기화 상태로 재설정, 재학습)을 필요로 합니다. 이는 가지치기의 효율성 목표를 저해하는 상당한 계산 오버헤드를 발생시킵니다.
• 초기화 기반 가지치기 (예: SNIP, GraSP): 이러한 방법들은 연결 민감도나 그래디언트 흐름을 기반으로 학습이 시작되기 전에 가지치기를 수행합니다. 이는 계산 비용은 적게 들지만, 가중치의 중요성이 학습 중에 진화하기 전에 고정된 희소 구조를 확정해 버린다는 단점이 있습니다.
• 동적 희소 학습 (Dynamic Sparse Training): 가지치기와 재생(regrowth)을 통해 연결성을 변경할 수 있는 방법들은 구현 복잡성을 초래하며, 재생 스케줄에 대한 세심한 튜닝을 요구합니다.

본 연구가 다루는 핵심 문제는, 반복적인 재학습의 계산 비용이나 사전 학습 기반 가지치기의 경직성을 피하면서도 고성능 희소 서브네트워크를 식별할 수 있는 효율적인 단일 사이클 가지치기 방법이 부족하다는 점입니다.

2. 방법론

저자들은 점진적으로 희소도를 높임으로써 단일 학습 사이클 동안 희소 서브네트워크를 식별하는 방법인 **점진적 크기 기반 가지치기(Progressive Magnitude-Based Pruning)**를 제안합니다.

핵심 메커즘

• 선형 희소도 스케줄 (Linear Sparsity Schedule): 이 방법은 지정된 가지치기 단계(에폭 $t_{start}$부터 $t_{end}$까지) 동안 초기 희소도($s_i$)에서 목표 희소도($s_f$)로 희소도를 높이는 선형 스케줄을 채택합니다.
• 적응형 임계값 (Adaptive Thresholding): 가지치기 단계 중 각 에폭마다, 현재 활성화된(가지치기되지 않은) 가중치만을 기준으로 전역 크기 임계값($\theta_t$)을 계산합니다. 이를 통해 임계값이 제로(zero) 처리된 가지치기된 가중치에 의해 왜곡되지 않고, 진화하는 가중치 분포를 반영하도록 보장합니다.
• 단조적 가지치기 (재생 없음 - Monotonic Pruning): 이 방법은 엄격한 단조 제약을 적용합니다: 일단 가중치가 가지치기되면 영구적으로 비활성 상태로 유지됩니다. 새로운 마스크는 현재 임계값에 기반한 후보 마스크와 이전 마스크의 교집합입니다. 이는 복잡한 연결 재생 메커니즘의 필요성을 제거합니다.
• 다단계 마스크 적용 (Multi-Stage Mask Enforcement): 가지치기된 가중치가 그래디언트 업데이트를 받거나 옵티마이저 모멘텀으로 인해 제로에서 벗어나지 않도록, 세 단계에서 마스크를 적용합니다:
  1. Pre-Forward: 순전파 전 가중치를 제로로 설정.
  2. Gradient Masking: 역전파 중 그래디언트를 제로로 설정.
  3. Post-Optimizer: 모멘텀 효과를 상쇄하기 위해 옵티마이저 단계 이후 가중치를 다시 제로로 설정.

학습 단계

학습 과정은 다음과 같이 구성됩니다:

1. 웜업 (선택 사항): 가중치 크기가 안정될 수 있도록 가지치기 없이 학습합니다.
2. 점진적 가지치기: 선형 스케줄을 사용하여 희소도를 점진적으로 증가시킵니다.
3. 미세 조정 (Fine-tuning): 최종 희소 아키텍처를 최적화하기 위해 목표 희소도에서 학습을 지속합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 체계적 평가: 제안된 방법은 ResNet, VGG 스타일, LeNet 아키텍처를 대상으로 CIFAR-10 및 MNIST에서 평가되었으며, ResNet-18에 대해 5개의 무작위 시드를 사용한 통계적 검증을 포함합니다.
2. 직접적인 베이스라인 비교: 저자들은 밀접하게 정렬된 설정 하에서 대표적인 반복적(LTH) 및 초기화 기반(SNIP, GraSP) 가지치기 방법과 직접적인 비교를 제공합니다.
3. 단순성 및 효과성: 선형 희소도 스케줄과 단조적 가지치기가 복잡한 스케줄링 함수나 가중치 재생 메커즘 없이도 강력한 결과를 달eric 수 있음을 입증합니다.
4. 희소도-정확도 트레이드오프 분석: 7개의 희소도 수준(70% ~ 95%)에 대한 상세한 분석을 통해 정확도 저하가 최소화되는 유리한 작동 범위를 식별합니다.

4. 실험 결과

실험은 ResNet-18, VGG-like, VGG-19, LeNet-300-100 아키텍처를 사용하여 CIFAR-10 및 MNIST에서 수행되었습니다.

베이스라인 대비 성능

• ResNet-18 (CIFAR-10): 72.9% 희소도에서 제안된 방법은 **95.12%**의 정확도를 달성하여, 단일 학습 사이클만 요구하면서도 보고된 LTH 결과인 90.5%를 크게 상회했습니다.
• VGG-like (CIFAR-10): 97% 희소도에서 이 방법은 **93.13%**의 정확도를 달성하여, 보고된 SNIP 결과인 약 92.0%를 넘어섰습니다.
• VGG-19 (CIFAR-10): 97.97% 희소도에서 제안된 방법은 **93.44%**의 정확도를 달성하여, 98% 희소도에서의 GraSP 결과인 92.19%보다 높은 성능을 보였습니다.
• LeNet-300-100 (MNIST): 이 방법은 78.9% 및 98% 희소도에서 각각 LTH 및 SNIP 베이스라인을 능가하여, 완전 연결 네트워크(fully connected networks)로의 일반화 능력을 입증했습니다.

희소도-정확도 트레이드오프

• 작동 범위: CIFAR-10에 대한 ResNet-18의 경우, 희소도 수준 70%에서 85% 사이에서 정확도는 조밀한 베이스라인(95.27%)과 0.1 퍼센트 포인트 이내의 차이를 유지합니다.
• 고희소도: 90% 희소도에서 정확도는 95.06%로 약간만 감소합니다. 95% 희소도에서는 93.86%로 더 눈에 띄는 저하가 나타납니다.
• 효율성: 80% 희소도에서 모델은 95.24%의 정확도(0.03 pp 감소)를 유지하면서 파라미터를 5배 줄입니다(20%만 유지).

절제 연구 (Ablation Study)

연구 결과, 무작위 가지치기는 2.73%의 정확도 저하를 초래한 반면, 크기 기반 가지치기 기준이 가장 결정적인 요소임을 확인했습니다. 웜업과 미세 조정은 미미한 이득을 제공했으나, 핵심 방법론은 이들 없이도 경쟁력을 유지했습니다.

5. 의의 및 주장

본 논문은 점진적 크기 기반 가지치기가 기존의 가지치기 패러다임에 대한 실용적인 단일 사이클 대안을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 계산 효율성: LTH와 같은 반복적 방법에서 요구되는 다수의 학습 사이클을 제거합니다.
• 적응성: 초기화 기반 방법과 달리, 학습 중에 가중치의 중요성이 진화함에 따라 가지치기 마스크가 적응할 수 있도록 합니다.
• 구현 단순성: 연결 재생 및 복잡한 스케줄링을 피함으로써 동적 희소 학습에 비해 구현 오버헤드를 줄입니다.
• 강건성: 다양한 아키텍처(ResNet, VGG, LeNet) 및 극단적인 희소도 수준(최대 ~98%)에서 경쟁력 있거나 우수한 성능을 달성합니다.

저자들은 평가된 설정 하에서 이 접근 방식이 신경망 희소화를 위한 균형 잡히고 효과적인 솔루션을 제공하여, 계산 자원이 제한된 실제 배포 환경에서 유효한 베이스라인이 될 수 있다고 결론짓습니다. 또한, 비구조적 가지치기(unstructured pruning)의 한계(희소 컴퓨팅 지원 없이는 하드웨어 가속을 얻기 어려움)와 더 큰 데이터셋(예: ImageNet) 및 현대적 아키텍처(예: Transformer)에 대한 향후 테스트의 필요성을 인정합니다.