Gradual Capacity Growth for Sparse Network Discovery

기술 요약: 희소 네트워크 탐색을 위한 점진적 용량 성장 (Gradual Capacity Growth)

1. 문제 정의

희소 신경망 학습의 핵심 과제는 네트워크 밀도(sparsity)와 작업 성능(task performance) 사이의 관계가 일반적으로 알려져 있지 않으며 작업에 따라 달라진다는 점이다. 성능은 일반적으로 특정 "운영 밀도(operating density)"(근사 밀집 정확도를 제공하는 가장 낮은 밀도)를 넘어서면 포화되는 경아가 있으나, 이 밀도를 식별하는 과정은 대개 비용이 많이 드는 시행착오나 밀집 사전 학습(dense pretraining)을 필요로 한다.

기존 방식들은 다음과 같은 구체적인 한계를 갖는다:

• 반복적 크기 가지치기 (Iterative Magnitude Pruning, IMP): 밀집 사전 학습과 여러 번의 재학습 주기가 필요하며, 이는 밀집 학습 대비 3~4배의 부동 소수점 연산량(FLOPs)을 발생시킨다.
• 동적 희소 학습 (Dynamic Sparse Training, DST) 및 초기화 시 가지치기 (Pruning-at-Initialization): 이러한 방법들은 목표 희소도가 사전에 고정되어 있어야 하므로, 전수 조사를 수행하지 않고서는 최적의 운영 밀도를 발견할 수 없다.
• 성장 기반 확장 (Growth-based Expansion): 이전 방법들은 주로 너비(width)를 확장하여 밀집 모델로 수렴하게 만드는데, 이는 희소성을 최종적인 구조적 특성이 아닌 일시적인 상태로 취급하는 것이다.

본 논문은 운영 밀도를 발견하는 것이 고정된 희소 예산을 최적화하는 것과는 별개의 문제라고 상정한다. 목표는 밀집 사전 학습이나 사전 설정된 희소도 타겟 없이, 누적 학습 비용을 최소화하면서 성능이 포화되는 가장 작은 밀도 $\rho^*$를 찾기 위해 희소 네트워크를 건설적으로 성장시키는 것이다.

2. 방법론: 점진적 용량 성장 (Gradual Capacity Growth, GCG)

저자들은 건설적인 희소-밀집(sparse-to-dense) 학습 프레임워크인 **점진적 용량 성장 (GCG)**을 제안한다. GCG는 희소한 시드(seed)에서 시작하여 성능 포화가 추정될 때까지 연결을 점진적으로 추가한다.

핵심 구성 요소:

• 초기화: 네트워크는 낮은 밀도($\rho_{init}$)에서 PHEW [19]를 사용하여 초기화되며, 이는 끊어진 노드(disconnected nodes)를 방지하면서도 성능이 우수한 시작점을 제공한다.
• 성장 메커즘 (PathGrow):
  • 동기: 뉴럴 탄젠트 커널(Neural Tangent Kernel, NTK) 분석에 기반하여, 높은 가중치 경로(high-weight paths)에 참여하는 연결은 수렴을 가속화한다. 그러나 순수하게 경로 가중치만을 최대화하면 병목 현상(좁은 은닉층)을 유발하여 일반화 성능을 해칠 수 있다.
  • 경로 가중치 크기 곱 (Path Weight Magnitude Product, PWMP): 고신호 경로를 효율적으로 식별하기 위해, GCG는 잠재적 엣지에 대한 점수 $S(i, j)$를 계산한다. 이 점수는 소스 노드의 "복잡도"(입력에서 노드 $i$까지의 총 PWMP)와 목적지 노드의 "일반성"(노드 $j$에서 출력까지의 총 PWMP)의 곱이다. 이는 절대값 가중치를 가진 네트워크에 대해 단 한 번의 순전파(forward) 및 역전파(backward)를 통해 계산된다.
  • 확률적 샘집 (Probabilistic Sampling): 가장 높은 점수를 가진 엣지를 결정론적으로 추가하는 대신(이는 병목을 유발함), PathGrow는 PWMP 점수에 비례하는 확률로 새로운 연결을 샘플링한다. 이는 구조적 다양성을 보존하면서도 고신호 경로 쪽으로 성장을 편향시킨다.
• 학습 스케줄:
  • 교차 성장 (Interleaved Growth): 성장은 학습 초기 단계에서 짧은 "거친 학습(rough training)" 단계와 교차하며 발생한다. 이를 통해 그래디언트가 노이아가 되기 전에 네트워크가 유용한 경로 가중치 신호를 드러낼 수 있도록 한다.
  • 지수적 성장 (Exponential Growth): 밀도는 각 단계에서 현재 밀도의 일정 비율($\Delta \rho_k = \gamma \cdot \rho_k$)만큼 증가하며, 이를 통해 밀도-성능 지형을 효율적으로 탐색한다.
  • 가중치 초기화: 새로운 연결은 노이즈를 방지하고 그래디언트 하강법이 적절한 값을 학습할 수 있도록 0의 가중치로 초기화된다.
• 중단 기준 (Stopping Criterion):
  • 중간 밀도 단계마다 광범위한 학습을 수행하지 않으므로, 관찰된 성능-밀도 궤적에 지수적 포화 곡선($P(G_k) = P_0 + A(1 - e^{-\beta \rho_k})$)을 피팅한다.
  • 운영 밀도 $\hat{\rho}^*$는 피팅된 곡선이 최대 예측 개선치의 95%에 도달하는 가장 작은 밀도로 추정된다.

3. 주요 기여

1. 건설적 프레임워크: GCG는 학습 중에 운영 밀도를 발견하는 희소-밀집 패러다임을 도입하여, 밀집 사전 학습이나 사전 설정된 희소 예산의 필요성을 제거한다.
2. PathGrow 알고리즘: 고-PWMP 경로를 통한 빠른 수렴과 구조적 다양성(무작위 샘플링을 통한) 사이의 균형을 맞추는 확률적 성장 규칙을 제공한다.
3. 효율성: GCG는 반복적 가지치기보다 훨씬 낮은 누적 학습 비용으로 운영 밀도를 추정한다.
4. 실증적 검증: CIFAR, TinyImageNet, ImageNet에 대한 광범한 실험을 통해 GCG가 적절한 밀도에서 밀집 성능에 근접하는 희소 서브네트워크를 식별함을 입증한다.

4. 결과

• 성능 대비 밀도: CIFAR 및 TinyImageNet에서 GCG는 약 3050%의 밀도에서 반복적 크기 가지치기(IMP-C)의 성능을 대등하게 달성하거나 능가하는 서브네트워크를 찾아낸다. IMP-C는 더 낮은 밀도(15~20%)에서 최적의 정확도를 달 achieve하지만, GCG는 중간 정도의 밀도에서 유사한 정확도에 도달한다.
• 베이스라인과의 비교:
  • PathGrow vs 대안들: PathGrow는 대부분의 벤치마크에서 무작위 성장(Random Growth, RG) 및 그래디언트 기반 성장(Gradient-based Growth, GG)보다 우수하거나 대등한 성능을 보인다. 또한 누락된 연결에 대한 값비싼 그래디언트 추정이 필요한 GG보다 더 효율적이다.
  • GCG vs PHEW/RigL: 학습 예산이 정규화되었을 때, GCG는 원샷 가지치기(PHEW) 및 동적 희소 학습(RigL)보다 일관되게 우수한 성능을 보여, 반복적 성장의 이점을 강조한다.
  • ImageNet: ResNet-50을 사용한 대규모 ImageNet에서 GCG는 동적 방법들(RigL 및 GSE와 같은)보다 약 2%포인트 뒤처진다. 저자들은 이를 시간이 지남에 따라 유용성이 떨어지는 연결을 가지치고 재배치하는 기능이 성장 전용 방법에는 없기 때문이라고 설명한다.
• 학습 비용: GCG는 IMP-C보다 실질적으로 효율적이다. CIFAR 벤치마크에서 GCG는 밀집 학습 실행의 약 1.5배 FLOPs로 유사한 성능을 달성하는 반면, IMP-C는 3~4배의 FL로가 필요하다.

5. 의의 및 한계

의의:
본 논문은 희소 학습을 단순한 최적화 문제가 아니라, 네트워크가 어떻게 고성능 서브네트워크로 성장하는지에 대한 탐색으로 규정한다. GCG는 제한된 최적화 예산 하에서 정확도-밀도 트레이드오프를 탐색하기 위한 실용적인 메커니즘을 제공한다. 이는 특히 가혹한 비용이 드는 밀집 사전 학습 없이 중간 수준의 희소성 영역에서 희소 네트워크를 발견하는 데 효과적인, 가지치기에 대한 보완적 접근 방식이다.

한계 (저자들이 명시한 내용):

• 희소성 천장 (Sparsity Ceiling): 성장 전용 방법은 낮은 중요도를 가진 연결을 명시적으로 제거하지 않기 때문에 극단적인 희소 수준에는 도달할 수 없다.
• 아키텍처 특이성: PWMP 휴리스틱은 피드포워드 및 컨볼루션 구조에 맞춰져 있으며, 크기(magnitude)가 기능적 중요성과 분리되는 어텐션 메커니즘(Query-Key 행렬 등)에는 자연스럽게 확장되지 않는다.
• 효율성 지표: 비용 분석은 알고리즘적 FLOPs를 기준으로 하며, 현재의 가속기에서 이득을 상쇄할 수 있는 하드웨어 특유의 오버헤드(예: 희소 메모리 액세스, 커널 런치 오버헤드)를 고려하지 않은 순수 알고리즘적 측면이다.
• 도메인 범위: 실험은 비전 벤치마크에 국한되어 있으며, 대규모 NLP 또는 음성 도메인에서의 검증은 향후 과제로 남아 있다.

저자들은 GCG가 파괴적인 가지치기(destructive pruning)와 고정된 예산의 동적 학습에 대한 건설적인 대안으로서, 더 넓은 성장 기반 연구 의제의 한 단계라고 결론짓는다.