기술 요약: 마르첸코-파스투르(Marchenko–Pastur) 분포를 통한 심층 신경망 프루닝

1. 문제 정의

본 논문은 엄격한 제약 조건 하에 배포되는 딥 뉴럴 네트워크(DNN), 특히 비전 트랜스포머(ViT) 및 합성곱 신경망(CNN)의 압축 문제를 다룹다. 주요 목표는 높은 정확도를 유지하면서 상당한 수준의 희소성(연산량인 MACs 감소)을 달eric하는 것이지만, 핵심적인 제약 조건은 프루닝 후 미세 조정(fine-tuning) 예산의 최소화이다.

기존의 프루닝 파이프라인은 프루닝 후 정확도를 회복하기 위해 긴 재학습 일정이나 광범위한 재최적화에 의존하는 경우가 많다. 본 연구는 마르첸코-파스투르(MP) 랜덤 행렬 접근법이 검증 또는 테스트 데이터에 대한 접근 없이도 마스크 구축 단계에서 정확한 프루닝을 가능하게 하는 결정론적 "데이터 경로 인증(data-path certificates)"을 제공할 수 있는지 조사한다. 핵심 문제는 학습된 가중치 행렬 내에서 "노이즈"(제거 가능한 무작위 성분)와 "신호"(보존해야 하는 구조적 성분)를 구분하는 것이다.

2. 방법론

2.1 이론적 프레임워크: 신호 대 노이즈

저자들은 층 $\ell$에서의 학습된 가중치 행렬 $W$가 구조적 신호 성분 $S$와 무작위 섭동 성분 $R$로 분해될 수 있다는 모델링 가정을 제안한다:
$$W = S + R$$

• 신호 ($S$): 레이어 너비에 비해 저계수(low-rank) 또는 근사적으로 저계수인 것으로 가정되며, 이는 학습된 특징을 나타낸다.
• 노이즈 ($R$): 독립적인 무작위 섭동으로 모델링된다. 마르첸코-파스투르(MP) 법칙에 따라, 이러한 무작위 행렬의 특이값(singular values)은 알려진 상단 엣지 $\sigma_+$를 갖는 "벌크(bulk)" 분포를 형성한다.

이 이론은 제거된 성분 $R$이 전파된 로짓 효과(propagated logit effect)가 작다면, 이를 프루닝하는 것이 엘라스틱 넷(elastic-net) 목적 함수를 감소시키고 충분한 덴스 마진(dense margin)을 가진 샘플들을 보존한다는 점을 시사한다.

2.2 프루닝 알고리즘

본 논문은 이 이론적 프레임워크를 기반으로 두 가지 주요 알고리즘 전략을 도입한다:

1. SER (Sparsify–Estimate–Restore):

   • 메커니즘: MP 가이드 예산에 따라 가중치를 제거한 과잉 프루닝(over-pruned) 후보에서 시작한다. 그 후 데이터 경로를 통해 "손실된 질량(lost mass)"을 평가하고, 타겟 희소 모델에 가장 유용한 항목을 복구한다.
   • 하이브리드 크기(Magnitude)–SER: 낮은 희소도에서 효과적인 표준 크기 프루닝과 높은 희소도에서 효과적인 SER을 결합하여, 크기 프루닝의 안정성과 SER의 스펙트럼 민감도를 모두 활용한다.

2. CAST (구조적 희소성):

   • 메커니즘: NVIDIA 텐서 코어와 같은 하드웨어 가속기와 호환되는 고정된 $k:n$ 구조적 희소 패턴(예: 2:4, 6:12, 8:16)을 대상으로 한다.
   • 프로세스: 그룹 내에서 어떤 항목을 유지할지 선택하기 위해 "인증(certificate) 기반" 목적 함수를 사용한다. 또한 "자유 복구(free restoration)" 개념을 채택한다: 실행 비용이 이미 희소성 패턴에 의해 고정된 그룹 내에서는, 유지된 항목을 복구함으로써 실행되는 가중치의 수를 변경하지 않고도 이론적 인증을 개선할 수 있다.
   • ToMe 통합: 비전 트랜스포머의 경우, 가중치 프루닝을 토큰 병합(Token Merging, ToMe)과 결합하여 처리되는 토큰의 수를 줄임으로써 계산 부하를 더욱 낮춘다.

2.3 이론적 인증(Theoretical Certificates)

본 논문은 프루닝을 정당화하기 위해 세 가지 주요 이론적 결과를 제공한다:

• 결정론적 데이터 경로 인증: 제거된 성분 $R$이 전파된 로짓 효과($L_s \|R\psi_1(s)\|_\infty$)에 대한 경계를 만족하면, 프루닝이 엘라스틱 넷 목적 함수를 감소시키고 덴스 마진이 섭동의 두 배를 초과하는 학습 샘플을 보존함을 증명한다.
• 프루닝-복구(Prune–Restore) 인증: 구조적 희소성을 모델링하여, 고정된 희소 실행 그룹 내에서 항목을 복구하는 것이 최종 실행 패턴을 변경하지 않고도 경계를 개선할 수 있음을 보여준다.
• 가산 $L_2$-정규화 이론: 일측 정체성(one-sided stationarity)과 국소 경로 수렴(local-path convergence) 하에서, 허용 가능한 무작위 성분은 학습 한계에서 사라지는 반면, 지속적인 신호 스파이크는 MP 벌크가 붕괴함에 따라 안정화됨을 입증한다.

3. 주요 결과

3.1 비구조적 프루닝 (ViT-B/16)

ImageNet-1k 데이터셋에서 하이브리드 크기–SER 방법은 50% 비구조적 희소도에서 83.37% top-1 정확도를 달성했다. 이는 덴스 베이스라인(85.11%)에서 단 1.74%p(percentage points) 하락한 수치이며, 매우 짧은 미세 조정 예산(사이클당 1 에포크)만으로 달성되었다. 이는 동일한 조건에서 클래식한 크기 프루닝(81.67%)과 직접적인 RMT 베이스라인(82.57%)보다 우수한 성능을 보였다.

3.2 구조적 희소성 및 배포

본 논문은 정확도/MAC 계산과 실제 하드웨어 가속 성능을 구분하여 구조적 $k:n$ 패턴에 대한 결과를 보고한다:

• ViT-B/16 (2:4 + ToMe): 59.81%의 희소 실행 MACs 감소와 함께 83.41% top-1을 달성했다. NVIDIA A40에서 이 체크포인트는 1.388× 네이티브 희소 텐서 코어 가속을 보여주었다.
• ViT-B/16 (No ToMe, A100): ToMe 없이 2:4 희소성으로 이동했을 때 덴스 모델 대비 2.705× 가속을 달성한 별도의 엔드포인트를 보고했다.
• 더 넓은 패턴:
  • ViT-B/16 (6:12): 83.74% top-1.
  • ViT-L/16 (8:16 dense+permutation): 85.33% top-1 (−0.51 pp).
  • ConvNeXtV2-Base (12:16): 86.35% top-1 (−0.37 pp).
• CNN:
  • ResNet50 (8:16 dense+permutation): 75.87% top-1 (−0.26 pp).
  • ResNet152d (CAST-conv+permutation): 1.62× A40 im2col+2:4 희소 GEMM 가속과 함께 81.33% top-1 (−1.53 pp)을 달성했다.

3.3 스케일링 법칙 (Scaling Laws)

경험적 증거는 더 큰 덴스 체크포인트가 매칭된 희소도 수준에서 더 작은 top-1 페널티를 받는 경향이 있음을 시사한다. 저자들은 이를 MP 엣지가 더 큰 행렬에서 더 잘 해소되는 점근적 스펙트럼 객체이며, 더 넓은 과매개변수화된 레이어가 제거 시 데이터 경로에 미치는 영향이 미미한 더 큰 "무작위 유사 벌크 저장소(random-like bulk reservoir)"를 포함하고 있기 때문이라고 설명한다.

4. 의의 및 주장

본 논문은 주요 기여를 다음과 같이 주장한다:

1. 짧은 예산에서의 정확도 유지: 긴 재학습이 필요한 기존 파이프라인과 대조적으로, 최소한의 미세 조정(예: CAST의 경우 3번의 디스틸레이션 에포크)만으로도 높은 정확도를 유지할 수 있음을 입증했다.
2. 결정론적 인증: MP 진단을 통해 식별된 무작ful한 성분의 제거를 정확도 보존(특히 큰 마진을 가진 샘 샘플에 대해)과 연결하는 이론적 보증을 제공한다.
3. 실질적 배포 가능성: 이러한 이론적 신호가 ViT 및 CNN 모두에서 구조적 희소성 패턴(2:4, 6:12 등)을 사용할 때 실제 하드웨어(A40/A100)의 속도 향상으로 이어진다는 것을 검증했다.
4. 레이어별 할당: MP 스펙트럼 진단을 사용하여 서로 다른 스펙트럼 특성에 따라 각 레이어에 서로 다른 프루닝 예산을 할당한다(MP와 유사한 레이어는 더 큰 예산의 후보로 취급하는 반면, 비-MP 또는 헤비 테일 레이어는 보호함).

저자들은 MP 엣지가 모든 트랜스포머 아키텍처에 대한 완전한 인증된 경계라기보다는, 충분한 랜덤 행렬 조건이자 실용적인 레이어별 신호 역할을 한다고 명시적으로 밝힌다. 본 연구는 이론이 알고리즘을 뒷받침하고 경험적 결과가 단기 예산 프루닝 전략의 효용성을 검증하는 "인증 기반(certificate-inspired)" 접근 방식으로 제시된다.