One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression

기술 요약: One-Shot 대 Iterative: 모델 압축을 위한 프루닝 전략의 재고

문제 정의
컴퓨터 비전 및 자연어 처리의 복잡한 과제를 해결하기 위해 신경망의 규모가 커짐에 따라, 이를 자원이 제한된 장치에 배포하는 것이 점점 더 비현실적으로 변하고 있습니다. 프루닝(Pruning)은 성능 저하를 최소화하면서 모델 크기와 계산 비용을 줄이기 위한 주요 기술입니다. 그러나 기존 문헌은 새로운 프루닝 기준(예: 크기, 민감도, 게임 이론적 접근 방식)을 제안하는 데 치중되어 있으며, 프루닝 레짐(regime)—구체적으로 원샷 프루닝(one-shot pruning: 한 번의 학습, 프루닝, 재학습 사이클)과 반복적 프루닝(iterative pruning: 이러한 단계의 다중 사이클) 사이의 체계적인 비교가 부족합니다. 다양한 조건(다양한 프루닝 비율, 모델 아키텍처, 기준) 하에서 이 전략들의 상대적 효용성은 충분히 탐구되지 않았으며, 이로 인해 실무자들이 방법을 임의로 선택하는 경우가 빈번합니다.

방법론
저자들은 프루닝 기준, 목표 희소도(sparsity), 모델 아키텍처를 통제 변수로 설정하여 프루닝 레짐을 독립 변수로 분리하는 포괄적인 경험적 연구를 수행했습니다. 본 연구는 구조적(structured) 및 비구조적(unstructured) 프러닝 모두를 다루며, 합성곱 신경망(ResNet, EfficientNet), 비전 트랜스포머(ViT), 그리고 트랜스포머 기반 언어 모델(TinyStories-33M)을 대상으로 합니다.

주요 방법론적 구성 요소는 다음과 같습니다:

1. 레짐 정의:
   • One-Shot: 단일 프루닝 단계 후 파인튜닝 수행.
   • Iterative Constant: 각 사이클마다 고정된 수의 가중치를 제거.
   • Iterative Geometric: 남은 가중치의 고정된 비율을 단계적으로 제거하여, 프러닝되는 가중치 수를 점진적으로 줄임.
   • Hybrid (Few-Shot): 초기 단계에서 대량의 가중치를 제거하는 원샷 프루닝과 미세 조정을 위한 기하학적 반복 프러닝을 결합한 제안된 방식.
2. 재학습 프로토콜: 본 연구는 고정된 에포크(epoch) 수 대신 인내 기반 파인튜닝(validation 성능에 따른 조기 종료)을 옹호하며, 이는 모델의 실제 회복 필요에 따라 재학습 기간을 동적으로 적응시킨다고 주장합니다.
3. 평가 지표: 성능은 다양한 프러닝 비율(낮은 수준에서 극단적인 희소도까지)에 걸쳐 비전 작업에 대한 Top-1 정확도와 NLP 작업에 대한 Perplexity를 통해 측정되었습니다.

주요 기여

• 체계적 비교: 본 연구는 원샷 프러닝과 반복적 프러닝을 비교하는 최초의 광범위하고 통제된 비교 중 하나를 제공하며, 반복적 프러닝이 항상 우월하다는 가설에 의문을 제기합니다.
• Geometric Pruning Scheduler: 반복적 프러닝을 위한 기하학적 프러닝 비율 스케줄러를 도입하고 검증하였으며, 남은 가중치의 고정된 비율을 프러닝하는 것이 특히 높은 희소도 수준에서 상수 비율(constant-rate) 프러닝보다 일반적으로 더 우수함을 입증했습니다.
• Hybrid 접근법: 초기 거친 감소(coarse reduction)에는 원샷 프러닝의 효율성을 활용하고, 최종 정밀 조정을 위해 미세한 기하학적 반복 프러닝을 사용하는 새로운 하이브리드 프러닝 레짐을 제안합니다.
• 맥락적 가이드라인: 최적의 프러닝 전략은 보편적인 것이 아니라 프러닝 비율, 모델 아키텍처(CNN vs. Transformer), 재학습을 위한 계산 예산 등 특정 제약 조건에 따라 달라짐을 확립합니다.

주요 결과

• 프러닝 비율 의존성:
  • 낮음~중간 비율 (<80%): 인내 기반 재학습을 동반한 원샷 프러닝이 특히 CNN의 경우 반복적 방법보다 우수한 성능을 보이는 경우가 많습니다. 이는 훨씬 적은 재학습 시간으로 더 높은 정확도를 달もの합니다.
  • 높은 비율 (>80%): 반복적 프러닝(특히 기하학적 변형)이 더 우수해집니다. 원샷 프러닝은 극단적인 희소도 수준에서 성능을 회복하는 데 어려움을 겪습니다.
• 아키텍처 민감도: 트랜스포머 기반 모델(ViT 및 LLM 모두)은 CNN보다 반복적 프러닝으로부터 더 많은 이득을 얻는 경в이 있습니다. NLP 작업의 경우, 원샷 프러닝은 낮은 프러닝 비율(10–20%)에서도 민감도를 보였으나, 반복적 프러닝은 모델이 점진적으로 적응할 수 있게 했습니다.
• 프러닝 기준 간의 상호작용:
  • 2차 기준(예: Hessian 기반)의 경우, 값비싼 랭킹 계산을 한 번만 수행하므로 원샷 프러닝이 계산 효율적입니다.
  • 높은 프러닝 비율에서는 프러닝 기준의 선택이 덜 중요해지며, 반복적 기하학적 레짐은 다양한 기준에 대해 유사한 성능을 보이므로 더 빠른 magnitude 기반 기준을 선호하는 것이 유리합니다.
• Hybrid 성능: 하이브리드 접근법은 거의 모든 프러닝 비율에서 순수 원샷 및 순수 반복 방식보다 일관되게 우수한 성능을 보였으며, 원샷 제거의 속도와 반복 단계의 정밀함을 효과적으로 결-합했습니다.
• 재학습 효율성: 인내 기반 조기 종료가 매우 중요하다는 것이 입증되었습니다. 고정된 짧은 재학습 기간(문헌에서 흔히 사용됨)은 최적이 아닌 결과를 초래한 반면, 인내 기반 방법은 과소 훈련과 낭비적인 과잉 훈련을 모두 방지했습니다.

의의 및 주장
본 논문은 모든 시나리오에 적용되는 단 하나의 "최고" 프러닝 방법을 확립하려는 것이 아닙니다. 대신, 실무자들이 자신의 구체적인 목표와 제약 조건에 맞춤화된 프러닝 전략을 선택할 수 있도록 엄격한 경험적 근거를 제공하는 것을 목표로 합니다. 저자들은 프러닝 기준의 선택만큼이나 프러닝 레짐의 선택이 중요하다고 주장합니다. 낮은 희소도와 계산 제약 환경에서는 원샷 프러닝이 매우 효과적인 반면, 높은 희소도와 복잡한 아키텍처에는 반복적(기하학적) 프러닝이 필수적임을 입증함으로써, 본 연구는 모델의 정확도, 크기, 계산 비용 간의 트레이드오프를 최적화하기 위한 실행 가능한 가이드라인을 제공합니다. 제안된 하이브리드 방법은 두 레짐의 강점을 결합하여 모델 압축을 위한 더 정보에 입각한 경로를 제시합니다.