Sparsity Induction for Accurate Post-Training Pruning of Large Language Models

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 텍스트 생성 능력이 뛰어나지만, 방대한 파라미터 규모로 인해 계산 비용, 메모리 사용량, 지연 시간 (latency) 이 매우 큽니다. 이를 해결하기 위해 학습 후 희소성 (Post-Training Sparsity, PTS) 기법이 주목받고 있으며, 이는 모델의 가중치를 제거하여 비용을 절감하는 방법입니다.

그러나 기존 PTS 방법론에는 다음과 같은 근본적인 한계가 존재합니다:

• 자연적 희소성 부재: LLM 의 원래 밀집 행렬 (dense matrices) 은 본질적으로 높은 희소성을 갖지 않습니다.
• 모델 상태 교란: 단순히 가중치를 제거하는 (Magnitude pruning 등) 방식은 모델이 학습 과정에서 형성한 분포 (distribution) 와 스케일 (scaling) 의 자기 일관성을 파괴합니다.
• 성능 저하: 중요한 특징 (critical features) 이 실수로 제거되거나 채널 간 스케일 불균형이 발생하여, 추가적인 미세 조정 (post-tuning) 을 하더라도 성능 회복이 어렵습니다.
• 한계점: 기존 연구들은 중요도 점수 (importance scores) 를 더 정교하게 만드는 데 집중했으나, 이는 체감 효과가 점점 줄어들고 (diminishing returns), 분포와 스케일 일관성 유지라는 더 근본적인 문제를 해결하지 못했습니다.

2. 제안 방법: 희소성 유도 (Sparsity Induction, SI)

저자들은 가지치기 (pruning) 를 수행하기 전에 모델의 가중치 분포와 특징 구조를 희소성에 친화적으로 재구성하는 '희소성 유도 (Sparsity Induction, SI)' 개념을 제안합니다. 이는 추론 시 오버헤드를 추가하지 않으면서 모델의 분포와 특징을 최적화합니다.

2.1. 분포 수준 (Distribution Level)

모델의 가중치 분포를 가지치기에 더 적합하도록 재조정합니다.

• 기술적 접근: 채널별 스케일링 (scaling) 과 시프팅 (shifting) 을 도입하여 함수적으로 동등한 (functionally equivalent) 재파라미터화를 수행합니다.
• 작동 원리:
  • 선형 레이어 (Linear Layer): $Y = WX + b$를$S^{-1}(X-\delta)$와$(WS)$등으로 변형하여, 학습 가능한 스케일 인자$s$와 시프트$\delta$를 도입합니다.
  • 어텐션 (Attention): 쿼리 (Q) 와 키 (K) 에 역수 스케일링을 적용하여 어텐션 로지트 (logits) 와 소프트맥스 출력을 보존합니다.
• 장점: 이러한 변환은 추론 시 파라미터에 완전히 흡수 (merge) 되므로 추가 파라미터나 추론 오버헤드가 발생하지 않습니다.
• 목적: 중요한 채널의 가중치를 강조하고 배경 가중치를 억제하여, 중요하고 중요하지 않은 가중치 간의 간격을 넓혀 분포적 희소성 (distributional sparsity) 을 증대시킵니다.

2.2. 특징 수준 (Feature Level)

분포 재조정 후, 특징 공간에서의 희소성을 유도합니다.

• 스펙트럼 노름 손실 (Spectral Norm Loss): 저랭크 (low-rank) 구조를 장려하여 특징의 희소성을 촉진합니다.
• 강건한 초기화: 데이터 기반의 로버스트 통계량 (중앙값, 평균 등) 을 사용하여 변환 인자를 초기화합니다.
• 최적화: 재구성 손실 (Output-matching loss) 과 정규화 항 (Spectral-style regularizer) 을 결합하여, 전체 파라미터를 미세 조정하지 않고도 소수의 변환 인자만 학습하여 수렴 속도와 안정성을 높입니다.

2.3. 효율성: 빠른 헤시안 업데이트 (Fast Hessian Update)

기존의 Wanda 와 같은 방법론은 가중치 중요도 계산 시 활성화 값을 반복적으로 계산해야 하는 비용이 큽니다.

• 접근: 활성화 분산을 대각 헤시안 (Gauss-Newton/Hessian proxy) 으로 대체하고, 스케일링 인자가 파라미터에 흡수된다는 점을 활용합니다.
• 효과: $O(d_{in})$ 복잡도로 중요도 점수를 즉시 갱신할 수 있어, 기존 파이프라인 대비 최대 20 배 이상의 속도 향상을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 희소성 유도 (Sparsity Induction) 개념 도입: 가지치기 전 모델의 원래 분포를 희소성에 친화적으로 변형하여, 가지치기 후 정확도와 안정성을 높이는 새로운 패러다임을 제시했습니다.
2. 이중 관점 최적화 프레임워크: 분포 수준 (스케일링/시프팅) 과 특징 수준 (스펙트럼 노름 손실) 을 동시에 최적화하여, 가지치기 전 모델 상태를 준비합니다.
3. 효율적인 최적화 및 성능 향상: 전체 파라미터 미세 조정이 필요 없으며, 계산 오버헤드가 없습니다. 다양한 아키텍처와 작업에서 기존 방법 (Magnitude, Wanda, SparseGPT) 보다 우수한 가지치기 성능을 입증했습니다.

4. 실험 결과 (Results)

저자는 OPT, LLaMA-1, LLaMA-2 등 다양한 크기의 모델 (125M~13B) 과 C4, WikiText-2, 다양한 벤치마크 (ARC, HellaSwag 등) 를 통해 실험을 수행했습니다.

• ** perplexity (Perplexity) 개선:** 50% 희소성 및 2:4, 4:8 구조적 희소성 패턴에서 기존 방법 대비 현저히 낮은 perplexity 를 기록했습니다. 특히 50% 희소성에서 기존 방법은 성능이 급격히 떨어지거나 사용 불가능해지는 반면, SI 를 적용한 모델은 밀집 모델에 가까운 성능을 유지했습니다.
• Zero-shot 정확도 향상: 6 가지 벤치마크에서 평균 정확도가 일관되게 향상되었습니다. 예를 들어, LLaMA-7B 의 50% 희소성에서 Wanda 단독은 51.47% 였으나, SI 를 추가한 경우 52.50% 로 향상되었습니다.
• 속도 및 효율성:
  • Wanda 메트릭 갱신 시간이 345.91 초에서 15.27 초로 22.65 배 단축되었습니다.
  • SI 는 추론 시 추가 모듈이 필요 없으므로, 하드웨어 가속 (N:M 패턴) 과 호환되며 런타임 오버헤드가 0입니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 모델 압축 분야에서 가지치기 전의 모델 상태 준비 (Pre-pruning adaptation) 의 중요성을 강조합니다. 단순히 중요도 점수를 정교하게 계산하는 것을 넘어, 모델의 분포와 스케일 일관성을 보존하고 재조정함으로써 가지치기 손실을 근본적으로 줄였습니다.

• 실용성: 추가적인 미세 조정 (fine-tuning) 이나 추론 오버헤드 없이 기존 PTS 파이프라인에 쉽게 통합 (plug-and-play) 가능합니다.
• 미래 전망: 희소성과 양자화 (quantization) 의 결합, 구조 인식 변형 등 향후 연구 방향을 제시하며, 고밀도 LLM 을 경량화하는 데 있어 희소성 유도 기법이 핵심 기술로 자리 잡을 것임을 시사합니다.

요약하자면, Sparsity Induction은 LLM 의 가지치기 성능 한계를 돌파하기 위해 모델의 내재적 구조를 가지치기에 최적화되도록 사전에 유도하는 혁신적이고 효율적인 프레임워크입니다.