기술적 요약: 효과적인 모델 가지치기 (EMP)

1. 문제 제기

심층 신경망은 컴퓨터 비전, 자연어 처리, 로봇 공학 등 다양한 분야에서 최첨단 성능을 달성해 왔으나, 계산, 메모리, 에너지 제약으로 인해 엣지 장치에서의 배포는 모델의 크기와 복잡성이 증가함에 따라 상당한 도전에 직면해 있습니다. 모델 가지치기는 이러한 문제를 해결하기 위해 광범위하게 연구된 기법이지만, 해결되지 않은 치명적이고 지속적인 질문이 남아 있습니다: 모델 구성 요소에 할당된 중요도 점수 벡터 ($s$) 가 주어졌을 때, 성능 저하를 피하기 위해 몇 개의 구성 요소를 유지해야 할까요?

희소성 예산을 결정하는 현재의 접근 방식은 종종 다음에 의존합니다:

• 비용이 많이 드는 반복적 가지치기 절차.
• 수동 또는 휴리스틱한 레이어별 예산.
• 신중한 튜닝이 필요한 하이퍼파라미터.
• 성능을 저하시킬 수 있는 과도하게 공격적이거나 효율성을 포기할 수 있는 과도하게 보수적인 고정 희소성 비율.

본 논문은 희소성 선택이 민감하며, 기존 솔루션들이 점수 분포 자체에서 직접 유도된 보편적이고 적응적인 기준이 결여되어 있다고 주장합니다.

2. 방법론: 효과적인 모델 가지치기 (EMP)

저자들은 수동 예산 스케줄링이나 아키텍처별 튜닝 없이 중요도 점수 분포에서 직접 유지할 구성 요소의 수 ($N_{eff}$) 를 결정하는 보편적 규칙인 **효과적인 모델 가지치기 (EMP)**를 제안합니다.

핵심 개념: 유효 표본 크기

EMP 는 입자 필터링 (생태학에서는 역 심슨 지수로도 알려짐) 에서의 유효 표본 크기 (ESS) 개념을 모델 가지치기 맥락에 적용합니다.

1. 점수 정규화: 모델 구성 요소와 관련된 점수 벡터 $s$가 주어지면, 정규화된 확률 가중치 벡터 $\omega$를 계산합니다:
   $$\omega_i = \frac{|s_i|}{\sum_j |s_j|}$$
2. $N_{eff}$ 계산: 유효 구성 요소 수는 다음과 같이 정의됩니다:
   $$N_{eff} = \left\lfloor \frac{1}{\sum_i \omega_i^2} \right\rfloor$$
   이 값은 점수 분포에서 통계적으로 유의미한 기여자의 수를 나타냅니다.
3. 가지치기 규칙: 알고리즘은 상위 $N_{eff}$개의 구성 요소 (또는 $\beta$가 배포 조절 노브인 경우 스케일링된 버전 $\beta N_{eff}$) 를 유지하고, 나머지 $N - N_{eff}$개의 최저 점수 구성 요소를 제거합니다.

이론적 기반

본 논문은 EMP 를 뒷받침하는 엄격한 이론적 프레임워크를 제공합니다:

• 심플렉스의 기하학: 저자들은 $N_{eff}$를 해석하기 위해 유클리드 공간의 표준 심플렉스 기하학을 분석합니다. 그들은 유지된 구성 요소의 정규화된 점수의 합을 "유효 질량"($s_{eff}$) 으로 정의합니다.
• 유효 질량의 하한: $N_{eff}$에 대한 $s_{eff}$의 엄격한 하한이 유도됩니다. 구체적으로, $2 \le N_{eff} < N$인 경우, 유지된 질량은 제한되어 총 중요도의 상당 부분이 보존됨을 보장합니다.
• 손실 변화의 상한: Lemma 3.1(가지치기 비율과 헤시안(trace) 및 가중치 차이 간의 관계) 을 사용하여, 저자들은 밀집 모델과 EMP 가지치기 모델 간의 성능 저하 (손실 변화 $\epsilon$) 에 대한 상한을 유도합니다. 분석에 따르면 가지치기 비율 $\rho = N_{eff}/N$이 증가함에 따라 손실 변화의 상한이 급격히 감소하여, $N_{eff}$임계값까지 가지치기할 때 성능 저하가 최소화됨을 증명적으로 보장합니다.

알고리즘

EMP 알고리즘 (알고리즘 1) 은 $O(N \log N)$의 시간 복잡도로 계산적으로 효율적입니다:

1. 점수를 확률 벡터로 정규화합니다.
2. $N_{eff}$를 계산합니다.
3. $N_{eff}$를 $[1, N]$ 범위로 클리핑합니다.
4. 상위 $N_{eff}$개 인덱스를 유지하는 이진 마스크를 생성합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. EMP 도입: 이론적으로 보장된 유효 질량 하한을 바탕으로, 임의의 점수 벡터를 원칙적인 희소성 임계값 ($N_{eff}$) 으로 변환하는 간단하고 보편적인 규칙.
2. 이론적 경계: 밀집 모델과 EMP 를 통해 얻은 희소 모델 간의 손실 변화 ($\epsilon$) 에 대한 상한 유도.
3. 실증적 검증: MLP, CNN, Transformer, LLM, KAN 등 다양한 아키텍처와 가중치 크기, 어텐션 점수, 특징 수준 신호 등 다양한 가지치기 기준에 걸쳐 EMP 의 효과성을 입증하며, 추가 튜닝 없이 기존 방법과 결합 가능함을 보여줌.

4. 실험 결과

저자들은 $N_{eff}$를 가지치기 임계값으로서의 견고성을 검증하기 위해 광범위한 수치 실험을 수행했습니다.

• 다양한 아키텍처: 완전 연결 네트워크 (FC5, FC12), CNN (AlexNet, VGG16, ResNet18, ResNet50), 콜모고로프 - 아르논 네트워크 (KAN) 에서 실험을 수행했습니다.
• 대형 언어 모델 (LLM): EMP 를 GPT-2 및 LLaMA/LLaMA-2 계열에 적용했습니다.
  • GPT-2: 테일러 중요도와 가중치 노름 기준을 모두 사용하여, EMP 는 약 $N_{eff}$개의 헤드를 유지하는 것 (예: 테일러 기준 144 개 중 141 개, 가중치 노름 기준 134 개) 이 퍼플렉시티 (PPL) 의 미미한 증가로 이어진다고 확인했습니다.
  • LLaMA: EMP 는 단순한 크기 기반 가지치기를 "재활"할 수 있었습니다. 고정된 50% 크기 가지치기는 상당한 저하를 초래한 반면, EMP 가 선택한 희소성 (약 37%) 은 밀집 모델과 유사한 성능을 유지하여 고정 희소성 기준선보다 우수한 성능을 보였습니다.
• $\beta$의 견고성: 저자들은 스케일링 계수 $\beta \in [0.5, 2.0]$을 테스트했습니다. 결과는 일관되게 $\beta = 1$(정확히 $N_{eff}$ 유지) 이 이 임계값을 넘어 가지치기할 때 성능 저하가 시작되고, 그 아래에서 가지치기할 때는 효율성 측면에서 체감 수익이 감소하는 전환점을 나타낸다는 것을 보여주었습니다.
• 특징 수준 가지치기: EMP 를 이미지 픽셀 (RGB 채널) 에 적용했습니다. 이 방법은 구조적 유사성 (SSIM) 과 최대 신호 대 잡음비 (PSNR) 를 보존하면서 중요도가 낮은 좌표를 성공적으로 0 으로 만들었으며, 특징 선택에 적용 가능함을 시사했습니다.

주요 관찰: 모든 테스트된 기준과 아키텍처에서, $N_{eff}$임계값에서 가지치기할 때 밀집 모델과 EMP 가지치기 모델 간의 손실 변화 ($\epsilon$) 는 미미했습니다 (종종 $\le 0.1$).

5. 중요성과 주장

본 논문은 EMP 가 적응형 희소화를 위한 보편적, 기준 무관, 아키텍처 무관한 메커니즘을 제공한다고 주장합니다.

• 보편적 임계값: 본 논문은 성능 손실에 대한 희소성의 자연스러운 측정치가 원시 유지 비율 ($\rho = N_{ret}/N$) 이 아니라, 유효 수에 대한 비율 ($\beta = N_{ret}/N_{eff}$) 이라고 주장합니다. $N_{eff}$는 중요한 성능 손실에 대한 데이터 기반 임계값 역할을 합니다.
• 품질 지표: EMP 는 가지치기 방법의 품질을 평가하는 방법을 제공합니다. 비율 $N/N_{eff}$는 점수 분포의 "품질"을 나타냅니다. 낮은 비율은 더 집중된 (따라서 더 가지치기 가능한) 분포를 의미합니다.
• 실용적 유용성: EMP 는 희소성 예산에 대한 수동 하이퍼파라미터 튜닝의 필요성을 제거합니다. 가중치, 채널, 뉴런, 어텐션 헤드, 심지어 원시 이미지 특징에도 적용할 수 있습니다.
• 이론적 보장: 많은 휴리스틱 가지치기 방법과 달리, EMP 는 유지된 중요도 질량의 이론적 하한과 성능 저하의 상한에 의해 뒷받침됩니다.

저자들은 EMP 가 고정된 휴리스틱 희소성 예산에서 모델 점수 분포의 고유한 중복성에 적응하는 원칙적이고 통계적인 접근 방식으로의 전환을 나타낸다고 결론지었습니다. 저자들이 제안한 향후 작업에는 게이트형 EMP 탐색, 훈련 중 특징별 가지치기, 어텐션 싱크 및 대규모 LLM 파인튜닝에의 적용 등이 포함됩니다.