기술 요약: PALS (Percentile-Aware Layerwise Sparsity)

문제 정의

수십억 개의 파라미터를 가진 대규모 언어 모델(LLM)은 추론 과정에서 상당한 메모리 및 계산 부담을 초래합니다. 포스트 트레이닝 프루닝(Post-training pruning)은 재학습 없이 가중치의 일부를 제거함으로써 해결책을 제시합니다. 그러나 Wanda나 SparseGPT와 같은 표준적인 원샷(one-shot) 프루닝 방식은 모든 트랜스포머 레이어에 동일한 프루닝 비율(예: 50%)을 적용하는 **균등 희소성(uniform sparsity)**을 강제합니다.

이러한 접근 방식은 레이어별 중요도의 변동성을 무시합니다. 트랜스포서 레이어는 기능적 이질성을 보입니다. 초기 레이어는 종종 일반적인 표현을 구축하고, 중간 레이어는 중복될 수 있으며, 후기 레이어는 출력 어휘(vocabulary)를 위해 특화됩니다. 균등 프루닝은 이러한 차이를 활용하지 못하여, 민감한 레이어에서 중요한 가중치를 제거하거나 중복된 레이어를 과도하게 프루닝함으로써 최적의 퍼플렉시티(perplexity)와 정확도를 달하는 결과를 초래할 수 있습니다.

방법론: PALS

저자들은 **PALS (Percentile-Aware Layerwise Sparsity)**를 제안합니다. 이는 소량의 캘리브레이션 세트에서 수집된 활성화 통계에 기반하여 각 레이어의 프루닝 비율을 동적으로 조정하는 방법입니다. PALS는 Wanda 파이프라인에 통합되어 무시할 만한 수준의 오버헤드만을 가지며, 미세 조정(fine-tuning)을 필요로 하지 않습니다.

핵심 알고리즘

1. 활성화 백분위수를 통한 레이어 중요도:
   각 레이어 $l$에 대해, 캘리브레이션 세트에서 활성화 $A^{(l)}$를 수집합니다. 평균 활성화(이는 중요한 신호를 희석시킬 수 있음)를 사용하는 대신, PALS는 절대 활성화 크기의 99번째 백분위수를 계산합니다:
   $$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$$
   이 지표는 이전 연구(Dettmers et al.)에서 모델 품질에 필수적이라고 식별한 "활성화 아웃라이어(activation outliers)"—즉, 나머지보다 10~100배 더 큰 크기를 가진 특징들—를 타겟팅합니다.

2. 정규화 및 할당:
   원시 백분위수 점수는 레이어 간 비교가 가능하도록 표준화($\hat{I}^{(l)}$)됩니다. 그 후, 정규화된 중요도에 따라 글로벌 타겟 $s_{\text{target}}$을 이동시켜 레이어별 희소성 타겟 $s^{(l)}$을 계산합니다:
   $$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$$

   • $\alpha$ (적응 강도): 타겟으로부터 희소성이 얼마나 벗어날지를 제어합니다.
   • 보수적 경계: 이 방법은 타겟 주변의 $\pm 5\%$ 밴드(예: 50% 타겟의 경우, 레이어는 45%에서 55% 사이로 프루닝됨)를 강제합니다. 이는 과도하게 프루닝된 레이어가 전체 네트워크의 용량을 저하시키는 "정보 병목 현상"을 방지하기 위함입니다.

3. 프루닝 실행:
   $s^{(l)}$이 결정되면, 가중치는 Wanda의 기준($|w| \cdot \text{mean}(|a|)$)을 사용하여 점수가 매겨지고 제거됩니다. 하위 $s^{(l)} \times 100\%$의 가중치가 제거됩니다. 가중치 업데이트나 미세 조정은 발생하지 않습니다.

주요 발견: 그래디언트 기반 할당의 실패

저자들은 더 원칙적으로 보이는 접근 방식인 그래디언트 크기(또는 1차 테일러 전개)를 사용하여 희소성을 할당하는 방 পরীক্ষা를 수행했습니다. 이 접근 방식은 결정적으로 실패하였으며, 랜덤 할당(24.37) 및 균등 프루닝(12.92)보다 훨씬 나쁜 퍼플렉시티 점수(47.32)를 기록했습니다. 저자들은 그래디언트가 이산적인 가중치 제거의 실제 영향보다는 최적화 역학(국소적 수렴)을 반영한다고 가설을 세웠습니다.

실험 결과

주요 결과 (LLaMA-2-7B)

50% 비구조적 희소성에서의 LLaMA-2-7B 결과:

• Uniform Wanda: 12.92 WikiText-2 퍼플렉시티.
• PALS: 10.96 WikiText-2 퍼플렉시티.
• 유의성: 이는 15.2%의 퍼플렉시티 개선을 나타냅니다. 이 결과는 9회의 독립적인 실행에 대해 통계적으로 유의미합니다 ($p < 0.001$).
• 다운스트림 태스크: PALS는 Wanda와 비교하여 BoolQ, PIQA, HellaSwag, MMLU에서 제로샷 정확도를 향상시키며, 덴스(dense) 모델의 평균 정확도의 93.3%를 유지합니다.

아키텍처 의존성

PALS의 이점은 보편적이지 않으며, 모델의 내부 레이어 이질성에 따라 달라집니다:

• LLaMA-3-8B: 미미한 이득 (10.48 vs. 10.45).
• Mistral-7B: 이득 없음 (둘 다 6.31).
• 해석: 새로운 모델들(LLaMA-3, Mistral)은 더 큰 학습 데이터셋이나 아키텍처 변화(예: Grouped-Query Attention)로 인해 레이어 전반에 걸쳐 계산이 더 균등하게 분포되어 있을 가능성이 높으며, 이는 비균등 할당이 활용할 여지를 줄입니다.

효율성

• 메모리: 모델 크기를 50% 감소시킴 (13.2 GB $\to$ 6.6 GB).
• 처리량: 희소 행렬 커널을 사용하는 NVIDIA A100 GPU에서 1.41배의 속도 향상을 달성함.
• 오버헤드: PALS 파이프라인은 Wanda가 이미 수집한 활성화 데이터를 재사용하므로 프루닝 프로세스에 추가되는 시간이 무시할 만한 수준임.

의의 및 주장

본 논문은 다음과 같은 세 가지 주요 기여를 주장합니다:

1. 비균등성을 통한 성능 향상: PALS는 레이어별 중요도가 이질적인 모델(특히 LLaMA-2)에서 활성화 아웃라이어에 기반하여 희소성 비율을 조정하는 것이 표준 균등 프루닝 베이스라인보다 유의미한 퍼플렉시티 감소를 가져온다는 것을 입증합니다.
2. 원샷 프루닝에서의 그래디언트 실패: 본 논문은 작은 네트워크에서는 성공적이었던 그래디엔트 기반 중요도 지표가 사전 학습된 LLM에서는 랜덤 할당보다 못한 결과를 초래하는 극적인 실패 모드를 기록합니다. 이는 그래디언트 크기와 이산적인 가중치 제거의 영향 사이에 근본적인 단절이 있음을 시사합니다.
3. 강건성과 단순성: 이 방법은 미세 조정을 필요로 하지 않고, 계산 비용이 최소화되며, 트랜스포머의 알려진 현상인 활성화 아웃라이어와 일치하는 간단한 통계적 휴리스틱(99번째 백분위수)에 의존합니다.

저자들은 이 방법의 효용성이 대상 모델의 특정 아키텍처와 학습 역학에 달려 있다는 점을 언급하며, 성과의 보편성에 대해 겸허한 입장을 유지하고 있습니다. 만약 모델의 레이어가 균등하게 중요하다면, PALS는 균등 프루닝과 차별화되는 이점을 제공하지 못합니다.