CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

기술 요약: 사후 학습 프루닝을 위한 CRePE 및 PHO

문제 정의
대규모 언어 모델(LLM)을 배포하는 것은 상당한 메모리 및 계산 비용을 발생시킵니다. 사후 학습 프루닝(Post-training pruning, PTP)은 재학습 없이 가중치를 제거하는 학습 불필요(training-free) 솔루션을 제공합니다. 최근 RIA(Relative Importance)와 같은 방법들은 가중치를 행(row) 및 열(column) 합계로 정규화하여 성능 우위를 달성했으나, 다음과 같은 두 가지 근본적인 한계를 가집니다:

1. 1D 한계: RIA는 1D 십자형(행/열) 방향 정보에만 의존하며, 가중치 행렬의 대각선 이웃이 중요도에 기여하는 내재적인 2D 구조를 무시합니다.
2. 균등한 가중치 부여: RIA는 행과 열의 기여도를 동일하게 취급합니다. 예비 실험에 따르면 이러한 방향들은 프루닝 품질에 비대칭적으로 기여하며(예: LLaMA-2-7B에서 행 방향 RI가 열 방향 RI보다 낮은 Perplexity를 기록), 균등한 처리는 최적이 아닙니다.

또한, 개선된 스코어링 방법을 위한 하이퍼파라미터를 최적화하는 것은 일반적으로 광범위한 탐색 시간을 요구합니다. 최적의 계수를 찾기 위한 단순한 PPL 기반 힐 클라이밍(hill-climbing) 방식은 약 11시간이 소요되어, PTP의 효율성 이점을 저해합니다.

방법론
본 논문은 CRePE(Efficient Search를 동반한 사후 학습 프루닝에서의 컨볼루션 인식 상대적 중요도)와 PHO(대리 지표 기반 하이퍼파라미터 최적화)를 제안합니다.

1. CRePE: 향상된 중요도 스코어링
CRePE는 다음 두 가지 방식으로 RIA 스코어링 메커니즘을 확장합니다:

• 2D 이웃 컨텍스트: RIA가 이미 다루고 있는 십자형 이웃을 제외하고, 각 가중치 $W_{ij}$ 주변의 국소적 2D 컨텍스트를 포착하는 이웃 항 $N^{(k)}_{ij}$를 도입합니다. 이 항은 마스크된 커널을 사용한 절대 가중치 행렬의 2D 컨볼루션을 통해 효율적으로 계산됩니다.
• 적응형 계수: 행, 열, 이웃 항에 각각 별도의 학습 가능한 계수($\alpha, \beta, \gamma$)를 할당합니다. 이를 통해 모델이 이러한 구성 요소들의 비대칭적 기여를 명시적으로 고려할 수 있게 합니다.
• 공식: 최종 중요도 점수는 다음과 같이 계산됩니다:
  $$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$$
  $\alpha=\beta=1$이고 $\gamma=0$일 때, CRePE는 RIA로 축소됩니다.

2. PHO: 효율적인 하이퍼파라미터 탐색
하이퍼파라미터($k, \alpha, \beta, \gamma$)를 위한 PPL 기반 탐색의 과도한 비용을 피하기 위해, 저자들은 PHO를 제안합니다:

• 대리 지표 발견: 다양한 모델에 대한 Spearman 상관관계 분석을 통해, 저자들은 첫 번째 레이어 $q\_proj$ 모듈의 프루닝된 가중치들의 지니 계수($Gini_{pruned}$)가 PPL과 강한 양의 상관관계($\rho = 0.953$)를 보임을 발견했습니다.
• 탐색 프레임워크: PHO는 $Gini_{pruned}$를 대리 목적 함수로 활용합니다. 이는 2단계 과정을 거칩니다:
  1. 대리 지표 스크리닝: CMA-ES(공분산 행렬 적응 진화 전략) 샘플러가 60개의 후보를 생성하며, 각 후보는 오직 $G_{pruned}$에 대해서만 평가됩니다(후보당 약 6초 소요).
  2. PPL 검증: 상위 10개 후보에 대해서만 전체 모델 프루닝 및 PPL 평가를 수행합니다(각 약 90초 소요).
• 효율성: 이를 통해 총 탐색 시간을 약 11시간에서 약 20분으로 단축했습니다(30배 속도 향상).

주요 기여

• CRePE: 행, 열 및 이웃 항의 차별적 중요도를 모델링하기 위해 2D 이웃 컨텍스트와 적응형 계수를 통합한 새로운 스코어링 방법입니다.
• PHO: PPL의 대리 지표로 프루닝된 가중치의 지니 계수를 사용하여 하이퍼파라미터 탐색 시간을 획기적으로 줄이는 효율적인 최적화 프레임워크입니다.
• 일반화: 다양한 모델(LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek)과 다양한 희소성 설정(unstructured, 2:4, 4:8)에서 베이스라인(SparseGPT, Wanda, RIA) 대비 일관된 개선을 입증했습니다.
• 직교성: CRePE가 채널 순열(Channel Permutation), 비균등 희소성 할당(OWL, AlphaPruning, DLP), 그리고 재프루닝 방법(DSnoT)을 포함한 기존 기술들과 결합될 수 있음을 확인했습니다.

실험 결과

• Perplexity: CRePE는 RIA보다 일관되게 낮은 Perplexity를 달s성합니다. 예를 들어, LLaMA-2-7B에서 50% unstructured pruning 시, CRePE는 RIA의 6.81 대비 6.74의 PPL을 달성합니다. 2:4 structured pruning에서는 그 격차가 10.74 대 11.29로 벌어지며, 이는 정교한 스코어링이 엄격한 구조적 제약 조건 하에서 특히 유익함을 시사합니다.
• Zero-Shot 성능: LLaMA-2-7B에서 CRePE는 6개 태스크에 걸쳐 RIA(61.14%)를 능가하는 가장 높은 평균 제로샷 정확도(62.18%)를 달성했습니다.
• 하이퍼파라미터 전이성: LLaMA-2-7B에서 PHO로 찾은 최적의 하이퍼파라미터는 재튜닝 없이 LLaMA-2-13B로 효과적으로 전이되어 모델 규모 전반에 걸쳐 성능 향상을 유지합니다.
• 결합: 채널 순열(LSA CP) 또는 비균등 할당(DLP)과 결함될 때, CRePE는 추가적인 Perplexity 감소를 가져오며, 이는 이러한 기술들과의 직교성을 확인시켜 줍니다.

의의 및 한계점
본 논문은 CRePE가 스코어링 전용 접근 방식의 효율성을 유지하면서 LLM 프루닝 정확도를 크게 향상시키는 실용적인 학습 불필요 방법을 제공한다고 주장합니다. PHO의 도입은 필요한 하이퍼파라미터 튜닝이 PTP의 시간 절감 이점을 상쇄하지 않도록 보장합니다.

저자들은 몇 가지 한계점을 언급합니다:

• 극단적인 희소성 수준(>70%)에서는 CRePE와 RIA 사이의 성능 격차가 좁아지는데, 이는 중요도 스코어링만으로는 불충분하며 가중치 재구성이 필요할 수 있음을 시사합니다.
• $Gini_{pruned}$와 PPL 사이의 강력한 상관관계는 경험적인 것이며, 엄밀한 이론적 분석은 여전히 미해결 과제로 남아 있습니다.
• 이 방법은 현재 밀집 선형 레이어(dense linear layers)로 제한되어 있으며, Mixture-of-Experts(MoE) 라우팅과 같은 구조적 구성 요소로는 확장되지 않았습니다.
• 다양한 하드웨어 환경에서 추가적인 컨볼루션 연산의 영향이 체계적으로 평가되지 않았습니다.