From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

"From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models" (GISP 소개) 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 계산 비용이 매우 높아 효율적인 배포 전략이 필요합니다. 하드웨어 호환성 측면에서 비구조적 가지치기보다 구조적 가지치기(전체 어텐션 헤드나 MLP 채널 제거) 가 선호됩니다. 그러나 현재 지배적인 패러다임은 계층별 재구성 오차를 최적화하는 국소 가지치기(예: SparseGPT, Wanda) 입니다.

국소 가지치기의 주요 한계:

• 작무무관성 (Task-Agnostic): 가지치기된 층과 밀집된 층의 출력 간 차이를 최소화하여 일반적인 퍼플렉시티는 유지하지만, 특정 하류 작업을 최적화하지는 못합니다.
• 제한된 보정: 작업별 보정 데이터를 사용하더라도, 목적 함수 (계층별 MSE) 가 최종 모델 손실과 분리되어 있어 국소 방법은 작업 신호를 효과적으로 활용하지 못합니다.
• 높은 희소성에서의 불안정성: 국소 방법은 높은 가지치기 비율 (40~50%) 에서 정확도를 유지하는 데 종종 어려움을 겪습니다.
• 다중 희소성에 대한 비효율성: 서로 다른 희소성 수준의 모델을 얻기 위해 국소 방법은 각 목표 비율마다 별도의 독립적인 가지치기 실행이 필요합니다.

2. 방법론: GISP(전역 반복 구조적 가지치기)

저자들은 국소 재구성에서 전역 손실 정렬 최적화로 전환하는 후학습 구조적 가지치기 프레임워크인 GISP를 제안합니다.

핵심 구성 요소:

1. 전역 중요도 지표:

   • 계층별 재구성 대신, GISP 는 가중치 교란에 대한 전역 모델 손실 ($L$) 의 1 차 테일러 전개를 기반으로 중요도를 정의합니다.
   • 가중치 $W_{ij}$에 대한 중요도 점수: $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$.
   • 작업 정렬: 손실 함수 $L$은 교체 가능합니다. 언어 모델링에는 퍼플렉시티 (교차 엔트로피) 를 사용하고, 의사결정 스타일 작업 (예: QA) 에는 정답과 오답 간의 결정 경계를 보존하기 위해 **마진 기반 손실 (Margin-based Loss)**을 사용합니다.

2. 반복적 가지치기 일정:

   • 문제: 순진한 '원샷 (one-shot)' 전역 가지치기 (모든 가중치를 한 번에 제거) 는 불안정하며 높은 희소성에서 정확도 붕괴를 초래합니다.
   • 해결책: GISP 는 반복적으로 가지치기를 수행합니다. $n$단계의 각 단계 $k$에서 작은 가지치기 비율 ($\rho_k$) 을 적용하여 전체 희소성을 목표 $\rho$까지 점진적으로 증가시킵니다.
   • 정규화: 어텐션 블록이 MLP 블록보다 종종 더 높은 중요도 점수를 갖는 불균형을 처리하기 위해, GISP 는 전역 순위 매기기 전에 어텐션과 MLP 구조 내에서 각각 점수를 정규화합니다.

3. "한 번 가지치기, 여러 번 배포" 워크플로우:

   • GISP 는 반복적이므로 자연스럽게 중첩 서브네트워크 구조를 생성합니다. 20% 희소성으로 가지치기된 모델은 30% 로 가지치기된 모델의 부분집합이며, 이는 다시 50% 모델의 부분집합입니다.
   • 이를 통해 단일 가지치기 실행으로 다양한 희소성 수준의 파레토 프론티어 모델을 생성할 수 있어, 여러 번의 독립적인 가지치기 실행이 불필요해집니다.

3. 주요 기여

• 전역 가지치기 재검토: 전역 가지치기가 반복적이고 후학습 방식으로 구현될 때, 높은 희소성 (40~50%) 에서 특히 퍼플렉시티와 하류 작업 정확도 측면에서 국소 가지치기보다 우수함을 입증했습니다.
• 작업별 가지치기: 작업별 손실 함수 (예: QA 를 위한 마진 손실) 를 통해 중요도를 직접 정의하는 메커니즘을 도입하여, 일반적인 압축과 작업 인식 최적화 간의 격차를 해소했습니다.
• 중첩 서브네트워크를 통한 효율성: 하나의 반복 가지치기 과정으로 다양한 희소성 수준의 여러 사용 가능한 모델을 생성하는 '원스 포 올 (once-for-all)' 워크플로우를 확립하여, 반복에 따른 계산 비용을 분산시켰습니다.
• 강건성: GISP 는 표준 토큰 수의 1% 까지 크게 축소된 보정 예산으로도 여전히 효과적임을 보여주었습니다.

4. 실험 결과

저자들은 Llama2-7B/13B, Llama3-8B, Mistral-0.3-7B, DeepSeek-R1-Distill-Llama-3-8B, Qwen3-8B에서 GISP 를 평가했습니다.

• 퍼플렉시티 (WikiText-2): GISP 는 국소 기반 (Wanda, LLM-Pruner, FLAP, OWL) 보다 일관되게 낮은 퍼플렉시티를 달성합니다. 50% 희소성에서 국소 방법은 종종 '퍼플렉시티 붕괴'(PPL > 100) 를 겪는 반면, GISP 는 경쟁력 있는 PPL 을 유지합니다 (예: Llama2-7B 의 경우 Wanda 의 약 81 대비 약 64).
• 하류 작업 정확도 (CMQA):
  • GISP 는 모든 모델과 희소성 수준에서 모든 기반 방법보다 우수한 성능을 보입니다.
  • 작업별 이득: 범용 C4 데이터 대신 CMQA 데이터를 보정에 사용하고 마진 기반 손실을 사용할 경우 정확도가 크게 향상됩니다. 예를 들어, 40% 희소성에서 Llama2-13B 의 경우 GISP(마진) 는 63.34% 정확도를 달성한 반면, Wanda 는 **59.11%**였습니다.
• 추론 작업 (GSM8K):
  • DeepSeek-R1 및 Qwen3 에서 작업 정렬 보정 (GSM8K 데이터 사용) 은 성능을 획기적으로 개선합니다. 범용 보정으로 20% 희소성에서 Wanda-sp 는 DeepSeek-R1 에서 정확도가 0% 로 붕괴되는 반면, 작업 보정을 적용한 GISP 는 **67.93%**를 달성합니다.
• 효율성:
  • GISP 는 반복으로 인해 총 실행 시간은 더 길지만, 한 번의 실행으로 112 개 이상의 사용 가능한 서브네트워크를 생성하는 반면 국소 방법은 한 번의 실행당 하나만 생성하므로 사용 가능한 모델당 분산 시간은 국소 방법보다 낮습니다.
  • 가지치기된 모델은 추론 속도 향상 (프리필 속도 최대 1.7 배) 과 메모리 감소 (50% 희소성 시 최대 45%) 를 보여줍니다.

5. 의의 및 영향

• 패러다임 전환: 이 논문은 국소 재구성 기반 가지치기의 지배력을 도전하며, 전역 손실 정렬 가지치기가 반복적으로 구현될 때 LLM 에 더 우수함을 입증했습니다.
• 실용적 배포: '한 번 가지치기, 여러 번 배포' 기능은 엣지 배포에 매우 유용하여, 재가지치기 없이 단일 모델 파일이 다양한 하드웨어 제약 조건에 동적으로 적응할 수 있게 합니다.
• 작업 적응: 보정 데이터와 가지치기 단계 중 손실 목적 함수만 변경하면 전체 미세 조정 없이 LLM 을 특정 도메인 (예: 의료, 수학) 에 적응시킬 수 있는 강력한 프레임워크를 제공합니다.
• 자원 효율성: 최소한의 보정 데이터로도 강건함을 입증함으로써, 자원 제약 환경에서 대규모 모델에 구조적 가지치기를 적용하는 장벽을 낮췄습니다.

결론적으로, GISP는 현재 가지치기 방법에 대한 단순하면서도 강력한 대안을 제공하여, 더 높은 정확도, 높은 희소성에서의 더 나은 안정성, 그리고 작업별 배포를 위한 더 큰 유연성을 제공합니다.