기술 요약: SHAPE – 희소 Mixture-of-Experts LLM을 위한 연합 인지형 전문가 프루닝(Coalition-Aware Expert Pruning)

1. 문제 정의

희소 Mixture-of-Experts (SMoE) 아키텍처는 수백억 또는 수조 개의 파라미터를 가진 대규모 언어 모델(LLM)을 확장하면서도, 토큰당 낮은 추론 지연 시간과 하위 선형적(sub-linear) 학습 비용을 유지하는 데 핵심적인 역할을 해왔습니다. 그러나 이러한 거대 모델의 배포는 심각한 "메모리 장벽(Memory Wall)"에 직면해 있습니다. 조건부 연산(conditional computation)을 통해 각 토큰에 대해 희소한 전문가 서브셋만 활성화되기는 하지만, 동적인 토큰 의존적 라우팅 결정을 지원하기 위해서는 전체 전문가 풀(expert pool)이 GPU 메모리에 상주해야 합니다. 이러한 요구 사항은 DeepSeek-V3.2와 같은 모델의 경우 테라바이트 단위의 VRAM을 필요로 하여, 자원이 제한된 환경에서의 사용성을 저해합니다.

전문가 프루닝과 같은 기존의 압축 전략은 중복되는 전문가를 제거하여 파라미터 발자국을 줄이는 것을 목표로 합니다. 그러나 현재의 프루닝 방법론은 근본적인 모델링 격차를 겪고 있습니다. 즉, 대부분 **전문가별 관점(expert-wise perspective)**을 채택하여 활성화 빈도나 게이팅 크기(gating magnitude)와 같은 지표를 바탕로 전문가를 독립적으로 점수화한다는 점입니다. 이러한 접근 방식은 모델 출력이 특정 top-$k$ 전문가들의 비선형적 조합에 의해 생성된다는 **MoE 추론의 본질적인 연합적 특성(coalitional nature)**을 간과합니다. 결과적으로, 독립적인 점수 산정 방식은 고효용 전문가 협업 구조를 해칠 위험이 있으며, 이는 개별 전문가가 고립된 상태에서는 중복되어 보일지라도 복잡한 작업에서 불균형적인 성능 저하를 초래할 수 있습니다.

2. 방법론: SHAPE 프레임워크

저자들은 전문가 간의 내부 협력을 명시적으로 모델링하는 작업 주도형 프레임워크인 SHAPE(Shapley-guided, Coalition-Aware Expert Pruning)를 제안합니다. SHAPE는 재학습 없이 작동하며, 소규모 캘리브레이션 세트에 의존하여 프루닝 결정을 유도합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

A. 작업 주도형 캘리브레이션 및 라우팅 트레이스

SHAPE는 미프루닝 모델을 사용하여 소규모의 작업 특화 캘리브레이션 데이터셋($D_{cal}$)에 대해 오프라인 패스를 수행합니다. 이 과정에서 모든 MoE 레이어에 대해 모든 토큰의 라우팅 결정(top-$k$ 전문가 선택)을 기록합니다. 이를 통해 관찰된 전문가 조합(연합, coalitions)과 그 활성화 빈도를 얻으며, 이는 작업 조건부 전문가 협력을 특징짓는 경험적 통계치로 활용됩니다.

B. 연합 기반 효용 및 샤플리 스타일 가치 평가

SHAPE는 전문가를 독립적인 단위로 취급하는 대신, 추론 과정을 **경험적 협력 게임(empirical cooperative game)**으로 정식화합니다.

• 효용 정의: 연합(특정 $k$개의 전문가 집합)의 효용은 캘리브레이션 세트에서 관찰된 활성화 빈도로 정의됩니다.
• 한계 기여도(Marginal Contribution): 각 전문가의 가치를 결정하기 위해, SHAPE는 해당 전문가가 연합의 효용에 기여하는 한계 기여도를 추정합니다. top-$k$ 라우팅 하에서는 전문가를 제거했을 때 발생하는 $(k-1)$ 서브셋이 직접 관찰되지 않으므로, SHA**PE는 공생 통계(co-occurrence statistics)를 사용하여 이러한 서브 연합의 효용을 근사합니다.
• 샤플리 스타일 근사: 프레임워크는 각 전문가에 대한 샤플리 스타일 점수($\phi$)를 계산합니다. 이 점수는 전문가가 참여하는 모든 연합에서의 한계 기여도를 연합 크기에 따라 가중 평균한 값입니다.
• 단조성 보정(Monotonicity Correction): 근사가 협력 게임의 단조성 요구 사항(즉, 연합의 효용이 그 하위 연합보다 낮아서는 안 됨)을 준수하도록 하기 위해, SHAPE는 관찰된 빈도에서 도출된 보수적인 스케일링 인자($\alpha$)를 도입합니다. 이는 전문가의 대체 가능성을 과대평가하는 것을 방지합니다.

C. 샤플리 품질 커버리지 선택

어떤 전문가를 유지할지 결정하기 위해, SHAPE는 단순한 개수 기반 임계값이 아닌 **품질-커버리지 선택 규칙(quality-coverage selection rule)**을 사용합니다.

• 레이어별 커버리지: 각 레이어에 대해, 프레임워크는 비음수(non-negative) 샤플리 점수에 따라 전문가를 정렬합니다. 이후 누적 샤플리 질량이 전체 레이어 기여도의 일정 비율 $\alpha$를 커버할 때까지 최소한의 전문가 서브셋을 선택합니다.
• 글로벌 예산 매칭: 글로벌 목표 유지율(예: 전문가의 60% 또는 80% 유지)을 만족하는 최적의 커버리지 임계값 $\alpha$를 찾기 위해 이분 탐색(binary search)을 사용합니다.
• 구조적 보존: 이 접근 방식은 가치가 집중된 레이어는 더 적은 전문가를 유지하고, 가치가 분산된 레이어는 더 많은 전문가를 유지하게 함으로써, 특정 레이어에 프루닝이 불균형하게 영향을 미치는 "레이어 붕괴(layer collapse)"를 방지합니다.

3. 주요 기여

1. 연합 기반 전문가 가치 평가: 본 논문은 MoE 프루닝을 독립적인 중요도 추정에서 연합 인지형 기여도 모델링으로 재정의합니다. 샤플리 값을 사용하여 라우팅된 연합을 조건으로 전문가의 기여도를 속성화하는 원칙적인 메커니즘을 도입하여, 단순히 자주 선택되는 전문가와 고효용 협업에 필수적인 전문가를 구분합니다.
2. 구조 보존형 프루닝 전략: SHAPE는 레이어별 협력 역량을 보존하는 토폴로지 인식 선택 메커니즘을 제안합니다. 누적 샤플리 값에 기반한 품질-커버리지 제약을 강제함으로써, 글로벌 랭킹이나 고정된 레이어별 개수 계산으로 인해 발생하는 구조적 불균형을 방지합니다.
3. 경험적 검증: 광범위한 실험을 통해 전문가 간의 협력을 보존하는 것이 효과적인 압축에 매우 중요하다는 것을 입증했습니다. 이 프레임워크는 추론 집약적 벤치마크에서 성능 저하를 거의 일으키지 않으면서도 최대 40%의 상당한 프루닝을 달 수 있었으며, 휴리스틱 베이스라인 및 최신 학습 없는(training-free) 프루닝 방법들을 능가했습니다.

4. 실험 결과

저자들은 세 가지 현대적 MoE 백본인 Qwen3-30B-A3B, GPT-OSS-20B, DeepSeek-V2-Lite에 대해 SHAPE를 평가했습니다. 평가는 수학적 추론(GSM8K, MATH-500), 코드 생성(HumanEval), 지식 QA(GPQA-Diamond), 의료 QA 등 다양한 벤치마크를 포함했습니다.

• 성능 유지: 20% 프루닝 비율에서 SHAPE는 미프루닝 베이스라인과 대등하거나 때로는 약간 상회하는 성능을 유지했습니다. 40% 프루닝 비율에서도 SHAPE는 특히 전문가 협력이 중요한 추론 집약적 작업에서 랜덤 프루닝, 빈도 기반, 게이팅 기반, RAEP, EASY-EP 등의 베이스라인 방법들을 일관되게 앞질렀습니다.
• 강건성: 추론 작업(예: GSM8K, GPQA-Diamond)은 프루닝에 더 민감한 모습을 보였으나, SHAPE의 연합 인지형 접근 방식은 전문가별 휴리스틱보다 성능을 훨씬 더 잘 보존했습니다. 더 큰 모델(Qwen3, GPT-OSS)은 더 높은 회복력을 보였으나, SHAPE는 더 작은 규모인 DeepSeek-V2-Lite에서도 여전히 효과적이었습니다.
• 메모리 효율성: 프루닝은 피크 GPU 메모리 풋프린트를 직접적으로 감소시켰습니다. 연구는 활성화 희소성(activation sparsity)과 관계없이 전체 전문가 풀을 서빙하는 것이 상당한 메모리 오버헤드를 발생시킨다는 점을 강조했습니다. SHAPE는 추가적인 학습이나 구조적 변경 없이 프루닝 비율에 비례하는 명확한 VRAM 사용량 감소를 가능하게 했습니다.
• 절제 연구(Ablation Studies): 글로벌 랭킹 및 레이어별 독립 프루닝과의 비교를 통해 품질-커버리지 제약이 필수적임을 확인했습니다. 글로벌 프루닝은 구조적 불균형을 초래했고, 레이어별 프루닝은 작업 특화 용량 분포를 고려하지 못했습니다. SHAPE의 균형 잡힌 접근 방식이 모든 프루닝 비율에서 가장 안정적인 성능을 냈습니다.

5. 의의 및 주장

본 논문은 SHAPE가 현재 MoE 압축의 핵심적 한계인 전문가 추론의 협력적 성격을 고려하지 못하는 문제를 해결한다고 주장합니다. 개별 전문가 지표에서 **연합 효용(coalitional utility)**으로 초점을 전환함으로써, SHAPE는 자원이 제한된 환경에서 거대 MoE 모델을 배포하기 위한 강력한 학습 없는(training-free) 솔루션을 제공합니다.

저자들은 이 작업이 재학습이나 구조적 변경을 요구하지 않으므로, 실무적인 배포 중심의 최적화 도구임을 강조합니다. 결과는 현대 MoE 모델의 전문가 풀 중 상당 부분이 고립된 상태에서는 한계 효용이 낮지만, 그들의 협업 구조가 모델 성능을 유지하는 핵심이라는 점을 시사합니다. SHAPE는 이러한 중요한 협업 구조를 성공적으로 식별하고 보존함으로써, 모델 용량과 자원 풋프린트 사이의 유리한 트레이드오프를 실현합니다.