기술 요약: 구조적 MoE 압축을 위한 기여도 기반 및 커버리지 극대화 프루닝(Pruning)

1. 문제 정의

Mixture-of-Experts (MoE) 모델은 토큰당 일부 전문가(expert)만을 활성화함으로써 높은 파라미터 용량을 유지하면서도 관리 가능한 연산량을 제공합니다. 그러나 이러한 모델의 배포는 상당한 메모리 점유율과 추론 오버헤드로 인해 여전히 비용이 많이 듭니다. 구조적 프루닝(structural pruning)은 유망한 해결책이지만, 기존 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 조粗한 입도(Coarse Granularity): 기존 방식들은 전문가 수준에서 작동하며, 전문가 전체를 제거하거나 중요도에 따라 순위를 매깁니다. 이는 정보가 소수의 채널에 집중되어 있는 "중요도가 높은" 전문가 내부의 내부적 중복성을 포착하지 못합니다.
• 부정확한 중요도 추정: 전문가 중요도를 측정하는 기존 지표들(예: 라우터 가중치, 토큰 사용량, 원시 활성화/그래디언트 통계)은 실제 최종 손실(loss)에 대한 전문가의 기여도와 일치하지 않는 경우가 많습니다. 라우터 통계는 선택 빈도를 나타낼 뿐 유용성을 나타내지 않으며, 원시 통계는 레이어 의존적 편향을 보여 레이어 간 비교를 신뢰할 수 없게 만듭니다.
• 비효율적인 예산 할당: 전문가 순위에 따라 프루닝 예산을 할당하면 낮은 기여도를 가진 구조에 용량이 낭비되며, 수백 명의 전문가를 가진 대규모 MoE에서 압축과 정확도 사이의 트레이드오프를 최적화하는 데 실패합니다.

2. 방법론

저자들은 세 가지 핵심 구성 요소인 기여도 기반 손실 근사(Attribution-Guided Loss Approximation, ALA), 커버리지 극대화 예산 할당(Coverage-Maximized Budget Allocation, CBA), 그리고 **정렬 인식 재분배(Alignment-Aware Redistribution, AAR)**로 구성된 MoE 전용 구조적 프루닝 프레임워크를 제안합니다.

2.1 기여도 기반 손실 근사 (ALA)

전문가별 절제(ablation) 비용(전문가 수에 비례하여 선형적으로 증가) 문제를 해결하기 위해, 저자들은 1차 테일러 전개(first-order Taylor expansion)를 사용하여 전문가 중요도의 효율적인 대리 지표(proxy)를 도출합니다.

• 도출: 전문가 $e$를 제거했을 때 발생하는 손실 변화는 $\Delta L^{(e)} \approx -(\frac{\partial L}{\partial z_{\ell,e}})^\top z_{\ell,e}$로 근사됩니다. 여기서 $z_{\ell,e}$는 전문가 출력이고 $\frac{\partial L}{\partial z_{\ell,e}}$는 해당 출력에 대한 그래디언트입니다.
• 효fficiency: 이를 통해 단 한 번의 역전파(backward pass)만으로 한 레이어 내의 모든 전문가에 대한 중요도를 추정할 수 있으며, 이는 전수 절제 방식에 비해 캘리브레이션 시간을 14~26배 단축시킵니다.

2.2 커버리지 극대화 예산 할당 (CBA)

MoE 전문가 내의 정보가 소수의 채널에 고도로 집중되어 있다는 관찰에 착안하여, 저자들은 프루닝 목적 함수를 재구성합니다. 각 전문가당 고정된 프루닝 비율을 할당하는 대신, 목표는 글로벌 예산 하에서 누적 채널 점수 커버리지를 최대화하는 것입니다.

• 메커니즘: 각 전문가 내의 채널들을 (ALA로부터 도출된) 점수에 따라 정렬합니다. 알고리즘은 전체 프루닝 예산을 충족하면서 보유한 채널 점수의 합을 최대화하도록 각 전문가에 대한 목표 커버리지 비율 $\rho$를 탐색합니다.
• 이점: 이 접근 방식은 기여도가 높은 채널을 우선적으로 보존하고 점수가 낮은 꼬리 부분을 공격적으로 프루닝함으로써, 균등하거나 비율 기반의 방식이 초래하는 중복 구조에 대한 용량 낭비를 방지합니다.

2.3 정렬 인식 재분배 (AAR)

저비트 양자화 및 하드웨어 효율적인 커널(예: GEMM)과의 호환성을 보장하기 위해, 채널 차원은 블록 크기 $a$(예: 64 또는 128)의 배수여야 합니다.

• 과정: CBA가 최적의 채널 수를 결정한 후, AAR은 가장 가까운 $a$의 배수로 하향 정렬(downward alignment)을 수행합니다. 이 반올림 과정에서 해제된 "잔여" 채널들은 가장 큰 소수점 잔여물을 가진 전문가들에게 (Hamilton의 최대 잔여 법칙을 사용하여) 재분배됩니다.
• 목표: 이를 통해 프룬된 모델이 패딩이나 비효율적인 메모리 액세스로 인한 성능 저하 없이, 최적의 커버리지 기반 할당에서 크게 벗어나지 않으면서 커널 제약 조건을 충족하도록 보장합니다.

3. 주요 기여

1. 내부 중복성 관찰: 본 논문은 MoE 정보가 소수의 채널에 고도로 집중되어 있음을 입증하며, 전문가 수준의 중요도 지표가 효과적인 구조적 압축을 위해 너무 거칠다는 것을 보여줍니다.
2. 새로운 프루닝 목적 함수: 저자들은 채널 점수 커버리지를 프루닝 목적으로 도입하여, 단순한 프루닝 비율이 아닌 점수 커버리지를 최대화하도록 용량 할당을 재구성합니다. 이는 점수 커버리지를 명시적으로 최적화하는 첫 번째 연구입니다.
3. 효율적인 프레임워크: 다음을 결합한 확장 가능한 프레임워크를 제안합니다:
   • ALA: 전수 절제 대비 GPU 시간을 20배 줄여주는 기여도 기반 근사법.
   • CBA: 점수 커버리지를 최대화하도록 예산을 할당하는 이진 탐색 기반 알고리즘.
   • AAR: 저비트 커널 제약 조건을 충족하기 위한 재분배 전략.
4. 실증적 검증: DeepSeek 및 Qwen MoE 아키텍처에 대한 광범위한 실험을 통해, 이 방법이 일반 지식 작업에서 무시할 수 있는 수준의 정확도 손실만으로 5배 이상의 압축을 달성하고 추론 벤치마크에서 강력한 성능을 유지함을 보여줍니다.

4. 실험 결과

본 프레임워크는 DeepSeek-MoE-16B, DeepSeek-V2-Lite, Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B를 대상으로 평가되었습니다.

• 일반 지식: 25% 프루닝 비율과 4비트 양자화를 결합했을 때($P25\% Q4b$), 이 방법은 5배 이상의 저장 공간 감소를 달est했습니다. Qwen3-30B-A3B의 경우, 메모리 점유율은 5.27배(61.06GB에서 11.64GB로) 감소하면서도 일반 벤치마크(예: MMLU, ARC)에서 평균 정확도 하락은 최대 1% 미만이었습니다.
• 추론 작업: 추론 벤치마크(GSM8K, MATH500)에서 압축된 모델은 원본 모델에 지속적으로 근접하거나 오히려 능가했습니다. 예를 들어, 50% 프루닝을 적용한 Qwen3-30B-A3B는 MATH500에서 94.5점을 기록했습니다(베이스라인 92.8 대비).
• 효율성: 이 방법은 다양한 벤치마크에서 최신 기술(Wanda, MoNE, EAC-MoE, PuzzleMoE 포함)보다 우수한 성능을 보였습니다. 또한 다양한 라우팅 전략(top-1부터 top-6까지) 및 캘리브레이션 코퍼스 하에서도 견고한 성능을 입증했습니다.
• 처리량(Throughput): 정렬 인식 재분배는 추론 처리량을 크게 향 향상시켰습니다. Qwen3-30B-A3B의 경우, 50% 희소성 조건에서 정렬된 차원(128)은 정렬되지 않은 차원(10.23 tokens/s)에 비해 14.21 tokens/s의 성능을 보였습니다.

5. 의의 및 주장

본 논문은 전문가 수준의 중요도와 내부 채널 중복성 사이의 불일치를 해결함으로써 효율적인 MoE 배포를 위한 실질적인 경로를 제공한다고 주장합니다.

• 확장성: 전수 절제를 기여도 기반 근사로 대체함으로써, 기존의 손실 기반 방식이 계산적으로 불가능했던 수백 명의 전문가를 가진 MoE 규모로 확장할 수 있게 합니다.
• 세밀한 최적화: 전문가 수준의 프루닝에서 채널 수준의 커버리지 최대화로의 전환을 통해 더 정밀한 용량 할당이 가능해졌으며, 이를 통해 노이즈를 제거하면서 핵심 정보를 보존합니다.
• 하드웨어 호환성: 정렬 인식 재분배의 통합은 압축된 모델이 단순히 크기만 작아지는 것이 아니라, 저비트 양자화 및 고처리량 추론 커널과 호환되도록 하여 실제 배포의 핵심 병목 현상을 해결합니다.

저자들은 이 연구가 MoE 압축을 거친 전문가 수준의 결정에서 세밀한 채널 수준의 최적화로 이동시키는 기초적인 단계이며, 이를 통해 대규모 MoE 모델을 훨씬 적은 메모리와 연산 요구량으로 배포할 수 있게 한다고 강조합니다.