🤖 machine learning

MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation

MAPLE은 가중치 수정이나 재학습 없이도 민감도에 따라 레이어 전반에 걸쳐 전문가 예산을 이질적으로 분석적 및 유전적으로 재할당함으로써 사전 학습된 MoE(Mixture-of-Experts) 모델의 효율성을 최적화하는 플러그 앤 플레이 프레임워크입니다.

원저자: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능은 종종 트랜스포머(Transformer)라고 불리는 거대한 디지털 두뇌에 의존하며, 이는 언어를 처리하기 위해 긴 레이어의 사슬을 통해 정보를 전달합니다. 이 레이어들을 모델이 문맥, 문법, 의미를 이해하도록 학습하는 일련의 처리 스테이션이라고 생각할 수 있습니다. 최근 몇 년 동안 엔지니어들은 '전문가 혼합(Mixture-of-Experts)'이라는 설계를 사용하여 이러한 모델을 더욱 효율적으로 만들었습니다. 모든 스테이션이 동일한 양의 컴퓨팅 파워를 사용하는 대신, 모델은 텍ền을 읽을 때마다 소수의 특화된 하위 네트워크, 즉 '전문가(experts)'만을 활성화합니다. 이를 통해 시스템은 실행하는 데 불가능한 수준의 에너지를 요구하지 않으면서도 매우 거대하고 유능해질 수 있습니다. 그러나 기존에는 이 전문가들이 사용되는 방식에 있어 표준적인 규칙이 존재했습니다. 즉, 각 레이어가 실제로 그 정도의 도움이 필요한지 여부와 상관없이, 체인의 모든 레이어가 정확히 동일한 수의 전문가를 활성화하도록 강제되었습니다.

브리스톨 대학교의 연구진은 이 균일한 규칙에 도전하며, AI 모델의 각 레이어가 매우 서로 다른 필요를 가지고 있다고 제안했습니다. 어떤 레이어는 매우 민감하여 제대로 기능하기 위해 많은 전문가를 필요로 하는 반면, 어떤 레이어는 중복적이며 정확도를 잃지 않고도 훨씬 적은 수의 전문가로 작동할 수 있습니다. 그들은 'MAPLE'이라 불리는 새로운 방법을 개발했는데, 이는 플러그 앤 플레이(plug-and-play) 도구처럼 작동합니다. 즉, 기존의 사전 학습된 모델을 재학습하거나 내부 가중치를 변경할 필요 없이 적용할 수 있다는 의미입니다. 이 시스템은 먼저 각 레이어의 전문가 수를 줄였을 때 성능이 얼마나 떨어지는지를 테스트하는 방식으로 작동합니다. 그런 다음 이 측정값을 사용하여 커스텀 지도를 생성함으로써, 여유가 있는 레이어로부터 컴퓨팅 예산을 가져와 가장 필요한 레이어로 자원을 재배치합니다.

이 접근 방식의 결과는 놀랍습니다. 연구진이 네 가지 서로 다른 대규모 언어 모델에 대해 MAPLE을 테스트했을 때, 기존의 자원을 단순히 재분배하는 것이 모든 자원을 균등하게 사용하는 것보다 더 효과적이라는 것을 발견했습니다. DeepSeek-MoE-16B라는 모델을 사용한 특정 테스트에서, 이 새로운 방법은 가용 전문가의 75%만 사용하면서도 원래의 전체 로드 모델보다 더 뛰어난 성능을 보여주었습니다. 여러 추론 벤치마크에서 정확도가 크게 향상되었는데, 예를 들어 과학 질의응답 작업에서는 점수가 65.09에서 71.40으로 뛰었고, 논리 추론 테스트에서는 48.49에서 51.50으로 상승했습니다. 이는 균일성이라는 오래된 가정이 모델을 제약하고 있었음을 입증하며, 노력의 더 스마트하고 불균형한 배분이 더 나은 결과를 낳는다는 것을 보여줍니다.

더 똑똑한 답변을 얻는 것을 넘어, 이 방법은 모델을 더 빠르고 저렴하게 실행할 수 있게 해줍니다. 더 적은 수의 전문가가 활성화되기 때문에, 컴퓨터는 질문에 답할 때마다 수행해야 할 작업량이 줄어듭니다. 연구진이 실제 서비스 시스템에 MAPLE을 구현했을 때, 단일 그래픽 카드에서 응답을 생성하는 데 걸리는 시간이 32.2% 감소했음을 측정했습니다. 동시에, 시스템은 초당 47.4% 더 많은 요청을 처리할 수 있었습니다. 이러한 이점은 모델의 핵심 구조를 변경하거나 학습된 지식을 버리지 않고도 달성되었습니다. 시스템은 단순히 기존의 부품들을 더 효율적으로 사용하는 법을 배운 것입니다. 연구진은 이러한 개선이 특정 테스트의 우연한 결과가 아니라, 다양한 유형의 추론 작업과 모델의 규모 확장 또는 축소 시에도 유지되는 견고한 발견임을 확인했습니다.

또한 이 연구는 모델이 문제를 해결하기 위해 긴 사고의 사슬을 생성해야 하는 복잡한 다단계 추론 과제를 어떻게 처리하는지도 탐구했습니다. 이러한 까다로운 시나리오에서도 재배치된 모델은 정확도를 유지하면서 문제를 해결하는 데 필요한 총 시간을 일부 사례에서 절반 이상 단축했습니다. 연구진은 이 방법이 다양한 모델에 적용될 수 있을 만큼 유연하며, 생성된 할당 계획은 매번 다시 계산할 필요 없이 다양한 작업에 재사용될 수 있음을 보여주었습니다. 일률적인 접근 방식이 최선이 아님을 증명함으로써, 이 연구는 대규모 인공지능 시스템을 더 효율적이고 강력하며 실전 배포가 가능하도록 만드는 실용적이고 원칙적인 방법을 제시합니다.

기술 요약: MAPLE – MoE 적응형 플러그 앤 플레이 계층별 전문가 할당

문제 정의
현재의 희소 활성화 혼합 전문가(MoE) 트랜스포머는 모든 계층에서 동일한 고정된 수의 전문가를 활성화하는 균일한 라우팅 전략을 보편적으로 사용한다. 이러한 관행은 계층별 중복성과 전문가 중요도의 이질성을 잘 입증된 사실임에도 이를 무시한다. 저자들은 이러한 균일성이 체계적으로 최적이 아니라고 주장한다. 즉, 전문가 수 변화에 민감한 계층에는 계산 능력을 집중시키지 못하는 반면, 중복된 계층에는 자원을 낭비한다는 것이다. 전문가 효율성을 개선하기 위한 기존 솔루션들(비구조적 프루닝, 전문가 병합 또는 구조적 압축 등)은 일반적으로 가중치 재구성, 추가적인 교정 데이터, 재학습 또는 영구적인 아키텍처 변경을 요구하므로, 사전 학습된 모델에 "플러그 앤 플레이(plug-and-play)" 방식으로 배포하기에는 부적합하다.

방법론
본 논문은 사전 학습된 MoE 대규모 언어 모델(LLM)의 가중치를 수정하거나, 재학습하거나, 모델 아키텍처를 변경하지 않고도 라우팅되는 전문가 예산을 계층별로 이질적으로 재할당하는 프레임워크인 MAPLE(MoE Adaptive Plug-and-Play Layer-wise Expert Allocation)을 제안한다. MAPLE은 세 가지 별도의 단계로 작동한다:

계층별 민감도 모델링 (Layer-wise Sensitivity Modelling):
프레임워크는 다른 계층들을 기준 개수( $k_0$ )로 고정한 상태에서 각 계층의 라우팅되는 전문가 수( $e$ )를 변화시켜 각 계층을 개별적으로 조사한다. 이를 통해 각 구성에 대한 검증 정확도 $A_l(e)$ 를 기록한다.
- 단일 계층 최적값 ( $k^*_l$ ): 특정 계층의 정확도를 극대화하는 전문가 수.
- 민감도 측정치: 계층이 전문가 수 변화에 얼마나 강하게 반응하는지 정량화하기 위해, MAPLE은 세 가지 경량 메트릭을 사용한다:
  - $s^{acc}_l$ : 정확도 변화 범위 ( $\max A_l(e) - \min A_l(e)$ ).
  - $s^w_l$ : 계층 내 파라미터 텐서의 분산.
  - $s^{out}_l$ : $e$ 개의 전문가를 사용했을 때의 계층 출력과 기준 $k_0$ 개의 전문가를 사용했을 때의 출력 사이의 평균 제곱 오차(MSE).
- 저자들은 정확도 범위( $s^{acc}_l$ )를 주요 민감도 메트릭으로 기본 설정한다.
민감도 유도 폐쇄형 할당 (Sensitivity-Guided Closed-Form Allocation):
MAPLE은 전문가 재할당을 제약 조건이 있는 최적화 문제로 공식화한다. 목표는 글로벌 전문가 예산 $K$ 를 준수하면서, 각 계층의 단일 계층 최적값( $k^*_l$ )에 민감도( $s_l$ )에 따라 가중치를 두어 가까이 유지하는 할당 벡터 $\mathbf{k} = [k_1, \dots, k_L]$ 를 찾는 것이다.
- 목적 함수는 가중 가중 제곱 편차를 최소화한다: $\min \sum w_l (k_l - k^*_l)^2$ (여기서 $w_l = s_l$ ).
- 라그랑주 승수법(Lagrange multiplier approach)을 통해 연속 해( $k^{cont}_l$ )를 도출한다. 예산 대비 잉여 또는 부족한 전문가는 민감도가 낮은 계층에 우선적으로 할당된다.
- 연속 해는 실행 가능한 범위 $[k_{min}, k_{max}]$ 로 클리핑되며, 최대 잔여 방식(largest-remainder method)을 사용하여 정수 할당으로 변환된다.
민감도 제약 유전 알고리즘 정교화 (Sensitivity-Constrained Genetic Refinement):
반올림 오차와 계층 간 상호작용 문제를 해결하기 위해, 경량 유전 알고리즘이 폐쇄형 솔루션을 정교화한다.
- 변이 (Mutation): 후보군은 가우시안 변이를 통해 생성되며, 이때 분산은 계층의 민감도에 반비례( $\sigma^2_l \propto 1/s_l$ )하도록 설정하여 고민감도 계층이 더 작은 섭동을 받도록 보장한다.
- 선택 (Selection): 세대당 상위 2개의 엘리트(elites)가 유지되며, 교차(crossover) 없이 인구가 재생성된다.
- 이 과정은 종종 몇 세대 내에 빠르게 수렴하여 최종 할당 $\mathbf{k}_{best}$ 에 도달한다.

주요 기여

플러그 앤 플레이 프레임워크: MAPLE은 사전 학습된 MoE 모델에서 이질적인 전문가 할당을 위한 최초의 완전한 사후(post-hoc), 가중치 프리(weight-free) 프레임워크를 제안한다. 이는 재학습, 가중치 업데이트 또는 아키텍처 변경을 요구하지 않는다.
민감도 유도 최적화: 본 논문은 계층별 민감도에 기반한 폐쇄형 해석적 솔루션을 도입하고, 이를 민감도 제약 유전 탐색으로 정교화한다. 이는 전수 조사나 강화 학습의 계산 비용을 피할 수 있게 한다.
감소된 예산에서의 성능: 이 방법은 전체 라우팅 전문가 예산이 줄어들었음에도 불구하고(예: 75%), 균일한 할당보다 이질적인 할당이 더 우수한 성능을 보임을 입과 증명한다. 즉, 원래의 전체 예산 균일 베이스라인의 성능을 효과적으로 능가한다.

실험 결과
저자들은 네 가지 MoE 모델(DeepSeek-MoE-16B, DeepSeek-V2-Lite, Moonlight-16B-A3B, OLMoE-1B-7B)을 대상으로 일곱 가지 벤치마크(ARC-E, ARC-C, BoolQ, PIQA, RTE, GSM8K, BBH)에서 MAPLE을 평가했다.

정확도 향상: 75%의 라우팅 전문가 예산 하에서, MAPLE은 모든 모델에 대해 균일한 베이스라인 및 프루닝 기반 방법들(SparseGPT, Wanda, EPP, MoNE, LExI)보다 우수한 성능을 보였다.
- DeepSeek-MoE-16B의 경우, 전문가를 75%만 사용했음에도 불구하고 MAPLE은 원래의 100% 균일 베이스라인과 비교하여 ARC-E (65.09% $\to$ 71.40%), ARC-C (48.49% $\to$ 51.50%), BoolQ (80.03% $\to$ 82.38%)에서 정확도를 개선했다.
- OLMoE-1B-7B에서 MAPLE은 풀 예산 베이스라인보다 4.13 포인트 높은 최고 평균 정확도를 달면했다.
장문 추론 (Long-Form Reasoning): GSM8K 및 BBH에서 MAPLE은 경쟁력 있는 정확도를 유지하는 동시에(GSM8K에서 0.61 포인트 이내) 평가 시간을 크게 단축했다(GSM8K에서 53.0% 감소).
배포 효율성: SGLang에 구현된 MAPLE은 단일 활성 전문가가 할당된 계층( $k=1$ )에 대해 멀티 전문가 디스패치 로직을 우회함으로써, 단일 GPU 엔드 투 엔드 서빙 지연 시간을 32.2% 줄이고 처리량(throughput)을 47.4% 향상시켰다.
강건성 (Robustness): 절제 연구(Ablation studies)를 통해 정확도 범위 메트릭이 가장 효과적인 민감도 신호임을 확인했다. 이 방법은 무작위 시드에 대해 안정성을 보였으며 태스크 간 전이(cross-task transfer) 가능성을 보여주었는데, 이는 식별된 민감도 패턴이 특정 교정 세트에 과적합된 것이 아니라 모델 계층의 고유한 특성임을 나타낸다.

의의 및 주장
본 논문은 MAPLE이 MoE 효율성을 개선하기 위한 "원칙적이고 실용적인 축"을 확립한다고 주장한다. 이의 주요 의의는 잘 설계된 이질적 할당이 단순히 더 많은 전문가를 활성화하는 것보다 더 효과적임을 입증했다는 데 있다. 재학습 없이도 서로 다른 계층의 이질적인 요구에 맞춰 용량을 재분배할 수 있음을 증명함으로써, MAPLE은 더 효율적인 MoE 모델을 배포할 수 있는 비용 효율적인 경로를 제공한다. 저자들은 이 접근 방식이 기존의 프루닝 또는 압축 방법의 오버헤드를 피하므로, 생산 환경의 기존 사전 학습된 모델에 즉시 적용 가능하다는 점을 강조한다.

한계 및 향후 과제
저자들은 현재 평가가 특정 GPU 환경(NVIDIA RTX A6000) 및 서빙 엔진(SGLang, vLLM)에 국한되어 있음을 인정한다. 향후 과제로는 다양한 하드웨어 플랫폼(CPU, 엣지 디바이스)과 더 넓은 실제 추론 시나리오에서 MAPLE을 평가하여, 감소된 전문가 계산이 서로 다른 시스템 제약 조건 하에서 실제 지연 시간, 메모리 및 에너지 이점으로 어떻게 전환되는지 검토하는 것이 포함된다.

유사한 논문