💬 NLP

MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs

MoE-Prism은 단일 구조의 전문가(expert)를 세밀한 하위 전문가(sub-expert)로 분해하고 $k$ -aware 런타임을 구현함으로써, 혼합 전문가(Mixture-of-Experts, MoE) 서빙에서 요청 수준의 컴퓨팅 탄력성을 가능하게 하여 이질적인 워크로드에 대해 처리량을 크게 향상시키고 지연 시간을 단축하는 모델-시스템 공동 설계 프레임워크이다.

원저자: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 디지털 두뇌인 '대규모 언어 모델(LLM)'에 의해 쓰인 책들이 가득한, 거대하고 똑똑한 도서관을 운영하고 있다고 상상해 보십시오. 이 두뇌들은 매일 더 커지고 똑똑해지고 있지만, 그만큼 전기와 컴퓨터 자원을 엄청나게 갈구합니다. 이를 더 빠르고 저렴하게 운영하기 위해 과학자들은 '전문가 혼합(Mixture-of-Experts, MoE)'이라는 영리한 기술을 발명했습니다. MoE 모델을 하나의 거대한 두뇌가 아니라, 함께 협력하는 여러 명의 작은 전문가 팀이라고 생각하십시오. 질문을 던지면 시스템은 전체 팀을 모두 깨우는 대신, 해당 주제에 가장 적합한 몇 명의 특정 전문가만을 호출합니다. 이는 마치 사서에게 도서관 전체를 당신의 책상으로 끌고 오는 대신 '공상 과학 소설' 섹션에서 책만 가져오라고 요청하는 것과 같습니다.

하지만 여기에는 함정이 있습니다. 현재 이러한 시스템은 다소 경직되어 있습니다. 당신이 "오늘 날씨 어때?"와 같은 간단한 질문을 하든, "이 50페이지짜리 법률 계약서를 분석해 줘"와 같은 복형적인 질문을 하든, 시스템은 종종 똑같은 수의 전문가를 깨웁니다. 이는 마치 액자 하나를 걸기 위해 건설 현장 인부 전체를 고용하거나, 마천루를 짓기 위해 단 한 명의 인턴을 보내는 것과 같습니다. 이는 쉬운 작업에는 에너지를 낭비하고, 어려운 작업에는 충분한 힘을 주지 못하게 만듭니다. 큰 질문은 이것입니다. 우리가 이 AI 팀을 더 유연하게 만들어, 작업의 난이도에 따라 전문가의 수를 조절할 수 있으면서도 시스템을 빠르고 효율적으로 유지할 수 있을까요?

이것이 바로 MOE-PRISM을 개발한 연구자들이 해결하고자 했던 문제입니다. 그들은 MoE처럼 전문가의 수를 "조절"한다는 아이디어가 훌륭하다는 것을 깨달았지만, 현재의 기술로는 이를 부드럽게 수행하기에 너무 투박하다는 것을 알게 되었습니다. 그들은 기존 시스템이 각 전문가를 거대하고 나눌 수 없는 하나의 '벽돌'처럼 취급한다는 것을 발견했습니다. 즉, 벽돌의 절반을 사용할 수는 없다는 것입니다. 만약 전력이 조금 덜 필요하다면, 전문가 한 명을 통째로 제거해야 하는데, 이는 답변의 품질을 크게 떨어뜨리는 급격한 변화를 초상합니다. 또한, 시스템이 동시에 많은 요청을 처리하려고 할 때(마치 바쁜 도서관처럼), 시스템은 모든 요청을 하나로 묶어 모두에게 가장 높은 설정을 적용함으로써, 배치 크기를 유지하기 위해 쉬운 요청에도 에너지를 낭비하는 경향이 있습니다.

이 문제를 해결하기 위해 연구팀은 MOE-PRISM이라는 새로운 프레임워크를 구축했습니다. 그들은 '모델'(두뇌 자체)과 '시스템'(도서관 관리자)이라는 두 가지 측면에서 접근했습니다.

첫째, 모델 측면에서, 그들은 거대한 '전문가 벽돌'을 더 작고 미세한 조각들로 나누는 방법을 발명했습니다. 커다란 치즈 덩어리를 가져와 작은 큐브 모양으로 썰어내는 것을 상상해 보십시오. 그들은 AI의 내부 뉴런(전문가 내부의 작은 처리 단위)이 작동할 때 어떻게 빛나는지를 관찰함으로써 이 작업을 수행했습니다. 그들은 어떤 특정 작업에 대해서는 이 뉴런들의 특정 부분 집합만이 정말 중요하다는 것을 발견했습니다. 그래서 그들은 전문가들을 더 작은 '서브 전문가(sub-experts)'로 쪼개어, 이 중요한 뉴런들을 함께 묶었습니다. 이를 통해 시스템은 12개 또는 13개의 온전한 전문가를 선택해야 하는 강요 없이, 예를 들어 12.5개의 서브 전문가를 선택할 수 있게 되었습니다. 이는 전체 AI를 처음부터 다시 학습시킬 필요 없이, 컴퓨팅 파워를 조절할 수 있는 훨씬 더 부드러운 '다이얼'을 제공합니다.

둘째, 시스템 측면에서, 그들은 더 똑똑한 '도서관 관리자'를 만들었습니다. 단순히 모든 요청을 하나의 큰 더미로 던져 넣고 모두에게 가장 높은 설정을 적용하는 대신, 이 새로운 관리자는 필요한 전력량이 비슷한 요청들을 그룹화합니다. 쉬운 질문들이 많이 들어오면, 낮은 전력 설정으로 함께 처리됩니다. 어려운 질문들이 들어오면, 그들만의 높은 전력 그룹을 갖게 됩니다. 이는 배치를 채우기 위해 쉬운 작업에 과도한 서비스를 제공하여 에너지를 낭비하는 것을 방지합니다. 또한, 그들은 컴퓨터 그래픽(CUDA 그래프)을 효율적으로 처리하는 특별한 '교통 관제사'를 구축하여, 다양한 설정 속에서도 시스템이 메모리 문제로 인해 느려지지 않도록 했습니다.

연구팀이 세 가지 인기 있는 AI 모델에 대해 MOE-PRISM을 테스트했을 때, 결과는 유망했습니다. 미세한 입도의 전문가와 스마트한 스케줄링을 사용함으로써,서버가 처리할 수 있는 '전력 설정'의 수를 4배로 늘릴 수 있음을 발견했습니다. 테스트 결과, 오프라인 작업의 경우 처리량(throughput)이 33.9% 향상되었습니다. 혼합된 워크로드를 다루는 온라인 작업의 경우, 첫 번째 단어가 나오는 시간(Time-to-First-Token)을 단축했습니다.

이 논문은 이러한 접근 방식이 단순히 전기 요금을 아끼는 것뿐만 아니라, AI를 더 적응 가능하게 만든다고 시사합니다. 이는 당신이 AI의 내부 구조를 '재구성'하고 작업 스케줄링을 '재고'함으로써, 비용을 낭비하거나 속도를 늦추지 않고도 어려운 작업에는 컴퓨팅 파워를 높이고 쉬운 작업에는 줄일 수 있는 '탄력적인' 단일 AI 모델을 가질 수 있음을 증명합니다. 현재 테스트는 두 개의 그래픽 카드를 사용하는 특정 설정에서 수행되었지만, 이 결과는 AI의 내부 구조를 재편하고 작업 스케줄링을 다시 생각하는 것이 실제 세상에서 더 효율적이고 유연한 AI를 향한 중요한 진전이 될 수 있음을 나타냅니다.

기술 요약: MOE-PRISM

1. 문제 정의

Mixture-of-Experts (MoE) 아키텍처는 비례적인 연산량 증가 없이 용량을 확장하기 위해 대규모 언어 모델(LLM)의 핵심이 되었습니다. 그러나 기존의 Mo-E 서빙 시스템은 일반적으로 모든 요청을 고정된 라우팅 구성(정적 top- $k$ ) 하에서 실행하며, 이는 서로 다른 계산 요구사항을 가진 요청들의 이질성을 활용하지 못합니다. 일부 접근 방식은 여러 모델을 계층적으로 배치하거나 조기 종료(early-exit) 메커니즘을 사용하여 "요청 수준의 연산 탄력성(request-level compute elasticity)"을 달-성하지만, 이러한 방법들은 상당한 메모리/배포 비용을 초래하거나 특수한 학습 및 아키텍처 변경을 요구합니다.

본 논문은 단일 MoE 인스턴스 내에서 효과적인 요청 수준 탄력성을 방해하는 두 가지 주요 격차를 식별합니다:

조粗한 라우팅 단위 (Coarse-Grained Routing Units): 네이티브 MoE 라우팅은 전체 전문가(expert)를 분할 불가능한 단위로 취급합니다. 라우팅 예산 $k$ 를 1만큼 줄이면 전문가 하나가 통째로 제거되어, 모델 품질의 급격하고 불연속적인 저하를 일으키며 계산-품질 트레이드오프 공간에서 사용 가능한 동작 지점(operating points)을 제한합니다.
비효식한 이질적 배칭 (Inefficient Heterogeneous Batching): vLLM과 같은 서빙 시스템은 연속 배칭(continuous batching)을 사용합니다. 서로 다른 라우팅 예산을 가진 요청들이 혼합될 때, 시스템은 품질 보장을 위해 일반적으로 요청된 최대 $k$ 값에 맞춰 배치를 실행합니다. 이는 "오버-서빙(over-serving)"과 연산 낭비를 초래합니다. 반대로, 예산을 보존하기 위해 배치를 분할하면 실행이 파편화되어 처리량이 감소합니다.

2. 방법론: MOE-PRISM

MOE-PRISM은 단일 MoE 서빙 인스턴스 내에서 요청 수준의 연산 탄력성을 구현하도록 설계된 모델 및 시스템 지원 프레임워크입니다. 이 모델은 두 가지 공동 설계된 구성 요소를 통해 문제를 해결합니다.

A. 모델 리팩토링 엔진 (모델 측면)

이 구성 요소는 엔드 투 엔드 재학습 없이도 더 조밀한 스펙트럼의 라우팅 동작 지점을 노출할 수 있도록 모델을 변환합니다.

전문가 분해 (Expert Decomposition): 엔진은 캘리브레이션 데이터를 통해 중간 뉴런 활성화(intermediate neuron activations)를 프로파일링합니다. 이를 통해 전문가 내부의 활성화 질량(activation mass)이 토큰 의존적인 뉴런 서브셋에 집중되어 있음을 관찰합니다.
서브-전문가 분할 (Sub-Expert Partitioning): 파티션 최적화 솔버(그리디 초기화 후 시뮬레이티드 어닐링 사용)를 사용하여, 각 모놀리식 전문가는 더 미세하고 불연속적인 $N$ 개의 **서브-전문가(sub-experts)**로 슬라이스됩니다. 이 파티셔닝은 뉴로가 함께 활성화되는 토큰들을 그룹화하여, 특정 서브-전문가를 건너뛰더라도 품질 저하를 최소화하는 것을 목표로 합니다.
게이팅 재구성 (Gating Reconstruction): 시스템은 다음 두 가지 경로를 통해 새로운 서브-전문가에 대한 라우팅 인터페이스를 재구성합니다:
1. 학습이 필요 없는 프록시 (Training-Free Proxy): 공활성화(co-activation) 통계를 사용하여 서브-전문가를 점수화하는 계층적 선택 메커니즘을 사용하여 즉시 배포가 가능하게 합니다.
2. 게이트 전용 미세 조정 (Gate-Only Fine-Tuning): 나머지 모델은 동결한 채 라우터 가중치만을 미세 조정하여 확장된 서브-전문가 공간에 정렬함으로써 충실도(fidelity)를 극대화하는 저비용 적응 방식입니다.

B. k-인지 서빙 런타임 (시스템 측면)

이 구성 요소는 이질적인 라우팅 예산을 효율적으로 관리합니다.

k-인지 서빙 스케줄러 (k-Aware Serving Scheduler):
- 오프라인 (처리량 중심): 품질 계층별 배칭을 통한 **시간적 분리(temporal separation)**를 사용합니다. 요청들을 라우팅 예산( $k$ )에 따라 정렬하고 계층(tier)별로 그룹화합니다. 스케줄러는 잔여 배치를 즉시 디스패치할지, 아니면 다음 계층과 병합할지를 로컬 처리량 휴리스틱에 기반하여 결정하여, 오버-서빙을 최소화하면서 배치의 충실도를 유지합니다.
- 온라인 (지연 시간 민감): 레인 기반 라우팅을 통한 **공간적 분리(spatial separation)**를 사용합니다. 데이터 병렬(DP) 랭크를 "낮은- $k$ "와 "높은- $k$ " 레인으로 나누되, 부드럽고 적응적인 경계(soft, adaptive boundary)를 둡니다. 이는 동일한 실행 스트림 내에서 극단적으로 다른 예산이 섞이는 것을 방지하면서도, 큐(queue) 정체를 유발할 수 있는 경직된 파티셔닝을 피합니다.
세그먼트 그래프 실행기 (Segmented Graph Executor): 증가된 라우팅 상태로 인한 CUDA Graph 메모리 폭증을 처리하기 위해, 실행기는 Transformer 블록을 Attention-MoE 경계에서 분리합니다.
- Attention 세그먼트: 다양한 $k$ 값 간에 공유됩니다 (라우팅에 무관).
- MoE 세그먼트: 라우팅 예산 $k$ 에 의해 특화됩니다 (라우팅에 민감).
- 이 설계는 시스템이 CUDA Graph의 효율성을 유지하면서도 동적 $k$ 실행을 지원할 수 있게 합니다.

3. 주요 기여

모델 리팩토링 방법: 모놀리식 전문가를 서브-전문가로 분해하고 게이팅 네트워크를 재구성하여, 단일 모델이 더 조밀한 라우팅 동작 지점을 노출할 수 있게 하는 기술입니다. 이는 학습이 필요 없는 배포와 게이트 전용 미세 조정을 모두 지원합니다.
k-인지 서빙 런타임: 예산 인식 스케줄링(시간적 및 공간적 분리)과 세그먼트 그래프 실행기를 통한 효율적인 동적- $k$ 실행을 결합한 vLLM의 확장 버전입니다.
시스템 통합 및 평가: vLLM에 완전히 통합되었으며, 세 가지 대표적인 MoE 모델(OLMoE, DeepSeek-V2-Lite, Qwen3)에 대해 평가되어 실질적인 탄력성을 입증했습니다.

4. 실험 결과

저자들은 A100, RTX A6000, H800 GPU 환경에서 vLLM 프레임워크를 사용하여 세 가지 모델에 대해 MOE-PRISM을 평가했습니다.

처리량 (오프라인): MOE-PRISM은 베이스라인 대비 오프라인 추론 처리량을 최대 33.9% 향상시켰습니다. 이러한 이득은 리팩토링을 통한 낮은 $k$ 실행 능력과 오버-서빙을 피하기 위해 유사한 요청을 그룹화하는 스케줄러의 능력 모두에서 기인합니다.
지연 시간 (온라인): 이질적인 워크로드 하에서, MOE-PRISM은 특히 베이스라인이 큐잉 지연 및 꼬리 지연 시간(tail latency) 문제를 겪는 고부하 상황에서 첫 번째 토큰 생성 시간(TTFT)을 단축했습니다.
정확도: 모델 리팩토링은 원본 모델의 정확도를 대부분 보존했습니다. 일부 사례(예: 낮은 예산에서의 OLMoE 및 Qwen3)에서는 리팩토링된 모델이 약간 더 나은 퍼플렉시티(perplexity) 또는 다운스트림 태스크 정확도를 달성했는데, 이는 새로운 구조가 제한된 연산 하에서도 효과적인 전문가 선택을 지원함을 시사합니다.
절제 연구 (Ablation Studies):
- 리팩토링: 조粗한 반올림(rounding) 방식에 비해 미세한 분해가 라우팅 예산 오버슈트를 크게 줄임을 확인했습니다.
- 세그먼트 그래프: 실행기가 표준 k-인지 방식에 비해 그래프 메모리 사용량을 약 84% 줄이면서도 무시할 만한 수준의 처리량 저하(<0.2%)를 보임을 입증했습니다.
- 스케줄링: 동적- $k$ 실행만으로는 불충분하며, 교차- $k$ 간섭을 방지하고 엔드 투 엔드 성능 이득을 실현하기 위해서는 명시적인 스케줄링이 필수적임을 보여주었습니다.

5. 의의 및 주장

본 논문은 MOE-PRISM이 MoE 서빙에서 요청 수준의 연산 탄력성의 실용적 타당성을 입증한다고 주장합니다. 라우팅 top- $k$ 를 고정된 아키텍처 설정이 아닌 런타임 제어 노브(control knob)로 취급함으로써, 시스템은 다음과 같은 기능을 수행할 수 있습니다:

단일 배포된 모델 인스턴스 내에서 다양한 품질/연산 요구사항을 가진 요청을 서비스합니다.
이질적인 라우팅 예산을 실질적인 엔드 투 엔드 지연 시간 및 처리량 개선으로 전환합니다.
여러 모델을 계층적으로 배치하는 데 따르는 메모리 및 배포 오버헤드를 피합니다.

저자들은 한계점으로 현재의 평가가 두 개의 GPU 테스트베드에 국한되어 있으며, 이는 핵심 메커니즘을 검증하기 위한 최소한의 비자명한(non-trivial) 환경임을 언급했습니다. 이들은 추가적인 엔지니어링 없이 대규모 클러스터로의 즉각적인 확장을 주장하지는 않지만, 결과적으로 탄력적인 MoE 서빙을 위한 기초적인 모델-시스템 공동 설계 원칙을 확립했습니다.