Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling

이 논문은 MoE 모델의 추론 효율성을 극대화하기 위해 전문가 배치와 토큰 스케줄링을 통합적으로 최적화하는 '시맨틱 병렬성 (Semantic Parallelism)' 기법과 이를 구현한 Sem-MoE 프레임워크를 제안하며, 이를 통해 통신 오버헤드를 줄이고 기존 솔루션 대비 우수한 처리량을 달성함을 보여줍니다.

핵심

🏛️ 배경: 거대한 도서관의 혼란

우리가 사용하는 최신 인공지능 (LLM) 은 마치 수백만 권의 책을 가진 거대한 도서관 같습니다. 하지만 이 도서관은 책이 한곳에 다 모여 있는 게 아니라, **수천 개의 작은 전문 서고 (Expert)**로 나뉘어 있습니다.

• 전문 서고 (Expert): 특정 주제 (예: 수학, 요리, 법률) 에만 아주 능통한 전문가들이 있는 방입니다.
• 독자 (Token): 도서관에 들어온 질문이나 문장 하나하나가 독자입니다.

기존 방식의 문제점 (비효율적인 배달):
기존 시스템은 독자가 "수학 문제"를 물어보면, 수학 전문가가 있는 서고로 책을 가져가야 합니다. 하지만 문제는 어떤 질문이 어떤 전문가를 부를지 미리 알 수 없다는 점입니다.
그래서 모든 질문을 모든 서고로 일단 다 보내고 (All-to-All), 각 서고가 필요한 책만 골라 다시 본래 자리로 돌려보내는 과정을 거칩니다.

• 비유: 모든 우편물을 전국 모든 우체국에 다 보내고, 각 우체국이 내 우편물만 골라 다시 보내는 꼴입니다.
• 결과: 통신 비용 (데이터 이동) 이 너무 많이 들고, 시스템이 느려집니다.

---

💡 해결책: '의미'를 아는 스마트 배달 시스템 (Sem-MoE)

이 논문은 **"질문의 내용 (의미) 을 미리 분석해서, 필요한 전문가가 있는 곳으로 바로 보내자"**는 아이디어를 제안합니다. 이를 시맨틱 병렬성이라고 부릅니다.

1. 미리 분석하기 (오프라인 스케줄링)

시스템은 먼저 "수학 질문은 주로 A 서고로, 요리 질문은 B 서고로 가는 경향이 있다"는 패턴을 학습합니다.

• 비유: 도서관 사서가 "이 독자는 항상 수학 책을 찾으니, 수학 전문가가 있는 1 층으로 바로 배치하자"라고 미리 계획을 세우는 것입니다.
• 효과: 전문가들을 같은 건물 (장치) 에 모여 있게 배치합니다.

2. 실시간 재배치 (온라인 스케줄링)

실제로 질문이 들어오면, 시스템은 질문의 내용을 보고 "이 질문은 1 층의 수학 전문가가 필요해!"라고 판단합니다.

• DP(데이터 병렬) 상황: 여러 대의 컴퓨터가 질문을 처리할 때, 비슷한 질문끼리 묶어서 같은 컴퓨터로 보냅니다.
  • 비유: "요리 질문들"은 한 팀이, "법률 질문들"은 다른 팀이 처리하도록 미리 분류합니다.
• TP(텐서 병렬) 상황: 하나의 긴 질문을 처리할 때, 질문의 단어들이 갈 곳을 미리 예측해서 데이터 이동 경로를 바꿉니다.
  • 비유: 긴 문장을 읽는 도중, "다음 단어는 수학 전문가가 필요할 것 같으니" 미리 그쪽으로 이동 경로를 틀어줍니다.

---

🚀 핵심 기술: "맞춤형 배달"의 마법

이 시스템은 세 가지 핵심 기술을 사용합니다.

1. 전문가 그룹화 (Model Scheduling): 자주 함께 호출되는 전문가들을 같은 방에 모읍니다. (예: 수학 전문가와 물리 전문가를 같은 층에 배치)
2. 질문 묶음 만들기 (Inter-request Scheduling): 비슷한 질문들을 묶어서 같은 전문가 그룹이 있는 서버로 보냅니다.
3. 단어 재배치 (Intra-request Scheduling): 하나의 긴 문장 안에서도, 단어들이 갈 전문가를 미리 예측해서 데이터가 이동하는 경로를 최적화합니다.

---

📊 결과: 얼마나 빨라졌나요?

실험 결과, 이 방식을 적용한 Sem-MoE 시스템은 기존 방식보다 다음과 같은 성과를 냈습니다.

• 불필요한 이동 감소: 데이터가 불필요하게 오가는 양이 크게 줄었습니다. (비유: 우편물을 전국으로 보내지 않고, 필요한 우체국으로만 바로 보냄)
• 처리 속도 향상:
  • 특정 조건에서 최대 2.78 배 더 많은 질문을 처리할 수 있게 되었습니다.
  • 응답 속도 (지연 시간) 는 최대 25% 까지 빨라졌습니다.

🌟 한 줄 요약

"질문의 내용 (의미) 을 미리 파악해서, 필요한 전문가가 있는 곳으로 바로 보내는 '스마트 배달 시스템'을 만들어, 인공지능이 훨씬 더 빠르고 효율적으로 일하게 만들었습니다."

이 기술은 앞으로 우리가 더 크고 똑똑한 인공지능을 더 저렴하고 빠르게 사용할 수 있게 하는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 확장성을 위해 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처가 널리 채택되고 있습니다. MoE 는 입력 토큰마다 소수의 전문가 (Expert) 만을 활성화하여 계산 비용을 줄이면서도 모델 용량을 극대화합니다. 그러나 추론 (Inference) 시 MoE 모델의 효율성은 **전문가 병렬성 (Expert Parallelism, EP)**을 구현하는 과정에서 발생하는 장치 간 통신 오버헤드에 의해 심각하게 제한됩니다.

• 통신 병목 현상: EP 는 토큰을 활성화된 전문가가 위치한 원격 장치로 라우팅하기 위해 고비용의 All-to-All 통신을 수행합니다. 실험 결과 (DeepSeek-V2-Lite, 8 GPU 환경), MoE 레이어의 순전파 (Forward-pass) 지연 시간 중 최대 **59.2%**가 이 All-to-All 통신에 소모되는 것으로 나타났습니다.
• 기존 접근법의 한계: 현재 최첨단 (SOTA) 솔루션들은 '모델 배치 (Expert Placement)'와 '데이터 스케줄링 (Request/Token Scheduling)'을 별개의 문제로 취급합니다. 이로 인해 토큰과 해당 전문가가 서로 다른 장치에 배치되어 불필요한 통신이 반복되며, 추론 처리량 (Throughput) 이 저하됩니다.

2. 방법론 (Methodology)

이 논문은 **시맨틱 병렬성 (Semantic Parallelism)**이라는 새로운 패러다임을 제안하며, 이를 구현한 시스템 Sem-MoE를 개발했습니다. 핵심 아이디어는 **모델 (전문가) 과 데이터 (토큰/요청) 간의 내재적 친화도 (Affinity)**를 예측하여, 두 요소를 협력적으로 스케줄링 (Co-Scheduling) 하는 것입니다.

2.1 핵심 관측: 토큰 - 전문가 친화도 (Token-Expert Affinity)

• 맥락 독립적 활성화: MoE 모델에서 특정 토큰은 맥락 (Context) 에 관계없이 특정 전문가 집합으로 일관되게 라우팅되는 경향이 있습니다. 실험을 통해 토큰의 식별자 (Token ID) 만으로도 활성화될 전문가를 높은 정확도로 예측할 수 있음을 입증했습니다.
• 층간 의존성: 이전 레이어에서 선택된 전문가가 다음 레이어의 선택에 영향을 미치는 마르코프적 의존성 (Markovian dependency) 이 존재합니다.

2.2 Sem-MoE 시스템 아키텍처

Sem-MoE 는 오프라인 모델링과 온라인 스케줄링을 결합한 3 단계 프로세스를 따릅니다.

1. 오프라인 모델 스케줄링 (Offline Model Scheduling):

   • 토큰 - 전문가 활성화 빈도 데이터를 기반으로, 함께 활성화될 가능성이 높은 전문가들을 클러스터링합니다.
   • 이 클러스터들을 동일한 GPU 장치에 배치 (Collocation) 하여, 해당 전문가들이 활성화될 때 통신을 최소화합니다.
   • 이는 0-1 정수 계획법 (ILP) 기반의 코-클러스터링 문제로 정의되며, 부하 균형 (Load Balancing) 과 통신 최소화를 동시에 최적화합니다.

2. 온라인 인터-요청 데이터 스케줄링 (Online Inter-request Data Scheduling - Attention-DP):

   • 어텐션 레이어가 데이터 병렬성 (DP) 으로 배포된 경우, 들어오는 요청 (Request) 을 토큰 - 전문가 친화도에 따라 재배치합니다.
   • 특정 전문가 그룹을 주로 활성화하는 요청들을 동일한 DP 랭크 (장치) 로 배치하여, 요청 처리 중 발생하는 All-to-All 통신량을 줄입니다.

3. 온라인 인트라-요청 데이터 스케줄링 (Online Intra-request Data Scheduling - Attention-TP):

   • 어텐션 레이어가 텐서 병렬성 (TP) 으로 배포된 경우, 토큰 단위의 미세한 스케줄링이 필요합니다.
   • Shuffled-Reduce-Scatter (SRS) 및 **Shuffled-Allgather (SAG)**라는 커스텀 통신 원시 연산 (Primitive) 을 도입합니다.
   • 어텐션 계산 후, 전문가 라우팅이 예상되는 장치로 토큰을 미리 섞고 (Shuffle) 분산시키는 방식으로, 추후 MoE 레이어에서의 원격 라우팅을 사전에 제거합니다.

3. 주요 기여 (Key Contributions)

1. 토큰 - 전문가 상관관계 발견: 대규모 MoE 모델에서 토큰과 전문가 사이에 맥락에 독립적인 강한 상관관계가 존재함을 데이터 분석을 통해 규명하고, 이를 최적화의 기초로 삼았습니다.
2. 모델 - 데이터 협력 스케줄링 알고리즘 설계: 관찰된 친화도를 활용한 효율적인 스케줄링 알고리즘을 제안하여, 기존 방법 대비 로컬 활성화율 (Local Activation Rate) 을 15.4% 향상시켰습니다. 이는 불필요한 크로스-장치 통신을 대폭 줄였습니다.
3. Sem-MoE 구현 및 검증: SOTA 추론 엔진인 SGLang 위에 Sem-MoE 를 구현하고 광범위한 실험을 수행했습니다.
   • Attention-DP 시나리오: 특정 SLO (Service Level Objective) 하에서 처리량이 최대 2.78 배 향상되었습니다.
   • Attention-TP 시나리오: 지연 시간 (Latency) 이 최대 24.9% 감소했습니다.

4. 실험 결과 (Results)

• 실험 환경: 8-GPU 서버 (GPU 간 대역폭 400GB/s 이상), DeepSeek-V2-Lite, Qwen3-30B-A3B 모델 사용.
• 비교 대상: 기존 SGLang (SOTA 추론 엔진) 및 MoETuner (최적화 배치 전략).
• 성능 지표:
  • 처리량 (Throughput): DeepSeek-V2-Lite 기준, TTFT 및 E2E 지연 시간 SLO 하에서 Sem-MoE 는 SGLang 대비 최대 221% (TTFT 기준), MoETuner 대비 최대 278% 의 처리량 향상을 보였습니다.
  • 지연 시간 (Latency): Qwen3-30B-A3B 에서 입력 길이 512 기준, TTFT 는 24.9% 감소했습니다.
  • 통신 감소: 로컬 활성화율 (Local Activation Rate) 이 3743% 증가하여, MoE 레이어의 All-to-All 통신 지연이 41.846.6% 감소했습니다.
• 범용성: ShareGPT, LMSYS-Chat-1M, MMLU 등 다양한 도메인 데이터셋에서 제로샷 (Zero-shot) 전이 성능이 우수함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MoE 모델 추론의 핵심 병목인 All-to-All 통신 오버헤드를 모델 구조와 데이터 특성을 함께 고려한 협력적 스케줄링을 통해 해결했습니다.

• 효율성 극대화: 하드웨어 변경 없이 소프트웨어적 최적화만으로 대규모 MoE 모델의 추론 효율성을 획기적으로 개선했습니다.
• 실용성: 기존 MoE 아키텍처를 수정하지 않고도 (Pre-gated MoE 와 달리) SGLang 같은 기존 엔진에 플러그인 형태로 통합 가능하여 실제 서비스 적용에 용이합니다.
• 미래 지향성: 모델과 데이터의 시맨틱적 관계를 활용한 스케줄링 패러다임은 차세대 대규모 AI 모델의 경제적 타당성과 확장성을 높이는 중요한 방향을 제시합니다.

요약하자면, Semantic Parallelism은 "어떤 토큰이 어디로 갈지 미리 알고, 전문가를 그 위치에 배치하고, 토큰을 미리 이동시켜 통신을 없애는" 지능형 스케줄링을 통해 MoE 추론의 효율성을 재정의한 혁신적인 접근법입니다.