기술 요약: GEM – 혼합 전문가 (MoE) 모델을 위한 GPU 가변성 인식 전문가-to-GPU 매핑

1. 문제 제기

혼합 전문가 (MoE) 모델은 토큰당 일부 "전문가" 서브네트워크만 활성화하여 추론 효율성을 향상시킵니다. 그러나 실제 서비스 환경에서 이러한 모델의 성능은 **지연 GPU(straggler GPUs)**에 의해 심각하게 병목 현상을 겪습니다. 단계별 (lock-step) 실행 방식에서 배치 (batch) 는 레이어 처리를 완료하는 가장 느린 GPU 를 기다려야만 다음 단계로 진행할 수 있습니다.

이 논문은 기존 솔루션들이 동시에 해결하지 못하는 지연 GPU 의 두 가지 주요 원인을 식별합니다:

1. 전문가 불균형: 특정 전문가들이 다른 전문가들보다 불균형적으로 더 자주 사용됩니다. 이러한 "고빈도 사용" 전문가들이 단일 GPU 에 함께 배치되면 해당 GPU 가 병목이 됩니다.
2. 하드웨어 가변성: 현대 GPU 는 공정 편차, 환경 요인, 전력 관리로 인해 고유한 성능 가변성을 보입니다. 토큰 부하가 완벽하게 균형을 이루더라도 물리적으로 느린 GPU 는 지연 GPU 로 작용합니다.

이전 연구들은 전문가 활용도에 인위적인 균일성을 도입하거나 (모델 정확도 저하), 동적으로 전문가를 재분배하거나 (메모리 오버헤드 발생) 하여 이를 해결하려 했습니다. 그러나 이러한 접근법들은 하드웨어 가변성을 고려하지 않아, 종종 고빈도 사용 전문가를 가장 느린 GPU 에 배치함으로써 지연 GPU 문제를 영속화합니다.

2. 방법론: GEM 프레임워크

저자들은 **GEM(GPU-variability-aware Expert Mapping)**을 제안합니다. 이는 작업별 토큰 부하와 하드웨어 성능 특성을 명시적으로 고려하여 전문가를 GPU 에 매핑하도록 설계된 프레임워크입니다. GEM 은 4 단계 파이프라인을 통해 작동합니다:

단계 1: 전문가 활용도 추적 (Expert Utilization Trace)

GEM 은 온라인 추론 중 특정 작업의 토큰 라우팅 패턴을 포착합니다. 각 전문가로 라우팅된 토큰 수를 세어 활용도 추적을 구축합니다.

• 통찰: 논문은 대부분의 시간 단계에서 빈번하게 사용되는 **일관된 전문가 (consistent experts)**와 특정 상관관계가 있는 버스트 시기에 드물지만 강하게 사용되는 **시간적 전문가 (temporal experts)**를 구분합니다.
• 최적화: 실험 결과, 16 시간 단계 길이의 추적만으로도 배포 지연 없이 일관된 패턴과 시간적 패턴을 모두 포착할 수 있음이 입증되었습니다.

단계 2: 성능 가변성 프로파일링

GEM 은 토큰 부하의 함수로서 다양한 GPU 에서 MoE 레이어의 지연 시간을 프로파일링합니다.

• 과제: 세밀한 프로파일링 (모든 토큰 수) 은 너무 느립니다 (수 시간). 반면, 거친 샘플링은 MoE 지연의 "계단식" 특성 (특정 배치 크기에서 지연이 급증함) 을 놓칩니다.
• 해결책: GEM 은 지연이 급증하는 **타일 경계 (tile boundaries, 32 또는 64 토큰의 배수)**에서만 토큰 수를 샘플링합니다. 이를 통해 프로파일링 시간을 수 시간에서 수 분으로 단축합니다 (예: Llama-4-Scout 의 경우 3 분) 하며 정확도는 유지합니다.

단계 3: 가변성 인식 전문가 매핑

GEM 은 최적의 전문가-to-GPU 매핑을 찾기 위해 반복적 휴리스틱 탐색을 사용합니다.

• 점수 함수: 토큰 수를 균등하게 맞추는 대신, GEM 은 모든 시간 단계에 걸친 지연 GPU 지연 시간의 합을 최소화합니다. 점수 $S(M)$은 다음과 같이 계산됩니다:
  $$S(M) = \sum_{t \in T} \max_{g} (C_g(n_g(M, t)))$$
  여기서 $C_g$는 가변성 프로파일에서 유도된 토큰 수 $n_g$에 대한 GPU $g$의 지연 비용입니다.
• 적용된 주요 통찰:
  1. 비균일 부하 분산: 모든 GPU 가 레이어 처리를 대략 동시에 완료하도록, 빠른 GPU 에는 느린 GPU 보다 비례적으로 더 많은 토큰이 할당됩니다.
  2. 상관관계 처리: GEM 은 버스트 시기에 동시에 사용되는 **상관된 시간적 전문가 (correlated temporal experts)**를 감지하고 이들이 서로 다른 GPU에 배치되도록 보장합니다. 또한 이러한 고부하 전문가를 가장 느린 GPU 에 배치하지 않도록 합니다.
• 탐색 알고리즘: 시스템은 활용도 지표에 노이즈를 추가하여 다양성을 확보한 여러 초기 매핑으로 시작하며, 수렴할 때까지 총 지연 GPU 지연 점수를 줄이기 위해 전문가 쌍을 반복적으로 교환합니다.

단계 4: 배포

최적 매핑이 결정되면, GEM 은 모델 로드 시 전문가 가중치를 할당된 GPU 에 로드합니다. MoE 라우터는 평소대로 토큰을 배정하지만, 전문가의 물리적 위치는 이제 특정 하드웨어 클러스터에 최적화됩니다.

3. 주요 기여

1. 이중 병목 현상 식별: 논문은 지연 GPU 가 비균일한 전문가 활용도와 고유한 GPU 하드웨어 가변성의 결합에서 발생하며, 이는 기존 정적 또는 동적 부하 분산 방법들이 간과한 문제임을 강조합니다.
2. GEM 프레임워크: MoE 모델을 위한 하드웨어 가변성 인식 전문가 매핑을 수행하는 최초의 프레임워크입니다.
3. 새로운 매핑 전략:
   • 지연 기반 부하 분산: 토큰 균등 분배에서 GPU 속도에 기반한 비례 토큰 분배로 전환합니다.
   • 시간적 전문가 감지: 상관관계가 있는 시간적 전문가를 식별하고 분리하여 단일 GPU 에 동시 부하 급증을 방지합니다.
4. 효율적인 프로파일링: 하드웨어 가변성 프로파일을 수 시간이 아닌 수 분 내에 포착하는 타일 경계 샘플링 전략입니다.

4. 실험 결과

저자들은 ShareGPT 및 CodeContests 데이터셋을 사용하여 5 가지 최첨단 MoE 모델 (Mixtral-8x7B, Mixtral-8x22B, Llama-4-Scout, Hunyuan-A13B, Qwen3-30B-A3B) 에서 GEM 을 평가했습니다. 4 GPU 노드에서 3 가지 수준의 GPU 가변성 (낮음, 중간, 높음) 을 시뮬레이션했습니다.

• 종단 간 지연 시간: GEM 은 기준선 (vLLM 의 기본 선형 매핑) 대비 평균 7.9%, 최대 **16.5%**의 지연 시간 개선을 달성했습니다.
  • 높은 가변성 설정에서 가장 큰 개선 (최대 16.5%) 을 보였습니다.
  • 낮은 가변성 설정에서도 상관된 시간적 전문가를 최적화함으로써 최대 4.5% 의 개선을 제공했습니다.
• 꼬리 지연 시간 (p90 TPOT): GEM 은 90 백분위수 출력 토큰당 시간 (TPOT) 을 평균 9.1% (최대 16.9%) 감소시켜 인지된 응답성을 크게 향상시켰습니다.
• 프로파일링 오버헤드: 가변성 프로파일링 및 매핑 과정은 총 4 분 미만이 소요되며, 실제 환경에서 제공되는 수 시간 또는 수 일 분량의 추론 시간에 비해 무시할 수준입니다.

5. 중요성 및 주장

이 논문은 GEM 이 MoE 추론을 위한 최초의 하드웨어 가변성 인식 전문가 매핑 프레임워크라고 주장합니다. 그 중요성은 하드웨어 가변성을 약점이 아닌 성능 향상을 위해 활용할 수 있는 매핑 제약 조건으로 전환한다는 점에 있습니다.

저자들은 다음과 같은 점을 강조합니다:

• 하드웨어 이질성을 무시하기 때문에 단순히 토큰 수를 균등하게 맞추는 것만으로는 부족합니다.
• 시간적 전문가(종종 상관관계가 있음) 를 무시하면 평균 부하가 균형을 이루더라도 최적이지 않은 매핑이 발생합니다.
• 시스템 규모가 커질수록 (예: 4 개에서 64 개 GPU 로 확장), 가장 빠른 GPU 와 가장 느린 GPU 간의 격차가 단조롭게 확대되므로, 대규모 배포에서 가변성 인식 매핑이 점점 더 중요해집니다.

이 연구는 토큰 라우팅의 통계적 특성과 GPU 성능의 물리적 현실에 맞춰 전문가 배치를 정렬함으로써, 모델을 재학습하거나 상당한 메모리 오버헤드를 발생시키지 않고도 지연 시간을 크게 단축할 수 있음을 입증합니다.