NPUMoE: Apple Silicon NPU 를 활용한 효율적인 MoE LLM 추론 기술 요약

이 논문은 Apple Silicon 칩에 내장된 전용 신경 처리 장치 (NPU, Apple Neural Engine, ANE) 에서 혼합 전문가 (Mixture-of-Experts, MoE) 기반 대규모 언어 모델 (LLM) 의 추론 효율성을 극대화하기 위한 시스템 NPUMoE를 제안합니다. MoE 아키텍처는 희소 활성화 (sparse activation) 를 통해 모델 용량을 확장하지만, NPU 의 정적 (static) 실행 제약과 충돌하여 성능 저하를 초래합니다. NPUMoE 는 이러한 문제를 해결하기 위해 오프라인 보정 (offline calibration) 과 동적 워크로드 관리 기법을 결합하여 NPU 부하를 최적화합니다.

---

1. 문제 정의 (Problem Statement)

MoE LLM 은 토큰마다 특정 전문가 (Expert) 서브넷만 활성화하는 동적 라우팅 방식을 사용하지만, Apple Neural Engine (ANE) 과 같은 모바일 NPU 는 다음과 같은 제약으로 인해 MoE 추론에 적합하지 않습니다.

1. 동적 텐서 모양 (Dynamic Tensor Shapes) 과 NPU 의 정적 제약 충돌:
   • NPU 는 컴파일 시점에 고정된 모양 (shape) 의 계산 그래프를 요구합니다.
   • 반면, MoE 의 라우팅은 런타임에 예측 불가능하며, 각 전문가로 전달되는 토큰 수가 동적으로 변합니다. 이는 NPU 가 처리할 수 없는 동적 텐서 모양을 생성합니다.
2. 비정형 연산자 (Irregular Operators) 지원 부족:
   • MoE 의 핵심 연산인 Top-k 라우팅, scatter/gather(토큰 분배 및 수집), 동적 인덱싱 등은 NPU 가 지원하지 않거나 CPU 로의 폴백 (fallback) 을 유발하여 오버헤드를 증가시킵니다.
3. 낮은 동시성 및 높은 디스패치 오버헤드:
   • 각 전문가를 별도의 작은 계산 그래프로 실행하면 NPU 의 단일 디바이스 큐에서 직렬화되어 실행됩니다.
   • 이로 인해 커널 실행 시간보다 디스패치 및 동기화 오버헤드가 더 커져 전체 성능이 저하됩니다 (최대 런타임의 60% 이상 차지).

특히 긴 컨텍스트 (Long-context) 작업에서 Prefill(입력 토큰 처리) 단계가 전체 추론 지연의 80% 를 차지하므로, 이 단계의 NPU 오프로딩이 핵심 과제입니다.

---

2. 방법론 (Methodology: NPUMoE)

NPUMoE 는 NPU 를 주된 실행 엔진으로 활용하되, 동적 연산은 CPU/GPU 로 폴백하는 하이브리드 아키텍처를 채택합니다. 이를 위해 세 가지 핵심 기술을 도입했습니다.

2.1. 전문가 용량을 위한 정적 계층 (Static Tiers for Expert Capacity)

• 문제: 각 전문가로 들어오는 토큰 수가 불규칙하여, 모든 전문가를 최대 용량으로 설정하면 패딩 (padding) 과 계산 낭비가 발생하고, 용량을 줄이면 토큰 손실 (accuracy drop) 이 발생합니다.
• 해결: 오프라인 보정을 통해 각 전문가의 예상 부하 (popularity) 를 분석하고, 이를 기반으로 **용량 계층 (Tiers)**을 정의합니다.
  • 자주 사용되는 'Hot' 전문가에는 큰 용량 계층을 할당하고, 드문 'Cold' 전문가에는 작은 용량을 할당합니다.
  • 런타임에 토큰이 할당된 용량을 초과하면, 중요도가 낮은 토큰을 제거 (pruning) 하거나 패딩을 최소화하여 NPU 의 정적 그래프 요구사항을 충족시킵니다.

2.2. 그룹화된 전문가 실행 (Grouped Expert Execution)

• 문제: 개별 전문가마다 별도의 NPU 호출을 하면 디스패치 오버헤드가 누적됩니다.
• 해결: 여러 전문가를 하나의 고정된 밀집 (dense) FFN 계산 그래프로 그룹화합니다.
  • 하나의 NPU 호출로 여러 전문가를 병렬 (또는 융합된 블록) 로 실행하여 디스패치 오버헤드를 분산 (amortize) 시킵니다.
  • 그룹 내 전문가들은 동일한 정적 용량을 가지도록 설계하여 동적 모양 문제를 해결합니다.

2.3. 부하 인지 계산 그래프 거주성 (Load-Aware Compute Graph Residency)

• 문제: 모든 전문가를 NPU 로 보내면, 부하가 적은 'Cold' 전문가들의 짧은 작업으로 인해 NPU 동기화 오버헤드가 비효율적입니다.
• 해결: 전문가의 인기 (부하) 에 따라 실행 장치를 동적으로 선택합니다.
  • Hot 전문가 그룹: NPU 에 상주 (Resident) 시켜 디스패치 오버헤드를 상쇄하고 높은 처리량을 확보합니다.
  • Cold 전문가 그룹: NPU 호출 오버헤드가 더 클 수 있으므로 CPU/GPU 로 폴백시켜 전체 시스템 효율을 높입니다.

---

3. 주요 기여 (Key Contributions)

1. MoE 추론의 NPU 한계 분석: Apple Neural Engine 에서 MoE 모델을 실행할 때 발생하는 동적 라우팅, 비정형 연산, 디스패치 오버헤드 문제를 심층적으로 분석했습니다.
2. 세 가지 혁신 기술 제안:
   • 정적 용량 계층: 동적 라우팅을 NPU 의 정적 제약에 맞게 변환.
   • 그룹화 실행: 디스패치 오버헤드 감소 및 NPU 동시성 활용 극대화.
   • 부하 인지 거주성: 워크로드 특성에 따른 최적의 실행 장치 (NPU vs CPU) 할당.
3. NPUMoE 시스템 구현 및 평가: Apple M2 Ultra/Max 칩셋에서 Phi-3.5-MoE, Qwen3-MoE 등 최신 MoE 모델에 대해 종단간 (end-to-end) 평가를 수행하여 기존 방식 대비 월등한 성능을 입증했습니다.

---

4. 실험 결과 (Results)

Apple M2 Ultra/Max 장치를 사용하여 3 가지 MoE 모델과 4 가지 긴 컨텍스트 워크로드 (HellaSwag, BoolQ, RULER 등) 로 평가했습니다.

• 지연 시간 (Latency):
  • Prefill 단계에서 1.32 배 ~ 5.55 배의 지연 시간 단축을 달성했습니다.
  • 특히 MoE 블록 실행 시간이 전체 지연의 86% 이상을 차지하는 상황에서 큰 개선을 보였습니다.
• 에너지 효율 (Energy Efficiency):
  • 토큰당 에너지 소비가 1.81 배 ~ 7.37 배 개선되었습니다.
  • CoreML(naïve) 방식 대비 데이터 통신 (CPU-NPU 동기화) 에 소요되는 에너지가 크게 감소했습니다.
• CPU 사용량 감소:
  • CPU 사이클 사용량이 1.78 배 ~ 5.54 배 감소하여, NPU 로의 효과적인 오프로딩을 입증했습니다. 이는 OS 의 반응성 유지에 기여합니다.
• 정확도 (Accuracy):
  • 토큰 드롭 (약 10-20%) 과 패딩이 발생했음에도 불구하고, 정확도 저하는 1.1% 미만으로 매우 미미했습니다. (예: BoolQ 86.00% → 86.00%, RULER 96.00% 유지)

---

5. 의의 및 결론 (Significance)

• 모바일 NPU 의 MoE 활용 가능성 입증: MoE 의 동적 특성과 NPU 의 정적 제약 사이의 불일치를 시스템 수준의 설계 (System Co-design) 로 해결하여, 모바일 기기에서도 고효율 MoE 추론이 가능함을 증명했습니다.
• 리소스 최적화: GPU 를 그래픽 렌더링 등 다른 작업에 할당하고, NPU 를 MoE 추론에 전용함으로써 배터리 기기에서의 지속 가능한 성능과 시스템 전반의 반응성을 동시에 확보할 수 있습니다.
• 긴 컨텍스트 처리: Prefill 단계가 지배적인 긴 컨텍스트 작업 (RAG, 문서 요약 등) 에서 특히 효과적이며, 모바일 환경에서의 LLM 적용 범위를 확장합니다.

결론적으로 NPUMoE 는 Apple Silicon 기반 모바일 기기에서 희소 MoE 모델을 효율적으로 실행하기 위한 첫 번째 체계적인 솔루션으로, 오프라인 보정과 런타임 자원 관리를 결합하여 지연, 에너지, CPU 부하를 모두 최적화합니다.