Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

기술 요약: 어떤 전문가 미스(Expert Miss)를 기다릴 가치가 있는가?

문제 정의
Qwen3-Next-80B-A3B와 같은 혼합 전문가(Mixture-of-Experts, MoE) 언어 모델은 높은 용량을 제공하지만, 모든 전문가를 메모리에 저장해야 하므로 소비자용 GPU(예: 24GB)의 VRAM을 초과합니다. 전문가를 CPU 메모리나 SSD로 오프로딩(offloading)하면 이러한 모델을 소비자용 하드웨어에서 실행할 수 있지만, "캐시 미스(cache-miss)" 전문가(현재 GPU 메모리에 없는 전문가)가 필요할 때 지연 시간이 발생합니다. 전통적인 해결책은 모든 미스를 가져오거나(높은 지연 시간), CPU에서 연산을 수행하거나(느린 산술 연산), 프리페칭(prefetching)을 사용하는 것(예측 오류의 위험)입니다. 대안적인 접근 방식은 미스된 전문가를 상주하는 전문가로 대체하여 연산을 변경하는 것입니다. 그러나 레이어당 수백 명의 전문가가 있는 모델에서 어떤 대체가 상당한 품질 저하를 유발하는지, 단일 지표가 캐시 정책을 가이드할 수 있는지, 그리고 캐시가 반복적으로 대체되는 전문가를 언제 수용해야 하는지는 여전히 불분명합니다.

방법론
본 연구는 Qwen3-Next-80B-A3B(레이어당 512개 전문가, 10개 선택)를 대상으로 하며, 약 25%의 전문가가 GPU 메모리에 상주하고 있다고 가정합니다. 연구는 substitution 정책을 평가하기 위해 세 가지 별도의 도구를 사용합니다:

1. 에뮬레이션(Emulation): 동일한 토큰 시퀀스에 대해 모든 정책에 대한 모델 출력을 정확하게 계산하는 PyTorch 구현체로, fetch 지연 시간을 이상화하여 substitution이 품질(teacher-forced perplexity로 측정)에 미치는 영향을 격리하여 파악합니다.
2. 라우터-로짓 시뮬레이터(Router-Logit Simulator): 전체 모델을 계산하지 않고도 라우터 로짓을 재생하여 정책을 빠르게 비교하고, 토큰당 시간과 캐시 상태를 추정하는 C++ 도구입니다.
3. 엔진(Engine): 실제 전문가 fetch, substitution 및 캐싱을 수행하는 수정된 llama.cpp 구현체입니다(RTX 3090 사용).

연구는 **대체된 게이트 질량(substituted gate mass, $m$)**을 대체된 전문가들의 합산된 정규화된 게이트 가중치로 정의합니다. 다음 정책들을 테스트합니다:

• 모든 미스 fetch: 참조 베이스라인입니다.
• 0.15 규칙: 미스된 전문가가 라우터의 첫 번째 선택이거나 게이트 가중치가 $\ge 0.15$인 경우 동기적으로 fetch하며, 나머지는 대체합니다.
• 첫 번째 선택 규칙(First-choice Rule): 첫 번째 선택인 미스만 fetch하며, 나머지는 모두 대체합니다.
• 백그라운드 수용(Background Admission): 대체된 전문가의 게이트 가중치를 시간에 따라 누적하여, 임계값(예: 0.5)에 도달하면 백그라운드에서 캐시에 수용하는 규칙입니다.

주요 기여 및 결과

1. 품질 저하의 원인: 에뮬레이션 결과, 대부분의 품질 저하는 단순히 substitution의 횟수가 아니라, 가중치가 높은 몇몇 전문가(첫 번째 선택 또는 높은 게이트 가중치를 가진 전문가)를 대체할 때 발생했습니다. Qwen3-Next의 경우, 0.15 규칙은 7.5%의 호출을 대체했지만(모든 미스를 fetch할 때의 8.5% 대비), perplexity 증가를 5.67%에서 0.35%로 줄였습니다. 이는 많은 저가중치 전문가가 대체되더라도 고가중치 전문가를 보호하는 것이 중요하다는 것을 시사합니다.
2. 비교 지표로서의 질량(Mass): 본 연구는 "질량 가설(Mass Hypothesis)"을 제안합니다. 항상 첫 번째 선택을 fetch하는 정책들 사이에서, 대체된 게이트 질량이 높을수록 동일한 입력에 대해 더 높은 perplexity 증가와 상관관계가 있다는 것입니다. 엔진 실험에서 이 상관관계는 동일한 데이터에 대한 서로 다른 정책들 사이에서 강력하게 나타났습니다(Pearson $r \approx 0.92$). 그러나 질량은 어떤 특정 입력이 품질을 저하시킬지 예측하지 못했으며, 첫 번째 선택을 대체하는 정책들을 비교할 때는 성립하지 않았습니다.
3. Substitution의 구성: 동일한 질량에서 substitution의 구성을 변화시킨 실험(Experiment B) 결과, 소수의 무거운 substitution이 다수의 가벼운 substitution보다 더 많은 손실을 유발했으나, 계획된 통계적 결정 규칙은 낮은 실현 질량으로 인해 확정적인 판단을 내리지 못했습니다.
4. 백그라운드 수용 정책: 대체된 질량이 임계값 0.5에 도달하면 백그라운드에서 전문가를 캐시에 수용하는 규칙은 perplexity를 0.3~1.5% 감소시켰으며, 가장 큰 이득은 토픽 변화 직후에 나타났습니다.
5. 선택된 정책의 성능: 결과에 기반하여 두 가지 정책이 선정되었습니다:
   • Quality-First: 0.15 규칙 + 빈도 기반 교체(eviction) + 백그라운드 수용($\beta=0.5$).
   • Speed-First: 첫 번째 선택 규칙 + 빈도 기반 교체 + 백그라운드 수용($\beta=0.5$).
     두 호스트에서 이 정책들은 모든 미스를 fetch하는 것보다 토큰당 2.5~3.0배 빨랐으며, perplexity 증가폭은 **0.71.5%**에 불과했습니다. 0.15 규칙 단독 사용과 비교했을 때, Quality-First 정책은 약간의 시간 비용을 들여 perplexity를 더 낮추었으며(0.5–0.8%), Speed-First는 통계적으로 유의미한 perplexity 증가 없이 시간을 약 5% 단축했습니다.
6. Stock llama.cpp와의 비교: 약 16GB의 RAM을 사용할 수 있는 환경에서, 0.15 규칙을 사용하는 엔진은 동일한 VRAM을 사용하도록 설정된 stock llama.cpp보다 2.8~3.0배 빠르게 디코딩되었으며, perplexity 증가폭은 1.6%에 불과했습니다.

의의 및 주장
본 논문은 레이어당 수백 명의 전문가가 있는 MoE에서 어떤 전문가 substitution이 품질 저하를 일으키는지 직접 측정한 최초의 연구라고 주장합니다. 연구는 다음을 확립합니다:

• Substitution 전략: 고가중치 전문가를 보호하는 것(0.15 규칙)이 단순히 전체 substitution 횟수를 줄이는 것보다 효과적입니다.
• 지표의 유용성: 대체된 게이트 질량은 동일한 입력에 대해 정책을 비교하는 데 유용한 지표이지만, 서로 다른 입력 간의 손실을 예측하는 지표는 아닙니다.
• 실질적 효율성: 대규모 MoE를 소비자용 GPU에서 최소한의 품질 저하(0.71.5% perplexity 증가)와 함께 2.53.0배의 속도 향상을 달면서 실행하는 것이 가능합니다.

한계 및 겸허한 태도
저자는 자신의 결론이 신중하고 조건적임을 명시합니다:

• 범위: 결과는 주로 Qwen3-Next-80B-A3B와 teacher-forced perplexity에 기반합니다. 생성 테스트(GSM8K 및 HumanEval)는 예측을 부분적으로만 뒷받s쳤습니다(예: mass와 HumanEval에 대한 일치도 사이의 상관관계 실패).
• 인과관계: 본 연구는 전문가의 *순위(rank)*와 *가중치(weight)*의 효과를 분리하지 않았으며, 게이트 가중치 자체가 손실을 유발한다고 주장하지 않습니다.
• 비교 대상: 제안된 정책들을 프리페칭(prefetching)이나 저정밀도(lower-precision) 방법과 비교하지 않았습니다.
• 일반화 가능성: 속도 비율과 특정 perplexity 값은 측정된 특정 하드웨어 호스트를 기준으로 보고되었으므로 다른 기기에서는 적용되지 않을 수 있습니다.
• 실험적 상태: 생성 테스트와 Experiment B를 제외한 나머지 분석은 탐색적입니다. 논문은 예측 실패(예: 문제 수준의 mass 상관관계)와 샘플 크기가 증가함에 따라 결과가 역전된 사례(예: mass와 손실 사이의 상관관계)를 보고합니다.

요약하자면, 본 연구는 고가중치 전문가를 우선적으로 fetch함으로써, 대규모 MoE를 소비자용 하드웨어에서 오프로딩할 때 발생하는 지연 시간을 지능적인 substitution 및 백그라운드 수용 정책을 통해 크게 완화할 수 있음을 보여줍니다.