Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU
이 논문은 소비자용 GPU 환경에서 Mixture-of-Experts 추론을 위한 치환 및 캐싱 전략을 조사하며, 높은 우선순위의 전문가만을 선택적으로 가져오거나 누적된 게이트 질량(gate mass)에 기반한 백그라운드 로딩 규칙을 사용하는 것이 모든 전문가 미스(expert miss)를 가져오는 방식에 비해 퍼플렉서티(perplexity) 저하를 최소화하면서도 디코딩 속도를 유의미하게 가속화(2.5~3.0배)할 수 있음을 입증한다.