Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

तकनीकी सारांश: किन एक्सपर्ट मिसों (Expert Misses) के लिए प्रतीक्षा करना सार्थक है?

समस्या विवरण
मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) लैंग्वेज मॉडल्स, जैसे कि Qwen3-Next-80B-A3B, उच्च क्षमता प्रदान करते हैं लेकिन इनके लिए सभी एक्सपर्ट्स को मेमोरी में स्टोर करने की आवश्यकता होती है, जो उपभोक्ता GPU (जैसे 24 GB) की VRAM से अधिक हो सकती है। एक्सपर्ट्स को CPU मेमोरी या SSD में ऑफलोड करने से ये मॉडल्स कंज्यूमर हार्डवेयर पर चल सकते हैं, लेकिन इससे तब लेटेंसी (latency) उत्पन्न होती है जब "कैश-मिस" (cache-miss) एक्सपर्ट्स (वे जो वर्तमान में GPU मेमोरी में नहीं हैं) की आवश्यकता होती है। पारंपरिक समाधान या तो हर मिस को फेच करते हैं (उच्च लेटेंसी), या CPU पर गणना करते हैं (धीमी अंकगणित), या प्रीफेचिंग (prefetching) का उपयोग करते हैं (गलत भविष्यवाणी का जोखिम)। वैकल्पिक दृष्टिकोण गणना को बदलकर एक रेजिडेंट (resident) एक्सपर्ट के साथ मिस किए गए एक्सपर्ट को प्रतिस्थापित (substitute) करते हैं। हालांकि, यह स्पष्ट नहीं है कि सैकड़ों एक्सपर्ट्स वाले मॉडल्स में कौन से प्रतिस्थापन महत्वपूर्ण गुणवत्ता हानि का कारण बनते हैं, क्या कोई एकल मीट्रिक कैश नीतियों का मार्गदर्शन कर सकता है, और कब एक कैश को उस एक्सपर्ट को स्वीकार करना चाहिए जिसे बार-बार प्रतिस्थापित किया जा रहा है।

कार्यप्रणाली
यह अध्ययन Qwen3-Next-80B-A3B (प्रति लेयर 512 एक्सपर्ट्स, 10 का चयन) पर केंद्रित है जिसमें लगभग 25% एक्सपर्ट्स GPU मेमोरी में रेजिडेंट हैं। शोध प्रतिस्थापन नीतियों (substitution policies) का मूल्यांकन करने के लिए तीन अलग-अलग उपकरणों का उपयोग करता है:

1. एम्यूलेशन (Emulation): एक PyTorch कार्यान्वयन जो समान टोकन अनुक्रमों पर सभी नीतियों के लिए मॉडल आउटपुट को सटीक रूप से कंप्यूट करता है, जो फेच लेटेंसी को आइसोलेट करने के लिए फेच लेटेंसी को आइडियलाइज करता है ताकि प्रतिस्थापन के प्रभाव को गुणवत्ता (टीचर-फोर्स्ड परप्लेक्सिटी द्वारा मापा गया) पर देखा जा सके।
2. रूटर-लॉगिट सिम्युलेटर (Router-Logit Simulator): एक C++ टूल जो पूर्ण मॉडल को कंप्यूट किए बिना रूटर लॉजिट्स को फिर से चलाता है ताकि नीतियों की तेजी से तुलना की जा सके, जिससे प्रति टोकन समय और कैश अवस्थाओं का अनुमान लगाया जा सके।
3. इंजन (Engine): एक संशोधित llama.cpp कार्यान्वयन जो वास्तविक एक्सपर्ट फेचिंग, प्रतिस्थापन और कैशिंग करता है।

अध्ययन प्रतिस्थापित गेट मास (substituted gate mass - $m$) को प्रतिस्थापित एक्सपर्ट्स के संचित सामान्यीकृत गेट वेट (normalized gate weight) के रूप में परिभाषित करता है। यह कई नीतियों का परीक्षण करता है:

• हर मिस को फेच करना (Fetch every miss): संदर्भ बेसलाइन।
• 0.15 नियम (0.15 Rule): मिस किए गए एक्सपर्ट्स को सिंक्रोनस रूप से फेच करता है यदि वे रूटर की पहली पसंद हैं या उनका गेट वेट $\ge 0.15$ है; बाकी को प्रतिस्थापित करता है।
• प्रथम-विकल्प नियम (First-choice Rule): केवल पहली पसंद के मिस को फेच करता है; अन्य सभी को प्रतिस्थापित करता है।
• बैकग्राउंड एडमिशन (Background Admission): एक नियम जो समय के साथ प्रतिस्थापित एक्सपर्ट्स के गेट वेट को संचित करता है और एक थ्रेशोल्ड (जैसे, 0.5) तक पहुँचने पर उन्हें बैकग्राउंड में कैश में शामिल (admit) करता है।

प्रमुख योगदान और निष्कर्ष

1. गुणवत्ता हानि का स्रोत: एम्यूलेशन में, अधिकांश गुणवत्ता हानि कुछ भारी-भारित (heavily weighted) एक्सपर्ट्स को प्रतिस्थापित करने से आती है (पहली पसंद या उच्च गेट वेट वाले), न कि प्रतिस्थापनों की कुल संख्या से। Qwen3-Next के लिए, 0.15 नियम ने 7.5% कॉल्स को प्रतिस्थापित किया (8.5% जब हर मिस को फेच किया गया था) लेकिन परप्लेक्सिटी वृद्धि को 5.67% से घटाकर 0.35% कर दिया। यह सुझाव देता है कि उच्च-वेट एक्सपर्ट्स की सुरक्षा करना महत्वपूर्ण है, भले ही कई कम-वेट एक्सपर्ट्स को प्रतिस्थापित किया जाए।
2. तुलनात्मक मीट्रिक के रूप में मास (Mass): अध्ययन "मास हाइपोथीसिस" का प्रस्ताव करता है: उन नीतियों के बीच जो हमेशा पहली पसंद को फेच करती हैं, उच्च प्रतिस्थापित गेट मास का उच्च परप्लेक्सिटी वृद्धि के साथ सहसंबंध है। इंजन में, समान डेटा पर विभिन्न नीतियों के बीच यह सहसंबंध मजबूत था (पियर्सन $r \approx 0.92$)। हालांकि, मास ने यह भविष्यवाणी नहीं की कि कौन से विशिष्ट इनपुट्स की गुणवत्ता कम होगी, न ही यह उन नीतियों की तुलना में प्रभावी रहा जिन्होंने पहली पसंद को प्रतिस्थापित किया।
3. प्रतिस्थापनों की संरचना (Composition of Substitutions): समान मास पर प्रतिस्थापनों की संरचना को बदलने वाला एक प्रयोग (एक्सपेरिमेंट B) पाया कि कुछ भारी प्रतिस्थापन कई हल्के प्रतिस्थापनों की तुलना में अधिक हानि का कारण बनते हैं, हालांकि नियोजित सांख्यिकीय निर्णय नियम कम वास्तविक मास के कारण कोई निर्णायक निर्णय नहीं दे सका।
4. बैकग्राउंड एडमिशन पॉलिसी: एक नियम जो एक एक्सपर्ट को कैश में तब शामिल करता है जब उसका संचित प्रतिस्थापित मास 0.5 के थ्रेशोल्ड तक पहुँच जाता है, उसने परप्लेक्सिटी को 0.3–1.5% कम कर दिया, जिसमें सबसे महत्वपूर्ण लाभ विषय परिवर्तन (topic changes) के तुरंत बाद हुआ।
5. चयनित नीतियों का प्रदर्शन: इन परिणामों के आधार पर दो नीतियों का चयन किया गया:
   • क्वालिटी-फर्स्ट (Quality-First): 0.15 नियम + फ्रीक्वेंसी-आधारित इविक्शन + बैकग्राउंड एडमिशन ($\beta=0.5$)।
   • स्पीड-फर्स्ट (Speed-First): फर्स्ट-चॉइस नियम + फ्रीक्वेंसी-आधारित इविक्शन + बैकग्राउंड एडमिशन ($\beta=0.5$)।
     दो होस्ट्स पर, ये नीतियां हर मिस को फेच करने की तुलना में प्रति टोकन 2.5–3.0× तेज़ थीं, जिसमें परप्लेक्सिटी वृद्धि केवल 0.7–1.5% थी। 0.15 नियम अकेले की तुलना में, क्वालिटी-फर्स्ट नीति ने मामूली समय लागत पर परप्लेक्सिटी को और कम (~0.5–0.8%) किया, जबकि स्पीड-फर्स्ट ने बिना किसी सांख्यिकीय रूप से महत्वपूर्ण परप्लेक्सिटी वृद्धि के समय को ~5% कम कर दिया।
6. स्टॉक llama.cpp के साथ तुलना: ~16 GB उपलब्ध RAM वाले मशीन पर, इंजन जिसने 0.15 नियम का उपयोग किया, उसने समान VRAM का उपयोग करने के लिए कॉन्फ़िगर किए गए स्टॉक llama.cpp की तुलना में 2.8–3.0× तेज़ डिकोडिंग की, जिसमें परप्लेक्सिटी वृद्धि केवल 1.6% थी।

महत्व और दावे
पेपर का दावा है कि यह सैकड़ों एक्सपर्ट्स वाले MoEs में गुणवत्ता हानि के लिए कौन से एक्सपर्ट प्रतिस्थापन जिम्मेदार हैं, इसका पहला सीधा माप प्रदान करता है। यह स्थापित करता है कि:

• प्रतिस्थापन रणनीति: उच्च-वेट एक्सपर्ट्स की सुरक्षा करना (0.15 नियम के माध्यम से) केवल प्रतिस्थापनों की कुल संख्या को कम करने की तुलना में अधिक प्रभावी है।
• मीट्रिक उपयोगिता: प्रतिस्थापित गेट मास समान इनपुट्स पर नीतियों की तुलना करने के लिए एक उपयोगी मीट्रिक है, लेकिन यह विभिन्न इनपुट्स पर होने वाली हानि का भविष्यवक्ता नहीं है।
• व्यावहारिक दक्षता: उपभोक्ता हार्डवेयर पर न्यूनतम गुणवत्ता गिरावट (0.7–1.5% परप्लेक्सिटी वृद्धि) के साथ बड़े MoEs को चलाना संभव है, जबकि मानक ऑफलोडिंग रणनीतियों की तुलना में 2.5–3.0× की गति प्राप्त की जा सकती है।

सीमाएं और विनम्रता
लेखक स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष विनम्र और सशर्त हैं:

• दायरा: परिणाम मुख्य रूप से Qwen3-Next-80B-A3B और टीचर-फोर्स्ड परप्लेक्सिटी पर आधारित हैं। जनरेशन टेस्ट (GSM8K और HumanEval) ने भविष्यवाणियों का केवल आंशिक रूप से समर्थन किया; उदाहरण के लिए, HumanEval पर मास और सहमति के बीच सहसंबंध विफल रहा।
• कारणता (Causality): अध्ययन एक्सपर्ट रैंक और वेट के प्रभावों को अलग नहीं करता है, और न ही यह दावा करता है कि गेट वेट स्वयं हानि का कारण बनता है।
• तुलना: नीतियों की तुलना प्रीफेचिंग या लोअर-प्रिसिजन विधियों से नहीं की गई थी।
• सामान्यीकरण: स्पीड रेश्यो और विशिष्ट परप्लेक्सिटी मान रिपोर्ट किए गए हार्डवेयर होस्ट के लिए हैं और अन्य मशीनों पर भिन्न हो सकते हैं।
• प्रायोगिक स्थिति: जनरेशन टेस्ट और एक्सपेरिमेंट B के अलावा, विश्लेषण अन्वेषणात्मक (exploratory) हैं। पेपर विफल भविष्यवाणियों (जैसे, समस्या-स्तर के मास सहसंबंधों के संबंध में) और ऐसे निष्कर्षों की रिपोर्ट करता है जो बढ़ते सैंपल साइज के साथ बदल गए (जैसे, मास और लॉस के बीच सहसंबंध)।

संक्षेप में, यह कार्य प्रदर्शित करता है कि बुद्धिमान प्रतिस्थापन और बैकग्राउंड एडमिशन नीतियां बड़े MoEs के ऑफलोडिंग की लेटेंसी को काफी कम कर सकती हैं, बशर्ते कि उच्च-वेट एक्सपर्ट्स को प्राथमिकता दी जाए।