WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware
यह शोधपत्र WiSP प्रस्तुत करता है, जो कम-संसाधन वाले हार्डवेयर पर Mixture-of-Experts मॉडल्स के लिए एक रूटिंग-अवेयर वर्किंग-सेट मैनेजमेंट सिस्टम है, जो अंडरलाइंग सर्विंग इंजन को संशोधित किए बिना विशेषज्ञ वेट्स (expert weights) को गतिशील रूप से पेज करता है और विशेषज्ञों एवं KV कैश के बीच VRAM आवंटन को अनुकूलित करके डिकोड थ्रूपुट में महत्वपूर्ण सुधार करता है।