← नवीनतम पेपर
🤖 machine learning

Lynx: Enabling Efficient MoE Inference through Dynamic Batch-Aware Expert Selection

Lynx एक वर्कलोड-अज्ञेय (workload-agnostic) प्रणाली है जो प्रशिक्षण-प्रेरित सक्रियण विषमताओं (training-induced activation skews) का लाभ उठाकर और टोकन-टू-एक्सपर्ट असाइनमेंट को गतिशील रूप से पुनर्मैप करने के लिए एक नवीन AffinityBinning तकनीक का उपयोग करके कुशल मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) इन्फरेंस को सक्षम बनाती है, जिससे सटीक परिणामों से महत्वपूर्ण समझौता किए बिना, आह्वान किए गए विशेषज्ञों की संख्या कम होती है और थ्रूपुट में 1.30x तक सुधार होता है।

मूल लेखक: Vima Gupta, Jae Hyung Ju, Kartik Sinha, Ada Gavrilovska, Anand Padmanabha Iyer

प्रकाशित 2026-05-20
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Vima Gupta, Jae Hyung Ju, Kartik Sinha, Ada Gavrilovska, Anand Padmanabha Iyer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप "The MoE Kitchen" नामक एक विशाल, उच्च-स्तरीय रेस्तरां चलाते हैं।

इस किचन में, हर व्यंजन बनाने की कोशिश करने वाले एक विशाल शेफ के बजाय, आपके पास 64 विशिष्ट विशेषज्ञ सू-शेफ (विशेषज्ञों) की एक टीम है। वहां एक मुख्य वेटर (राउटर) है जो हर ऑर्डर (टोकन) को देखता है और तय करता है कि कौन से 8 विशिष्ट शेफ को वह व्यंजन बनाना चाहिए।

यह सेटअप शानदार है क्योंकि यह कुशल है: आपको उन सभी 64 शेफ को भुगतान करने की आवश्यकता नहीं है जो हर ऑर्डर पर काम करते हैं। आपको केवल उन 8 को भुगतान करना है जिनकी आवश्यकता है। आधुनिक AI मॉडल जैसे Qwen या Llama इसी तरह काम करते हैं—वे बहुत बड़े होते हैं, लेकिन वे प्रत्येक शब्द उत्पन्न करने के लिए अपने मस्तिष्क के एक छोटे से हिस्से को ही "जगाते" हैं।

समस्या: रश ऑवर का ट्रैफिक जाम

पेपर एक बड़ी समस्या के बारे में बताता है जो तब होती है जब किचन व्यस्त हो जाता है (जिसे बैचिंग कहा जाता है)।

जब आपके पास केवल एक ग्राहक होता है, तो मुख्य वेटर 8 विशिष्ट शेफ को उनका ऑर्डर भेज देता है। आसान है।
लेकिन जब 16 ग्राहकों का एक बैच आता है, तो मुख्य वेटर सभी 16 ऑर्डरों को देखता है। चूंकि प्रत्येक ग्राहक अलग है, इसलिए वेटर को समूह को संभालने के लिए लगभग सभी 64 शेफ को बुलाना पड़ता है।

बाधा (The Bottleneck):
किचन इस तरह व्यवस्थित है कि सामग्री (शेफ का ज्ञान) एक विशाल, हाई-स्पीड पेंट्री (GPU मेमोरी) में संग्रहीत है। खाना पकाने के लिए, शेफ को अपने विशिष्ट सामान को लेने के लिए पेंट्री तक दौड़ना पड़ता है।

  • समस्या: जब 16 ग्राहक आते हैं, तो पेंट्री में भीड़ हो जाती है। शेफ वास्तव में खाना पकाने के बजाय सामान लेने के लिए पेंट्री के चक्कर लगाने में अधिक समय बिताते हैं। किचन धीमा हो जाता है क्योंकि "दौड़ना" (मेमोरी बैंडविड्थ) ही बाधा बन जाता है, न कि "खाना पकाना" (कंप्यूटेशन)।
  • परिणाम: भले ही AI को तेज़ और कुशल होना चाहिए, लेकिन यह एक साथ कई अनुरोधों को संभालने के दौरान धीमा हो जाता है क्योंकि यह डेटा प्राप्त करने में फंसा रहता है।

समाधान: LYNX (स्मार्ट वेटर)

लेखकों ने LYNX नामक एक नया सिस्टम बनाया है। LYNX को एक सुपर-स्मार्ट, डायनेमिक मैनेजर के रूप में समझें जो केवल तभी हस्तक्षेप करता है जब किचन व्यस्त होता है (डिकोड चरण के दौरान, जो रेस्तरां में खाना एक बार में एक बाइट करके परोसने जैसा है)।

LYNX किसी भी शेफ को निकालता नहीं है और न ही मेनू बदलता है। इसके बजाय, यह AffinityBinning (एक फैंसी तरीका जिसे "कॉन्फिडेंस के आधार पर ग्रुपिंग" कहा जाता है) नामक एक चतुर ट्रिक का उपयोग करता है।

यहाँ बताया गया है कि LYNX चरण-दर-चरण कैसे काम करता है:

  1. "कॉन्फिडेंस" चेक:
    कभी-कभी, मुख्य वेटर 100% आश्वस्त होता है कि शेफ A इस व्यंजन के लिए सबसे अच्छा है। अन्य समय में, वेटर अनिश्चित होता है और शेफ B को केवल इसलिए चुन लेता है क्योंकि नियम कहते हैं कि "आपको 8 अलग-अलग लोगों को चुनना ही होगा।" पेपर में पाया गया कि ये "अनिश्चित" चुनाव अक्सर अनावश्यक होते हैं।
  • उपमा: यदि आप किसी मित्र से फिल्म का सुझाव मांगते हैं और वह कहता है, "मुझे यकीन नहीं है, लेकिन शायद मूवी X या मूवी Y," तो वे वास्तव में दोनों के प्रति प्रतिबद्ध नहीं हैं। यदि आप उनसे फिर से पूछते हैं, तो वे शायद फिर से मूवी X ही चुन लेंगे।
  1. "बिनिंग" रणनीति:
    LYNX वेटर के कॉन्फिडेंस स्कोर को देखता है। यह ऑर्डरों को "बकेट" (बाल्टियों) में समूहबद्ध करता है।
  • हाई कॉन्फिडेंस: "यह ऑर्डर शेफ A के लिए ही होना चाहिए।" (LYNX इसे अकेला छोड़ देता है)।
  • लो कॉन्फिडेंस: "यह ऑर्डर बस किसी तरह से शेफ B के लिए है।" (LYNX कहता है, "वास्तव में, आइए इसे शेफ A को भेज दें, क्योंकि शेफ A पहले से ही अन्य ऑर्डरों के लिए किचन में मौजूद है।")
  1. द ग्रेट रीमैप (The Great Remap):
    LYNX उन "लो कॉन्फिडेंस" ऑर्डरों को लेता है और उन्हें उन शेफों की ओर पुनर्निर्देशित (redirect) करता है जो बैच में पहले से ही उपयोग किए जा रहे हैं।
  • जादू: 64 अलग-अलग शेफों के लिए सामग्री लेने के लिए पेंट्री तक दौड़ने के बजाय, अब किचन को केवल 30 शेफों के लिए पेंट्री तक दौड़ने की आवश्यकता होती है।
  • परिणाम: शेफ सामान लेने के बजाय खाना पकाने में अधिक समय बिताते हैं। किचन बहुत तेज़ी से चलता है।

यह क्यों विशेष है

पेपर तीन मुख्य कारणों पर प्रकाश डालता है कि LYNX क्यों एक बड़ी बात है:

  • यह "वर्कलोड-एग्नोस्टिक" है: LYNX को किसी विशिष्ट प्रकार के ग्राहक या मेनू पर प्रशिक्षित करने की आवश्यकता नहीं है। यह हर बार, मौके पर ही पैटर्न को समझ लेता है। यह एक ऐसे मैनेजर की तरह है जो बिना किसी मैनुअल के तुरंत भीड़ की आदतों को सीख लेता है।
  • यह कुछ भी तोड़ता नहीं है: LYNX किसी भी शेफ को निकालता नहीं है या रेसिपी नहीं बदलता है। यह केवल उस विशिष्ट क्षण के लिए काम को पुनर्व्यवस्थित करता है। पेपर दिखाता है कि भोजन (AI के उत्तर) का स्वाद उतना ही अच्छा रहता है, या कभी-कभी बेहतर भी होता है, क्योंकि यह शेफ को वे व्यंजन पकाने के लिए मजबूर करना बंद कर देता है जिनके बारे में वे आश्वस्त नहीं हैं।
  • यह दूसरों के साथ मिलकर काम करता है: LYNX को अन्य स्पीड-अप ट्रिक्स (जैसे शेफ के एप्रन को छोटा करना या उन्हें एक अलग इमारत में भेजना) के ऊपर जोड़ा जा सकता है ताकि उन्हें और भी तेज़ बनाया जा सके।

परिणाम

जब लेखकों ने वास्तविक दुनिया के AI मॉडल्स (जैसे Qwen, Mixtral, और Llama) पर कोडिंग, गणित और रीजनिंग जैसे कार्यों में इसका परीक्षण किया:

  • गति (Speed): सबसे खराब मामलों में भी, सिस्टम 1.3 गुना तेज़ (30% की गति वृद्धि) हो गया।
  • सटीकता (Accuracy): उत्तर उतने ही सटीक थे, या थोड़े बेहतर भी थे। सबसे खराब स्थिति में भी, सटीकता में 1% से भी कम की गिरावट आई, जो लगभग नगण्य है।
  • दक्षता (Efficiency): इसने सिस्टम को बिना धीमा हुए एक साथ अधिक ग्राहकों को संभालने की अनुमति दी।

सारांश

LYNX एक व्यस्त AI किचन के लिए ट्रैफिक पुलिस की तरह है। यह देखता है कि जब ऑर्डरों का एक समूह आता है, तो किचन बहुत सारे अलग-अलग शेफ के लिए पेंट्री तक दौड़कर समय बर्बाद कर रहा है। इसलिए, यह चतुराई से "शायद" वाले ऑर्डरों को उन शेफों की ओर मोड़ देता है जो पहले से ही काम कर रहे हैं, जिससे ट्रैफिक जाम कम होता है और खाना तेज़ी से बाहर आता है, और यह सब मेनू बदले बिना या किसी को निकाले बिना किया जाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →