HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference

कल्पना कीजिए कि आप एक विशाल, जटिल पहेली को हल करने की कोशिश कर रहे हैं, लेकिन पहेली के टुकड़े अलग-अलग घरों के पड़ोस में बिखरे हुए हैं। कुछ घरों में सुपर-फास्ट कंप्यूटर हैं, कुछ में धीमे, और कुछ घर फाइबर ऑप्टिक्स से बिजली की गति से जुड़े हैं, जबकि अन्य ऊबड़-खाबड़, धीमी कच्ची सड़कों से जुड़े हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, जब हम विशाल "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) मॉडल चलाने की कोशिश करते हैं, तो बिल्कुल ऐसा ही होता है। ये विशाल AI दिमाग अपने हर सवाल के लिए अपने हर हिस्से का उपयोग नहीं करते; इसके बजाय, वे समस्या को हल करने के लिए केवल कुछ विशिष्ट "विशेषज्ञ" (expert) हिस्सों को जगाते हैं। चुनौती यह पता लगाने में है कि विशेषज्ञों को कैसे जगाया जाए और सवाल को कहाँ भेजा जाए ताकि जवाब वापस आने में देरी न हो, ट्रैफिक में न फंसे या सटीकता कम न हो जाए। यदि हम सवाल को केवल निकटतम घर में भेज देते हैं, तो यह धीमा हो सकता है क्योंकि उस घर का कंप्यूटर थक गया है या उसकी हार्ड ड्राइव भर गई है। यदि हम इसे दूर भेजते हैं, तो यह धीमी सड़क पर ट्रैफिक जाम में फंस सकता है। वैज्ञानिक इस सवाल को रूट करने का सही तरीका खोजने की कोशिश कर रहे हैं, लेकिन पिछले अधिकांश तरीके ऐसे ट्रैफिक पुलिसकर्मी की तरह थे जो या तो एक बार में एक कार को देखते थे या केवल इस बात पर ध्यान देते थे कि घर कितना पास है, सड़क की गति या कंप्यूटर की स्थिति को नजरअंदाज कर देते थे।

यह शोध पत्र एक नया, अधिक स्मार्ट सिस्टम पेश करता है जिसे HetRoute कहा जाता है। HetRoute को एक सुपर-व्यवस्थित डिलीवरी सर्विस की तरह समझें जो न केवल एक घर या एक सड़क को देखती है। इसके बजाय, यह एक ही पहेली के टुकड़े के लिए पूरे डिलीवरी रूट को एक साथ देखती है। यह सब कुछ ध्यान में रखती है: घरों के बीच सड़कों की गति, घरों के अंदर के कंप्यूटरों की शक्ति, क्या कंप्यूटर वर्तमान में व्यस्त है (जैसे लोगों की लाइन लगी होना), और यहाँ तक कि क्या कंप्यूटर जगह बचाने के लिए पहेली के टुकड़े के "कंप्रेस्ड" (संक्षिप्त) संस्करण का उपयोग कर रहा है (जिससे उत्तर थोड़ा कम सटीक हो सकता है)। HetRoute एक एकल प्रश्न के लिए आवश्यक विशेषज्ञों के पूरे समूह के लिए एक एकीकृत योजना बनाता है, न कि प्रत्येक विशेषज्ञ के लिए अलग-अलग, लालची निर्णय लेता है। ऐसा करके, इसने पाया कि यह AI के जवाबों को औसतन 59.0% तेजी से पहुँचा सकता है और सबसे खराब स्थिति वाले विलंब (worst-case delays) को 58.0% तक कम कर सकता है। यह घरों के बीच यात्रा करने वाले डेटा की मात्रा को 72.1% तक कम कर देता है, जबकि मूल, अनकंप्रेस्ड संस्करण की तुलना में उत्तरों की गुणवत्ता लगभग उतनी ही अच्छी रहती है।

समस्या: वह "स्मार्ट" AI जो खो जाता है

यह समझने के लिए कि HetRoute एक बड़ी बात क्यों है, हमें पहले "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) मॉडल को समझना होगा। एक विशाल पुस्तकालय की कल्पना करें जहाँ हर किताब एक विशिष्ट विषय पर "विशेषज्ञ" है। जब आप एक सवाल पूछते हैं, तो पुस्तकालय हर किताब को नहीं पढ़ता; यह केवल उन शीर्ष कुछ किताबों ("Top-k" एक्सपर्ट्स) को निकालता है जो सबसे अधिक प्रासंगिक हैं। यह कुशल है क्योंकि जब आप गणित के बारे में पूछ रहे हों, तो आप खाना पकाने की किताबों को पढ़ने में समय बर्बाद नहीं करते।

हालाँकि, वास्तविक दुनिया में, ये पुस्तकालय अक्सर कई अलग-अलग सर्वरों (कंप्यूटरों) में विभाजित होते हैं जो अलग-अलग स्थानों पर स्थित होते हैं, जैसे कि आपके पास स्थित एज सर्वर। जब कोई सवाल आता है, तो आवश्यक "Top-k" विशेषज्ञ तीन अलग-अलग सर्वरों में बिखरे हो सकते हैं। इसे संभालने का पुराना तरीका एक दोस्त को तीन अलग-अलग घरों में जाकर तीन अलग-अलग किताबें लाने के लिए कहने जैसा था। यदि आपका दोस्त पहले निकटतम घर की ओर दौड़ता है, तो उसे पता चल सकता है कि किताब एक धीमी CPU (प्रोसेसर) में बंद है और उसे चाबी का इंतजार करना होगा। या, वह एक दूर के घर की ओर दौड़ सकता है जहाँ किताब एक हाई-स्पीड शेल्फ (फास्ट GPU मेमोरी) पर है, लेकिन वहाँ पहुँचने वाली सड़क ट्रैफिक से भरी हुई है।

पिछले तरीकों ने इसे या तो:

1. स्थानीय रहने (Staying Local) द्वारा: हमेशा निकटतम सर्वर पर मौजूद विशेषज्ञों का उपयोग करने की कोशिश की, भले ही वह सर्वर धीमा या व्यस्त हो।
2. लालची चयन (Greedy Selection) द्वारा: प्रत्येक विशेषज्ञ के लिए सबसे अच्छे सर्वर को व्यक्तिगत रूप से चुनना, बिना यह समझे कि विशेषज्ञ A के लिए सबसे अच्छा चुनने से विशेषज्ञ B के लिए एक बहुत ही खराब रास्ता बन सकता है, जिससे पूरे समूह की गति धीमी हो सकती है।

यह शोध पत्र तर्क देता है कि पुराने तरीके दोषपूर्ण हैं क्योंकि वे विशेषज्ञों को स्वतंत्र यात्रियों के रूप में देखते हैं। वास्तव में, वे एक टीम हैं। यदि एक टीम का सदस्य धीमा है, तो पूरी टीम धीमी है।

समाधान: HetRoute का "टीम कैप्टन"

HetRoute एक प्रतिभाशाली टीम कैप्टन की तरह कार्य करता है जो किसी के भी प्रस्थान करने से पहले पूरे मिशन की योजना बनाता है। यह एक "यूनिफाइड कॉस्ट मॉडल" का उपयोग करता है, जो एक फैंसी शब्द है जिसका अर्थ है कि इसके पास एक एकल स्कोरकार्ड है जो एक साथ चार चीजों को तौलता है:

1. ट्रांसमिशन लागत (Transmission Cost): इंटरनेट के माध्यम से सर्वर तक सवाल भेजने में लगने वाला समय।
2. लोडिंग लागत (Loading Cost): यदि विशेषज्ञ पहले से वहां नहीं है, तो उसे एक धीमी हार्ड ड्राइव (CPU) से तेज़ मेमोरी बैंक (GPU) में ले जाने में लगने वाला समय।
3. कंप्यूटेशन और क्यूइंग (Computation & Queueing): सर्वर कितनी तेज़ी से सोच सकता है, और सवाल को अन्य सवालों के पीछे कितनी देर तक प्रतीक्षा करनी पड़ती है।
4. क्वालिटी पेनल्टी (Quality Penalty): यदि सर्वर जगह बचाने के लिए विशेषज्ञ के "कंप्रेस्ड" संस्करण का उपयोग करता है, तो उत्तर की गुणवत्ता कितनी प्रभावित होती है?

HetRoute दो चरणों में काम करता है: ऑफलाइन और ऑनलाइन।

ऑफलाइन चरण (मैप बनाने वाला):
किसी भी सवाल को पूछे जाने से पहले, HetRoute नेटवर्क को देखता है और यह निर्णय लेता है कि विशेषज्ञों की प्रतियां कहाँ रखी जाएं। यह केवल निकटतम सर्वर पर विशेषज्ञ रखने के बारे में नहीं है। यह पूछता है: "यदि हम इस विशेषज्ञ की एक प्रति सर्वर B पर रखते हैं, तो क्या इससे बाद में समय बचेगा?" यह यह भी तय करता है कि किन विशेषज्ञों को तेज़ "GPU" मेमोरी में रहना चाहिए और किन्हें धीमी "CPU" मेमोरी में रह सकता है। महत्वपूर्ण रूप से, यह "रिडंडेंट" (अतिरिक्त) प्रतियां बनाता है। ठीक वैसे ही जैसे आपकी कार में स्पेयर टायर होता है, HetRoute लोकप्रिय विशेषज्ञों की अतिरिक्त प्रतियां विभिन्न सर्वरों पर रखता है। यह सुनिश्चित करता है कि यदि एक सर्वर व्यस्त या खराब हो जाता है, तो टीम कैप्टन के पास अन्य विकल्प हों।

ऑनलाइन चरण (रियल-टाइम नेविगेटर):
जब कोई वास्तविक सवाल आता है, तो HetRoute केवल निकटतम सर्वर नहीं चुनता। यह उस सवाल के लिए आवश्यक विशेषज्ञों के पूरे समूह को देखता है। यह पूछता है: "यदि मैं विशेषज्ञ A को सर्वर X पर और विशेषज्ञ B को सर्वर Y पर भेजता हूँ, तो कुल समय क्या होगा?" यह "बॉटलनेक" (bottleneck) की गणना करता है—टीम का सबसे धीमा हिस्सा। यदि सर्वर X तेज़ है लेकिन सर्वर Y ट्रैफिक जाम में फंसा हुआ है, तो HetRoute यह तय कर सकता है कि दोनों विशेषज्ञों को सर्वर Z पर भेजा जाए, भले ही सर्वर Z थोड़ा दूर हो, क्योंकि पूरी टीम एक साथ तेज़ी से काम पूरा कर लेगी।

यह "बीम सर्च" (beam search) नामक एक चतुर तकनीक का उपयोग करता है (जैसे कि एक टॉर्च जो एक साथ कुछ बेहतरीन रास्तों को स्कैन करती है) ताकि वह संभावनाओं के भूलभुलैया में फंसे बिना, सर्वरों के सही संयोजन को खोज सके।

परिणाम: तेज़, स्मार्ट और सुरक्षित

लेखकों ने 10 अलग-अलग गति और कनेक्शन वाले एज सर्वरों के सिम्युलेटेड नेटवर्क पर HetRoute का परीक्षण किया। उन्होंने प्रदर्शन देखने के लिए तीन अलग-अलग बड़े AI मॉडल का उपयोग किया।

परिणाम प्रभावशाली थे:

• गति: मौजूदा सर्वोत्तम तरीकों की तुलना में HetRoute ने उत्तर प्राप्त करने में लगने वाले औसत समय को 59.0% तक कम कर दिया। इसने "टेल लेटेंसी" (सबसे खराब स्थिति में होने वाले विलंब) को भी 58.0% तक कम कर दिया।
• ट्रैफिक: इसने सर्वरों के बीच यात्रा करने वाले डेटा की मात्रा को 72.1% तक कम कर दिया। यह बहुत बड़ी बात है क्योंकि इंटरनेट पर डेटा भेजना धीमा और महंगा होता है।
• थ्रूपुट (Throughput): यह सिस्टम अन्य तरीकों की तुलना में प्रति सेकंड 2.13 गुना अधिक सवाल संभाल सकता है।
• गुणवत्ता: तेज़ होने के बावजूद, उत्तरों की गुणवत्ता बहुत उच्च बनी रही। "क्वालिटी डिग्रेडेशन" (उत्तर कितना खराब हुआ) को एक बहुत छोटे, पूर्व-निर्धारित बजट के भीतर 2% तक रखा गया।

शोध पत्र ने गणितीय रूप से भी सिद्ध किया कि उनका सिस्टम "क्वालिटी-सेफ" (गुणवत्ता-सुरक्षित) है। भले ही नेटवर्क बहुत व्यस्त हो जाए और सामान्य तेज़ रास्ते अवरुद्ध हो जाएं, HetRoute के पास एक "फ़ालबैक" (fallback) योजना है। यह हमेशा एक "फुल-प्रिसिजन" विशेषज्ञ (उच्चतम गुणवत्ता वाला संस्करण) की ओर सवाल भेजेगा जो कहीं न कहीं मौजूद होने की गारंटी है, यह सुनिश्चित करते हुए कि उत्तर कभी भी बुरा न हो, भले ही इसमें थोड़ा अधिक समय लगे।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दिखाता है कि हमें गति और गुणवत्ता, या स्थानीय और रिमोट कंप्यूटिंग के बीच चुनाव करने की आवश्यकता नहीं है। AI विशेषज्ञों को व्यक्तिगत धावकों के बजाय एक समन्वित टीम के रूप में मानकर, और रियल-टाइम ट्रैफिक और कंप्यूटर स्वास्थ्य के आधार पर पूरे रूट की योजना बनाकर, हम शक्तिशाली AI को नेटवर्क के "एज" (जैसे आपके फोन या स्थानीय सर्वर) पर भी सुचारू रूप से चला सकते हैं। HetRoute सुझाव देता है कि भविष्य केवल बड़े मॉडल बनाने के बारे में नहीं है, बल्कि उन्हें चलाने के तरीके के बारे में स्मार्ट होने के बारे में है। यह एक अराजक, ट्रैफिक-जाम वाले नेटवर्क को एक सुव्यवस्थित मशीन में बदल देता है जहाँ प्रत्येक विशेषज्ञ जानता है कि काम को सबसे तेज़ी से पूरा करने के लिए कहाँ जाना है।