🤖 machine learning

User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling

यह शोध पत्र एक उपयोगकर्ता-सहायता प्राप्त सहयोगात्मक वितरित अनुमान प्रणाली (collaborative distributed inference system) प्रस्तावित करता है जो QoS-जागरूक ऑटोस्केलिंग को सक्षम करने के लिए समर्पित बुनियादी ढांचे को स्वयंसेवक उपयोगकर्ता संसाधनों के साथ जोड़ता है, और एक उच्च-आयामी मार्कोव मॉडल (high-dimensional Markov model) तथा सिमुलेशन के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण उपयोगकर्ता आबादी बढ़ने के साथ समर्पित संसाधन खपत को कम करते हुए विलंबता (latency) और अनुरोध पूर्णता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

प्रकाशित 2026-08-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर की तरह है जहाँ हर कोई लगातार मदद मांग रहा है। कभी-कभी उन्हें एक त्वरित उत्तर चाहिए होता है, लेकिन अक्सर वे कुछ अविश्वसनीय रूप से जटिल चीज़ मांग रहे होते हैं, जैसे कि एक सुपर-इंटेलिजेंट रोबोट से कहानी लिखने, गणित की समस्या हल करने, या किसी फोटो में चेहरा पहचानने के लिए कहना। इसे "एआई इन्फरेंस" (AI inference) कहा जाता है। अभी, यह सारा भारी काम बड़े, केंद्रीकृत डेटा केंद्रों में किया जा रहा है—इन्हें विशाल, किलेनुमा कारखानों के रूप में सोचें जहाँ हजारों शक्तिशाली कंप्यूटर मिलकर काम करते हैं। जबकि ये कारखाने अद्भुत हैं, इन्हें बनाना और चलाना अविश्वसनीय रूप से महंगा होता जा रहा है, और वे इतनी ऊर्जा का उपयोग करते हैं कि वे हमारे ग्रह पर एक विशाल कार्बन फुटप्रिंट छोड़ रहे हैं। यह बिल्कुल वैसा ही है जैसे किसी पूरे शहर की ट्रैफिक लाइटों को चलाने के लिए एक ही गरजते हुए जनरेटर का उपयोग करना; यह काम तो करता है, लेकिन यह शोर भरा, महंगा है और जैसे-जैसे अधिक लोग सड़क पर शामिल होते हैं, इसके साथ तालमेल बिठाना कठिन होता जाता है।

इस समस्या को हल करने के लिए, वैज्ञानिक "एज कंप्यूटिंग" (edge computing) की ओर देख रहे हैं, जो कुछ हद तक काम को उन लोगों के करीब ले जाने जैसा है जिन्हें इसकी आवश्यकता है, शायद स्थानीय पड़ोस के केंद्रों तक। लेकिन एक और अधिक क्रांतिकारी विचार है: क्या होगा यदि हम मदद मांग रहे लोगों में से ही बहुत थोड़ी सी कंप्यूटिंग शक्ति उधार ले सकें? यह "स्वयंसेवक कंप्यूटिंग" (volunteer computing) की अवधारणा है, जहाँ आपका फोन, लैपटॉप या टैबलेट जब खाली हो, तो अपनी अतिरिक्त मानसिक शक्ति (brainpower) समूह को उधार दे सकता है। सबसे बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम इन दोनों दुनियाओं को मिला सकते हैं? क्या हम कुछ शक्तिशाली सर्वर रख सकते हैं जो बुनियादी चीजों को संभाल सकें, जबकि बाकी काम को संभालने के लिए लाखों सामान्य उपयोगकर्ताओं को इसमें योगदान देने की अनुमति दी जाए, जिससे एक ऐसा सिस्टम बन सके जो बिना और अधिक विशाल कारखाने बनाए स्वचालित रूप से स्केल (scale up) हो सके?

यह बिल्कुल वही है जिसे इस शोध पत्र के शोधकर्ताओं ने तलाशने का प्रयास किया है। वे एआई सेवाओं को चलाने का एक नया तरीका प्रस्तावित करते हैं जिसे "यूजर-असिस्टेड कोलैबोरेटिव डिस्ट्रीब्यूटेड इन्फरेंस" (User-Assisted Collaborative Distributed Inference) कहा जाता है। केवल महंगे, केंद्रीकृत सर्वरों पर निर्भर रहने के बजाय, उनका सिस्टम काम को विभाजित करता है। एक केंद्रीय सर्वर "कप्तान" के रूप में कार्य करता है, जो यह सुनिश्चित करने के लिए बुनियादी मात्रा में काम संभालता है कि चीजें सुचारू रूप से चलती रहें, लेकिन वह बड़े कार्यों को छोटे "सब-टास्क" (subtasks) में भी तोड़ देता है और उन्हें उन उपयोगकर्ताओं के उपकरणों पर भेज देता है जो वर्तमान में ऑनलाइन हैं। यदि किसी उपयोगकर्ता का फोन खाली बैठा है, तो वह एक सब-टास्क ले सकता है, गणना कर सकता है, और परिणाम वापस भेज सकता है। सिस्टम स्मार्ट तरीके से डिज़ाइन किया गया है: यदि उपयोगकर्ताओं की भीड़ कम है, तो सर्वर अधिकांश काम करेगा; यदि भीड़ बहुत बड़ी हो जाती है, तो सिस्टम स्वचालित रूप से उन सभी उपकरणों से मिलने वाली स्वयंसेवक शक्ति पर अधिक निर्भर हो जाएगा।

यह पता लगाने के लिए कि क्या वास्तव में यह विचार बिना पूरे सिस्टम को क्रैश किए काम करता है, लेखकों ने केवल एक वास्तविक प्रोटोटाइप नहीं बनाया और उम्मीद नहीं की। इसके बजाय, उन्होंने सिस्टम का एक अत्यधिक विस्तृत "डिजिटल ट्विन" (digital twin) बनाया—एक जटिल गणितीय मॉडल जो सिमुलेट करता है कि उपयोगकर्ता, उपकरण और कार्य समय के साथ कैसे परस्पर क्रिया करते हैं। उन्होंने सिस्टम को एक जीवित जीव की तरह माना जो हर सेकंड बदलता रहता है, जिसमें उपयोगकर्ता लॉग इन और लॉग आउट होते हैं, उपकरणों की अलग-अलग गति होती है, और कार्यों को पूरा होने में अलग-अलग समय लगता है। उन्होंने इस मॉडल का उपयोग हजारों सिमुलेशन चलाने के लिए किया, विभिन्न परिदृश्यों का परीक्षण किया: क्या होता है यदि हमारे पास 100 उपयोगकर्ता हों? क्या होता है यदि हमारे पास 10,000 उपयोगकर्ता हों? क्या होता है यदि सर्वर छोटा है, और क्या होता है यदि वह बहुत बड़ा है? उन्होंने अपने इस नए "सहयोगात्मक" (collaborative) दृष्टिकोण की तुलना पुराने "केवल केंद्रीकृत" तरीके से की।

सिमुलेशन से प्राप्त परिणाम काफी उत्साहजनक थे। शोधकर्ताओं ने पाया कि जैसे-जैसे उपयोगकर्ताओं की संख्या बढ़ी, सहयोगात्मक सिस्टम पारंपरिक सिस्टम की तुलना में काफी बेहतर हो गया। जब उपयोगकर्ता की आबादी कम थी, तो केंद्रीकृत सर्वर ने चीजों को ठीक से संभाला। लेकिन जैसे ही भीड़ 10,000 उपयोगकर्ताओं तक पहुँच गई, केंद्रीकृत सिस्टम संघर्ष करने लगा, जिसमें कई अनुरोध रद्द हो गए या उन्हें पूरा होने में बहुत लंबा समय लगा। इसके विपरीत, सहयोगात्मक सिस्टम फला-फूला। उपयोगकर्ताओं के उपकरणों को काम सौंपकर, इसने अधिक अनुरोधों को पूरा किया और इसने "टेल लेटेंसी" (tail latency - वह समय जो सबसे धीमे अनुरोधों को पूरा होने में लगता है) को बहुत कम रखा। शायद सबसे महत्वपूर्ण बात यह है कि सहयोगात्मक सिस्टम को इन परिणामों को प्राप्त करने के लिए बहुत कम समर्पित सर्वर शक्ति की आवश्यकता थी। सिमुलेशन ने सुझाव दिया कि मध्यम मात्रा में सर्वर क्षमता के साथ—लगभग आधार इकाई का 30 से 50 गुना—सिस्टम उपयोगकर्ताओं पर निर्भर होकर भारी मांग को संभाल सकता है, जबकि केंद्रीकृत सिस्टम को अपने हार्डवेयर को अनिश्चित काल तक स्केल करने की आवश्यकता होती, जो महंगा और अक्षम है।

हालाँकि, शोध पत्र सावधानीपूर्वक नोट करता है कि यह एक सिमुलेशन है, न कि कोई तैयार उत्पाद जो आज आपके फोन के लिए उपलब्ध है। शोधकर्ताओं ने सर्वर द्वारा कार्य सौंपने के विभिन्न "रणनीतियों" (strategies) का परीक्षण किया। एक रणनीति यह थी कि उपलब्ध किसी भी उपयोगकर्ता को बेतरतीब ढंग से कार्य सौंप दिए जाएं, जबकि दूसरी रणनीति यह थी कि समय बचाने के लिए समान कार्यों को एक ही डिवाइस पर समूहित (grouping) करने का प्रयास किया जाए। "रैंडम" (random) दृष्टिकोण आश्चर्यजनक रूप से अच्छा काम करता है, लेकिन "स्मार्ट ग्रुपिंग" वाला दृष्टिकोण तब समस्याएं पैदा कर सकता है यदि किसी उपयोगकर्ता का डिवाइस अचानक ऑफलाइन हो जाता है, जिससे काम का पूरा बैच बाधित हो जाता है। अध्ययन निष्कर्ष निकालता है कि हालांकि यह विचार व्यवहार्य है और गणित सही है, लेकिन शेड्यूलिंग नियमों को पूर्ण करने और यह सुनिश्चित करने के लिए कि सिस्टम वास्तविक दुनिया के लिए पर्याप्त मजबूत है, अभी भी काम किया जाना बाकी है। अंततः, शोध पत्र सुझाव देता है कि भीड़ से थोड़ी शक्ति उधार लेना एआई सेवाओं को सस्ता, हरा-भरा और भविष्य की भारी मांग को संभालने में सक्षम बनाने की कुंजी हो सकती है, बिना अनंत नए डेटा सेंटर बनाए।

तकनीकी सारांश: कुशल QoS-जागरूक ऑटोस्केलिंग के लिए उपयोगकर्ता-सहायता प्राप्त सहयोगात्मक वितरित अनुमान (Inference)

समस्या विवरण
यह शोध पत्र केंद्रीकृत AI अनुमान (inference) सेवाओं से जुड़े बढ़ते परिचालन लागतों और पर्यावरणीय बोझों को संबोधित करता है। जैसे-जैसे AI अनुमान की मांग बढ़ रही है, केंद्रीकृत क्लाउड इंफ्रास्ट्रक्चर की लागत आनुपातिक रूप से बढ़ती जा रही है, जिससे अत्यधिक खर्च और महत्वपूर्ण ऊर्जा खपत (जैसे, CO2 उत्सर्जन और जल उपयोग) हो रही है। जबकि एज (edge) और फॉग (fog) कंप्यूटिंग वितरण के माध्यम से आंशिक समाधान प्रदान करते हैं, वे अक्सर समर्पित बुनियादी ढांचे पर निर्भर होते हैं जो व्यापक रूप से अपनाने के लिए आर्थिक और वास्तुशरीय बाधाओं का सामना करते हैं। इसके विपरीत, वॉलंटियर कंप्यूटिंग (volunteer computing) उपयोगकर्ता उपकरणों से उपलब्ध खाली संसाधनों का लाभ उठाती है, लेकिन संसाधन विषमता (heterogeneity) और अनिश्चित उपलब्धता के कारण इसमें उपभोक्ता-उन्मुख AI अनुप्रयोगों के लिए आवश्यक स्थिरता और गुणवत्तापूर्ण सेवा (QoS) गारंटी की कमी होती है। मुख्य चुनौती एक ऐसी प्रणाली डिजाइन करना है जो समर्पित सर्वरों और स्वैच्छिक उपयोगकर्ता संसाधनों के बीच अनुमान को प्रभावी ढंग से विभाजित कर सके, ताकि सख्त QoS बाधाओं को बनाए रखते हुए स्केलेबल और लागत-कुशल ऑटोस्केलिंग प्राप्त की जा सके।

कार्यप्रणाली (Methodology)
लेखक एक सहयोगात्मक वितरित अनुमान प्रणाली का प्रस्ताव करते हैं जहाँ एक केंद्रीय सर्वर समर्पित बुनियादी ढांचे और स्वैच्छिक उपयोगकर्ता उपकरणों के मिश्रण के बीच अनुमान कार्यों का समन्वय करता है। यह प्रणाली तीन चरणों में कार्य करती है: उपयोगकर्ता अनुमान के लिए अनुरोध करते हैं, सर्वर एक नीति के आधार पर उपलब्ध संसाधनों में उप-कार्यों (subtasks) को शेड्यूल करता है, और सर्वर प्रतिक्रियाएं वापस करने के लिए परिणामों को एकत्रित करता है।

इस गतिशील प्रणाली का विश्लेषण और अनुकूलन करने के लिए, लेखक एक उच्च-आयामी जनरेटिव मार्कोव मॉडल (high-dimensional generative Markov model) विकसित करते हैं जिसमें संरचित टेम्पोरल फैक्टराइजेशन (temporal factorization) है। यह मॉडल उपयोगकर्ताओं, संसाधनों, कार्यों और नीतियों के बीच स्टोकेस्टिक अंतःक्रियाओं को कैप्चर करता है। कार्यप्रणाली के प्रमुख घटक निम्नलिखित हैं:

सिस्टम स्टेट प्रतिनिधित्व: अवस्था $s_t$ को उच्च-आयामी चरों के एक टुपल (tuple) के रूप में परिभाषित किया गया है जिसमें उपयोगकर्ता उपलब्धता ( $o_t$ ), अनुमान अनुरोध ( $q_t$ ), आवंटित संसाधन ( $a_t$ ), उपकार्य तत्परता ( $x_t$ ), उपकार्य निष्पादन अवस्थाएँ ( $y_t$ ), और संसाधन खपत ( $c_t$ ) शामिल हैं।
जनरेटिव मॉडलिंग:
- उपलब्धता: अवस्था अवधि और संक्रमण संभावनाओं को कैप्चर करने के लिए पैरामीट्रिक सर्वाइवल डिस्ट्रीब्यूशन (ऑनलाइन के लिए Weibull, ऑफलाइन के लिए log-normal) का उपयोग किया गया है।
- अनुरोध: इंटर-अनुरोध समय और उपयोगकर्ता धैर्य को दर्शाने के लिए पारेटो (Pareto) सर्वाइवल फंक्शन का उपयोग किया गया है।
- संसाधन और खपत: बैंडविड्थ, CPU, मेमोरी और स्टोरेज के अनुभवजन्य मापों पर फिट किए गए ARMA (AutoRegressive Moving Average) मॉडल का उपयोग करके संसाधन प्रक्षेपवक्र (trajectories) और खपत पैटर्न का अनुकरण किया गया है।
- निष्पादन गतिशीलता (Execution Dynamics): विभिन्न बैच साइज और बैंडविड्थ के तहत कंप्यूटर-विज़न उपकार्य ट्रेसेस का उपयोग करके डाउनलोड, निष्पादन और अपलोड चरणों को डिस्क्रीट-टाइम हज़ार्ड मॉडल के माध्यम से मॉडल किया गया है।
निर्णय लेने वाली नीतियां: प्रणाली दो नीतियों का उपयोग करती है: सर्वर की ओर से एक शेड्यूलर ( $\pi$ $π$ ) और नोड की ओर से एक एक्सेक्यूटर ( $\varsigma$ $ς$ )। अध्ययन तीन शेड्यूलिंग रणनीतियों का मूल्यांकन करता है:
1. केंद्रीकृत (Centralized): सभी कार्य समर्पित सर्वर पर चलते हैं।
2. यूनिफॉर्म (Uniform): कार्यों को उन ऑनलाइन उपयोगकर्ता नोड्स को बेतरतीब ढंग से सौंपा जाता है जिनके पास पर्याप्त क्षमता है।
3. अफ़िनिटी-आधारित (Affinity-based): कार्यों को उन नोड्स को सौंपा जाता है जो पहले से ही उसी उपकार्य प्रकार के सक्रिय निष्पादन को होस्ट कर रहे हैं, ताकि बैचिंग दक्षता को अधिकतम किया जा सके।
अनुकूलन ढांचा (Optimization Framework): मॉडल दो अनुकूलन समस्याओं को परिभाषित करता है: एक निश्चित शेड्यूलर के लिए QoS को अधिकतम करना (लेटेंसी कम करना), और QoS बाधाओं (जैसे, P99 लेटेंसी थ्रेसहोल्ड) को पूरा करते हुए समर्पित संसाधन आवंटन को न्यूनतम करना।

प्रमुख योगदान

सिस्टम आर्किटेक्चर: एक नवीन सहयोगात्मक वितरित अनुमान प्रणाली जो वर्कलोड को समर्पित सर्वरों और स्वैच्छिक उपयोगकर्ता उपकरणों के बीच विभाजित करती है, जिससे पारंपरिक क्लाउड स्केलिंग के समान केंद्रीकृत बुनियादी ढांचे के आनुपातिक विकास के बिना ऑटोस्केलिंग संभव होती है।
जनरेटिव मॉडल: एक सुलभ, उच्च-आयामी मार्कोव मॉडल जिसमें टेम्पोरल फैक्टराइजेशन है, जो सिस्टम वेरिएबल्स के बीच स्पार्स डिपेंडेंसी को कैप्चर करता है, जिससे कुशल सिमुलेशन, इन्फरेंस और पॉलिसी लर्निंग सक्षम होती है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): विभिन्न उपयोगकर्ता आबादी, संसाधन क्षमताओं और सर्वर कॉन्फ़िगरेशन के तहत केंद्रीकृत और वितरित शेड्यूलिंग नीतियों की तुलना करने वाला एक व्यापक सिमुलेशन अध्ययन।

परिणाम
सिस्टम का मूल्यांकन लगभग 28 घंटों (100,000 टाइम स्टेप्स) तक चलने वाले सिमुलेशन के माध्यम से किया गया, जिसमें उपयोगकर्ता आबादी 100 से 10,000 तक थी और सर्वर क्षमताएं भिन्न थीं। मुख्य निष्कर्ष इस प्रकार हैं:

स्केलेबिलिटी और पूर्णता दर: जैसे-जैसे उपयोगकर्ता आबादी बढ़ती है, वितरित शेड्यूलिंग (Uniform और Affinity-based) केंद्रीकृत शेड्यूलिंग की तुलना में अधिक प्रभावी होती जाती है। वितरित नीतियां उच्च अनुरोध पूर्णता दर और कम रद्दीकरण (cancellation) दर बनाए रखती हैं, विशेष रूप से जब उपयोगकर्ता डिवाइस की क्षमता दोगुनी (2x) कर दी जाती है।
लेटेंसी (QoS): वितरित नीतियां बड़े उपयोगकर्ता पैमाने (जैसे, 10,000 उपयोगकर्ता) पर केंद्रीकृत नीतियों की तुलना में काफी बेहतर P99 लेटेंसी (टेल लेटेंसी) प्राप्त करती हैं। जैसे-जैसे मांग सर्वर क्षमता को संतृप्त करती है, केंद्रीकृत लेटेंसी खराब होती जाती है, जबकि वितरित नीतियां काम को प्रभावी ढंग से ऑफलोड करती हैं।
संसाधन दक्षता: वितरित शेड्यूलिंग समर्पित संसाधन खपत को काफी कम कर देती है। सिमुलेशन संकेत देते हैं कि स्वैच्छिक संसाधनों के पूरक के रूप में कार्य करने और QoS बनाए रखने के लिए लगभग 30x से 50x बेस प्रोफाइल की सर्वर क्षमता पर्याप्त है, जबकि समान प्रदर्शन प्राप्त करने के लिए केंद्रीकृत दृष्टिकोणों को बहुत अधिक क्षमता की आवश्यकता होती है।
नीति तुलना: यूनिफॉर्म नीति आमतौर पर पूर्णता दर और रद्दीकरण जोखिम के बीच संतुलन के मामले में अफ़िनिटी-आधारित नीति से बेहतर प्रदर्शन करती है। हालांकि अफ़िनिटी-आधारित शेड्यूलिंग बैचिंग में सुधार करती है, लेकिन यह नोड प्रस्थान या संसाधन बाधाओं के कारण एक साथ होने वाली उपकार्य विफलताओं के जोखिम को बढ़ा देती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि उपयोगकर्ता-सहायता प्राप्त सहयोगात्मक अनुमान की व्यवहार्यता को बुनियादी ढांचे-कुशल ऑटोस्केलिंग के लिए एक व्यवहार्य रणनीति के रूप में प्रदर्शित किया गया है। यह स्थापित करता है कि समर्पित बुनियादी ढांचे को स्वैच्छिक संसाधनों के साथ जोड़ने से पारंपरिक क्लाउड स्केलिंग से जुड़ी बढ़ती लागतों और पर्यावरणीय प्रभाव के बिना बढ़ती मांग को नियंत्रित किया जा सकता है।

लेखक इस बात पर जोर देते हैं कि उनका प्राथमिक योगदान सिस्टम आर्किटेक्चर को परिभाषित करना और इसका विश्लेषण करने के लिए एक डायनेमिक मॉडल विकसित करना है, न कि एक प्रोडक्शन-रेडी शेड्यूलर को तैनात करना। वे दावा करते हैं कि प्रस्तावित मॉडल भविष्य के शेड्यूलिंग एल्गोरिदम और QoS-जागरूक संसाधन आवंटन को अनुकूलित करने के लिए एक आवश्यक आधार प्रदान करता है। अध्ययन निष्कर्ष निकालता है कि वितरित शेड्यूलिंग समर्पित संसाधन खपत को कम करने और अनुरोध पूर्णता तथा टेल लेटेंसी में सुधार करने का एक व्यावहारिक मार्ग प्रदान करती है, बशर्ते कि सिस्टम को विश्लेषण और अनुकूलन के लिए उपयुक्त जनरेटिव मॉडल द्वारा समर्थित किया जाए।

इसी तरह के और पेपर