🤖 AI

Adaptive DNN Partitioning and Offloading in Heterogeneous Edge-Cloud Continuum

यह शोध पत्र एक विषम एज-क्लाउड निरंतरता (edge-cloud continuum) में अनुकूली DNN विभाजन और ऑफलोडिंग के लिए एक ढांचे का प्रस्ताव और सत्यापन करता है जो रनटाइम स्थितियों के अनुसार गतिशील रूप से समायोजित होता है, जो एक भौतिक टेस्टबेड पर स्थिर बेसलाइन की तुलना में ऊर्जा खपत और विलंबता में महत्वपूर्ण कमी प्रदर्शित करता है।

मूल लेखक: Akuen Akoi Deng, Eimantas Butkus, Alfreds Lapkovskis, Praveen Kumar Donta

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akuen Akoi Deng, Eimantas Butkus, Alfreds Lapkovskis, Praveen Kumar Donta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थका हुआ रोबोट है (आपका IoT डिवाइस, जैसे कि एक स्मार्ट कैमरा या ड्रोन) जिसे एक जटिल पहेली सुलझाने की आवश्यकता है। यह पहेली एक डीप न्यूरल नेटवर्क (DNN) है, जो अनिवार्य रूप से निर्णय लेने के लिए एक विशाल, बहु-चरणीय रेसिपी की तरह है, जैसे कि किसी चेहरे को पहचानना या कार की पहचान करना।

अतीत में, इस रोबोट के पास दो बुरे विकल्प थे:

इसे अकेले ही करना: यह अकेले ही पूरी पहेली को सुलझाने की कोशिश करता है। यह थक जाता है (बहुत अधिक बैटरी खर्च करता है) और इसमें बहुत समय लगता है।
इसे क्लाउड पर भेजना: यह पूरी पहेली को एक ईमेल के माध्यम से दूर स्थित डेटा सेंटर में एक सुपर-फास्ट कंप्यूटर को भेज देता है। यह कंप्यूटर के लिए तो तेज़ है, लेकिन रोबोट को ईमेल के आने और जाने का इंतज़ार करने में बहुत समय लगता है, और इंटरनेट कनेक्शन धीमा या अस्थिर हो सकता है।

समस्या: "स्थिर" (Static) योजना

वर्तमान समाधानों में से अधिकांश एक स्थिर योजना का उपयोग करते हैं। यह एक ऐसे शेफ की तरह है जो तय करता है, "मैं यहाँ सब्जियां काटूंगा, बीच वाली रसोई में सॉस बनाऊंगा, और अंतिम रसोई में व्यंजन परोसूंगा," और फिर वह उस योजना को कभी नहीं बदलता, भले ही इंटरनेट धीमा हो जाए, बीच वाली रसोई व्यस्त हो जाए, या रोबलेट की बैटरी कम हो रही हो। यह कठोर दृष्टिकोण अक्सर ऊर्जा की बर्बादी या धीमे परिणामों का कारण बनता है।

समाधान: "अनुकूलनशील" (Adaptive) शेफ

लेखकों ने एक स्मार्ट, अनुकूलनशील फ्रेमवर्क बनाया है। इसे एक गतिशील प्रोजेक्ट मैनेजर के रूप में सोचें जो लगातार टीम पर नज़र रखता है और वास्तविक समय में योजना बदलता है।

यहाँ उनका सिस्टम कैसे काम करता है, एक तीन-रसोई वाले रेस्टोरेंट के उदाहरण का उपयोग करते हुए:

तीन रसोई (द कॉन्टिनम):
- एज (Raspberry Pi): एक छोटा, बैटरी से चलने वाला फूड ट्रक। यह ग्राहक के करीब है लेकिन इसमें एक छोटा चूल्हा और सीमित ईंधन है।
- फॉग (लैपटॉप): एक मध्यम आकार की स्थानीय रसोई। इसमें बेहतर चूल्हा है लेकिन यह शक्तिशाली नहीं है।
- क्लाउड (डेस्कटॉप पीसी): एक विशाल, औद्योगिक कारखाना जिसमें एक सुपर-फास्ट ओवन और असीमित शक्ति है, लेकिन यह बहुत दूर है।
गतिशील विभाजन (Dynamic Splitting):
एक निश्चित रेसिपी के बजाय, यह सिस्टम पहेली (न्यूरल नेटवर्क) को परतों (layers) में तोड़ देता है। यह पूछता है: "क्या फूड ट्रक को प्याज काटना चाहिए, या उसे स्थानीय रसोई में भेज देना चाहिए?"
- यह पहले पहेली का प्रोफाइलिंग (profiling) करता है ताकि जान सके कि प्रत्येक चरण कितना बड़ा है।
- यह रसोई के बीच के रास्तों (नेटवर्क लिंक) को मापता है ताकि देख सके कि ट्रैफिक भारी है या नहीं।
- यह हर संभावित तरीके के लिए ईंधन (ऊर्जा) और समय (लैटेंसी) की लागत की गणना करता है।
निरंतर पुनर्मूल्यांकन:
यही असली जादू है। सिस्टम केवल एक बार योजना नहीं चुनता। यह हर कुछ मिनटों में जाँच करता है:
- "क्या कारखाने की ओर जाने वाला रास्ता जाम हो रहा है?"
- "क्या फूड ट्रक की बैटरी कम हो रही है?"
- "क्या स्थानीय रसोई बहुत गर्म हो रही है?"
  यदि स्थितियाँ बदलती हैं, तो यह तुरंत काम को फिर से सौंप देता है। शायद आज फूड ट्रक प्याज काटता है, लेकिन कल, क्योंकि रास्ता साफ है, यह बैटरी बचाने के लिए काटने का काम कारखाने को भेज देता है।

वास्तविक दुनिया का परीक्षण

लेखकों ने इसे केवल कंप्यूटर पर सिम्युलेट नहीं किया; उन्होंने एक भौतिक टेस्टबेड (एक वास्तविक लैब) बनाया:

एज: एक Raspberry Pi (फूड ट्रक)।
फॉग: एक लैपटॉप (स्थानीय रसोई)।
क्लाउड: एक हाई-एंड ग्राफिक्स कार्ड वाला शक्तिशाली पीसी (औद्योगिक कारखाना)।

उन्होंने इन तीन प्रसिद्ध "पहेलियों" (AI मॉडल) के साथ इसका परीक्षण किया: VGG16 (एक बहुत ही जटिल), AlexNet (मध्यम जटिलता), और MobileNetV2 (एक हल्का मॉडल जिसे छोटे उपकरणों के लिए डिज़ाइन किया गया है)।

परिणाम: ईंधन और समय की बचत

जब उन्होंने अपने "अनुकूलनशील" मैनेजर की तुलना पुराने "स्थिर" प्लान से की, तो परिणाम प्रभावशाली थे:

ऊर्जा की बचत: अनुकूलनशील सिस्टम ने 27% से 36% अधिक ऊर्जा बचाई। यह ऐसा था जैसे फूड ट्रक एक ही टैंक के ईंधन पर बहुत लंबे समय तक चल सकता है क्योंकि इसने भारी काम तभी किया जब इसकी वास्तव में आवश्यकता थी और रास्ते साफ थे।
गति में सुधार: इसने प्रक्रिया को 6% से 23% तक तेज़ भी बनाया। ट्रैफिक जाम से बचकर और काम को सही समय पर सही रसोई में भेजकर, अंतिम व्यंजन जल्दी परोसा गया।

मुख्य निष्कर्ष

यह पेपर सिद्ध करता है कि लचीला (flexible) होना कठोर (rigid) होने से बेहतर है। वातावरण पर लगातार नज़र रखकर और वर्कलोड को छोटे डिवाइस, स्थानीय कंप्यूटर और बड़े क्लाउड के बीच स्थानांतरित करके, आप भारी मात्रा में बैटरी लाइफ बचा सकते हैं और तेज़ी से उत्तर प्राप्त कर सकते हैं। यह उन स्मार्ट उपकरणों के भविष्य के लिए एक बड़ी बात है जिन्हें बैटरी पर चलते हुए त्वरित, स्मार्ट निर्णय लेने की आवश्यकता होती है।

तकनीकी सारांश: हेटेरोजेनियस एज-क्लाउड महाक्रम (Continuum) में एडेप्टिव DNN पार्टीशनिंग और ऑफलोडिंग

समस्या विवरण

इंटरनेट-ऑफ-थिंग्स (IoT) उपकरणों के प्रसार ने भारी डेटा वॉल्यूम उत्पन्न किया है जिसके लिए डीप न्यूरल नेटवर्क (DNN) के माध्यम से परिष्कृत प्रसंस्करण की आवश्यकता होती है। जबकि केंद्रीकृत क्लाउड निष्पादन कंप्यूटिंग शक्ति प्रदान करता है, यह वास्तविक समय के IoT अनुप्रयोगों के लिए अत्यधिक विलंबता (latency), बैंडविड्थ बाधाएं और गोपनीयता जोखिम पेश करता है। इसके विपरीत, संसाधन-सीमित एज उपकरणों पर पूरी तरह से DNN चलाने से अक्सर उच्च ऊर्जा खपत और धीमी इन्फरेंस (inference) समय होता है।

एज-क्लाउड महाक्रम में इन्फरेंस को वितरित करने वाले मौजूदा समाधान आमतौर पर स्थिर पार्टीशनिंग (static partitioning) रणनीतियों पर निर्भर करते हैं। ये दृष्टिकोण तैनाती से पहले न्यूरल नेटवर्क परतों के लिए निश्चित स्प्लिट पॉइंट्स (split points) को परिभाषित करते हैं, जो रनटाइम डायनेमिक्स जैसे कि उतार-चढ़ाव वाली नेटवर्क बैंडविड्थ, नोड मोबिलिटी, या बदलते कंप्यूटेशनल लोड के अनुकूल होने में विफल रहते हैं। इसके अलावा, साहित्य में एक महत्वपूर्ण अंतर मौजूद है: अधिकांश प्रस्तावित ढांचे सिम्युलेटेड वातावरण में मूल्यांकित किए जाते हैं जो आदर्श नेटवर्क स्थितियों को मानते हैं, बहुत कम शोध भौतिक हार्डवेयर पर सत्यापित किए गए हैं। इसके अतिरिक्त, कई वास्तविक दुनिया के अध्ययन मुख्य रूप से विलंबता या कार्य पूर्ण होने के समय पर ध्यान केंद्रित करते हैं, अक्सर ऊर्जा खपत को प्राथमिक अनुकूलन उद्देश्य के रूप में अनदेखा कर देते हैं।

कार्यप्रणाली

लेखक एक एडेप्टिव पार्टीशनिंग और ऑफलोडिंग फ्रेमवर्क का प्रस्ताव करते हैं जिसे ऊर्जा खपत को कम करने के लिए डिज़ाइन किया गया है, जो सख्त विलंबता बाधाओं का पालन करते हुए एक हेटेरोजेनियस तीन-स्तरीय महाक्रम (एज, फॉग और क्लाउड) में DNN इन्फरेंस वर्कलोड को गतिशील रूप से विभाजित करता है।

सिस्टम आर्किटेक्चर

फ्रेमवर्क एक भौतिक टेस्टबेड पर संचालित होता है जो निम्नलिखित से बना है:

एज (Edge): रास्पबेरी पाई 4 (संसाधन-सीमित)।
फॉग (Fog): लैपटॉप (Intel Core i7)।
क्लाउड (Cloud): हाई-परफॉर्मेंस डेस्कटॉप पीसी (NVIDIA RTX 4070 Ti GPU)।

आर्किटेक्चर ऐसे पार्टीशनिंग स्कीमा की अनुमति देता है जहाँ $i$ परतें एज पर चलती हैं, परतें $i+1$ से $j$ तक फॉग पर चलती हैं, और परतें $j+1$ से $N-1$ तक क्लाउड पर चलती हैं।

एल्गोरिद्मिक पाइपलाइन

फ्रेमवर्क पांच चरणों वाली पाइपलाइन का पालन करता है:

ऑफलाइन प्रोफाइलिंग: रनटाइम से पहले, सिस्टम मॉडल को प्रोफाइल करता है ताकि दो लुकअप टेबल जनरेट की जा सकें:
- एक्टिवेशन साइज टेबल: संचार लागत का अनुमान लगाने के लिए प्रत्येक फीचर बाउंड्री पर इंटरमीडिएट टेंसर के आकार को रिकॉर्ड करता है।
- रिलेटिव कंप्यूट वेट टेबल: रनटाइम माप के लिए एक स्थिर संदर्भ के रूप में एकल निष्पादन के आधार पर प्रत्येक परत को कुल इन्फरेंस कार्य के सामान्यीकृत अंश (normalized fractions) आवंटित करती है।
टू-पॉइंट लिंक प्रोबिंग: नेटवर्क स्थितियों का भारी ओवरहेड के बिना अनुमान लगाने के लिए, सिस्टम नेटवर्क हॉप्स के माध्यम से विपरीत आकार के दो पेलोड ( $s_1, s_2$ ) प्रसारित करता है। राउंड-ट्रिप टाइम को औसत करके, यह लिंक को $rtt(s) = \omega + s/\beta$ के रूप में मॉडल करता है, जिससे फिक्स्ड ओवरहेड ( $\omega$ ) और प्रभावी थ्रूपुट ( $\beta$ ) प्राप्त होता है।
कैंडिडेट स्प्लिट एस्टीमेशन: किसी भी कैंडिडेट स्प्लिट $(i, j)$ के लिए, सिस्टम एंड-टू-एंड विलंबता और ऊर्जा का अनुमान लगाता है। विलंबता (Latency) कंप्यूटेशन समय (प्रोफाइल किए गए वेट्स और नोड स्पीड से प्राप्त) और ट्रांसफर समय (लिंक मॉडल से प्राप्त) का योग है। ऊर्जा का अनुमान नोड-विशिष्ट कंप्यूट समय को अनुभवजन्य पावर रेट से गुणा करके लगाया जाता है।
बेस्ट कैंडिडेट सर्च: सिस्टम सभी वैध स्प्लिट पेयर्स का मूल्यांकन करता है। उम्मीदवारों को यह सुनिश्चित करने के लिए फ़िल्टर किया जाता है कि वे विलंबता डेडलाइन ( $L_{max}$ ) को पूरा करें और एक स्टैटिक बेसलाइन से खराब प्रदर्शन न करें। इष्टतम स्प्लिट एक भारित ऑब्जेक्टिव स्कोर को कम करता है:
$S(i, j) = w_{end}\frac{\hat{E}_{end}}{n_{end}} + w_{tot}\frac{\hat{E}_{tot}}{n_{tot}} + w_{lat}\frac{\hat{L}}{n_{lat}}$
जहाँ वेट्स कुल सिस्टम ऊर्जा और विलंबता की तुलना में एज ऊर्जा खपत (0.6–0.9) को प्राथमिकता देते हैं।
एडेप्टिव डिस्ट्रिब्यूटेड इन्फरेंस शेड्यूलिंग:
- इनिशियलाइजेशन (Initialization): सिस्टम एक बेसलाइन स्प्लिट और तीन "प्रोब" स्प्लिट्स (एज-हैवी, बैलेंस्ड, क्लाउड-हैवी) चलाता है ताकि प्रति-नोड कंप्यूट रेट्स और लिंक मॉडल को फिट किया जा सके।
- स्टेडी स्टेट (Steady State): सिस्टम इन्फरेंस के एक विंडो के लिए वर्तमान स्प्लिट को निष्पादित करता है। समय-समय पर, यह लिंक को पुनः प्रोब करके और रेट्स को पुनः फिट करके वातावरण का पुनर्मूल्यांकन करता है। यदि कोई नया कैंडिडेट ऑब्जेक्टिव स्कोर में कम से कम 3% सुधार करता है (या विलंबता डेडलाइन का उल्लंघन होता है), तो सिस्टम नए पार्टीशन पर स्विच हो जाता है। यदि कोई बेहतर कैंडिडेट मौजूद नहीं है, तो यह स्टैटिक बेसलाइन पर वापस चला जाता है।

प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

एडेप्टिव फ्रेमवर्क: DNN इन्फरेंस के लिए एक अभिनव फ्रेमवर्क जो ऊर्जा दक्षता को प्राथमिकता देते हुए, विलंबता बाधाओं का उल्लंघन किए बिना, एक हेटेरोजेनियस एज-क्लाउड महाक्रम में वर्कलोड को गतिशील रूप से विभाजित करता है।
फिजिकल टेस्टबेड: वर्टिकल ऑफलोडिंग रणनीतियों का वास्तविक हार्डवेयर पर मूल्यांकन करने के लिए एक पूर्ण कार्यात्मक तीन-स्तरीय टेस्टबेड (रास्पबेरी पाई, लैपटॉप, डेस्कटॉप पीसी) का निर्माण और उपयोग, जो सिम्युलेशन पर पिछले कार्यों की निर्भरता को संबोधित करता है।
एम्पिरिकल इवैल्यूएशन: तीन व्यापक रूप से अपनाए गए CNNs (VGG16, AlexNet, MobileNetV2) का उपयोग करके व्यापक वास्तविक दुनिया के प्रयोग, जो हार्डवेयर-मापे गए ऊर्जा और विलंबता मेट्रिक्स एकत्र करते हैं।

परिणाम

फ्रेमवर्क का मूल्यांकन दो बेसलाइनों के विरुद्ध किया गया: सिंगल-डिवाइस निष्पादन और स्टैटिक पार्टीशनिंग (निश्चित समान वर्कलोड वितरण)।

ऊर्जा में कमी: एडेप्टिव फ्रेमवर्क ने स्टैटिक बेसलाइन की तुलना में महत्वपूर्ण ऊर्जा बचत हासिल की:
- VGG16: 35.82% की कमी (5.69 J से 3.65 J)।
- AlexNet: 35.70% की कमी (0.68 J से 0.43 J)।
- MobileNetV2: 27.09% की कमी (0.92 J से 0.67 J)।
विलंबता में कमी: एंड-टू-एंड विलंबता भी कम हुई:
- VGG16: 6.34% की कमी।
- AlexNet: 22.92% की कमी।
- MobileNetV2: 14.20% की कमी।
अवलोकन: MobileNetV2 के लिए, स्टैटिक पार्टीशनिंग ने नेटवर्क ओवरहेड के कारण सिंगल-डिवाइस निष्पादन की तुलना में विलंबता को वास्तव में बढ़ा दिया; एडेप्टिव फ्रेमवर्क ने स्प्लिट पॉइंट को बदलकर इसे सफलतापूर्वक कम किया। परिणाम लगातार दिखाते हैं कि ऊर्जा में कमी विलंबता में कमी से अधिक है, जो फ्रेमवर्क के ऑब्जेक्टिव वेटिंग को दर्शाता है।

महत्व और दावे

पेपर का दावा है कि इसके निष्कर्ष गतिशील, हेटेरोजेनियस वातावरण में स्टैटिक विधियों की तुलना में एडेप्टिव पार्टीशनिंग की श्रेष्ठता की पुष्टि करते हैं। वास्तविक हार्डवेयर पर अपने दृष्टिकोण को मान्य करके, यह कार्य ऑफलोडिंग रणनीतियों के व्यावहारिक प्रदर्शन के संबंध में साहित्य के एक महत्वपूर्ण अंतर को संबोधित करता है।

लेखक का तर्क है कि उनका फ्रेमवर्क वास्तविक समय की विलंबता बाधाओं का उल्लंघन किए बिना संसाधन-सीमित एज उपकरणों पर ऊर्जा खपत को सफलतापूर्वक कम करता है। Reinforcement Learning (RL) आधारित दृष्टिकोणों या जटिल समानांतर इन्फरेंस आर्किटेक्चर के विपरीत, यह फ्रेमवर्क एक हल्के, आवधिक एकल भारित ऑब्जेक्टिव फंक्शन के मूल्यांकन पर निर्भर करता है, जो इसे नेटवर्क बैंडविड्थ उतार-चढ़ाव और नोड लोड विविधताओं के लिए निरंतर अनुकूलनीय बनाता है। परिणाम विलंबता में कमी के मामले में अत्याधुनिक कार्यों के तुलनीय हैं, लेकिन ऊर्जा दक्षता पर एक विशिष्ट ध्यान केंद्रित करते हैं, जो मौजूदा हेटेरोजेनियस एज-क्लाउड अध्ययनों में अक्सर अनदेखा किया जाने वाला मीट्रिक है।