💻 computer science

Dynamic Task Offloading in Vehicular Edge Networks: A Mobility-Driven A3C-Based Framework

यह शोध पत्र एक मोबिलिटी-ड्रिवन टास्क ऑफलोडिंग फ्रेमवर्क का प्रस्ताव करता है जो डायनेमिक व्हीकुलर वातावरण में विश्वसनीयता सुनिश्चित करते हुए लेटेंसी और ऊर्जा ओवरहेड को प्रभावी ढंग से कम करने के लिए शेड्यूलिंग निर्णयों को अनुकूलित करने हेतु एसिंक्रोनस एडवांटेज एक्टर-क्रिटिक (A3C) डीप रिइन्फोर्समेंट लर्निंग एल्गोरिदम का उपयोग करता है।

मूल लेखक: Manoj Kumar Somesula

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manoj Kumar Somesula

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक व्यस्त हाईवे की कल्पना करें जहाँ हर कार एक स्मार्टफोन है जो भारी गणितीय समस्याओं को हल करने की कोशिश कर रही है, जैसे कि एक जटिल रास्ता खोजना या 3D गेम रेंडर करना। इन कारों (वाहनों) के पास छोटे इंजन (प्रोसेसर) हैं जो अकेले इतना भारी काम नहीं संभाल सकते। उन्हें मदद की ज़रूरत है।

यहाँ रोडसाइड यूनिट्स (RSUs) का प्रवेश होता है। इन्हें हाईवे पर स्थित "पिट स्टॉप्स" या "सुपर-चार्ज्ड सर्विस स्टेशनों" के रूप में सोचें। इनके पास विशाल इंजन हैं और ये इन गणितीय समस्याओं को तुरंत हल कर सकते हैं।

समस्या: "मूविंग टारगेट" (चलते लक्ष्य) की दुविधा

दिक्कत यह है कि कारें तेज़ी से चल रही हैं।

समय सीमा (The Deadline): कुछ गणितीय समस्याएँ बहुत ज़रूरी होती हैं। यदि आप उन्हें 100 मिलीसेकंड में हल नहीं करते हैं, तो कार दुर्घटनाग्रस्त हो सकती है या गेम फ्रीज़ हो सकता है।
गतिशीलता (The Mobility): एक कार किसी पिट स्टॉप की रेंज में आ सकती है, कोई कार्य सौंप सकती है, और पिट स्टॉप काम पूरा करने से पहले ही उसकी रेंज से बाहर निकल सकती है। यदि कार बहुत जल्दी चली जाती है, तो कार्य विफल हो जाता है, और कार को अगले पिट स्टॉप के साथ फिर से शुरुआत करनी पड़ती है।
ऊर्जा (The Energy): यदि कार गणित खुद करने की कोशिश करती है, तो यह उसकी बैटरी खत्म कर देती है। यदि वह डेटा पिट स्टॉप को भेजती है, तो इसमें रेडियो ऊर्जा का उपयोग होता है।

बड़ा सवाल यह है कि: काम किसे करना चाहिए? क्या कार इसे खुद करे? क्या उसे वर्तमान पिट स्टॉप से पूछना चाहिए? या क्या उसे किसी दूसरे पिट स्टॉप का इंतज़ार करना चाहिए? और हम यह कैसे तय करें जब कार 50 किमी/घंटा की रफ्तार से चल रही हो?

समाधान: एक "स्मार्ट ट्रैफिक पुलिस" (A3C)

इस शोध के लेखकों ने इस अराजकता को प्रबंधित करने के लिए डीप रिइन्फोर्समेंट लर्निंग (Deep Reinforcement Learning) नामक आर्टिफिशियल इंटेलिजेंस के एक प्रकार, विशेष रूप से A3C (Asynchronous Advantage Actor-Critic) एल्गोरिदम का उपयोग करके एक नया तरीका प्रस्तावित किया है।

A3C को एक सुपर-स्मार्ट, मल्टी-टास्किंग ट्रैफिक पुलिस के रूप में समझें जो न केवल अपने सामने खड़ी कारों को देखता है, बल्कि यह भी अनुमान लगाता है कि अगले कुछ सेकंड में वे कहाँ होंगी।

"एक्टर" (The Actor): यह निर्णय लेने वाला है। यह एक कार को देखता है, देखता है कि वह कितनी तेज़ चल रही है, वह पिट स्टॉप के पास कितनी देर तक रहेगी, और उसकी बैटरी कितनी बची है। फिर यह तय करता है: "ठीक है, तुम (कार A) यह कार्य स्वयं करोगी," या "तुम (कार B) वह कार्य पिट स्टॉप X को भेज दोगी।"
"क्रिटिक" (The Critic): यह जज है। यह एक्टर के निर्णयों को देखता है और कहता है, "अच्छा काम किया, इससे ऊर्जा बची!" या "बुरा निर्णय, इस कार्य में बहुत समय लग गया और यह विफल हो गया।"
"एसिंक्रोनस" (The Asynchronous) भाग: एक ट्रैफिक पुलिस के बजाय जो सभी निर्णय लेता है, कल्पना करें कि हाईवे के अलग-अलग हिस्सों पर काम करने वाले पुलिसकर्मियों की एक पूरी टीम है। वे तेज़ी से सीखते हैं क्योंकि वे सभी एक साथ अभ्यास कर रहे हैं और एक केंद्रीय मस्तिष्क के साथ जो सीख रहे हैं उसे साझा कर रहे हैं।

यह कैसे काम करता है (उपमा)

कल्पना कीजिए कि आप एक भारी सूटकेस (डेटा टास्क) के साथ एक भीड़ भरे हवाई अड्डे पर हैं।

पुराना तरीका (पारंपरिक विधियाँ): आप जो पहला व्यक्ति दिखता है, उससे अपना सूटकेस उठाने के लिए कहते हैं। यदि वह गेट तक पहुँचने से पहले ही चला जाता है, तो आपको किसी और को ढूँढना पड़ता है और फिर से शुरुआत करनी पड़ती है। या, आप खुद इसे ले जाने की कोशिश करते हैं जब तक कि आपके हाथ जवाब न दे दें।
A3C का तरीका: आपके पास एक स्मार्ट सहायक है जो हवाई अड्डे के लेआउट को जानता है। सहायक अनुमान लगाता है: "वह व्यक्ति जो दूर जा रहा है, वह गेट तक समय पर नहीं पहुँच पाएगा। लेकिन वह व्यक्ति जो स्थिर खड़ा है, उसकी पीठ मज़बूत है और वह 5 मिनट तक वहीं रहेगा। यह सूटकेस उसे सौंप दो।"

सहायक अपनी हर गलती से सीखता है। यदि वह किसी ऐसे व्यक्ति को सूटकेस सौंपता है जो उसे गिरा देता है, तो वह सीख जाता है कि दोबारा ऐसा न करे। यदि उसे कोई आदर्श मददगार मिलता है, तो वह उस पैटर्न को याद रखता है।

शोध के निष्कर्ष

शोधकर्ताओं ने 50 कारों और विभिन्न कार्यों के साथ इस हाईवे परिदृश्य का एक कंप्यूटर सिमुलेशन बनाया। उन्होंने अपने "स्मार्ट ट्रैफिक पुलिस" (A3C) की तुलना अन्य विधियों (जैसे एक साधारण ग्रीडी एल्गोरिदम या अन्य AI प्रकारों) से की।

सिमुलेशन में यह हुआ:

तेज़ परिणाम: A3C विधि ने अन्य विधियों की तुलना में कार्यों को तेज़ी से पूरा किया (कम विलंब/delay), भले ही सड़क पर बहुत सारी कारें थीं। इसने अगले सबसे अच्छे तरीके की तुलना में विलंब को 19% तक कम कर दिया।
बैटरी बचत: इसने बहुत अधिक ऊर्जा बचाई। कारों ने 35% तक कम ऊर्जा का उपयोग किया क्योंकि AI को ठीक से पता था कि कब कार्य को स्थानीय रूप से करना है और कब उसे ऑफलोड करना है, जिससे रेडियो संकेतों की बर्बादी से बचा जा सका।
अधिक सफलता: अधिक कार्य समय पर पूरे हुए। अन्य विधियों की तुलना में सफलता दर 13% अधिक थी। ऐसा इसलिए हुआ क्योंकि AI ने भविष्यवाणी की कि एक कार पिट स्टॉप के पास कितनी देर तक रहेगी (sojourn time) और उसने उन कारों को कार्य नहीं सौंपा जो बहुत जल्दी चली जातीं।

मुख्य निष्कर्ष

यह शोध दावा करता है कि इस विशिष्ट AI (A3C) का उपयोग करके और कार कितनी देर तक सर्विस स्टेशन के पास रहती है (गतिशीलता) पर ध्यान देकर, हम स्मार्ट कारों को सुचारू रूप से, तेज़ी से और कम बैटरी खर्च के साथ चला सकते हैं। यह एक मैनुअल मैप से उन्नत GPS में अपग्रेड करने जैसा है जो ट्रैफिक जाम होने से पहले ही उसकी भविष्यवाणी कर देता है, जिससे यह सुनिश्चित होता है कि आपके "कार्य" समय पर अपने गंतव्य तक पहुँचें।

तकनीकी सारांश: वाहनगत एज नेटवर्क में गतिशील कार्य ऑफलोडिंग (Dynamic Task Offloading in Vehicular Edge Networks)

समस्या विवरण (Problem Statement)

यह शोध पत्र वाहनगत एज कंप्यूटिंग (VEC) नेटवर्क के भीतर गतिशील कार्य ऑफलोडिंग (dynamic task offloading) की महत्वपूर्ण चुनौती को संबोधित करता है। जैसे-जैसे इंटरनेट ऑफ व्हीकल्स (IoV) का विस्तार हो रहा है, स्वायत्त ड्राइविंग (autonomous driving), इमर्सिव गेमिंग और होलोग्राफिक संचार जैसे अनुप्रयोगों को सख्त गुणवत्ता-सेवा (QoS) की आवश्यकता है, विशेष रूप से 10–100 ms के बीच एंड-टू-एंड विलंबता (latency), उच्च बैंडविड्थ और विश्वसनीयता।

मुख्य कठिनाई वाहनों की उच्च गतिशीलता (high mobility of vehicles) और नेटवर्क संसाधनों की गतिशील प्रकृति में निहित है। जब एक वाहन रोडसाइड यूनिट (RSU) कवरेज क्षेत्रों के बीच घूमता है, तो चल रहे कार्य विफल हो सकते हैं या उन्हें पुन: प्रेषण (retransmission) की आवश्यकता हो सकती है यदि RSU की सीमा के भीतर बिताए गए ठहराव समय (sojourn time/dwell time) का सटीक अनुमान नहीं लगाया जाता है। मौजूदा शेड्यूलिंग रणनीतियाँ अक्सर सरल धारणाओं पर निर्भर करती हैं, जैसे कि स्थिर वेग (constant velocities) या एकल-पथ गतिशीलता, जो वास्तविक दुनिया के ट्रैफ़िक के जटिल, द्विदिश (bidirectional) और बहु-पथ (multi-path) आंदोलन पैटर्न को समझने में विफल रहती हैं। इसके अलावा, वाहनों के पास सीमित ऑनबोर्ड कंप्यूटेशनल संसाधन होते हैं, जिसके लिए कार्य की समय सीमा (task deadlines) और ऊर्जा खपत (energy consumption) के बीच संतुलन बनाने वाले कुशल ऑफलोडिंग निर्णयों की आवश्यकता होती है।

कार्यप्रणाली (Methodology)

1. सिस्टम और मोबिलिटी मॉडलिंग (System and Mobility Modeling)

लेखक VEC वातावरण को $V$ गतिशील वाहनों और एक केंद्रीय क्लाउड से जुड़े $R$ RSUs के एक नेटवर्क के रूप में मॉडल करते हैं।

मोबिलिटी मॉडल: वाहन की गति को एक मार्कोव रिन्यूअल प्रोसेस (Markov Renewal Process - MRP) का उपयोग करके मॉडल किया गया है। यह वाहनों के प्रक्षेपवक्र (trajectories) और, महत्वपूर्ण रूप से, एक विशिष्ट RSU के कवरेज के भीतर वाहन द्वारा बिताए गए ठहराव समय (sojourn time) ( $\Delta^r_v$ ) की भविष्यवाणी करने की अनुमति देता है। अपेक्षित ठहराव अवधि की गणना RSUs के बीच संक्रमण संभावनाओं (transition probabilities) और समय वितरण के आधार पर की जाती है।
कार्य मॉडल (Task Model): कार्यों को इनपुट डेटा आकार ( $d_{r,t}$ ), कम्प्यूटेशनल लोड ( $c_{r,t}$ ), और समय सीमा ( $\delta_{r,t}$ ) द्वारा परिभाषित किया गया है। एक कार्य को या तो RSU पर स्थानीय रूप से निष्पादित किया जा सकता है या किसी विशिष्ट वाहन को ऑफलोड किया जा सकता है।
उपयोगिता फलन (Utility Function): एक प्रति-कार्य उपयोगिता फलन डिज़ाइन किया गया है जो समय सीमा को पूरा करने के लिए पुरस्कृत करता है और ऊर्जा खपत के लिए दंडित करता है:
$U_{r,t} = w_d \max\left(0, 1 - \frac{D_{r,t}}{\delta_{r,t} + \epsilon}\right) - w_e \frac{E_{r,t}}{E_{max}}$
जहाँ $D_{r,t}$ कुल विलंब (ट्रांसमिशन + निष्पादन) है और $E_{r,t}$ ऊर्जा लागत है।

2. समस्या का निरूपण (Problem Formulation)

कार्य ऑफलोडिंग समस्या को प्रारंभ में एक इंटीजर लीनियर प्रोग्रामिंग (ILP) समस्या के रूप में तैयार किया गया है जिसका उद्देश्य निम्नलिखित बाधाओं को संतुष्ट करते हुए समग्र सिस्टम उपयोगिता को अधिकतम करना है:

असाइनमेंट (प्रत्येक कार्य को ठीक एक बार संसाधित किया जाना चाहिए)।
डेडलाइन अनुपालन।
सोjourn टाइम (ऑफलोडेड कार्यों को वाहन के RSU रेंज से बाहर निकलने से पहले पूरा होना चाहिए)।
RSU और वाहनों की कम्प्यूटेशनल क्षमता।

लेखक उल्लेख करते हैं कि यह ILP NP-hard है, और निर्णय चरों (decision variables) के घातीय विकास और वास्तविक समय अनुकूलन की आवश्यकता के कारण पारंपरिक अनुकूलन के माध्यम से इसे सीधे हल करना बड़े पैमाने के गतिशील नेटवर्क के लिए अत्यधिक कठिन है।

3. प्रस्तावित ढांचा: A3C-आधारित DRL (Proposed Framework: A3C-Based DRL)

स्थिर अनुकूलन की सीमाओं को दूर करने के लिए, शोध पत्र असिंक्रोनस एडवांटेज एक्टर-क्रिटिक (Asynchronous Advantage Actor-Critic - A3C) एल्गोरिदम का उपयोग करके एक डीप रिइन्फोर्समेंट लर्निंग (DRL) ढांचे का प्रस्ताव करता है।

मार्कोव निर्णय प्रक्रिया (MDP): समस्या को एक MDP टुपल $(S, A, P, R, \gamma)$ $(S, A, P, R, γ)$ के रूप में मैप किया गया है।
- स्टेट स्पेस ( $S$ ): इसमें वाहनों के स्थान, वेग, RSUs और वाहनों पर उपलब्ध कम्प्यूटेशनल/स्टोरेज संसाधन, कतारबद्ध (queued) कार्य और अनुमानित सोjourn समय शामिल हैं।
- एक्शन स्पेस ( $A$ ): किसी विशिष्ट वाहन को कार्य ऑफलोड करने या उसे स्थानीय रूप से संसाधित करने के निर्णय।
- रिवॉर्ड फंक्शन ( $R$ ): उपयोगिता फलन से व्युत्पन्न, जो विलंबता में कमी और ऊर्जा दक्षता के बीच संतुलन बनाता है।
A3C आर्किटेक्चर: यह ढांचा कई समानांतर वर्कर एजेंटों (जो वाहनों/RSUs का प्रतिनिधित्व करते हैं) का उपयोग करता है जो एसिंक्रोनस रूप से वातावरण के साथ इंटरैक्ट करते हैं। प्रत्येक वर्कर एक साझा ग्लोबल नेटवर्क को अपडेट करने से पहले कंप्यूट किए गए एडवांटेज के आधार पर स्थानीय पॉलिसी और वैल्यू नेटवर्क बनाए रखता है। यह एसिंक्रोनस दृष्टिकोण सिंक्रोनस विधियों की तुलना में सीखने की गति को बढ़ाता है और गतिशील वातावरण में स्थिरता में सुधार करता है।

मुख्य योगदान (Key Contributions)

मोबिलिटी-अवेयर मॉडलिंग: वाहन के सोjourn समय और यात्रा पथों की सटीक भविष्यवाणी करने के लिए मार्कोव रिन्यूअल प्रोसेस का एकीकरण, जो सरल निरंतर-वेग (constant-velocity) धारणाओं से आगे जाता है।
ILP निरूपण: कार्य ऑफलोडिंग समस्या के लिए एक गणितीय ILP निरूपण का विकास जो स्पष्ट रूप से कार्य की समय सीमा, वाहन सोjourn समय और संसाधन बाधाओं को शामिल करता है।
A3C-आधारित शेड्यूलिंग: NP-hard शेड्यूलिंग समस्या को हल करने के लिए A3C का उपयोग करके एक डीप रिइन्फोर्समेंट लर्निंग ढांचे का डिज़ाइन। यह दृष्टिकोण गतिशील नेटवर्क स्थितियों के अनुकूल होने और विलंबता एवं ऊर्जा के बीच के ट्रेड-ऑफ को अनुकूलित करने के लिए समानांतर लर्निंग का लाभ उठाता है।
व्यापक मूल्यांकन: चार बेसलाइन एल्गोरिदम: DDPG, DDQN, SA-PSO (सिमुलेटेड एनीलिंग पार्टिकल स्वार्म ऑप्टिमाइज़ेशन), और GA (जेनेटिक एल्गोरिदम) के विरुद्ध प्रस्तावित A3CRL दृष्टिकोण का व्यापक सिमुलेशन।

प्रदर्शन परिणाम (Performance Results)

सिमुलेशन एक पायथन वातावरण में विभिन्न वाहनों (10–50), कार्यों (50–250) और वाहन की गति (30–70 किमी/घंटा) के साथ आयोजित किए गए। प्रस्तावित A3CRL ढांचा सभी मेट्रिक्स में बेहतर प्रदर्शन प्रदर्शित करता है:

सर्विस डिले (Service Delay): A3CRL ने वाहन घनत्व में परिवर्तन के दौरान दूसरे सर्वश्रेष्ठ तरीके (DDQN) की तुलना में सेवा विलंब में 19% तक की कमी और कार्य भार (task load) में परिवर्तन के दौरान 29% तक की कमी हासिल की।
ऊर्जा खपत (Energy Consumption): फ्रेमवर्क ने बेसलाइन्स की तुलना में वाहन घनत्व परिवर्तन के विरुद्ध 35% और कार्य भार परिवर्तन के विरुद्ध 40% तक ऊर्जा दक्षता में सुधार किया, जिसका श्रेय इसके ऊर्जा-जागरूक ऑब्जेक्टिव फंक्शन और कुशल कार्य आवंटन को जाता है।
सफल ऑफलोडिंग दर (Successful Offloading Rate): A3CRL ने सफलतापूर्वक पूरे किए गए कार्यों का उच्चतम प्रतिशत बनाए रखा, जो दूसरे सर्वश्रेष्ठ रणनीति पर 13% तक का सुधार दिखाता है। यह एल्गोरिदम की अनुमानित सोjourn समय के आधार पर स्थिर लिंक और पर्याप्त संसाधनों वाले वाहनों को चुनने की क्षमता के कारण है।
अभिसरण (Convergence): प्रशिक्षण अभिसरण के मामले में, A3CRL ने DDQN (11.21) की तुलना में उच्च माध्य रिवॉर्ड (11.64) और कम विचरण (0.39 बनाम 0.46) प्राप्त किया, जो अधिक स्थिर और प्रभावी लर्निंग को दर्शाता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि प्रस्तावित A3C-आधारित ढांचा VEC नेटवर्क में वास्तविक समय के कार्य शेड्यूलिंग के लिए एक स्केलेबल, अनुकूलन योग्य और कुशल समाधान प्रदान करता है। वाहन की गतिशीलता (sojourn time) को शेड्यूलिंग निर्णय प्रक्रिया में सीधे एकीकृत करके, यह ढांचा मौजूदा विधियों की सीमाओं को संबोधित करता है जो अक्सर वाहन की गतिशीलता की गतिशील प्रकृति को अनदेखा करती हैं या ऐसी 'ग्रीडी' रणनीतियों पर निर्भर करती हैं जो स्केल नहीं हो पातीं।

लेखक इस बात पर जोर देते हैं कि जबकि पारंपरिक अनुकूलन तकनीकें (जैसे ILP) सैद्धांतिक रूप से सुदृढ़ हैं, वे बड़े पैमाने के गतिशील IoV वातावरण के लिए कम्प्यूटेशनल ओवरहेड के कारण अव्यावहारिक हैं। प्रस्तावित DRL दृष्टिकोण इस अंतर को प्रभावी ढंग से पाटता है, जिससे इंटेलिजेंट एजेंटों को वातावरण के साथ बातचीत के माध्यम से इष्टतम ऑफलोडिंग नीतियां सीखने में सक्षम बनाया जा सके। परिणाम बताते हैं कि डीप रिइन्फोर्समेंट लर्निंग, विशेष रूप से A3C, बड़े पैमाने के टास्क ऑफलोडिंग के प्रबंधन में महत्वपूर्ण क्षमता रखता है।

शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है, यह नोट करते हुए कि भविष्य का कार्य व्यावहारिक गतिशील वातावरण में मजबूती बढ़ाने के लिए मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन, सहकारी ऑफलोडिंग रणनीतियों और प्रयोगात्मक सत्यापन की जांच करेगा।