Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

आधुनिक दुनिया में बहने वाली डेटा की अदृश्य नदियों में, वायरलेस नेटवर्क एक निरंतर संघर्ष का सामना करते हैं: कैसे सीमित स्पेक्ट्रम के समान मात्रा के साथ अधिक लोगों की सेवा की जाए। दशकों तक, मानक समाधान उपलब्ध रेडियो आवृत्तियों को अलग-अलग लेन में विभाजित करना था, जिसमें प्रत्येक उपयोगकर्ता को अपना विशिष्ट पथ आवंटित किया जाता था। यह विधि, जिसे ऑर्थोगोनल मल्टीपल एक्सेस कहा जाता है, विश्वसनीय तो है लेकिन अक्षम है, जैसे कि एक राजमार्ग जहाँ कारों को एक ही लेन वाली सड़क पर बारी-बारी से चलने के लिए मजबूर किया जाता है, भले ही अन्य लेन खाली हों। एक नया दृष्टिकोण, जिसे नॉन-ऑर्थोगोनल मल्टीपल एक्सेस या नोमा (NOMA) कहा जाता है, नियमों को पूरी तरह से बदल देता है। उपयोगकर्ताओं को समय या आवृत्ति द्वारा अलग करने के बजाय, यह कई उपयोगकर्ताओं को एक ही समय में बिल्कुल एक ही आवृत्ति साझा करने की अनुमति देता है। इसे काम करने के लिए, ट्रांसमीटर एक एकल, संयुक्त सिग्नल भेजता है जहाँ विभिन्न उपयोगकर्ताओं को शक्ति के विभिन्न स्तर आवंटित किए जाते हैं। सबसे मजबूत कनेक्शन वाले उपयोगकर्ता को कमजोर सिग्नल प्राप्त होता है, जबकि सबसे कमजोर कनेक्शन वाले को एक मजबूत सिग्नल मिलता है। रिसीविंग एंड (प्राप्ति छोर) पर, 'सक्सेसिव इंटरफेरेंस कैंसलेशन' नामक एक प्रक्रिया एक फिल्टर की तरह कार्य करती है, जो नीचे के कमजोर सिग्नलों को प्रकट करने के लिए मजबूत सिग्नलों को हटा देती है। यह तकनीक उसी स्थान में कहीं अधिक डेटा पैक करने का वादा करती है, जो पांचवीं पीढ़ी, या 5G नेटवर्क के लिए एक आवश्यकता है जो वर्तमान में अरबों उपकरणों को जोड़ रहे हैं।

हालाँकि, नोमा (NOMA) का वादा एक नाजुक संतुलन पर टिका है: यह तय करना कि प्रत्येक उपयोगकर्ता को वास्तव में कितनी शक्ति देनी है। यदि शक्ति का वितरण खराब है, तो कमजोर कनेक्शन वाले उपयोगकर्ता डेटा प्राप्त करने में विफल हो सकते हैं, जबकि पूरा नेटवर्क क्षमता को बर्बाद करता है। यह समस्या वास्तविक दुनिया में और भी कठिन हो जाती है, जहाँ उपकरण पूर्ण नहीं होते हैं। सिग्नल को हटाने की प्रक्रिया त्रुटियों के प्रति संवेदनशील है, जिससे पीछे एक हल्का हस्तक्षेप (इंटरफेरेंस) रह जाता है जो कनेक्शन को खराब कर सकता है। इसके अलावा, वायरलेस वातावरण अराजक है; सिग्नल इमारतों से टकराते हैं और अप्रत्याशित रूप से कम हो जाते हैं। इस शक्ति प्रबंधन के पारंपरिक तरीके अक्सर निश्चित नियमों या जटिल, केंद्रीकृत गणनाओं पर निर्भर करते हैं जो इन तीव्र परिवर्तनों के साथ तालमेल बिठाने में संघर्ष करते हैं। वे उन उपयोगकर्ताओं का पक्ष लेते हैं जिनके पास सबसे अच्छे कनेक्शन होते हैं, जिससे कमजोर सिग्नल वाले पीछे छूट जाते हैं, या जब स्थितियाँ बदलती हैं तो वे अनुकूलन करने में बहुत धीमे हो जाते हैं।

इन चुनौतियों से निपटने के लिए, कंपाला इंटरनेशनल यूनिवर्सिटी और नाइजीरिया के अन्य संस्थानों के शोधकर्ताओं की एक टीम ने आर्टिफिशियल इंटेलिजेंस के एक रूप का उपयोग करके इस शक्ति वितरण को प्रबंधित करने का एक नया तरीका प्रस्तावित किया। पूरे नेटवर्क के लिए निर्णय लेने के लिए एक एकल केंद्रीय मस्तिष्क पर निर्भर रहने के बजाय, उन्होंने एक ऐसी प्रणाली डिजाइन की जहाँ प्रत्येक उपयोगकर्ता एक स्वतंत्र, बुद्धिमान एजेंट के रूप में कार्य करता है। यह दृष्टिकोण, जिसे मल्टी-एजेंट डीप रीइन्फोर्समेंट लर्निंग कहा जाता है, प्रत्येक उपयोगकर्ता को अपने स्थानीय अनुभव से सीखने की अनुमति देता है। कल्पना कीजिए कि ड्राइवरों का एक समूह, जो ट्रैफिक कंट्रोल टॉवर से यह बताने का इंतजार करने के बजाय कि उन्हें कब चलना है, व्यस्त चौराहे को आसपास की कारों को देखकर और समूह के लिए जो सबसे अच्छा काम करता है उसके आधार पर अपनी गति को समायोजित करके नेविगेट करना सीखता है। इस प्रणाली में, प्रत्येक उपयोगकर्ता अपने स्वयं के सिग्नल की गुणवत्ता और अपने सामने आने वाले हस्तक्षेप का अवलोकन करता है, और फिर वह कितनी शक्ति का अनुरोध करना है, इस पर अपना निर्णय लेता है। ये एजेंट स्वार्थी होकर कार्य नहीं कर रहे हैं; उन्हें एक साझा लक्ष्य के साथ प्रशिक्षित किया गया है जो पूरे समूह को निष्पक्ष और कुशल होने के लिए पुरस्कृत करता है।

शोधकर्ताओं ने एक सिम्युलेटेड वातावरण में इस विकेंद्रीकृत प्रणाली का परीक्षण किया जो एक वास्तविक 5G नेटवर्क की अप्रत्याशित स्थितियों की नकल करता है। उन्होंने अपने नए तरीके की तुलना कई स्थापित तकनीकों के साथ की, जिसमें सरल निश्चित नियम, समान शक्ति वितरण और जेनेटिक एल्गोरिदम और केंद्रीकृत लर्निंग सिस्टम जैसे उन्नत एल्गोरिदम शामिल हैं। परिणाम विश्वसनीय सुनिश्चित करने के लिए सिमुलेशन हजारों बार चलाए गए। निष्कर्षों से पता चला कि जबकि केंद्रीकृत प्रणाली आदर्श स्थितियों में उच्चतम कुल डेटा गति प्राप्त कर सकती है, नया मल्टी-एजेंट दृष्टिकोण प्रदर्शन और विश्वसनीयता का एक बेहतर संतुलन प्रदान करता है। विशेष रूप से, नए तरीके ने उपयोगकर्ताओं के कनेक्शन विफल होने की संख्या को काफी कम कर दिया, जिसे आउटेज प्रोबेबिलिटी (आउटेज की संभावना) के रूप में जाना जाता है, जिससे अपेक्षाकृत कम सिग्नल स्ट्रेंथ होने पर भी इसे दस प्रतिशत से नीचे रखा गया। इसने उच्च स्तर की निष्पक्षता भी बनाए रखी, यह सुनिश्चित करते हुए कि कमजोर कनेक्शन वाले उपयोगकर्ता पीछे न छूटें, और उच्च सिग्नल स्ट्रेंथ पर 0.96 का फेयरनेस स्कोर प्राप्त किया।

शायद सबसे महत्वपूर्ण बात यह है कि अध्ययन ने दिखाया कि यह नया दृष्टिकोण वास्तविक दुनिया के हार्डवेयर में पाई जाने वाली खामियों के प्रति कितना मजबूत है। जब शोधकर्ताओं ने सिग्नल कैंसलेशन और चैनल स्थितियों के मापन में त्रुटियां पेश कीं, तो केंद्रीकृत प्रणाली का प्रदर्शन विकेंद्रीकृत प्रणाली की तुलना में अधिक तेजी से गिरा। क्योंकि मल्टी-एजेंट सिस्टम एक पूर्ण वैश्विक दृश्य के बजाय स्थानीय अवलोकनों पर निर्भर करता है, इसलिए यह इन अशुद्धियों से कम विचलित हुआ। डेटा सटीकता के मामले में, नए तरीके ने उच्च सिग्नल स्ट्रेंथ पर त्रुटियों की दर को एक हजार में से एक से भी कम कर दिया, जो अन्य परीक्षण किए गए तरीकों से बेहतर प्रदर्शन करता है। शोधकर्ताओं ने निष्कर्ष निकाला कि जबकि केंद्रीकृत बुद्धिमत्ता का अपना स्थान है, एक ऐसा नेटवर्क जहाँ उपयोगकर्ता स्थानीय रूप से सहयोग करना और अनुकूलित होना सीखते हैं, वायरलेस संचार के भविष्य के लिए अधिक स्केलेबल और लचीला समाधान प्रदान करता है। यह कार्य बताता है कि अगली पीढ़ी के नेटवर्क को शायद एक एकल, सर्वज्ञ नियंत्रक की आवश्यकता नहीं है, बल्कि बुद्धिमान, सहकारी एजेंटों के एक संग्रह की आवश्यकता है जो वायरलेस दुनिया की अराजकता में मिलकर नेविगेट कर सकें।