⚡ electrical engineering

A Context Augmented Multi-Play Multi-Armed Bandit Algorithm for Fast Channel Allocation in Opportunistic Spectrum Access

यह शोधपत्र एक संदर्भ-संवर्धित मल्टी-प्ले मल्टी-आर्म्ड बैंडिट एल्गोरिदम प्रस्तावित करता है जो चैनल शोर को चैनल स्थिति सूचना के साथ सहसंबंधित रिवॉर्ड परटर्बेशन के रूप में मॉडल करता है, जिससे अवसरवादी स्पेक्ट्रम एक्सेस सिस्टम में तेज़ और अधिक कुशल चैनल आवंटन प्राप्त करने के लिए लीनियर और नॉन-लीनियर इंडेक्स नीतियां व्युत्पन्न होती हैं।

मूल लेखक: Ruiyu Li, Guangxia Li, Xiao Lu, Jichao Liu, Yan Jin

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruiyu Li, Guangxia Li, Xiao Lu, Jichao Liu, Yan Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त रेडियो स्टेशन के मैनेजर हैं जिसके पास 10 अलग-अलग रेडियो चैनल (हाथ/arms) और 5 डीजे (सेकेंडरी यूजर्स) हैं जिन्हें अभी संगीत प्रसारित करने की आवश्यकता है। आपका लक्ष्य प्रत्येक डीजे को सबसे अच्छा संभव चैनल देना है ताकि उन्हें सबसे स्पष्ट सिग्नल और सबसे अधिक श्रोता मिल सकें।

हालाँकि, इसमें एक पेच है:

चैनल बदलते रहते हैं: कभी कोई चैनल साफ होता है, तो कभी उसमें बहुत शोर (static) होता है। यह एक बेचैन बच्चे की तरह है जो एक जगह नहीं बैठता; चैनल की गुणवत्ता बदलती रहती है, भले ही आप उसका उपयोग न कर रहे हों।
शोर (Noise) पेचीदा है: भले ही कोई चैनल कागज़ पर अच्छा दिखता हो, अदृश्य "शोर" (जैसे अन्य उपकरणों से होने वाला हस्तक्षेप) ध्वनि की गुणवत्ता को खराब कर सकता है।
आप भविष्य नहीं जानते: आपको यह अनुमान लगाना होगा कि कौन से चैनल सबसे अच्छे हैं, बिना उनके सटीक इतिहास या भविष्य के व्यवहार को जाने।

यह वही समस्या है जिसे यह पेपर हल करने की कोशिश कर रहा है। इसे ऑपर्चुनिस्टिक स्पेक्ट्रम एक्सेस (OSA) कहा जाता है। लेखकों ने इस अराजकता को बेहतर ढंग से संभालने के लिए एक नया "स्मार्ट मैनेजर" एल्गोरिदम बनाया है।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (मौजूदा एल्गोरिदम):
पिछले तरीके एक ऐसे मैनेजर की तरह थे जो केवल एक चैनल के औसत इतिहास को देखता था। उन्होंने माना कि दुनिया शांत और अनुमानित है।

खामी: उन्होंने "शोर" को अनदेखा कर दिया। कल्पना कीजिए कि एक चैनल पर आमतौर पर बहुत अच्छा संगीत चलता है, लेकिन आज अचानक उसमें बहुत शोर आ गया है। पुराना मैनेजर यह नहीं समझ पाता कि सिग्नल खराब क्यों है और वह उस चैनल को चुनना जारी रखता, यह सोचकर कि वह अभी भी एक अच्छा विकल्प है। उन्होंने यह भी माना कि जब आप देख नहीं रहे होते हैं, तब चैनल नहीं बदलते, जबकि वास्तविक दुनिया में ऐसा नहीं है।

नया तरीका (पेपर का समाधान):
लेखकों ने एक "कॉन्टेक्स्ट ऑगमेंटेड" (संदर्भ संवर्धित) मैनेजर बनाया है। इसे एक मैनेजर को चैनल आवंटित करने से पहले एक मौसम रिपोर्ट (Context) देने के रूप में सोचें।

संदर्भ (Context): इस मामले में, "मौसम रिपोर्ट" चैनल स्टेट इंफॉर्मेशन (CSI) है। यह मैनेजर को वर्तमान वातावरण (जैसे हवा की गति या आर्द्रता) के बारे में बताता है जो शोर (static) का कारण बन सकता है।
अंतर्दृष्टि: पेपर ने महसूस किया कि "मौसम" (CSI) और "शोर" (static) आपस में जुड़े हुए हैं। यदि मौसम की रिपोर्ट कहती है "उच्च हस्तक्षेप (high interference)," तो मैनेजर जानता है कि चैनल शोर भरा होने की संभावना है, भले ही चैनल का इतिहास अच्छा दिख रहा हो।

यह एल्गोरिदम कैसे काम करता है

पेपर दो विशिष्ट "स्मर्ट मैनेजर" (एल्गोरिदम) प्रस्तावित करता है जो इस संबंध को सीखते हैं:

MP-LUCB (लीनियर मैनेजर):
- उपमा: एक सरल नियम पुस्तिका की कल्पना करें। "यदि मौसम की रिपोर्ट 1 पॉइंट बढ़ती है, तो शोर 2 पॉइंट बढ़ जाता है।"
- यह कैसे काम करता है: यह यह अनुमान लगाने के लिए एक सीधी रेखा वाले गणितीय मॉडल का उपयोग करता है कि संदर्भ के आधार पर शोर सिग्नल को कितना खराब करेगा। फिर यह अपने आत्मविश्वास को समायोजित करता है: "यह चैनल अच्छा दिख रहा है, लेकिन मौसम की रिपोर्ट कहती है कि यह शोर भरा है, इसलिए मैं अपनी अपेक्षा को कम कर दूँगा।"
MP-NUCB (न्यूरल नेटवर्क मैनेजर):
- उपमा: एक अनुभवी दिग्गज की कल्पना करें जिसने हजारों तूफानों को देखा है। वे केवल एक साधारण नियम पुस्तिका का उपयोग नहीं करते; उनके पास एक जटिल, सहज ज्ञान युक्त समझ है कि विभिन्न मौसम पैटर्न मिलकर शोर कैसे पैदा करते हैं।
- यह कैसे काम करता है: यह संदर्भ और शोर के बीच जटिल, गैर-सीधी रेखा वाले पैटर्न खोजने के लिए एक न्यूरल नेटवर्क (AI का एक प्रकार) का उपयोग करता है। यह उन वास्तविक स्थितियों को संभालने में बेहतर है जहाँ संबंध सरल नहीं होता।

"रिग्रेट" (Regret) स्कोर

इस खेल में, रिग्रेट छूटे हुए अवसरों की संख्या है।

यदि आप एक बुरा चैनल चुनते हैं, तो आपको कम श्रोता मिलते हैं। यह "रिग्रेट" है।
लक्ष्य शून्य रिग्रेट (हमेशा सटीक चैनल चुनना) होना है।
चूंकि आप भविष्य को पूरी तरह से नहीं जान सकते, इसलिए लक्ष्य रिग्रेट को यथासंभव कम करना है।

परिणामों ने क्या दिखाया

लेखकों ने 10 चैनलों और 5 डीजे के साथ एक कंप्यूटर सिमुलेशन में अपने नए मैनेजरों का परीक्षण किया, जो लंबे समय (1,00,000 स्टेप्स) तक चला। उन्होंने अपने नए मैनेजरों की तुलना पुराने तरीकों से की:

कम रिग्रेट: दोनों नए मैनेजरों ने पुराने तरीकों की तुलना में कम गलतियाँ कीं। उन्होंने शोर वाले चैनलों से बचकर प्रभावी ढंग से अधिक श्रोताओं को खोने से बचाया।
समझदार चुनाव: पुराने मैनेजर कभी-कभी अजीब संयोजनों में बुरे चैनल चुन लेते थे। नए मैनेजर (जब उन्हें चुनना पड़ता था) अधिक तार्किक और व्यवस्थित तरीके से बुरे चैनल चुनते थे।
"बीटा" ( $\beta$ ) कारक: लीनियर मैनेजर के पास एक "डायल" (जिसे $\beta$ कहा जाता है) है जो यह नियंत्रित करता है कि वह कितना साहसी है। यदि डायल बहुत कम है, तो वह नए चैनल आज़माने से डरता है। यदि यह बहुत अधिक है, तो वह बहुत सारे बुरे चैनल आज़माता है। पेपर में पाया गया कि इस डायल की सही सेटिंग ढूँढना सफलता के लिए महत्वपूर्ण है।

मुख्य निष्कर्ष

पेपर का दावा है कि शोर को संदर्भ (जैसे मौसम की रिपोर्ट) का उपयोग करके अनुमानित किए जाने वाले व्यवधान के रूप में मानकर, नए एल्गोरिदम रेडियो चैनल को बहुत तेज़ी से और अधिक कुशलता से आवंटित कर सकते हैं। उन्होंने साबित किया कि शोर को स्वीकार करने और "मौसम की रिपोर्ट" का उपयोग करने से सिस्टम, शोर को अनदेखा करने वाले तरीकों की तुलना में बेहतर निर्णय ले पाता है।

संक्षेप में, पुराने मैनेजर तूफान के प्रति अंधे थे। नए मैनेजर मौसम के पूर्वानुमान को देखते हैं, शोर का अनुमान लगाते हैं, और उसके अनुसार सबसे अच्छे रेडियो चैनल चुनते हैं।

तकनीकी सारांश: तेज़ चैनल आवंटन के लिए कॉन्टेक्स्ट ऑगमेंटेड मल्टी-प्ले मल्टी-आर्म्ड बैंडिट एल्गोरिदम

समस्या का निरूपण (Problem Formulation)
यह अध्ययन ऑपर्चुनिस्टिक स्पेक्ट्रम एक्सेस (OSA) परिदृश्यों में चैनल आवंटन की समस्या को संबोधित करता है, जहाँ एक बेस स्टेशन (BS) निरंतर डेटा ट्रांसमिशन के लिए $M$ सेकेंडरी यूजर्स (SUs) को $K$ उपलब्ध चैनलों आवंटित करता है। लेखक इसे एक रेस्टलेस कॉन्टेक्स्टुअल मल्टी-प्ले मल्टी-आर्म्ड बैंडिट (MP-MAB) समस्या के रूप में निरूपित करते हैं।

मानक MAB समस्याओं के विपरीत, OSA वातावरण दो विशिष्ट चुनौतियाँ प्रस्तुत करता है:

रेस्टलेनेस (Restlessness): चैनल की अवस्थाएँ चुनी जाने या न चुनी जाने की परवाह किए बिना एक मार्कोव चेन के अनुसार समय के साथ विकसित होती हैं, जो पारंपरिक बैंडिट एल्गोरिदम के स्थिर रिवॉर्ड (stationary reward) धारणा का उल्लंघन करती हैं।
चैनल नॉइज़ (Channel Noise): मौजूदा विधियाँ अक्सर QoS पर चैनल नॉइज़ के प्रभाव को अनदेखा करती हैं। इस कार्य में, चैनल नॉइज़ को आर्म के रिवॉर्ड फंक्शन के एक 'परटर्बेशन' (perturbation) के रूप में मॉडल किया गया है। लेखक तर्क देते हैं कि चैनल स्टेट इंफॉर्मेशन (CSI) और इस नॉइज़-प्रेरित परटर्बेशन के बीच एक अंतर्निहित सहसंबंध (correlation) है।

उद्देश्य रिग्रेट (regret) को कम करना है, जिसे $M$ चैनलों के इष्टतम सेट के संचयी रिवॉर्ड और वास्तविक संचित रिवॉर्ड के बीच के अंतर के रूप में परिभाषित किया गया है, जबकि चैनलों की गैर-स्थिर प्रकृति और नॉइज़ परटर्बेशन को भी ध्यान में रखा गया है।

कार्यप्रणाली (Methodology)
इस समस्या से निपटने के लिए, लेखक एक कॉन्टेक्स्ट ऑगमेंटेड रेस्टलेस MP-MAB फ्रेमवर्क प्रस्तावित करते हैं। मुख्य नवाचार संदर्भ (context) को एक वेक्टर ( $x_k$ ) के रूप में मानना है जो चैनल नॉइज़ द्वारा उत्पन्न परटर्बेशन ( $n_k$ ) को चित्रित करता है। एक आर्म के लिए रिवॉर्ड को 'आइडियल स्टेट रिवॉर्ड' में से 'नॉइज़ परटर्बेशन' को घटाकर परिभाषित किया गया है।

लेखक दो अलग-अलग इंडेक्स पॉलिसियों को व्युत्पन्न करते हैं जो संदर्भ (context) और परटर्बेशन (noise) के बीच संबंध के संबंध में अलग-अलग धारणाओं पर आधारित हैं:

MP-LUCB (Multi-Play Linear UCB):
- धारणा: संदर्भ और परटर्बेशन के बीच का संबंध रैखिक (linear) है।
- तंत्र: एल्गोरिदम संदर्भ से नॉइज़ को मैप करने वाले रैखिक पैरामीटर वेक्टर $\theta^*$ का अनुमान लगाने के लिए रिज रिग्रेशन (Ridge Regression) का उपयोग करता है।
- UCB समायोजन: अनुमानित और वास्तविक परटर्बेशन के बीच के बायस (bias) को संभालने के लिए, एल्गोरिदम एक कॉन्फिडेंस इंटरवल ( $\delta$ ) की गणना करता है। UCB को इस कॉन्फिडेंस टर्म को अनुमानित परटर्बेशन में जोड़कर समायोजित किया जाता है, जिससे एक रूढ़िवादी चयन रणनीति सुनिश्चित होती है जो संभावित नॉइज़ ओवरएस्टिमेशन को ध्यान में रखती है।
- एल्गोरिदम प्रवाह: यह पुनरावृत्ति (iteratively) के साथ कॉन्टेक्स्ट वेक्टर्स को देखता है, रैखिक मॉडल को अपडेट करता है, परटर्बेशन-अवेयर UCB की गणना करता है, और शीर्ष- $M$ चैनलों का चयन करता है। एक विशिष्ट सुधार चरण (remediation step) चयनित उम्मीदवारों को, जिनमें नकारात्मक रिवॉर्ड हो, पूरक सेट से गैर-नकारात्मक विकल्पों के साथ बदल देता है।
MP-NUCB (Multi-Play Non-Linear UCB):
- धारणा: संदर्भ और परटर्बेशन के बीच का संबंध गैर-रैखिक और जटिल है।
- तंत्र: यह नीति कॉन्टेक्स्ट वेक्टर को एक लेटेंट स्पेस (latent space) में एम्बेड करने और अंतर्निहित सहसंबंध को सीखने के लिए ReLU एक्टिवेशन के साथ एक न्यूरल नेटवर्क (NN) का उपयोग करती है।
- UCB समायोजन: लीनियर केस के समान, NN अनुमानित परटर्बेशन का अनुमान लगाता है। UCB का निर्माण नेटवर्क आउटपुट के ग्रेडिएंट ( $g_k$ ) से प्राप्त कॉन्फिडेंस टर्म को अनुमानित परटर्बेशन में जोड़कर किया जाता है।
- इनिशियलाइज़ेशन: स्थिरता सुनिश्चित करने के लिए नेटवर्क वेट्स को एक विशिष्ट गॉसियन डिस्ट्रीब्यूशन रणनीति का उपयोग करके इनिशियलाइज़ किया जाता है।

दोनों पॉलिसियों को एक रीजेनरेटिव साइकिल एल्गोरिदम (RCA) फ्रेमवर्क में एकीकृत किया गया है। यह एल्गोरिदम को एक ही अवस्था के असतत ब्लॉकों से क्रमिक सैंपल पाथ (sample paths) बनाकर रेस्टलेस चैनलों को संभालने की अनुमति देता है, जिससे UCB गणना के लिए आवश्यक स्थिर वितरण (stationary distribution) का अनुमान लगाया जा सके।

प्रमुख योगदान (Key Contributions)

नॉइज़ को परटर्बेशन के रूप में मॉडल करना: यह पेपर स्पष्ट रूप से चैनल नॉइज़ को रिवॉर्ड फंक्शन के एक परटर्बेशन के रूप में मॉडल करता है, जो इसे CSI के साथ एक कॉन्टेक्स्टुअल वेरिएबल के रूप में जोड़ता है, जिसे मौजूदा MP-MAB साहित्य में अक्सर अनदेखा किया जाता है।
कॉन्टेक्स्ट-अवेयर पॉलिसियाँ: दो विशिष्ट इंडेक्स पॉलिसियों (MP-LUCB और MP-NUCB) का विकास जो क्रमशः रैखिक मॉडल और न्यूरल नेटवर्क के माध्यम से कॉन्टेक्स्ट-परटर्बेशन सहसंबंध को सीखते हैं।
नॉइज़-अवेयर UCB: अनुमानित नॉइज़ मानों का उपयोग करके अपर बाउंड (Upper Confidence Bound) को समायोजित करने की एक विधि का विकास, जो लर्नर को शोर वाले वातावरण में एक्सप्लोरेशन और एक्सप्लोइटेशन के बीच अधिक प्रभावी ढंग से ट्रेड-ऑफ करने की अनुमति देता है।
रेस्टलेस बैंडिट्स के साथ एकीकरण: रीजेनरेटिव साइकिल दृष्टिकोण का उपयोग करके इन कॉन्टेक्स्टुअल पॉलिसियों को रेस्टलेस MP-MAB सेटिंग में सफलतापूर्वक अनुकूलित करना।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने दस गिलबर्ट-एलियट चैनलों और बदलते स्टेट ट्रांजिशन प्रोबेबिलिटी के साथ चार OSA परिदृश्यों (S1–S4) का अनुकरण करते हुए संख्यात्मक प्रयोग किए। प्रस्तावित एल्गोरिदम की तुलना निम्नलिखित से की गई:

MP-Random (रैंडम चयन)
MP-UCB (कैनोनिकल मल्टी-प्ले UCB)
MP-KLUCB (KL-diverance आधारित UCB)
RCA-M (रेस्टलेस बैंडिट बेसलाइन)

निष्कर्ष:

रिग्रेट प्रदर्शन: दोनों MP-LUCB और MP-NUCB ने सभी परिदृश्यों में बेसलाइन विधियों की तुलना में काफी कम रिग्रेट हासिल किया। परिणाम दर्शाते हैं कि कॉन्टेक्स्ट (CSI) को शामिल करने से रेस्टलेस वातावरण में अनिश्चितता प्रभावी रूप से कम हो जाती है।
सब-ऑप्टिमल आर्म चयन: प्रस्तावित पॉलिसियों ने सब-ऑप्टिमल आर्म्स को "अधिक तर्कसंगत तरीके से" चुना। चयन संरचना के विश्लेषण से पता चला कि जबकि बेसलाइन विधियाँ भी समान संख्या में सब-ऑप्टिमल आर्म्स चुन सकती हैं, प्रस्तावित विधियों ने ऐसे संयोजन चुने जिनके परिणामस्वरूप कम संचयी रिग्रेट हुआ।
हाइपरपैरामीटर संवेदनशीलता: MP-LUCB में कॉन्फिडेंस हाइपरपैरामीटर $\beta$ के साथ किए गए प्रयोगों ने प्रदर्शित किया कि न तो बहुत छोटा और न ही बहुत बड़ा मान इष्टतम प्रदर्शन देता है, जो व्यावहारिक ट्यूनिंग की आवश्यकता का सुझाव देता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि चैनल नॉइज़ को एक परटर्बेशन के रूप में मॉडल करके और CSI को कॉन्टेक्स्ट के रूप में उपयोग करके, प्रस्तावित एल्गोरिदम मौजूदा कॉन्टेक्स्ट-फ्री विधियों की तुलना में समय-परिवर्तित OSA परिदृश्यों के अनुकूल अधिक प्रभावी ढंग से ढल सकते हैं। लेखक कहते हैं कि उनका दृष्टिकोण सिस्टम को "सब-ऑप्टिमल आर्म्स को अधिक तर्कसंगत तरीके से चुनने" की अनुमति देता है, जिससे कम रिग्रेट होता है।

अध्ययन यह निष्कर्ष निकालता है कि जबकि वर्तमान कार्य एक केंद्रीकृत BS आर्किटेक्चर पर केंद्रित है, भविष्य का कार्य इन पॉलिसियों को विकेंद्रीकृत आर्किटेक्चर तक विस्तारित करने और अधिक जटिल कॉन्टेक्स्टुअल सेटिंग्स के लिए न्यूरल नेटवर्क मॉडल की दक्षता और स्केलेबिलिटी में सुधार करने की जांच करेगा। लेखक यह दावा नहीं करते हैं कि वे सभी OSA आवंटन समस्याओं को हल कर रहे हैं, बल्कि वे कॉन्टेक्स्ट, चैनल नॉइज़ और रेस्टलेस बैंडिट डायनेमिक्स के बीच परस्पर क्रिया को संभालने में एक विशिष्ट प्रगति प्रस्तुत करते हैं।

पुराना तरीका बनाम नया तरीका

यह एल्गोरिदम कैसे काम करता है

"रिग्रेट" (Regret) स्कोर

परिणामों ने क्या दिखाया

मुख्य निष्कर्ष

इसी तरह के और पेपर