🤖 machine learning

Contextual Bandits for Resource-Constrained Devices using Probabilistic Learning

यह शोध पत्र प्रोबेबिलिस्टिक HD-CB को प्रस्तुत करता है, जो हाइपरडायमेंशनल कॉन्टेक्स्टुअल बैंडिट्स का एक लो-प्रिसिजन वेरिएंट है, जो ओवरफ्लो को रोकने और कंप्यूटेशनल लागत को कम करने के लिए डिटर्मिनिस्टिक एक्यूमुलेशन को टाइम-डिकेइंग प्रोबेबिलिस्टिक अपडेट नियम से बदलता है, जबकि यह रिसोर्स-कंस्ट्रेंड डिवाइसेस पर बाइनराइज्ड विकल्पों से बेहतर प्रदर्शन करता है।

मूल लेखक: Marco Angioli, Kevin Johansson, Antonello Rosato, Amy Loutfi, Denis Kleyko

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marco Angioli, Kevin Johansson, Antonello Rosato, Amy Loutfi, Denis Kleyko

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छोटे, बैटरी से चलने वाले रोबोट के मैनेजर हैं जिसे हर दिन त्वरित निर्णय लेने की आवश्यकता होती है। उदाहरण के लिए, उसे पैकेज पहुंचाने के लिए सबसे अच्छा रास्ता चुनना होगा, या ऊर्जा बचाने के लिए लाइट जलाने का सबसे अच्छा समय तय करना होगा। यह एक क्लासिक "कॉन्टेक्स्टुअल बैंडिट" (Contextual Bandit) समस्या है: रोबोट एक स्थिति (संदर्भ) देखता है, एक कार्य चुनता है, इनाम (या दंड) प्राप्त करता है, और अगली बार बेहतर करने के लिए सीखने का प्रयास करता है।

यह शोध पत्र एक विशिष्ट सिरदर्द को संबोधित करता है: आप इस रोबोट को अपनी बैटरी खत्म किए बिना या अपनी छोटी सी मेमोरी भरने के बिना सीखना कैसे सिखा सकते हैं?

यहाँ समस्या और समाधान की कहानी है, जिसे सरल अवधारणाओं में विभाजित किया गया है।

समस्या: "विशाल नोटबुक" बनाम "छोटी नोटपैड"

मानक लर्निंग एल्गोरिदम विशाल नोटबुक वाले छात्रों की तरह होते हैं। हर बार जब वे कुछ नया सीखते हैं, तो वे उसे संख्याओं की एक विशाल तालिका में लिख देते हैं।

समस्या: जैसे-जैसे दुनिया अधिक जटिल होती जाती है (ट्रैक करने के लिए अधिक वेरिएबल्स), वह नोटबुक बहुत बड़ी हो जाती है। एक छोटे उपकरण (जैसे पहनने योग्य उपकरण या सेंसर) के लिए, यह असंभव है। इसमें बहुत अधिक मेमोरी और उस विशाल नोटबुक में लिखने के लिए बहुत अधिक बैटरी पावर लगती है।

इसे ठीक करने के लिए, शोधकर्ताओं ने पहले हाइपरडायमेंशनल कंप्यूटिंग (HD-CB) नामक एक विधि का उपयोग किया था। एक विशाल तालिका के बजाय, उन्होंने "हाइपरवेक्टर्स" का उपयोग किया—इन्हें मोतियों की लंबी माला की तरह समझें, जहाँ प्रत्येक मोती एक संख्या है।

पुराना HD-CB: हर बार जब रोबोट कुछ सीखता है, तो वह स्ट्रिंग में एक मोती जोड़ता है। समस्या क्या है? मोतियों पर संख्याएँ बढ़ती जा रही हैं (जैसे पहाड़ से लुढ़कता हुआ स्नोबॉल)। अंततः, संख्याएँ इतनी बड़ी हो जाती हैं कि वे रोबोट की छोटी सी मेमोरी को तोड़ देती हैं।
पिछला समाधान (Binarized HD-CB): संख्याओं को बहुत बड़ा होने से रोकने के लिए, पुराने तरीके में एक "हार्ड रिसेट" का उपयोग किया जाता था। हर कुछ चरणों के बाद, यह सभी मोतियों को देखता था और उन्हें जबरदस्ती "0" या "1" में बदल देता था, जिससे उनके बीच का सारा सूक्ष्म अंतर खत्म हो जाता था।
- दोष: यह अपनी पूरी डायरी को हर हफ्ते मिटाने और केवल हेडलाइंस रखने जैसा है। आप इस विवरण को खो देते हैं कि आपको कोई चीज़ कितनी पसंद थी, न कि केवल यह कि आपको वह पसंद थी या नहीं। इसने रोबोट को खराब निर्णय लेने के काबिल बना दिया।

समाधान: "प्रोबेबिलिस्टिक" (संभाव्यता आधारित) दृष्टिकोण

शोधकर्ताओं ने एक नई विधि पेश की जिसे प्रोबेबिलिस्टिक HD-CB कहा जाता है। उन्होंने केवल हार्ड रिसेट नहीं किया; उन्होंने यह बदल दिया कि रोबोट कैसे सीखता है।

कल्पना कीजिए कि रोबोट के पास सैचुरेटिंग काउंटर्स (जैसे एक मैकेनिकल ओडोमीटर जो एक निश्चित संख्या, मान लीजिए 7, पर रुक जाता है और 8 तक नहीं जाता) का एक सेट है।

अब कोई विशाल स्नोबॉल नहीं: संख्याओं को हमेशा के लिए बढ़ने देने के बजाय, रोबमा को इस तरह डिज़ाइन किया गया है कि संख्याएँ कभी भी एक छोटी सीमा (जैसे -7 से +7) से अधिक नहीं हो सकतीं। यह एक छोटे चिप पर पूरी तरह फिट बैठता है।
"सिक्का उछालने वाला" अपडेट: यहाँ चालाकी भरी बात है। पुराने तरीके में, रोबोट हर बार कुछ सीखने पर स्ट्रिंग के प्रत्येक मोती को अपडेट करता था। यह महंगा था।
- नए तरीके में, रोबोट प्रत्येक मोती के लिए एक सिक्का उछालता है।
- शुरुआत में: सिक्के को इस तरह वजन दिया जाता है कि वह अक्सर "हेड्स" (Heads) आए, ताकि कई मोतियों को अपडेट किया जा सके।
- बाद में: जैसे-जैसे रोबोट स्मार्ट होता जाता है, सिक्का "टेल्स" (Tails) की ओर झुक जाता है। यह केवल कुछ यादृच्छिक (रैंडम) मोतियों को ही अपडेट करता है।
यह क्यों काम करता है: समय के साथ कम मोतियों को अपडेट करके, रोबोट बैटरी और मेमोरी बचाता है। लेकिन क्योंकि यह हार्ड रिसेट करने के बजाय यादृच्छिक रूप से अपडेट करता है, यह जो कुछ भी उसने सीखा है उसकी "कहानी" को बरकरार रखता है। यह जानकारी की तीव्रता (magnitude) को नहीं फेंकता; यह बस इसे समय के साथ फैला देता है।

परिणाम: छोटा ही सुंदर है

शोधकर्ताओं ने एक मानक सिमुलेशन (एल्गोरिदम के परीक्षण के लिए एक "प्लेग्राउंड") का उपयोग करके इस नई विधि का पुराने तरीकों के मुकाबले परीक्षण किया।

"हार्ड रिसेट" से बेहतर: नई विधि (प्रोबेबिलिक) ने पुराने "बाइनराइज्ड" तरीके की तुलना में लगातार बेहतर निर्णय लिए। इसने उतनी जानकारी नहीं खोई।
छोटा लेकिन शक्तिशाली: सबसे आश्चर्यजनक परिणाम यह था कि नई विधि ने "विशाल नोटबुक" (उच्च-परिशुद्धता संस्करण) के लगभग समान प्रदर्शन किया, भले ही उसने प्रति मोती केवल 3 बिट की मेमोरी का उपयोग किया हो।
- उपमा: यह कहने जैसा है, "मैं केवल 3-अक्षर वाले वर्णमाला का उपयोग करके एक महान उपन्यास लिख सकता हूँ, जब तक कि मैं सही समय पर सही अक्षरों का चुनाव करूँ।"
मेमोरी की बचत: क्योंकि नए तरीके को हार्ड रिसेट प्रबंधित करने के लिए अतिरिक्त "बैकअप कॉपी" या "काउंटर" रखने की आवश्यकता नहीं है, इसलिए यह पिछले लो-प्रिसिजन तरीके की तुलना में कम मेमोरी का उपयोग करता है।

मुख्य निष्कर्ष (Bottom Line)

यह शोध पत्र एक तरीका प्रस्तुत करता है जिससे क्लाउड कंप्यूटर की आवश्यकता के बिना सीधे छोटे, कम शक्ति वाले उपकरणों (जैसे एज डिवाइसेस) पर स्मार्ट, अनुकूल निर्णय लेने की क्षमता डाली जा सकती है।

"संख्याओं को टूटने तक जोड़ने" से बदलकर "छोटे, सीमित काउंटरों को अपडेट करने के लिए सिक्के उछालने" की ओर स्विच करके, शोधकर्ताओं ने एक ऐसी लर्निंग सिस्टम बनाई जो है:

हल्की: कम मेमोरी का उपयोग करती है।
स्मार्ट: पिछले लो-पावर तरीकों की तुलना में बेहतर निर्णय लेती है।
कुशल: जैसे-जैसे यह सीखती है, कम बार अपडेट होकर ऊर्जा बचाती है।

संक्षेप में, उन्होंने एक तरीका खोजा है जिससे एक छोटा रोबोट एक विशाल मस्तिष्क या ईंधन के पूर्ण टैंक की आवश्यकता के बिना प्रभावी ढंग से सीख सकता है।

तकनीकी सारांश: संभाव्य शिक्षण (Probabilistic Learning) का उपयोग करके संसाधन-बाधित उपकरणों के लिए कॉन्टेक्स्टुअल बैंडिट्स (Contextual Bandits)

समस्या विवरण
कॉन्टेक्स्टुअल बैंडिट्स (CB) व्यक्तिगत अनुशंसाओं और एज कंप्यूटिंग जैसे अनुकूली (adaptive) सेवाओं में ऑनलाइन अनुक्रमिक निर्णय लेने के लिए मौलिक हैं। हालाँकि, संसाधन-बाधित उपकरणों (जैसे मोबाइल, वियरेबल्स, हवाई उपकरण) पर सीधे CB एजेंटों को तैनात करना महत्वपूर्ण चुनौतियाँ पेश करता है। मानक रैखिक (linear) CB एल्गोरिदम, हालांकि प्रभावी हैं, उन्हें कोवेरिएंस मैट्रिसेस (covariance matrices) बनाए रखने की आवश्यकता होती है जो कॉन्टेक्स्ट डाइमेंशनलिटी के साथ द्विघाती रूप से ( $O(Nd^2)$ मेमोरी) स्केल करते हैं और इसमें महंगी लीनियर अलजेब्रा गणनाएँ ( $O(d^3)$ जटिलता) शामिल होती हैं, जो उन्हें सख्त मेमोरी, कंप्यूट और ऊर्जा सीमाओं वाले उपकरणों के लिए अनुपयुक्त बनाती हैं।

हाल के कार्य में हाइपरडायमेंशनल कॉन्टेक्स्टुअल बैंडिट्स (HD-CB) पेश किया गया, जो उच्च-आयामी स्थानों में CB समस्याओं को हल करने के लिए हाइपरडायमेंशनल कंप्यूटिंग (HDC) का लाभ उठाता है। जबकि HD-CB रैखिक समय जटिलता और बेहतर स्केलेबिलिटी प्रदान करता है, इसका मानक कार्यान्वयन संचय-आधारित (accumulation-based) अपडेट पर निर्भर करता है जहाँ वेक्टर घटकों का मान अनिश्चित काल तक बढ़ता जाता है। इसके लिए ओवरफ्लो को रोकने के लिए उच्च-परिशुद्धता वाले संख्यात्मक प्रकारों (जैसे 32-बिट फ्लोट्स) की आवश्यकता होती है, जो मेमोरी दक्षता के लाभों को समाप्त कर देता है। एक पिछले निम्न-परिशुद्धता संस्करण, HD-CBBIN ने ओवरफ्लो को रोकने के लिए वेक्टर्स को आवधिक रूप से बाइनराइज़ (binarize) करने और काउंटरों को रीसेट करने का समाधान किया। हालाँकि, यह नियत (deterministic) बाइनराइजेशन संचित परिमाण (magnitude) की जानकारी को हटा देता है, जिससे प्रदर्शन में गिरावट आती है, विशेष रूपकर शोर वाले या डेटा-दुर्लभ परिदृश्यों में।

कार्यप्रणाली: संभाव्य HD-CB (HD-CBPROB)
यह शोध पत्र HD-CBPROB प्रस्तावित करता है, जो एक संभाव्य अपडेट नियम का उपयोग करके HD-CB का एक निम्न-परिशुद्धता संस्करण है। मुख्य नवाचार यह है कि यह आवधिक रीसेट के बजाय 'डिज़ाइन द्वारा बाउंडिंग' (bounding by design) को लागू करता है।

सीमित पूर्णांक घटक (Bounded Integer Components): वेक्टर घटकों को अनिश्चित काल तक बढ़ने देने के बजाय, HD-CBPROB प्रत्येक घटक को एक पूर्व-निर्धारित पूर्णांक रेंज $[-\kappa, +\kappa]$ के भीतर सीमित करता है। यह कम-परिशुद्धता वाले सैचुरेटेड इंटीजर काउंटरों (जैसे 2, 3, या 4 बिट्स) के उपयोग की अनुमति देता है।
संभाव्य अपडेट नियम (Probabilistic Update Rule): इन सख्त सीमाओं के भीतर सीखने को सक्षम करने के लिए, यह एल्गोरिदम परिमाण-आधारित अपडेट के स्थान पर फ्रीक्वेंसी-आधारित (frequency-based) अपडेट को प्रतिस्थापित करता है। प्रत्येक टाइम स्टेप $t$ $t$ पर, केवल वेक्टर्स का एक यादृच्छिक उपसमुच्चय (random subset) एक समय-क्षयकारी (time-decaying) संभाव्यता $\alpha_t$ $α_{t}$ के आधार पर अपडेट किया जाता है।
- अपडेट संभाव्यता को $\alpha_t = \alpha_0 \max(0, 1 - \frac{t-1}{T})$ के रूप में परिभाषित किया गया है।
- प्रत्येक घटक $i$ के लिए, एक यादृच्छिक मान $m_{t,i} \sim U(0, 1)$ लिया जाता है। अपडेट केवल तभी होता है जब $m_{t,i} \leq \alpha_t$ हो।
- जब अपडेट होता है, तो घटक को (कॉन्टेक्स्ट और रिवॉर्ड हाइपरवेक्टर्स के बाइंडिंग के आधार पर) $\pm 1$ से बढ़ाया या घटाया जाता है और फिर $[-\kappa, +\kappa]$ की सीमा में क्लिप (clip) किया जाता है।
तंत्र (Mechanism): यह दृष्टिकोण प्रभावी रूप से एक "सैचुरेटिंग रैंडम वॉक" (saturating random walk) को लागू करता है। संग्रहीत मानों के परिमाण के बजाय अपडेट की आवृत्ति को नियंत्रित करके, एजेंट कम-परिशुद्धता वाले घटकों में भी उच्च निष्ठा (fidelity) के साथ ऐतिहासिक जानकारी को बनाए रखता है। यह पिछले निम्न-परिशुद्धता संस्करणों (HD-CBBIN) के लिए आवश्यक सहायक काउंटरों और आवधिक बाइनराइजेशन चरणों की आवश्यकता को समाप्त करता है।

प्रमुख योगदान

एल्गोरिद्मिक नवाचार: HD-CB के लिए एक संभाव्य अपडेट नियम का परिचय, जो आवधिक सूचना हानि के बिना निम्न-परिशुद्धता, सैचुरेटेड इंटीजर घटकों के उपयोग को सक्षम बनाता है।
संसाधन दक्षता: यह विधि सहायक काउंटरों और वेक्टर्स की अलग बाइनराइज्ड प्रतियों की आवश्यकता को समाप्त करके मेमोरी फुटप्रिंट को कम करती है। यह कम्प्यूटेशनल लागत को भी कम करता है क्योंकि $\alpha_t$ के कारण समय के साथ अपेक्षित अपडेट की संख्या घटती जाती है।
प्रदर्शन संरक्षण: यह अपडेट की आवृत्ति के माध्यम से परिमाण की जानकारी को संरक्षित करके क्रियाओं (actions) की रैंकिंग गुणवत्ता को बनाए रखता है, जिससे हार्ड बाइनराइजेशन से होने वाली गिरावट से बचा जा सकता है।

प्रायोगिक परिणाम
लेखकों ने ओपन बैंडिट पाइपलाइन (OBP) के माध्यम से मानकीकृत सिंथेटिक CB बेंचमार्क पर ऑफ-पॉलिसी मूल्यांकन का उपयोग करके HD-CBPROB का मूल्यांकन किया, इसकी तुलना निम्नलिखित से की:

LinEPS: मानक रैखिक CB (बेसलाइन)।
HD-CBREAL: वास्तविक-मान (Real-valued) HD-CB।
HD-CBBIN: आवधिक रीसेट के साथ बाइनराइज्ड HD-CB।
HD-CBPROB: प्रस्तावित संभाव्य संस्करण।

मुख्य निष्कर्ष:

बाइनराइज्ड वेरिएंट्स पर श्रेष्ठता: HD-CBPROB सभी परीक्षण की गई कॉन्फ़िगरेशन (परिवर्तित कॉन्टेक्स्ट डाइमेंशनलिटी $d$ और क्रियाओं की संख्या $N$ ) में समान परिशुद्धता स्तरों पर HD-CBBIN से लगातार बेहतर प्रदर्शन करता है। विशेष रूप से, एक 3-बिट HD-CBPROB कार्यान्वयन ने 3-बिट HD-CBBIN कार्यान्वयन की तुलना में संचयी पुरस्कारों (cumulative rewards) में लगभग 5.8% का सुधार किया।
वास्तविक-मान प्रदर्शन के करीब: एक 3-बिट HD-CBPROB कॉन्फ़िगरेशन (सैचुरेशन थ्रेशोल्ड $\kappa=3$ के साथ) ने वास्तविक-मान HD-CBREAL बेसलाइन के करीब प्रदर्शन प्राप्त किया, जिसमें औसत अंतर केवल 2.5% था।
परिशुद्धता पर घटते प्रतिफल (Diminishing Returns): 3 से 4 बिट्स तक परिशुद्धता बढ़ाने से HD-CBPROB के लिए घटते या थोड़े नकारात्मक प्रतिफल मिले, जो यह सुझाव देते हैं कि इन सिंथेटिक सेटिंग्स में क्रिया की गुणवत्ता को पकड़ने के लिए 3 बिट्स पर्याप्त हैं।
मेमोरी दक्षता: HD-CBPROB को समान बिटविड्थ पर HD-CBBIN की तुलना में कम मेमोरी की आवश्यकता होती है क्योंकि इसे सहायक मशीनरी (काउंटर और अस्थायी बाइनराइज्ड प्रतियां) की आवश्यकता नहीं होती है। रैखिक CB के विपरीत, इसका मेमोरी फुटप्रिंट कॉन्टेक्स्ट डाइमेंशनलिटी के संबंध में स्थिर रहता है।

महत्व और दावे
शोध पत्र का दावा है कि संभाव्य HD-CB, पिछले हाइपरडायमेंशनल दृष्टिकोणों में निहित मेमोरी फुटप्रिंट और सूचना हानि के बीच के ट्रेड-ऑफ को हल करता है। परिमाण-आधारित संचय के बजाय फ्रीक्वेंसी-आधारित संभाव्य अपडेट की ओर शिफ्ट होकर, यह विधि सख्त पावर, मेमोरी और कंप्यूट बजट वाले उपकरणों पर अनुकूली, स्वायत्त एजेंटों की तैनाती को सक्षम बनाती है। लेखक HD-CBPROB को एज इंटेलिजेंस के लिए एक सम्मोहक विकल्प के रूप में देखते हैं, जो मानक रैखिक एल्गोरिदम और मौजूदा निम्न-परिशुद्धता हाइपरडायमेंशनल वेरिएंट दोनों की तुलना में काफी कम संसाधन आवश्यकताओं के साथ लगभग-इष्टतम निर्णय लेने की क्षमता प्रदान करता है।

लेखकों द्वारा पहचाना गया भविष्य का कार्य वास्तविक दुनिया के लॉग किए गए बैंडिट डेटासेट पर दृष्टिकोण का मूल्यांकन करना, अधिक जटिल रिवॉर्ड वितरणों के तहत परीक्षण करना और एज-डिप्लॉयमेंट दावों की पुष्टि करने के लिए एम्बेडेड हार्डवेयर पर प्रत्यक्ष लेटेंसी और ऊर्जा माप प्राप्त करना है।

समस्या: "विशाल नोटबुक" बनाम "छोटी नोटपैड"

समाधान: "प्रोबेबिलिस्टिक" (संभाव्यता आधारित) दृष्टिकोण

परिणाम: छोटा ही सुंदर है

मुख्य निष्कर्ष (Bottom Line)

इसी तरह के और पेपर