🤖 AI

Flickering Multi-Armed Bandits

यह शोध पत्र गतिशील क्रिया उपलब्धता बाधाओं के तहत अनुक्रमिक निर्णय लेने को मॉडल करने के लिए फ्लिकरिंग मल्टी-आर्म्ड बैंडिट्स (FMAB) ढांचे को प्रस्तुत करता है, जो एक दो-चरणीय लेज़ी रैंडम वॉक एल्गोरिदम का प्रस्ताव करता है जो स्टोकेस्टिक रूप से विकसित होने वाले ग्राफ वातावरण में सूचना प्राप्ति और नेविगेशन ओवरहेड के बीच संतुलन बनाकर निकट-इष्टतम उप-रैखिक रिग्रेट (sublinear regret) प्राप्त करता है।

मूल लेखक: Sourav Chakraborty, Amit Kiran Rege, Claire Monteleoni, Lijun Chen

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sourav Chakraborty, Amit Kiran Rege, Claire Monteleoni, Lijun Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट हैं जिसे एक अराजक, आपदाग्रस्त शहर में संचार रिले (communication relay) स्थापित करने के लिए सबसे अच्छी जगह खोजने के लिए भेजा गया है। आपका लक्ष्य सिग्नल की गुणवत्ता को अधिकतम करना है। हालाँकि, आपको दो बड़ी समस्याओं का सामना करना पड़ रहा है:

आप शहर को नहीं जानते: प्रत्येक स्थान का एक छिपा हुआ "सिग्नल गुणवत्ता" स्कोर है, लेकिन आप इसे तभी जान पाते हैं जब आप वहां जाते हैं।
सड़कें टूटी हुई हैं: आप सीधे किसी भी इमारत तक नहीं जा सकते। मलबे के कारण सड़कें बंद हैं, और मानचित्र हर कुछ मिनटों में बदल जाता है। आप केवल उन इमारतों तक जा सकते हैं जो वर्तमान में आपके स्थान के ठीक बगल में हैं। यदि किसी आशाजनक इमारत की ओर जाने वाला रास्ता बंद है, तो आपको प्रतीक्षा करनी होगी या दूसरा रास्ता अपनाना होगा।

यह शोध पत्र इस समस्या को हल करने का एक नया तरीका पेश करता है, जिसे फ्लिकरिंग मल्टी-आर्म्ड बैंडिट्स (Flickering Multi-Armed Bandits - FMAB) कहा जाता है।

"फ्लिकरिंग" (Flickering) की समस्या

क्लासिक निर्णय लेने वाले खेलों (जिन्हें मल्टी-आर्म्ड बैंडिट्स कहा जाता है) में, कल्पना करें कि स्लॉट मशीनों की एक पंक्ति है। आप जब चाहें, किसी भी लीवर को खींच सकते हैं। लेकिन वास्तविक दुनिया में, आप अक्सर ऐसा नहीं कर सकते। शायद आप एक रोबोट हैं, और आप केवल अगली सड़क के कोने तक जा सकते हैं। शायद आप एक डॉक्टर हैं, और आप केवल अपने वेटिंग रूम में मौजूद मरीजों का इलाज कर सकते हैं।

इस शोध पत्र में, "मशीनें" (या स्थान) एक फ्लिकरिंग ग्राफ से जुड़ी हुई हैं। कल्पना करें कि शहर का मानचित्र कागज का एक टुकड़ा है जहाँ सड़कों को जोड़ने वाली रेखाएं (edges) बेतरतीब ढंग से प्रकट और गायब होती हैं।

"फ्लिकर" (Flicker): कभी-कभी एक सड़क खुली होती है; कभी-कभी बंद होती है।
प्रतिबंध: आप केवल तभी एक गंतव्य चुन सकते हैं यदि अभी उस स्थान से जुड़ने वाली कोई सड़क मौजूद हो।

सड़क के दो नियम

लेखक अध्ययन करते हैं कि शहर का मानचित्र दो विशिष्ट तरीकों से कैसे बदल सकता है:

"पासे का खेल" (Erdős–Rényi Model): हर बार जब आप एक कदम उठाते हैं, तो पूरा मानचित्र फिर से बनाया जाता है। हर संभावित सड़क के खुले या बंद होने की एक निश्चित संभावना होती है, जो पिछले सेकंड से पूरी तरह स्वतंत्र है। यह ऐसा है जैसे हर बार पलक झपकते ही शहर की हर सड़क के लिए एक सिक्का उछाला जा रहा हो।
"धीमी गति से बदलाव" (Edge-Markovian Model): मानचित्र पूरी तरह से रीसेट नहीं होता है। जो सड़कें खुली थीं, वे कुछ समय के लिए खुली रहने की प्रवृत्ति रखती हैं, और जो सड़कें बंद थीं, वे बंद रहने की प्रवृत्ति रखती हैं। वे धीरे-धीरे बदलते हैं, जैसे एक घंटे के दौरान यातायात के पैटर्न बदलते हैं। यह एक आपदा क्षेत्र के लिए अधिक यथार्थवादी है जहाँ एक पुल तुरंत ढहकर फिर से प्रकट नहीं होता है।

समाधान: "लेज़ी वॉकर" (Lazy Walker) रणनीति

लेखक रोबोट के लिए एक सरल, दो-चरणीय रणनीति प्रस्तावित करते हैं:

चरण 1: भटकने वाली यात्रा (अन्वेषण/Exploration)
रोबोट अभी स्मार्ट बनने की कोशिश नहीं करता है। वह बस एक खुले रास्ते को चुनता है और अगली इमारत की ओर बढ़ता है।

क्यों? क्योंकि रोबोट को यह अनुमान लगाने के लिए कि कौन सी इमारत सबसे अच्छी है, हर इमारत का कम से कम कुछ बार दौरा करना आवश्यक है।
"लेजी" (Lazy) हिस्सा: रोबोट जल्दबाजी नहीं करता है। वह बेतरतीब ढंग से भटकता रहता है। गणित यह सिद्ध करता है कि टूटी हुई सड़कों के बावजूद, यदि आप पर्याप्त समय तक भटकते हैं, तो आप अंततः हर इमारत पर पहुँच ही जाएंगे। यह एक नशे में धुत व्यक्ति की तरह है जो शहर के हर कोने में ठोकर खाकर चलता है; अंततः वह हर कोने तक पहुँच जाएगा, भले ही उसे सड़क खुलने का इंतज़ार करना पड़े।

चरण 2: प्रतिबद्धता (दोहन/Exploitation)
एक बार जब रोबोट सभी स्थानों का पर्याप्त दौरा कर लेता है, तो वह गणना करता है कि कौन सी इमारत में सबसे अच्छा सिग्नल होने की संभावना है।

इसके बाद, वह भटकना बंद कर देता है। वह उस विशिष्ट "विजेता" इमारत तक पहुँचने का प्रयास करता है।
एक बार वहाँ पहुँचने के बाद, वह वहीं रुक जाता है और उसका उपयोग करता रहता है, अन्य सभी विकल्पों को अनदेखा कर देता है।

बड़ी खोज: घूमने की लागत

शोध पत्र की मुख्य खोज सीखने की लागत के बारे में है।
एक आदर्श दुनिया में जहाँ आप किसी भी इमारत पर तुरंत कूद सकते हैं, सीखना तेज़ होता है। लेकिन इस "फ्लिकरिंग" दुनिया में, सीखना धीमा है क्योंकि आपको एक "नेविगेशन टैक्स" देना पड़ता है।

टैक्स: आप उन स्थानों तक पहुँचने की कोशिश में समय बिताते हैं जिन्हें आप देखना चाहते हैं।
परिणाम: लेखकों ने सिद्ध किया कि उनकी "लेज़ी वॉकर" रणनीति इस कार्य को करने का लगभग सबसे अच्छा तरीका है। उन्होंने दिखाया कि सीखने में लगने वाला समय इमारतों की संख्या ( $n$ ) और विकल्प की कठिनाई (सिग्नल की गुणवत्ता के बीच का अंतर) के समानुपाती होता है।
"स्टिकिनेस" (Stickiness) कारक: "स्लो ड्रिफ्ट" मानचित्र के लिए, उन्होंने एक महत्वपूर्ण नियम पाया: सड़कों का पर्याप्त "चिपचिपा" (स्थिर) होना आवश्यक है। यदि सड़कें बहुत तेज़ी से गायब होती हैं (यदि शहर बहुत हिंसक रूप से बदलता है), तो रोबोट कभी भी मानचित्र के साथ तालमेल नहीं बिठा पाएगा। मानचित्र को इतना स्थिर रहना चाहिए कि रोबोट अपनी यात्रा पूरी कर सके।

सिमुलेशन (Simulation)

इसे सिद्ध करने के लिए, उन्होंने 500 संभावित स्थानों वाले 5 वर्ग किलोमीटर के आपदा क्षेत्र में एक रोबोट का सिमुलेशन किया।

रोबोट ने बंद सड़कों और खुलती-बंद होती सड़कों के बीच घूमकर अनुभव प्राप्त किया।
उसने सफलतापूर्वक सबसे अच्छे स्थान की पहचान की और वहीं रुक गया।
परिणामों ने दिखाया कि रोबोट का "रिग्रेट" (Regret - यानी सबसे अच्छी जगह पर न होने के कारण हुआ अवसर का नुकसान) समय के साथ कम होता गया, जो यह सिद्ध करता है कि यह रणनीति काम करती है।

संक्षेप में

यह शोध पत्र इस पहेली को हल करता है कि "आप सबसे अच्छा विकल्प कैसे सीख सकते हैं जब आप केवल अपने पड़ोसियों तक ही सीमित हैं और मानचित्र लगातार बदल रहा है?"

उत्तर है: बेतरतीब ढंग से भटकते रहें जब तक कि आपने सब कुछ देख न लिया हो, फिर विजेता के प्रति प्रतिबद्ध हो जाएं। टूटी हुई सड़कों और बदलते हुए मानचित्र के बावजूद, उनका यह सरल "लेजी" दृष्टिकोण गणितीय रूप से लगभग उतना ही कुशल है जितना कि संभव है। यह उजागर करता है कि बदलती दुनिया में, घूमने का भौतिक प्रयास डेटा एकत्र करने के जितना ही महत्वपूर्ण हिस्सा है।

तकनीकी सारांश: फ्लिकरिंग मल्टी-आर्म्ड बैंडिट्स (Flickering Multi-Armed Bandits)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र फ्लिकरिंग मल्टी-आर्म्ड बैंडिट (FMAB) ढांचे को पेश करता है ताकि उन वातावरणों में क्रमिक निर्णय लेने (sequential decision-making) की समस्या को हल किया जा सके जहाँ क्रियाओं की उपलब्धता गतिशील, प्रतिबंधित और एजेंट की वर्तमान स्थिति पर निर्भर होती है। शास्त्रीय मल्टी-आर्म्ड बैंडिट (MAB) समस्याओं के विपरीत, जो भुजाओं (arms) के एक निश्चित सेट तक अबाधित पहुंच मानती हैं, FMAB उन परिदृश्यों को मॉडल करता है जहाँ एक एजेंट केवल उन भुजाओं के उपसमुच्चय (subset) में से चुन सकता है जो एक स्टोकेस्टिक रूप से विकसित होते ग्राफ में उसके वर्तमान स्थान के पड़ोस (neighborhood) में परिभाषित हैं।

मुख्य बाधाएं:

स्थानीय सुलभता (Local Accessibility): किसी भी दौर $t$ में, एजेंट $a_{t-1}$ भुजा पर स्थित होता है। उपलब्ध भुजाओं का सेट $L_t(a_{t-1})$ , वर्तमान ग्राफ $G_t$ में $a_{t-1}$ के पड़ोस और स्वयं वर्तमान भुजा तक सीमित है।
स्टोकेस्टिक विकास (Stochastic Evolution): ग्राफ $G_t$ समय के साथ विकसित होता है। एजेंट मनमाने ढंग से किसी भी भुजा पर नहीं कूद सकता; उसे अनविजिटेड या आशाजनक भुजाओं तक पहुँचने के लिए ग्राफ संरचना के माध्यम से नेविगेट करना होगा।
दोहरी चुनौती: एजेंट सांख्यिकीय सूचना प्राप्ति (इष्टतम भुजा की पहचान करने के लिए भुजाओं का अन्वेषण करना) और भौतिक नेविगेशन ओवरहेड (उन भुजाओं तक पहुँचने के लिए ग्राफ के माध्यम से चलने की लागत) के बीच एक तनाव का सामना करता है।

ग्राफ मॉडल:
लेखक क्रिया उपलब्धता के विकास को दो प्राथमिक रैंडम ग्राफ प्रक्रियाओं के माध्यम से औपचारिक रूप देते हैं:

i.i.d. एर्दोस-रेनी (Erdős–Rényi - ER): प्रत्येक दौर में, एक नया ग्राफ स्वतंत्र रूप से लिया जाता है। किनारे (edges) प्रायिकता $p$ (समरूप) या विशिष्ट किनारों की प्रायिकता $p_{ij}$ (विषम) के साथ मौजूद होते हैं।
एज-मार्कोवियन (Edge-Markovian): ग्राफ पिछले राज्य से विकसित होता है। किनारे $\alpha$ की प्रायिकता के साथ प्रकट होते हैं और $\beta$ की प्रायिकता के साथ गायब हो जाते हैं। यह "स्टीकी" (sticky) कनेक्टिविटी को मॉडल करता है जहाँ टोपोलॉजी पूरी तरह से रीसेट होने के बजाय धीरे-धीरे बदलती है।

उद्देश्य इन स्थानीय-मूव बाधाओं के अधीन संचयी पछतावा (cumulative regret) $R(T) = \sum_{t=1}^T (\mu(a^*) - r_t(a_t))$ को कम करना है, जहाँ $a^*$ इष्टतम भुजा है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान एक दो-चरणीय शिक्षण एल्गोरिदम (Two-Phase Learning Algorithm) है जो अन्वेषण के लिए लेजी रैंडम वॉक (Lazy Random Walk) का उपयोग करता है।

चरण I: सर्वश्रेष्ठ भुजा की पहचान (अन्वेषण - Exploration)

नीति (Policy): एजेंट एक लेजी रैंडम वॉक करता है। प्रत्येक चरण में, वर्तमान भुजा $a_{t-1}$ और वास्तविक ग्राफ $G_t$ को देखते हुए, एजेंट उपलब्ध सेट $L_t(a_{t-1})$ से अगली भुजा $a_t$ को समान रूप से यादृच्छिक (uniformly at random) रूप से चुनता है।
अवधि: यह चरण एक पूर्व निर्धारित समय $T_0$ तक चलता है।
लक्ष्य: सभी भुजाओं के माध्य पुरस्कारों $\hat{\mu}(a)$ को सटीक रूप से अनुमानित करने के लिए पर्याप्त नमूने एकत्र करना।
समाप्ति: चरण I के अंत में, एजेंट संभावित इष्टतम भुजा $\hat{a}^* = \arg\max_a \hat{\mu}(a)$ की पहचान करता है।

चरण II: नेविगेशन और प्रतिबद्धता (शोषण - Exploitation)

नीति: एजेंट तब तक लेजी रैंडम वॉक करता रहता है जब तक कि वह सफलतापूर्वक पहचाने गए लक्ष्य $\hat{a}^*$ तक नहीं पहुँच जाता।
प्रतिबद्धता (Commitment): एक बार जब एजेंट $\hat{a}^*$ पर उतर जाता है, तो वह भविष्य के सभी दौरों के लिए इस भुजा के प्रति प्रतिबद्ध हो जाता है। चूंकि एजेंट हमेशा अपनी वर्तमान भुजा पर रह सकता है (सेल्फ-लूप), इसलिए वह $\hat{a}^*$ पर अनिश्चित काल के लिए बना रहता है।

सैद्धांतिक विश्लेषण तकनीकें

विश्लेषण विकसित होने वाले मार्कोव श्रृंखलाओं के लिए स्पेक्ट्रल तकनीकों को समय-परिवर्तित ग्राफों के लिए एकाग्रता असमानताओं (concentration inequalities) के साथ जोड़ता है:

i.i.d. ER ग्राफों के लिए:
- समरूप मामला (Homogeneous Case): अपेक्षित ट्रांजिशन कर्नेल सममित और डबल स्टोकेस्टिक है, जिससे एक समान स्थिर वितरण (uniform stationary distribution) प्राप्त होता है। लेखक यह दिखाने के लिए एक पुनरुत्थान तर्क (regeneration argument) का उपयोग करते हैं कि वॉक कुशलता से मिक्स होता है।
- विषम मामला (Heterogeneous Case): कर्नेल सममित नहीं है। लेखक एक यूनिफॉर्म टिपिकैलिटी तर्क (uniform typicality argument) का उपयोग करते हैं, जो यह सिद्ध करता है कि वास्तविक ग्राफ गुण (डिग्री, कट्स) उनके अपेक्षित मूल्यों के आसपास तीव्रता से केंद्रित होते हैं, जिससे स्पेक्ट्रल गैप और स्टेशनरी डिस्ट्रीब्यूशन पर समान सीमाएँ (uniform bounds) संभव होती हैं।
एज-मार्कोवियन ग्राफों के लिए:
- विश्लेषण एजेंट के वॉक और ग्राफ के विकास के बीच कपलिंग (coupling) को संबोधित करता है।
- एक "दो गतियों" (Two Speeds) की स्थिति स्थापित की गई है: ग्राफ को रैंडम वॉक की मिक्सिंग गति के सापेक्ष पर्याप्त रूप से धीरे विकसित होना चाहिए (स्टीकीनेस स्थिति $\beta \le O(1/n)$ )।
- एल्गोरिदम को ग्राफ प्रक्रिया के मानक अन्वेषण चरण शुरू होने से पहले अपने स्टेशनरी डिस्ट्रीब्यूशन तक पहुँचने के लिए एक बर्न-इन अवधि ( $T_{burn}$ ) की आवश्यकता होती है।

3. मुख्य परिणाम

रिग्रेट बाउंड्स (Regret Bounds)

शोध पत्र दोनों ग्राफ मॉडलों के लिए उच्च-संभाव्यता वाले सबलीनियर रिग्रेट बाउंड्स स्थापित करता है।

सिद्धांत 1 (i.i.d. ER ग्राफ):
विषम ER मॉडल के लिए, प्रायिकता $1-\delta$ के साथ रिग्रेट $R(T)$ संतुष्ट करता है:
$R(T) \le \underbrace{O\left(n \log(nT/\delta) + \frac{n \log(n/\delta)}{\Delta_{\min}^2}\right)}_{\text{अन्वेषण लागत (Exploration Cost)}} + \underbrace{O\left(n \log(n/\delta)\right)}_{\text{नेविगेशन लागत (Navigation Cost)}}$
जहाँ $\Delta_{\min}$ न्यूनतम उप-इष्टतमता अंतर (sub-optimality gap) है। अन्वेषण लागत भुजाओं की संख्या $n$ के रैखिक रूप से स्केल करती है, और नेविगेशन लागत इष्टतम भुजा तक पहुँचने के समय को दर्शाती है।

सिद्धांत 3 (एज-मार्कोवियन ग्राफ):
टिपिकैलिटी और स्टीकीनेस स्थितियों के तहत, रिग्रेट में एक अतिरिक्त बर्न-इन टर्म शामिल है:
$R(T) \le \underbrace{O\left(\frac{\log(nT/\delta)}{\alpha+\beta}\right)}_{\text{बर्न-इन (Burn-in)}} + \underbrace{O\left(n \log(nT/\delta) + \frac{n \log(n/\delta)}{\Delta_{\min}^2}\right)}_{\text{अन्वेषण (Exploration)}} + \underbrace{O\left(n \log(n/\delta)\right)}_{\text{नेविगेशन (Navigation)}}$

अपेक्षित रिग्रेट और निकट-इष्टतमता (Expected Regret and Near-Optimality)

विफलता की प्रायिकता $\delta = 1/T$ निर्धारित करके, लेखक अपेक्षित रिग्रेट बाउंड प्राप्त करते हैं:
$E[R(T)] = O\left(\frac{n \log(nT)}{\Delta_{\min}^2}\right)$
शोध पत्र यह सिद्ध करके कि यह बाउंड निकट-इष्टतम (near-optimal) है, एक सूचना-सैद्धांतिक निचली सीमा (information-theoretic lower bound) निकालता है। निचली सीमा दिखाती है कि किसी भी एल्गोरिदम को $\Omega(n \log(T)/\Delta_{\min}^2)$ का पहचान समय (identification time) सहना ही होगा। प्रस्तावित दो-चरणीय दृष्टिकोण इस निचली सीमा से लॉगरिदमिक कारकों तक मेल खाता है, जो यह दर्शाता है कि "नेविगेशन की लागत" ने पहचान की आवश्यकता के अलावा समस्या की सांख्यिकीय कठिनाई को मौलिक रूप से नहीं बढ़ाया है।

सिमुलेशन (Simulations)

सैद्धांतिक निष्कर्षों को निम्नलिखित के माध्यम से मान्य किया गया है:

नियंत्रित प्रयोग: i.i.d. ER और एज-मार्कोवियन ग्राफों पर सिमुलेशन पुष्टि करते हैं कि औसत रिग्रेट शून्य की ओर अभिसरित (converge) होता है और नेविगेशन समय किनारे की प्रायिकता $p$ के व्युत्क्रमानुपाती रूप से स्केल करता है (अर्थात, $O(1/p)$ )।
रोबोटिक आपदा प्रतिक्रिया परिदृश्य: एक आपदा क्षेत्र में संचार रिले साइटों की खोज करने वाले ग्राउंड व्हीकल का सिमुलेशन। वाहन स्थानीय सेंसिंग (कोई वैश्विक मानचित्र नहीं) के साथ काम करता है और एक गतिशील रूप से बदलते स्ट्रीट नेटवर्क (एज-मार्कोवियन) में नेविगेट करता है। परिणाम दिखाते हैं कि एल्गोरिदम सफलतापूर्वक इष्टतम स्थान की पहचान करता है और उस पर अभिसरित होता है, जो FMAB मॉडल की व्यावहारिक प्रयोज्यता को प्रमाणित करता है।

4. महत्व और योगदान

शोध पत्र निम्नलिखित योगदानों का दावा करता है:

नया ढांचा (Novel Framework): यह FMAB मॉडल पेश करता है, जो अनिश्चितता के तहत स्थानीय-मूव बाधाओं (नेविगेशन) को क्रमिक निर्णय लेने के साथ स्पष्ट रूप से जोड़ने वाला पहला मॉडल है। यह मौजूदा साहित्य के अंतराल को संबोधित करता है जहाँ "स्लीपिंग" या "वोलेटाइल" बैंडिट्स यह मानते हैं कि उपलब्धता एजेंट के कार्यों से स्वतंत्र है या वैश्विक रूप से ज्ञात है।
एकीकृत विश्लेषण (Unified Analysis): यह विकसित रैंडम ग्राफों पर सीखने के लिए एक एकीकृत रिग्रेट विश्लेषण प्रदान करता है, जिसमें i.i.d. और मार्कोवियन डायनेमिक्स दोनों को शामिल किया गया है।
एल्गोरिदम की मजबूती (Algorithmic Robustness): प्रस्तावित लेजी रैंडम वॉक रणनीति को विविध कनेक्टिविटी व्यवस्थाओं (समरूप, विषम, और समय-सहसंबंधित) में मजबूत दिखाया गया है।
मौलिक सीमाएं (Fundamental Limits): एक मिलान करने वाली निचली सीमा स्थापित करके, यह कार्य स्थानीय-मूव बाधाओं के तहत सीखने की अंतर्निहित लागत को स्पष्ट करता है, यह सिद्ध करते हुए कि भौतिक नेविगेशन ओवरहेड ने पहचान की आवश्यकता के अलावा सांख्यिकीय दर को कम नहीं किया है (लॉग कारकों को छोड़कर)।
व्यावहारिक प्रासंगिकता (Practical Relevance): यह कार्य ऑनलाइन लर्निंग को भौतिक बाधाओं के साथ जोड़ता है, जो रोबोटिक्स, आपदा प्रतिक्रिया और नेटवर्क सिस्टम जैसे क्षेत्रों के लिए एक ठोस आधार प्रदान करता है जहाँ एजेंट विकल्पों के बीच टेलीपोर्ट नहीं कर सकते।

लेखक निष्कर्ष निकालते हैं कि हालांकि उच्च-प्रायिकता विश्लेषण विशिष्ट ग्राफ मापदंडों पर निर्भर करता है, अंतिम अपेक्षित रिग्रेट केवल मौलिक समस्या मापदंडों ( $n, T, \Delta_{\min}$ ) पर निर्भर करता है, जो यह सुझाव देता है कि प्रस्तावित अन्वेषण रणनीति द्वारा पर्यावरण की संरचनात्मक बाधाओं को प्रभावी ढंग से प्रबंधित किया गया है।