🤖 machine learning

Near-Optimal Last-Iterate Convergence for Zero-Sum Games with Bandit Feedback and Opponent Actions

यह शोध पत्र यह प्रदर्शित करता है कि दो-खिलाड़ी शून्य-योग खेलों (two-player zero-sum games) में, जहाँ बैंडिट फीडबैक के साथ खिलाड़ी प्रतिद्वंद्वी की क्रियाओं को भी देखते हैं, एक कुशल एल्गोरिदम उच्च संभाव्यता के साथ निकट-इष्टतम $t^{-1/2}$ लास्ट-इटरैट अभिसरण (last-iterate convergence) प्राप्त कर सकता है, जो उन पिछली सीमाओं को दूर करता है जिन्होंने केवल लॉस फीडबैक उपलब्ध होने पर अभिसरण को धीमी दरों तक सीमित कर दिया था।

मूल लेखक: Soumita Hait, Ping Li, Haipeng Luo, Mengxiao Zhang

प्रकाशित 2026-05-12

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soumita Hait, Ping Li, Haipeng Luo, Mengxiao Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दो खिलाड़ी रणनीति के एक उच्च-दांव वाले खेल में फंसे हुए हैं, जैसे कि रॉक-पेपर-सिज़र्स का एक डिजिटल संस्करण, लेकिन इसे लाखों बार खेला जाता है। दोनों का लक्ष्य उस पूर्ण संतुलन को खोजना है जहाँ कोई भी अकेले अपनी चाल बदलकर अपने स्कोर में सुधार नहीं कर सके। कंप्यूटर विज्ञान की दुनिया में, इसे जीरो-सम गेम (Zero-Sum Game) कहा जाता है, और उस पूर्ण संतुलन को खोजने को नैश इक्विलिब्रियम (Nash Equilibrium) तक पहुँचना कहा जाता है।

आपके द्वारा प्रदान किया गया शोध पत्र एक बहुत ही विशिष्ट समस्या पर चर्चा करता है: यदि खिलाड़ियों को केवल आंशिक जानकारी मिलती है, तो वे कितनी तेज़ी से पूरी तरह से खेलना सीख सकते हैं?

यहाँ इस शोध पत्र की कहानी का सरल उपमाओं का उपयोग करके विवरण दिया गया है।

सेटिंग: धुंधला गेम रूम (The Foggy Game Room)

आमतौर पर, जब हम कंप्यूटर को खेल खेलना सिखाते हैं, तो हम उन्हें एक "ग्रेडिएंट" देते हैं—एक शानदार GPS जो उन्हें ठीक से बताता है कि बेहतर होने के लिए किस दिशा में जाना है। लेकिन वास्तविक दुनिया में, वह GPS मौजूद नहीं होता है।

इसके बजाय, खिलाड़ी एक धुंधले कमरे में होते हैं। वे एक चाल चुनते हैं, और उन्हें केवल उस विशिष्ट चाल का परिणाम (हानि या पुरस्कार) दिखाई देता है। उन्हें यह नहीं पता होता कि यदि उन्होंने कोई दूसरी चाल चुनी होती तो क्या होता। इसे बैंडिट फीडबैक (Bandit Feedback) कहा जाता है। यह पोकर खेलने जैसा है जहाँ आप केवल अपने कार्ड और पॉट को देखते हैं, लेकिन आपको यह नहीं पता होता कि आपके प्रतिद्वंद्वी के पास क्या था या यदि आपने अलग तरह से दांव लगाया होता तो वे क्या करते।

समस्या: "पिछली चाल" का जाल (The "Last Move" Trap)

अतीत में, शोधकर्ताओं ने समय के साथ एक खिलाड़ी द्वारा की गई सभी चालों का औसत निकालकर अच्छे परिणाम प्राप्त करने का एक तरीका खोजा था। यह कहने जैसा है कि, "यदि आप पिछले एक वर्ष में मेरे औसत खेल को देखें, तो मैं काफी अच्छा हूँ।"

हालाँकि, वास्तविक जीवन में, आप केवल अपने व्यवहार का "औसत" नहीं निकाल सकते। आपको अभी इसी वक्त अच्छा होना चाहिए, अपनी बिल्कुल आखिरी चाल पर। इसे लास्ट-इटरेट कन्वर्जेंस (Last-Iterate Convergence) कहा जाता है।

एक हालिया अध्ययन (Fiegel et al., 2025) ने एक निराशाजनक सीमा दिखाई: इस धुंधले कमरे में, बिना किसी अतिरिक्त मदद के, आप केवल इतना ही उम्मीद कर सकते हैं कि आप बहुत धीरे-धीरे "काफी अच्छे" हो जाएंगे। यह तूफान में रेडियो ट्यून करने जैसा है; आप अंततः एक स्पष्ट सिग्नल प्राप्त कर सकते हैं, लेकिन इसमें बहुत समय लगता है, और हो सकता है कि आप आखिरी टर्न पर इसे कभी पूरी तरह से स्पष्ट न कर पाएं।

ट्विस्ट: गुप्त फुसफुसाहट (The Secret Whisper)

इस शोध पत्र के लेखकों ने एक सरल प्रश्न पूछा: क्या होगा यदि खिलाड़ी एक गुप्त फुसफुसाहट सुन सकें?

कई वास्तविक दुनिया के परिदृश्यों में (जैसे कंपनियों के बीच मूल्य निर्धारण रणनीतियाँ या सुरक्षात्मक खेल), खिलाड़ी केवल अपने परिणाम नहीं देखते; वे यह भी देखते हैं कि उनके प्रतिद्वंद्वी ने क्या किया।

उदाहरण: यदि आप एक कंपनी के रूप में कीमत तय कर रहे हैं, तो आप अपनी बिक्री देखते हैं, लेकिन आप अपने प्रतिस्पर्धी की कीमत भी देखते हैं।
शोध पत्र का अंतर्दृष्टि: यह अतिरिक्त जानकारी (प्रतिद्वंद्वी की चाल देखना) आपको प्रतिद्वंद्वी की रणनीति बताने वाली एक गुप्त फुसफुसाहट की तरह है। यह धुंध को चीर देती है।

समाधान: "लॉग-बैरियर" मैप (The "Log-Barrier" Map)

लेखकों ने एक नया एल्गोरिदम बनाया जिसे PMO-LB (Phased Minimax Optimization with Log-Barrier Regularization) कहा जाता है।

इस एल्गोरिदम को एक स्मार्ट खोजकर्ता के रूप में सोचें जिसके पास एक विशेष मानचित्र है:

फेज़्ड लर्निंग (Phased Learning): हर एक सेकंड में अपना विचार बदलने के बजाय, खिलाड़ी कुछ समय के लिए एक योजना पर टिके रहते हैं (एक "एपोक"), डेटा एकत्र करते हैं, और फिर अपनी रणनीति अपडेट करते हैं।
लॉग-बैरियर (The Log-Barrier): यह असली जादू है। कल्पना कीजिए कि खिलाड़ी एक अदृश्य दीवारों वाले कमरे में चल रहा है। "लॉग-बैरियर" एक ऐसा बल है जो उन्हें दीवारों (कमरे के किनारों जहाँ वे एक भयानक, जोखिम भरी चाल चुन सकते हैं) से धीरे से दूर धकेलता है। यह उन्हें पूरे कमरे को सुरक्षित रूप से एक्सप्लोर करने के लिए मजबूर करता है, बजाय इसके कि वे किसी कोने में फंस जाएं।
फुसफुसाहट (The Whisper): क्योंकि वे प्रतिद्वंद्वी की चाल देख सकते हैं, वे पहले की तुलना में बहुत तेज़ी से और अधिक सटीक रूप से अपने मानचित्र को अपडेट कर सकते हैं।

परिणाम: दौड़ में तेज़ होना (Speeding Up the Race)

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि इस नई पद्धति के साथ, खिलाड़ी पहले की तुलना में कहीं अधिक तेज़ी से पूर्ण संतुलन तक पहुँच सकते हैं।

पुराना तरीका (बिना प्रतिद्वंद्वी की जानकारी के): सीखने की गति एक घोंघे के रेंगने जैसी थी ( $t^{-1/3}$ या $t^{-1/4}$ )।
नया तरीका (प्रतिद्वंद्वी की जानकारी के साथ): गति बहुत तेज़ गति ( $t^{-1/2}$ ) में उछल जाती है।

यह एक बड़ी बात है क्योंकि यह "औसत प्रदर्शन" और "आखिरी चाल के प्रदर्शन" के बीच के अंतर को पाटता है। इसका मतलब है कि खिलाड़ी केवल औसतन अच्छा नहीं होता; वह अभी इसी वक्त अच्छा होता है।

यह कठिन क्यों था? (बाधा)

लेखक बताते हैं कि आप पुराने तरीकों को, जो एकल-खिलाड़ी खेलों के लिए हैं, यहाँ सीधे लागू नहीं कर सकते।

जाल: एकल-खिलाड़ी खेल में, यदि आप एक बुरी चाल चलते हैं, तो आप सीखते हैं कि वह बुरी है। दो-खिलाड़ी खेल में, यह जानने के लिए कि कोई विशिष्ट चाल "बुरी" है या नहीं, आपको अक्सर यह देखने के लिए अन्य बुरी चालें चलनी पड़ती हैं कि प्रतिद्वंद्वी कैसे प्रतिक्रिया देता है। यह एक 'कैच-22' स्थिति है।
ब्रेकथ्रू: लेखकों ने गणित के विश्लेषण का एक नया तरीका विकसित किया (जिसे "मल्टीप्लिकेटिव स्टेबिलिटी" का उपयोग करके किया गया) जो यह सिद्ध करता है कि खिलाड़ी एक्सप्लोर करते समय भी, अपनी पिछली अच्छी रणनीतियों के करीब रह सकते हैं और बुरे लूप में नहीं फंसते हैं।

प्रमाण: वास्तविक दुनिया का परीक्षण

यह साबित करने के लिए कि यह काम करता है, उन्होंने इसे सिक्योरिटी गेम्स (एक हमलावर से लक्ष्यों की रक्षा करने वाले डिफेंडर का अनुकरण करना) पर टेस्ट किया।

उन्होंने अपने एल्गोरिदम की तुलना सबसे अच्छे मौजूदा तरीकों से की।
परिणाम: उनके एल्गोरिदम (वह वाला जिसमें "फुसफुसाहट" और "लॉग-बैरियर" है) ने अन्य तरीकों की तुलना में लगातार बहुत तेज़ी से पूर्ण रणनीति तक पहुँचने में सफलता प्राप्त की। शोध पत्र में दिखने वाला ग्राफ दिखाता है कि उनकी रेखा प्रतिस्पर्धा की तुलना में बहुत अधिक तेजी से नीचे (बेहतर होते हुए) जा रही है।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "यदि आप एक खेल खेल रहे हैं और आप देख सकते हैं कि आपका प्रतिद्वंद्वी क्या करता है, तो आप उम्मीद से कहीं अधिक तेज़ी से पूरी तरह से खेलना सीख सकते हैं।"

उन्होंने एक स्मार्ट एल्गोरिदम बनाया है जो इस अतिरिक्त जानकारी का उपयोग करके खेल को सुरक्षित रूप से और तेज़ी से नेविगेट करता है, यह सिद्ध करता है कि "आखिरी चाल" संघर्ष नहीं होनी चाहिए। उन्होंने यह भी उल्लेख किया कि यह "ड्यूलिंग बैंडिट्स" (एक विशिष्ट प्रकार का खेल जहाँ आप दो विकल्पों की तुलना करते हैं) के लिए भी मददगार है, जिससे उन एल्गोरिदम को बेहतर बनाया जा सके।

तकनीकी सारांश: बैंडिट फीडबैक और प्रतिद्वंद्वी क्रियाओं के साथ शून्य-योग खेलों के लिए निकट-इष्टतम अंतिम-इटरेशन अभिसरण (Near-Optimal Last-Iterate Convergence)

समस्या विवरण

यह शोध पत्र बैंडिट फीडबैक (bandit feedback) के तहत दो-खिलाड़ी वाले शून्य-योग खेलों (zero-sum games) में सीखने की समस्या को संबोधित करता है, जहाँ खिलाड़ी केवल अपने द्वारा खेले गए विशिष्ट क्रिया युग्म (action pair) के शोर युक्त नुकसान/पुरस्कार (noisy loss/reward) को देखते हैं, न कि अपनी मिश्रित रणनीति के पूर्ण ग्रेडिएंट को। इस कार्य में एक महत्वपूर्ण अंतर यह है कि यह माना गया है कि खिलाड़ी अपने स्वयं के नुकसान के साथ-साथ प्रतिद्वंद्वी की क्रिया (opponent's action) को भी देखते हैं।

प्राथमिक लक्ष्य नैश इक्विलिब्रियम (Nash equilibrium) की ओर अंतिम-इटरेशन अभिसरण (last-iterate convergence) प्राप्त करना है, जिसे ड्युअलिटी गैप $DGap(x_t, y_t) \to 0$ के रूप में मापा जाता है जब $t \to \infty$ । यह औसत-इटरेशन अभिसरण (समय-औसत रणनीतियों का अभिसरण) या रैंडम-इटरेशन अभिसरण से भिन्न और अधिक सशक्त है।

पिछले कार्यों ने प्रतिद्वंद्वी-क्रिया फीडबैक की अनुपस्थिति में औसत-इटरेशन और अंतिम-इटरेशन अभिसरण के बीच एक सख्त अलगाव स्थापित किया था:

औसत-इटरेशन (Average-iterate): इष्टतम दर $O(t^{-1/2})$ ।
अंतिम-इटरेशन (बिना प्रतिद्वंद्वी क्रिया के): इष्टतम दरें अपेक्षा (expectation) में $O(t^{-1/3})$ और उच्च संभावना (high probability) के साथ $O(t^{-1/4})$ तक सीमित हैं।

मुख्य प्रश्न यह है कि क्या प्रतिद्वंद्वी की क्रिया को देखने की अतिरिक्त जानकारी अंतिम-इटरेशन अभिसरण को तेज करने, विशेष रूप से इष्टतम $O(t^{-1/2})$ दर तक पहुँचाने में सक्षम है।

कार्यप्रणाली (Methodology)

एल्गोरिदम: PMO-LB

लेखक फज्ड मिनिमैक्स ऑप्टिमाइजेशन विद लॉग-बैरियर रेगुलराइजेशन (Phased Minimax Optimization with Log-Barrier Regularization - PMO-LB) प्रस्तावित करते हैं। यह एल्गोरिदम दोगुने लंबाई वाले एपॉक्स (epochs) के चरणों में कार्य करता है ( $2^{s-1}$ से $2^s - 1$ तक)।

अनुमान (Estimation): प्रत्येक एपॉक्स $s$ के भीतर, खिलाड़ी गेम मैट्रिक्स $A$ के एक एम्पिरिकल एस्टिमेटर $\hat{A}_s$ की गणना करने के लिए डेटा एकत्र करते हैं।
रणनीति अपडेट (Strategy Update): प्रत्येक एपॉक्स की शुरुआत में, खिलाड़ी एक अनुमानित लॉग-बैरियर-रेगुलराइज्ड गेम को हल करके एक नई मिश्रित रणनीति युग्म $(x_s, y_s)$ की गणना करते हैं। पे-ऑफ फंक्शन (payoff function) को इस प्रकार परिभाषित किया गया है:
$\Phi_s(x, y) \triangleq x^\top \hat{A}_s y + \gamma_s \sum_{i=1}^d \log \frac{1}{x_i} - \gamma_s \sum_{j=1}^d \log \frac{1}{y_j}$
जहाँ $\gamma_s$ एक लर्निंग रेट है जो एपॉक्स के साथ घटता है।
निष्पादन (Execution): खिलाड़ी $(x_s, y_s)$ से क्रियाओं का नमूना (sample) एपॉक्स की अवधि के लिए लेते हैं।
स्वतंत्रता (Independence): गेम की युग्मित प्रकृति के बावजूद, यह एल्गोरिदम अनकप्ल्ड (uncoupled) है; प्रत्येक खिलाड़ी केवल देखी गई प्रतिद्वंद्वी क्रियाओं और अपने स्वयं के नुकसान का उपयोग करके अपनी रणनीति स्वतंत्र रूप से बना सकता है।

विश्लेषणात्मक दृष्टिकोण (Analytical Approach)

लेखक तर्क देते हैं कि बैंडिट साहित्य (हार्ड-एलमिनेशन और सॉफ्ट-एलमिनेशन दोनों) से मानक तकनीकें प्रतिद्वंद्वी-क्रिया फीडबैक के साथ भी खेलों में सामान्यीकरण करने में विफल रहती हैं।

हार्ड-एलमिनेशन (Hard-Elimination): यह विफल होता है क्योंकि शुद्ध रणनीति युग्म $(e_i, e_j)$ के ड्युअलिटी गैप का अनुमान लगाने के लिए अन्य संभावित रूप से "बुरे" रणनीतियों को खेलना आवश्यक है, जो हर दौर में कम रिग्रेट बनाए रखने के लक्ष्य के विपरीत है।
मानक सॉफ्ट-एलमिनेशन (FALCON-शैली): मौजूदा विश्लेषण "लो-रिग्रेट-लो-वैरिएंस" गुण पर निर्भर करते हैं जहाँ किसी क्रिया के अनुमान का विचरण (variance) उसके रिग्रेट द्वारा नियंत्रित होता है। लेखक दिखाते हैं कि यह गुण खेलों के लिए अपर्याप्त है क्योंकि एक रणनीति युग्म के ड्युअलिटी गैप का अनुमान लगाने के लिए उन रणनीतियों को खेलना आवश्यक है जिनका स्वयं का ड्युअलिटी गैप उच्च हो सकता है।

इससे निपटने के लिए, वे मल्टीप्लिकेटिव स्टेबिलिटी (multiplicative stability) पर आधारित एक नया विश्लेषण विकसित करते हैं।

वे सिद्ध करते हैं कि क्रमिक रणनीतियाँ $x_s$ और $x_{s-1}$ (और इसी तरह $y$ के लिए) उच्च संभावना के साथ मल्टीप्लिकेटिव रूप से करीब ( $x_{s,i} \leq \alpha x_{s-1,i}$ ) हैं।
यह स्थिरता लॉग-बैरियर रेगुलराइज़र द्वारा सक्षम होती है, जो यह रोकता है कि संभाव्यता द्रव्यमान (probability mass) क्रियाओं के एक उपसमुच्चय पर बहुत तेज़ी से केंद्रित न हो जाए, जिससे लॉस एस्टिमेटर्स का विचरण नियंत्रित रहता है।
विश्लेषण एक "लो-ड्युअलिटी-गैप-लो-वैरिएंस" गुण स्थापित करता है, जो मल्टीप्लिकेटिव स्टेबिलिटी के साथ मिलकर, बिना किसी खराब रणनीति को स्पष्ट रूप से खेले बिना वास्तविक ड्युअलिटी गैप को बांधने (bounding) की अनुमति देता है।

मुख्य योगदान (Key Contributions)

इष्टतम अंतिम-इटरेशन अभिसरण: यह शोध पत्र प्रदर्शित करता है कि प्रतिद्वंद्वी-क्रिया फीडबैक के साथ, उच्च संभावना के साथ $O(t^{-1/2})$ अंतिम-इटरेशन अभिसरण प्राप्त करना संभव है। यह औसत-इटरेशन अभिसरण के लिए इष्टतम दर से मेल खाता है, जिससे इस सेटिंग में दोनों धारणाओं के बीच के अंतर को प्रभावी रूप से पाट दिया गया है।
एल्गोरिद्मिक दक्षता: प्रस्तावित एल्गोरिदम गणनात्मक रूप से कुशल है, जिसमें $t$ राउंड के बाद $t$ अपडेट के लिए केवल $\log t$ अपडेट (सैडल-पॉइंट ऑप्टिमाइजेशन समस्या को हल करना) की आवश्यकता होती है।
सैद्धांतिक नवीनता: यह कार्य एकल-खिलाड़ी बैंडिट विश्लेषण को मल्टी-प्लेयर गेम्स में सामान्य करने के मौलिक अवरोधों की पहचान करता है। यह एक नया विश्लेषणात्मक ढांचा पेश करता है जो क्रमिक रणनीतियों के बीच मल्टीप्लिकेटिव स्टेबिलिटी पर निर्भर करता है, जो पिछले रिग्रेट-आधारित विश्लेषणों से अलग है।
ड्यूलिंग बैंडिट्स में सुधार: एक विशेष मामले के रूप में जहाँ गेम मैट्रिक्स स्क्यू-सिमेट्रिक (skew-symmetric) है (ड्यूलिंग बैंडिट्स), परिणाम इस सेटिंग के लिए पहले अंतिम-इटरेशन अभisरण गारंटी प्रदान करते हैं, जो पिछले कार्यों में सुधार करते हैं जो केवल रिग्रेट बाउंड प्रदान करते थे।

परिणाम (Results)

सैद्धांतिक गारंटी

थ्योरम 4.1: किसी भी निश्चित $\delta \in (0, 1)$ के लिए, एल्गोरिदम 2 एक विशिष्ट लर्निंग रेट शेड्यूल के साथ गारंटी देता है कि कम से कम $1-\delta$ की संभावना के साथ:
$DGap(x_t, y_t) = O\left( \frac{d^2 \sqrt{\log(d \log t / \delta)}}{\sqrt{t}} \right)$
सभी $t \geq 1$ के लिए। यह $t^{-1/2}$ अभिसरण दर का प्रतिनिधित्व करता है।

प्रयोगात्मक सत्यापन

लेखकों ने सुरक्षा गेम बेंचमार्क (आकार $61 \times 21$ और $39 \times 35$ ) पर पांच बेसलाइनों के विरुद्ध PMO-LB का मूल्यांकन किया:

बिना प्रतिद्वंद्वी-क्रिया फीडबैक वाले पूर्ववर्ती तरीके (Cai et al. [2023, 2025], Fiegel et al. [2025, 2026])।
एक नाइव (naive) बेसलाइन जो प्रतिद्वंद्वी की क्रियाओं का उपयोग करती है लेकिन एम्पिरिकल बेस्ट स्ट्रैटेजी को यूनिफॉर्म एक्सप्लोरेशन के साथ मिलाती है (एल्गोरिदम 3)।

निष्कर्ष:

PMO-LB ने सभी बेसलाइनों को लगातार पछाड़ दिया।
एम्पिरिकल कन्वर्जेंस स्लोप (convergence slopes) सैद्धांतिक भविष्यवाणियों से मेल खाते हैं:
- PMO-LB: $\approx -0.5$ (जो $t^{-1/2}$ से मेल खाता है)।
- Naive Baseline: $\approx -0.25$ (जो $t^{-1/4}$ से मेल खाता है)।
- पूर्ववर्ती तरीके (बिना प्रतिद्वंद्वी क्रिया के): स्लोप $-0.175 $से$ -0.301 $के बीच रहे (जो$ t^{-1/8} $से$ t^{-1/3}$ से मेल खाते हैं)।

महत्व और दावे (Significance and Claims)

यह शोध पत्र एक लंबे समय से खुले प्रश्न को हल करने का दावा करता है कि प्रतिद्वंद्वी-क्रिया सूचना का अंतिम-इटरेशन अभिसरण पर क्या प्रभाव पड़ता है। यह दिखाकर कि $t^{-1/2}$ अभिसरण प्राप्त करना संभव है, यह कार्य यह प्रदर्शित करता है कि बैंडिट फीडबैक सेटिंग्स में अंतिम-इटरेशन अभिसरण का "कठिन मार्ग" अनिवार्य रूप से औसत-इटरेशन अभिसरण से धीमा नहीं है, बशर्ते प्रतिद्वंद्वी की क्रियाएं दृश्यमान हों।

लेखक इस बात पर जोर देते हैं कि उनका योगदान मुख्य रूप से सैद्धांतिक और एल्गोरिद्मिक है। वे नोट करते हैं कि बाउंड में $d^2$ की निर्भरता उप-इष्टतम (suboptimal) हो सकती है, लेकिन $t^{-1/2}$ दर डायमेंशन फैक्टर्स के संदर्भ में इष्टतम है। यह कार्य यह भी रेखांकित करता है कि उनके विश्लेषण तकनीकें (लॉग-बैरियर रेगुलराइजेशन के माध्यम से मल्टीप्लिकेटिव स्टेबिलिटी) एकल-खिलाड़ी बैंडिट समस्याओं के लिए भी स्वतंत्र रूप से उपयोगी हो सकती हैं, जो मौजूदा रिग्रेट-आधारित विश्लेषणों के लिए एक विकल्प प्रदान करती हैं।

शोध पत्र यह निष्कर्ष निकालता है कि प्रतिद्वंद्वी की क्रियाओं को देखना अन्वेषण-शोषण (exploration-exploitation) के तनाव को मौलिक रूप से कम करता है, जिससे एल्गोरिदम को उन धीमी दरों से बचने में मदद मिलती है जो पहले बैंडिट फीडबैक सेटिंग्स में अपरिहार्य मानी जाती थीं।