📊 statistics

Neural Variance-aware Dueling Bandits with Deep Representation and Shallow Exploration

यह शोध पत्र न्यूरल वेरिएंस-अवेयर ड्यूलिंग बैंडिट एल्गोरिदम प्रस्तावित करता है जो केवल अंतिम-परत (last-layer) ग्रेडिएंट्स का उपयोग करके तुलनात्मक अनिश्चितता को अनुकूल रूप से समायोजित करते हुए, सबलीनियर संचयी रिग्रेट (sublinear cumulative regret) और सिंथेटिक एवं वास्तविक दुनिया के कार्यों पर उत्कृष्ट अनुभवजन्य प्रदर्शन प्राप्त करने के लिए डीप रिप्रेजेंटेशन के साथ शैलो एक्सप्लोरेशन का लाभ उठाते हैं।

मूल लेखक: Youngmin Oh, Jinje Park, Taejin Paik, Jaemin Park

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youngmin Oh, Jinje Park, Taejin Paik, Jaemin Park

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जज हैं जिसे यह तय करना है कि दो नई रेसिपी में से कौन सी बेहतर है। आपको कोई स्कोर नहीं मिलता (जैसे "10 में से 8"); आपको केवल एक सरल "मैं रेसिपी A पसंद करता हूँ" या "मैं रेसिपी B पसंद करता हूँ" मिलता है। यह ड्युएलिंग बैंडिट्स (Dueling Bandits) की दुनिया है। आपको सबसे अच्छी रेसिपी खोजने के लिए जोड़ों का परीक्षण करते रहना होगा, लेकिन फीडबैक शोर भरा (noisy) और कभी-कभी भ्रमित करने वाला होता है।

अब, कल्पना कीजिए कि स्वाद के नियम अविश्वसनीय रूप से जटिल हैं। शायद यह सिर्फ "मीठे बनाम नमकीन" के बारे में नहीं है, बल्कि यह इस बारे में है कि कैसे सामग्रियां एक ऐसे जटिल जाल में आपस में मिलती हैं जिसकी भविष्यवाणी एक साधारण फॉर्मूला नहीं कर सकता। यहीं पर न्यूरल नेटवर्क्स (Neural Networks) काम आते हैं—वे सुपर-स्मार्ट शेफ की तरह हैं जो इन जटिल, गैर-रेखीय (non-linear) पैटर्न को सीख सकते हैं।

यह पेपर एक नई विधि पेश करता है जिसे NVLDB (Neural Variance-Aware Linear Dueling Bandits) कहा जाता है। यह यहाँ बताया गया है कि यह कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "बहुत बड़ा" दिमाग

पिछले तरीकों ने इन रेसिपी की समस्या को हल करने के लिए इन सुपर-स्मार्ट न्यूरल शेफ का उपयोग करने की कोशिश की। हालाँकि, उनमें एक बड़ी खामी थी: वे निर्णय लेने के लिए शेफ के दिमाग में हर एक सामग्री (न्यूरल नेटवर्क में प्रत्येक पैरामीटर) को ट्रैक करने की कोशिश कर रहे थे।

उपमा: कल्पना कीजिए कि आप हर इमारत में हर एक ईंट के स्थान को याद करके शहर में नेविगेट करने की कोशिश कर रहे हैं। यह सटीक है, लेकिन यह अविश्वसनीय रूप से धीमा है और इसमें बहुत अधिक मेमोरी की आवश्यकता होती है।
परिणाम: इसे काम करने के लिए, कंप्यूटर को असंभव रूप से विशाल (गणितीय रूप से कहें तो, नेटवर्क को खगोलीय रूप से चौड़ा होना था) होने की आवश्यकता थी।

2. समाधान: "उथली" रणनीति (The "Shallow" Strategy)

लेखक एक चतुर शॉर्टकट का प्रस्ताव देते हैं। पूरे दिमाग को देखने के बजाय, वे केवल न्यूरल नेटवर्क की अंतिम परत (final layer) को देखते हैं—वह हिस्सा जो वास्तव में निर्णय लेता है।

उपमा: हर ईंट को याद करने के बजाय, आप बस शेफ से पूछते हैं, "आपका अंतिम फैसला क्या है?" और "आप कितने आश्वस्त हैं?" आप इस बात के उलझे हुए आंतरिक विवरणों को अनदेखा कर देते हैं कि शेफ वहां तक कैसे पहुँचा।
लाभ: इसे शैलो एक्सप्लोरेशन (Shallow Exploration) कहा जाता है। यह एल्गोरिदम को बहुत तेज़ और गणनात्मक रूप से कुशल बनाता है, जैसे एक सुपरकंप्यूटर से एक मानक लैपटॉप पर स्विच करना।

3. गुप्त सॉस: "वैरिएंस अवेयरनेस" (Variance Awareness)

यह पेपर का सबसे बड़ा नवाचार है। रेसिपी प्रतियोगिता में, कुछ तुलनाएं आसान होती हैं (रेसिपी A स्पष्ट रूप से बेहतर है), और कुछ कठिन (वे लगभग एक जैसी हैं)।

समस्या: जब दो रेसिपी लगभग एक जैसी होती हैं, तो फीडबैक बहुत "शोर भरा" (noisy) होता है। जज शायद सिक्का उछालकर निर्णय ले। यदि आप उस सिक्के के उछाल को एक स्पष्ट जीत के समान महत्व देते हैं, तो आप भ्रमित हो जाएंगे।
समाधान: नया एल्गोरिदम वैरिएंस-अवेयर (Variance-Aware) है। यह एक फिल्टर की तरह काम करता है।
- यदि फीडबैक स्पष्ट है (कम वैरिएंस), तो यह ध्यान से सुनता है।
- यदि फीडबैक एक सिक्के के उछाल जैसा है (उच्च वैरिएंस), तो यह कहता है, "यह अभी विश्वास करने के लिए बहुत शोर भरा है," और इसे कम महत्व देता है।
रूपक: कल्पना कीजिए कि आप एक शांत कमरे में फुसफुसाहट सुनने की कोशिश कर रहे हैं बनाम एक रॉक कॉन्सर्ट में फुसफुसाहट। रॉक कॉन्सर्ट में (उच्च वैरिएंस), आप फुसफुसाहट को अनदेखा कर देते हैं क्योंकि यह संभवतः केवल बैकग्राउंड शोर है। शांत कमरे में (कम वैरिएंस), आप झुककर सुनने की कोशिश करते हैं। यह पेपर एल्गोरिदम को सिखाता है कि शांत कमरे और रॉक कॉन्सर्ट के बीच अंतर कैसे किया जाए।

4. गणितीय जादू: "बूटस्ट्रैपिंग" (Bootstrapping)

लेखकों को यह साबित करना था कि उनका "शॉर्टकट" (आंतरिक परतों को अनदेखा करना) बुरे निर्णय लेने का कारण नहीं बनेगा।

चुनौती: आमतौर पर, किसी गणितीय समस्या को काम करने के लिए सिद्ध करने के लिए, आपको एक साफ, क्लोज्ड-फॉर्म फॉर्मूला (जैसे $x = y + z$ ) की आवश्यकता होती है। इस जटिल सेटिंग में, वह फॉर्मूला मौजूद नहीं था।
समाधान: उन्होंने इटरेटिव सेल्फ-इम्प्रूवमेंट (या "बूटस्ट्रैप तर्क") नामक एक तकनीक का उपयोग किया।
- उपमा: कल्पना कीजिए कि आप एक पहाड़ चढ़ने की कोशिश कर रहे हैं। आप नहीं जानते कि शिखर की सटीक ऊंचाई क्या है। इसलिए, आप एक अनुमान लगाते हैं, थोड़ा ऊपर चढ़ते हैं, अपनी नई स्थिति की जांच करते हैं, महसूस करते हैं कि आपका अनुमान थोड़ा गलत था, और फिर एक बेहतर अनुमान लगाते हैं। आप इस प्रक्रिया को दोहराते हैं, हर कदम के साथ अपने अनुमान को और सटीक बनाते जाते हैं, जब तक कि आप सुनिश्चित न हो जाएं कि आप सुरक्षित दूरी के भीतर हैं।
परिणाम: इसने उन्हें यह साबित करने में सक्षम बनाया कि उनके शॉर्टकट के साथ भी, एल्गोरिदम पूरी तरह से काम करता है, बशर्ते कि न्यूरल नेटवर्क "पर्याप्त चौड़ा" हो। महत्वपूर्ण रूप से, उन्होंने सिद्ध किया कि नेटवर्क को पिछले तरीकों की तुलना में बहुत छोटा होने की आवश्यकता है (आवश्यकता को एक विशाल $T^{14}$ से घटाकर एक अधिक प्रबंधनीय $T^6$ तक कम करना)।

5. परिणाम: तेज़ और स्मार्ट

लेखकों ने अपने तरीके का परीक्षण किया:

सिंथेटिक टास्क: बनाए गए कठिन कार्य।
वास्तविक दुनिया का डेटा: वास्तविक निर्णय लेने की प्रक्रिया को सिम्युलेट करने के लिए वास्तविक डेटासेट (जैसे Statlog और Covertype) का उपयोग करना।

परिणाम:

गति: उनका तरीका पिछले स्टेट-ऑफ-द-आर्ट तरीके की तुलना में लगभग 28 गुना तेज़ था क्योंकि उसे पूरे न्यूरल नेटवर्क को प्रोसेस करने की आवश्यकता नहीं थी।
सटीकता: इसने मौजूदा तरीकों की तुलना में कम गलतियाँ कीं (कम "रिग्रेट"), विशेष रूप से उन स्थितियों में जहाँ फीडबैक शोर भरा था।
बहुमुखी प्रतिभा: यह दो अलग-अलग निर्णय लेने की शैलियों के साथ काम करता है: एक जो सतर्क और आशावादी (UCB) है और दूसरा जो संभाव्य और यादृच्छिक (Thompson Sampling) है।

सारांश

संक्षेप में, यह पेपर कंप्यूटर को "A बनाम B" तुलनाओं से बहुत अधिक कुशलता से सीखना सिखाता है। यह इसे निम्न प्रकार से करता है:

न्यूरल नेटवर्क के उलझे हुए विवरणों को अनदेखा करके (शैलो एक्सप्लोरेशन) समय बचाने के लिए।
स्पष्ट संकेतों को ध्यान से सुनकर और शोर वाले संकेतों को अनदेखा करके (वैरिएंस अवेयरनेस)।
गणितीय रूप से सिद्ध करके कि यह शॉर्टकट सुरक्षित और प्रभावी है, भले ही इसके लिए पहले की तुलना में बहुत छोटे कंप्यूटर की आवश्यकता हो।

पेपर दावा करता है कि यह पहली बार है जब किसी ने इस प्रकार की समस्या के लिए इन विशिष्ट तकनीकों (वैरिएंस अवेयरनेस + शैलो एक्सप्लोरेशन) को जोड़ा है, जिसके परिणामस्वरूप एक ऐसी विधि प्राप्त हुई है जो सैद्धांतिक रूप से सुदृढ़ और व्यावहारिक रूप से तेज़ दोनों है।

तकनीकी सारांश: डीप रिप्रजेंटेशन और शैलो एक्सप्लोरेशन के साथ न्यूरल वेरिएंस-अवेयर ड्यूलिंग बैंडिट्स

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कॉन्टेक्स्टुअल ड्यूलिंग बैंडिट्स (CDBs) पर केंद्रित है, जो एक ऐसा फ्रेमवर्क है जहाँ एक लर्नर एक कॉन्टेक्स्ट (संदर्भ) देखता है, दो आर्म्स (विकल्पों) की तुलना करता है, और संख्यात्मक रिवॉर्ड के बजाय बाइनरी प्रेफरेंस फीडबैक (जैसे, आर्म $i$ , आर्म $j$ से बेहतर है) प्राप्त करता है। जबकि मौजूदा CDB शोध अक्सर लीनियर यूटिलिटी फंक्शन्स का अनुमान लगाते हैं, वास्तविक दुनिया में उपयोगकर्ता की प्राथमिकताएं अक्सर जटिल और नॉन-लीनियर होती हैं जिन्हें लीनियर मॉडल कैप्चर नहीं कर पाते।

हालिया कार्य (Verma et al., 2024) ने नॉन-लिनियैरिटी को संबोधित करने का प्रयास किया, लेकिन उन्हें दो महत्वपूर्ण सीमाओं का सामना करना पड़ा:

कंप्यूटेशनल अक्षमता (Computational Inefficiency): उनके दृष्टिकोण में सभी सीखने योग्य पैरामीटर्स से ग्रेडिएंट्स का उपयोग करके ग्राम मैट्रिक्स (Gram matrix) बनाने की आवश्यकता थी, जिससे भारी कंप्यूटेशनल ओवरहेड ( $O(p^3)$ जहाँ $p$ कुल पैरामीटर काउंट है) उत्पन्न हुआ।
सैद्धांतिक बाधाएं (Theoretical Constraints): ड्यूलिंग सेटिंग में पैरामीटर वेक्टर $\hat{\theta}_{t-1}$ के लिए क्लोज्ड-फॉर्म एस्टिमेटर की अनुपस्थिति के कारण, पूर्ववर्ती कार्यों को सबलीनियर रिग्रेट (sublinear regret) सुनिश्चित करने के लिए एक अत्यंत बड़े न्यूरल नेटवर्क विड्थ ( $m = \tilde{\Omega}(T^{14})$ ) को मानना पड़ा। यह आवश्यकता मानक न्यूरल बैंडिट साहित्य के परिणामों के साथ असंगत है।

इसके अतिरिक्त, मौजूदा विधियाँ वेरिएंस-अवेयरनेस (variance-awareness) की अनदेखी करती हैं। ड्यूलिंग बैंडिट्स में, फीडबैक नॉइज़ (बर्नौली वेरिएंस) तब अधिकतम होता है जब दोनों आर्म्स के बीच यूटिलिटी अंतर शून्य के करीब होता है (सबसे कठिन तुलनाएँ)। इस वेरिएंस की अनदेखी करने से अवलोकनों (observations) का उप-इष्टतम वेटिंग (suboptimal weighting) होता है।

2. कार्यप्रणाली: NVLDB

लेखक न्यूरल वेरिएंस-अवेयर लीनियर ड्यूलिंग बैंडिट्स (NVLDB) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो डीप रिप्रजेंटेशन लर्निंग को शैलो एक्सप्लोरेशन और वेरिएंस-अवेयर वेटिंग के साथ एकीकृत करता है।

2.1 शैलो एक्सप्लोरेशन के साथ डीप रिप्रजेंटेशन

न्यूरल नेटवर्क के पूर्ण ग्रेडिएंट का उपयोग करने के बजाय, NVLDB एक शैलो एक्सप्लोरेशन रणनीति का उपयोग करता है। यह नॉन-लीनियर यूटिलिटी फंक्शन $u(x)$ को एक डीप न्यूरल नेटवर्क $f(x; \theta, W)$ का उपयोग करके अनुमानित करता है, लेकिन ग्राम मैट्रिक्स $V_t$ का निर्माण केवल अंतिम लेयर के पैरामीटर्स ( $\theta$ ) के ग्रेडिएंट्स का उपयोग करके करता है।

दक्षता (Efficiency): यह ग्राम मैट्रिक्स इनवर्जन कॉम्प्लेक्सिटी को $\tilde{O}(p^3)$ से घटाकर $\tilde{O}(d^3)$ कर देता है, जहाँ $d$ कॉन्टेक्स्ट डायमेंशन है, जिससे महत्वपूर्ण गति मिलती है।
बायस हैंडलिंग (Bias Handling): हिडन लेयर्स को फिक्स्ड फीचर एक्सट्रैक्टर्स के रूप में मानने से रिप्रजेंटेशन बायस आता है। लेखक अपने सैद्धांतिक विश्लेषण में एक ऑक्सिलरी बायस टर्म के माध्यम से इसका समाधान करते हैं।

2.2 वेरिएंस-अवेयर वेटिंग

यह एल्गोरिदम अंतर्निहित बर्नौली प्रेफरेंस डिस्ट्रीब्यूशन के वेरिएंस का अनुमान लगाता है, $\hat{\sigma}^2_t = g(\Delta f_t)(1 - g(\Delta f_t))$ , जहाँ $g$ लिंक फंक्शन है (जैसे, ब्रैडली-टेरी-ल्यूस)।

लॉस फंक्शन एक वेटेड नेगेटिव लॉग-लाइक्लीहुड (weighted negative log-likelihood) है, जहाँ अवलोकनों को $1/\zeta_i^2$ द्वारा भारित किया जाता है।
वेरिएंस-अवेयर वेरिएंट के लिए $\zeta_i = \max\{\hat{\sigma}_i, \epsilon\}$ है, और वेरिएंस-अग्नोस्टिक वेरिएंट के लिए $\zeta_i = 1$ है।
यह वेटिंग एक सूचना फिल्टर के रूप में कार्य करती है, जो कम यूटिलिटी मार्जिन (उच्च वेरिएंस) वाले जोड़ों से प्राप्त अनिश्चित अवलोकनों को कम महत्व देती है ताकि टाइट रिग्रेट बाउंड्स प्राप्त किए जा सकें।

2.3 आर्म सिलेक्शन रणनीतियाँ

NVLDB तीन विशिष्ट चयन रणनीतियों के साथ अपर कॉन्फिडेंस बाउंड (UCB) और थॉम्पसन सैंपलिंग (TS) फ्रेमवर्क का समर्थन करता है:

एसिमेट्रिक (ASYM): पहले आर्म को ग्रीडी तरीके से चुनता है और दूसरे को आशावादी (optimistically) तरीके से चुनता है।
ऑप्टिमिस्टिक सिमेट्रिक (OSYM): उन आर्म्स के जोड़े को चुनता है जो अनुमानित यूटिलिटी के योग और एक्सप्लोरेशन बोनस को अधिकतम करता है।
कैंडिडेट-बेस्ड सिमेट्रिक (CSYM): मजबूत उम्मीदवारों का एक कॉन्फिडेंस सेट बनाता है और अधिकतम एक्सप्लोरेशन बोनस वाले जोड़े का चयन करता है।

नवीनता: सिमेट्रिक TS रणनीतियाँ (TS-OSYM, TS-CSYM) पूर्ववर्ती कार्यों से भिन्न हैं क्योंकि वे एक जॉइंट पोस्टीरियर से दोनों आर्म्स को एक साथ ड्रा करती हैं, न कि क्रमिक रूप से।

3. प्रमुख सैद्धांतिक योगदान

इस पेपर का प्राथमिक सैद्धांतिक ब्रेकथ्रू ड्यूलिंग बैंडिट्स में क्लोज्ड-फॉर्म एस्टिमेटर की कमी को दूर करके आवश्यक नेटवर्क विड्थ को कम करना है।

3.1 नवीन विश्लेषणात्मक दृष्टिकोण

लेखक स्पेक्ट्रल विश्लेषण (कौरेंट-फिशर मिनमैक्स प्रमेय का उपयोग करते हुए) के साथ बूटस्ट्रैप तर्क पेश करते हैं।

इटरेटिव सेल्फ-इंप्रूवमेंट: वे पहले पैरामीटर नॉर्म $\|\theta_{t-1}\|_2$ पर एक लूज, टाइम-डिपेंडेंट बाउंड स्थापित करते हैं। फिर वे इस विश्लेषण को एक शार्पर, टाइम-इंडिपेंडेंट बाउंड प्राप्त करने के लिए इसमें प्रतिस्थापित करते हैं।
स्पेक्ट्रल परटर्बेशन: वे वर्तमान फीचर्स के ग्राम मैट्रिक्स को एक परटर्बड ग्राम मैट्रिक्स से जोड़ते हैं, जिससे फीचर ड्रिफ्ट को एक मल्टीप्लिकेटिव फैक्टर में समाहित किया जा सके।
परिणाम: यह दृष्टिकोण सिद्ध करता है कि एस्टिमेटर नॉर्म क्लोज्ड-फॉर्म सॉल्यूशन के बिना भी एक टाइम-इंडिपेंडेंट कांस्टेंट द्वारा सीमित है।

3.2 रिग्रेट बाउंड्स

मानक धारणाओं (बाउंडेड कॉन्टेक्स्ट, लिप्सचिट्ज़ लिंक फंक्शन्स, न्यूरल टेंगेंट कर्नल का पॉजिटिव मिनिमम स्पेक्ट्रम) के तहत, लेखक सबलीनियर क्युमुलेटिव एवरेज रिग्रेट सिद्ध करते हैं:

वेरिएंस-अवेयर: $\tilde{O}\left(\sqrt{dT} + d\sqrt{\sum_{t=1}^T \sigma_t^2}\right)$ ।
वेरिएंस-अग्नोस्टिक: $\tilde{O}(d\sqrt{T})$ ।
नेटवर्क विड्थ आवश्यकता: यह विश्लेषण आवश्यक नेटवर्क विड्थ को घटाकर $m = \tilde{\Omega}(T^6)$ कर देता है, जो कि Verma et al. (2024) द्वारा आवश्यक $m = \tilde{\Omega}(T^{14})$ की तुलना में एक बड़ा सुधार है। यह इसे मानक न्यूरल बैंडिट परिणामों ( $\tilde{\Omega}(T^3)$ ) के करीब लाता है, हालांकि ड्यूलिंग सेटिंग की विशिष्ट चुनौतियों के कारण अंतर बना हुआ है।

4. प्रयोगात्मक परिणाम

लेखक सिंथेटिक और वास्तविक दुनिया के डेटासेट्स पर NVLDB को सत्यापित करते हैं।

सिंथेटिक टास्क: नॉन-लीनियर यूटिलिटी फंक्शन्स (कोसाइन, स्क्वायर, मैट्रिक्स) का उपयोग करते हुए, NVLDB वेरिएंट्स ने लीनियर ड्यूलिंग बैंडिट्स (VACDB/ColSTIM) और न्यूरल ड्यूलिंग बैंडिट्स (NDB) जैसे बेसलाइन्स को क्युमुलेटिव एवरेज रिग्रेट में लगातार पछाड़ा।
रियल-वर्ल्ड डेटासेट्स: UCI डेटासेट्स (Statlog, Magic, Covertype) पर प्रयोगों ने सबलीनियर रिग्रेट और बेहतर प्रदर्शन की पुष्टि की। विशेष रूप से, डिटर्मिनिस्टिक प्रेफरेंस मॉडल (कम वेरिएंस) वाले Statlog डेटासेट पर, वेरिएंस-अवेयर वेरिएंट्स ने लगभग शून्य रिग्रेट प्राप्त किया, जो वेरिएंस-अग्नोस्टिक समकक्षों की तुलना में काफी बेहतर था।
स्केलेबिलिटी: विधि ने उच्च आयामों ( $d=100$ ) और व्यापक नेटवर्क ( $m=1000$ ) के साथ सबलीनियर रिग्रेट बनाए रखा।
दक्षता: NVLDB ने फुल-ग्रेडिएंट मेथड्स (NDB) की तुलना में भारी गति दिखाई, जिसमें समान हार्डवेयर पर 2,000 राउंड को ~48.8 मिनट के बजाय ~1.7 मिनट में पूरा किया गया।

5. महत्व और दावे

यह पेपर दावा करता है कि यह शैलो एक्सप्लोरेशन रणनीति का उपयोग करने वाले पहले वेरिएंस-अवेयर न्यूरल ड्यूलिंग बैंडिट्स को पेश करने वाला शोध है। इसकी महत्ता निम्नलिखित में निहित है:

सैद्धांतिक प्रगति: यह एक नवीन बूटस्ट्रैप तर्क और स्पेक्ट्रल विश्लेषण के संयोजन के माध्यम से एक काफी कमजोर नेटवर्क विड्थ कंडीशन ( $T^6$ बनाम $T^{14}$ ) के तहत सबलीनियर रिग्रेट सिद्ध करके न्यूरल ड्यूलिंग बैंडिट्स के एक महत्वपूर्ण बॉटलनेक को हल करता है।
व्यावहारिक दक्षता: शैलो एक्सप्लोरेशन का लाभ उठाकर, यह न्यूरल ड्यूलिंग बैंडिट्स को बड़े पैमाने के अनुप्रयोगों के लिए कम्प्यूटेशनल रूप से व्यवहार्य बनाता है, जिससे ग्राम मैट्रिक्स इनवर्जन लागत कई गुना कम हो जाती है।
वेरिएंस अवेयरनेस: यह प्रदर्शित करता है कि वेरिएंस एस्टीमेट्स (इनवर्स-वेरिएंस वेटिंग) को शामिल करने से टाइट रिग्रेट बाउंड्स और बेहतर अनुभवजन्य प्रदर्शन मिलता है, विशेष रूप से लो-वेरिएंस रिजीम में।

लेखक स्वीकार करते हैं कि हालांकि $m = \tilde{\Omega}(T^6)$ एक महत्वपूर्ण सुधार है, लेकिन मानक न्यूरल CMABs में पाए जाने वाले $\tilde{\Omega}(T^3)$ की आवश्यकता के अंतर को पाटना भविष्य के कार्य की दिशा है, जिसका मुख्य कारण ड्यूलिंग सेटिंग में क्लोज्ड-फॉर्म एस्टिमेटर की अंतर्निहित कठिनाई है।