तकनीकी सारांश: अने-आर्म्ड बेयसियन बैंडिट्स में एनेल्ड सॉफ्टमैक्स ग्रीडी (Annealed Softmax Greedy)

समस्या विवरण

यह शोध पत्र सुदृढीकरण शिक्षण (reinforcement learning - RL) और बैंडिट थ्योरी के एक मौलिक प्रश्न की जांच करता है: क्या अनिश्चितता-अज्ञेत (uncertainty-agnostic) पॉलिसी अपडेट उन सेटिंग्स में भी निकट-इष्टतम प्रदर्शन प्राप्त कर सकते हैं जिनमें स्पष्ट रूप से अन्वेषण (exploration) की आवश्यकता प्रतीत होती है?

विशेष रूप से, लेखक सत्यापनीय पुरस्कारों के साथ सुदृढीकरण शिक्षण (RL with Verifiable Rewards - RLVR) और ग्रुप-आधारित पॉलिसी ऑप्टिमाइज़ेशन (जैसे GRPO) का विश्लेषण करते हैं। इन पाइपलाइनों में, एक स्टोकेस्टिक पॉलिसी को प्रति प्रॉम्प्ट कई पूर्णताओं (completions) को सैंपल करके और उच्च पुरस्कार वाले परिणामों की प्रायिकता बढ़ाकर अपडेट किया जाता है, जिसे एक संदर्भ पॉलिसी (reference policy) की ओर KL पेनल्टी द्वारा नियमित (regularize) किया जाता है। महत्वपूर्ण रूप से, इन अपडेट्स में एपिस्टेमिक अनिश्चितता (epistemic uncertainty) (जैसे कॉन्फिडेंस इंटरवल या पोस्टीरियर सैंपलिंग) को ट्रैक करने के लिए कोई स्पष्ट तंत्र का अभाव होता है।

शास्त्रीय बैंडिट थ्योरी, विशेष रूप से सेसा-बियान्ची एट अल. (2017) का कार्य, यह सुझाव देता है कि ऐसा "बोल्ट्ज़मैन एक्सप्लोरेशन" (मोनोटोन टेम्परेचर शेड्यूल के साथ एम्पेरिकल मीन्स पर आधारित सॉफ्टमैक्स सिलेक्शन) फिक्स्ड-आर्म सेटिंग्स में लीनियर रिग्रेट (linear regret) का शिकार हो सकता है क्योंकि यह "बहुत जल्दी ठंडा (cooling too fast)" हो जाता है, जहाँ शुरुआती शोर (noise) को बढ़ा दिया जाता है, जिससे समयपूर्व उप-इष्टतम (suboptimal) कार्यों के प्रति प्रतिबद्धता हो जाती है। यह शोध पत्र पूछता है कि क्या यह नकारात्मक परिणाम अने-आर्म्ड बेयसियन (many-armed Bayesian) शासन में भी लागू होता है, जहाँ एक्शन स्पेस बड़ा है और आर्म्स की गुणवत्ता का प्रायर (prior) वितरण एक "मोटा ऊपरी सिरा" (thick upper tail) रखता है (अर्थात, निकट-इष्टतम आर्म्स की प्रचुरता)।

कार्यप्रणाली (Methodology)

मॉडल सेटअप

लेखक समस्या को एक अने-आर्म्ड बेयसियन बर्नौली बैंडिट (Many-Armed Bayesian Bernoulli Bandit) के रूप में औपचारिक रूप देते हैं:

• क्षितिज (Horizon): $T$ टाइम स्टेप्स।
• आर्म्स (Arms): $m$ आर्म्स, इंडेक्स $i \in [m]$।
• प्रायर्स (Priors): प्रत्येक आर्म का माध्य पुरस्कार $\mu_i$, $[0, 1]$ पर एक प्रायर वितरण $\Gamma$ से लिया गया है।
• पुरस्कार (Rewards): Bernoulli($\mu_i$)।
• नियमितता की स्थिति (Regularity Condition): प्रायर $\Gamma$ संख्या 1 के पास $\beta$-नियमितता को संतुष्ट करता है। विशेष रूप से, छोटे $\epsilon$ के लिए, $\Gamma([1-\epsilon, 1]) \asymp \epsilon^\beta$। मुख्य विश्लेषण रैखिक टेल (linear tail) मामले पर केंद्रित है ($\beta=1$), जो निकट-इष्टतम आर्म्स के बहुपद घनत्व (polynomial density) को दर्शाता है।

विश्लेषित एल्गोरिदम

1. एम्पेरिकल-मीन ग्रीडी (Empirical-Mean Greedy - बेसलाइन): प्रत्येक आर्म को एक बार खींचने के चरण के बाद, पॉलिसी उच्चतम एम्पेरिकल मीन $\hat{\mu}_{i,t}$ वाले आर्म को नियत रूप से चुनती है। यह वह बेंचमार्क है जो इस शासन में निकट-इष्टतम बेयस रिग्रेट प्राप्त करने के लिए जाना जाता है (बयाती एट अल., 2020)।
2. एनेल्ड सॉफ्टमैक्स ग्रीडी (Annealed Softmax Greedy - ASG): प्रस्तावित एल्गोरिदम।
   • इनिशियलाइजेशन: प्रत्येक आर्म को एक बार खींचता है।
   • सिलेक्शन: प्रत्येक चरण $t$ पर, आर्म $i$ को $\exp(\eta_t \hat{\mu}_{i,t})$ के समानुपाती प्रायिकता के साथ चुनता है।
   • एनीलिंग (Annealing): एक गैर-घटते हुए इनवर्स-टेम्परेचर शेड्यूल $\eta_t$ (जैसे, $\eta_t \propto \log t$) का उपयोग करता है।
   • मुख्य अंतर: ASG में ऑप्टिमिज्म बोनस, पोस्टीरियर सैंपल्स, या प्रति-आर्म कॉन्फिडेंस इंटरवल का उपयोग नहीं किया जाता है। यह पूरी तरह से एम्पेरिकल मीन्स और एक वैश्विक तापमान शेड्यूल पर निर्भर करता है।

मुख्य योगदान

1. सैद्धांतिक रिग्रेट गारंटी (Theoretical Regret Guarantee)

यह शोध पत्र सिद्ध करता है कि लीनियर अपर-टेल कंडीशन ($\beta=1$) के तहत, ASG एक बेयस रिग्रेट प्राप्त करता है:
$$\tilde{O}\left(m + \frac{T}{m}\right)$$
जब आर्म्स की संख्या $m = \Theta(\sqrt{T})$ के रूप में स्केल होती है, तो यह $\tilde{O}(\sqrt{T})$ का रिग्रेट देता है। यह उस दर से मेल खाता है जो नियत एम्पेरिकल-मीन ग्रीडी एल्गोरिदम द्वारा प्राप्त किया जाता है।

विश्लेषण सामान्य $\beta > 0$ के लिए भी विस्तृत है, जिससे $\tilde{O}(m + T(\log T/m)^{1/\beta})$ की दर प्राप्त होती है।

2. सफलता का तंत्र: "सॉफ्टमैक्स लीकेज" नियंत्रण

मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि मोटे-पूंछ वाले प्रायर (thick-tailed prior) वाले अने-आर्म्ड शासन में, सर्वोत्तम आर्म से उप-इष्टतम आर्म्स की ओर प्रायिकता द्रव्यमान का "लीकेज" (leakage) हानिरहित होता है।

• मानक विफलता मोड: छोटे-आर्म सेटिंग्स में, सॉफ्टमैक्स द्वारा सर्वोत्तम आर्म के अलावा किसी अन्य आर्म को चुनना अक्सर एक स्पष्ट रूप से कमतर आर्म को चुन लेता है, जिससे उच्च रिग्रेट होता है।
• अने-आर्मी सफलता: $\beta$-नियमितता के तहत, कई आर्म्स ऐसे होते हैं जिनके एम्पेरिकल मीन्स इष्टतम के करीब होते हैं। जब ASG वर्तमान एम्पेरिकल बेस्ट से भिन्न आर्म को सैंपल करता है, तो इसकी अत्यधिक संभावना होती है कि वह एक अन्य निकट-इष्टतम आर्म होगा, न कि एक स्पष्ट रूप से कमतर आर्म।
• परिणाम: रैंडमाइजेशन (लीकेज) की लागत निकट-इष्टतम आर्म्स पर चुकाई जाती है, जिससे कुल रिग्रेट कम रहता है। प्रमाण एक "लीकेज टर्म" को नियंत्रित करने वाले एनीलिंग शेड्यूल को पेश करता है, जो यह दिखाता है कि यह योग योग्य (summable) है और अग्रणी-क्रम के रिग्रेट स्केलिंग को नहीं बदलता है।

3. RLVR के साथ संरचनात्मक समानता

यह शोध पत्र RLVR अभ्यास और सैद्धांतिक स्थितियों के बीच एक संरचनात्मक समानता का प्रस्ताव करता है:

• $\beta$-नियमितता बैंडिट मॉडल में एक बेस पॉलिसी के अनुरूप है जिसमें एक सही पूर्णता (उच्च $pass@k$) उत्पन्न करने की गैर-नगण्य प्रायिकता होती है।
• यदि बेस मॉडल पहले से ही समाधान स्थान (solution space) को अच्छी तरह से कवर करता है (कई "निकट-इष्टतम" पूर्णताएं मौजूद हैं), तो पुनरावृत्ति भार-पुनर्वितरण (iterative reweighting/softmax updates) बिना स्पष्ट अनिश्चितता-जागरूक अन्वेषण की आवश्यकता के सफलता को बढ़ा सकता है।

प्रयोगात्मक परिणाम

लेखक बर्नौली बैंडिट्स पर सिमुलेशन के माध्यम से अपने सिद्धांत को मान्य करते हैं:

1. स्मॉल-आर्म शासन ($m=10$): पुष्टि करता है कि शास्त्रीय परिणाम जहाँ थॉम्पसन सैंपलिंग (TS) ग्रीडी और सॉफ्टमैक्स विधियों से बेहतर प्रदर्शन करती है, और स्थिर-तापमान वाला सॉफ्टमैक्स लीनियर रिग्रेट से ग्रस्त होता है (जब तक कि $\eta$ बहुत अधिक न हो, जो ग्रीडी के करीब हो)।
2. अने-आर्मी शासन ($m$ अप टू 1000): एक "परफॉरमेंस इन्वर्जन" प्रदर्शित करता है। जैसे-जैसे $m$ बढ़ता है, एम्पेरिकल-मीन ग्रीडी और उच्च-$\eta$ सॉफ्टमैक्स, TS से बेहतर प्रदर्शन करते हैं। TS का रिग्रेट $m$ के साथ रैखिक रूप से बढ़ता है (स्पष्ट रूप से उप-इष्टतम आर्म्स पर नमूने बर्बाद करता है), जबकि ग्रीडी/सॉफ्टमैक्स विधियाँ निकट-इष्टतम आर्म्स की प्रचुरता का लाभ उठाती हैं, और उप-रैखिक (sublinear) रिग्रेट प्राप्त करती हैं।
3. प्रायर मिसस्पेसिफिकेशन (Prior Misspecification): जब प्रायर गलत (noisy) होता है, तो एक्सप्लोइटिव एल्गोरिदम बढ़े हुए रिग्रेट से ग्रस्त होते हैं, जो यह उजागर करता है कि यह तंत्र इस बात पर निर्भर करता है कि प्रायर (या प्रारंभिक संकेत) आर्म की गुणवत्ता के लिए एक उचित क्रम प्रदान करे।
4. KL पेनल्टी: GRPO (Softmax + KL) की नकल करने वाले प्रयोगों में, एक सूचनात्मक प्रायर के प्रति KL एंकर, प्रायर-मीन और एम्पेरिकल-मीन संकेतों को जोड़कर रिग्रेट को और कम करता है।

महत्व और दावे

शोध पत्र यह दावा करता है कि यह एक शैलीगत स्पष्टीकरण (stylized explanation) प्रदान करता है कि क्यों अनिश्चितता-अज्ञेत रीवेटिंग विधियां (जैसे RLVR/GRPO में) प्रभावी हो सकती हैं, भले ही वे एपिस्टेमिक अनिश्चितता को अनदेखा करती हों।

• शास्त्रीय सिद्धांत का विरोधाभास नहीं: लेखक जोर देते हैं कि उनके परिणाम सेसा-बियान्ची एट अल. (2017) का खंडन नहीं करते हैं। बोल्ट्ज़मैन एक्सप्लोरेशन के लिए नकारात्मक परिणाम फिक्स्ड-$K$ सेटिंग्स में लागू होते हैं। यहाँ सफलता अने-आर्मी, मोटे-पूंछ वाले प्रायर द्वारा प्रेरित एक्शन स्पेस की ज्यामिति के विशिष्ट है।
• सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि यह एक संरचनात्मक समानता है, न कि यह औपचारिक प्रमाण कि GRPO बड़े भाषा मॉडलों (LLMs) में कैसे काम करता है। उनका प्रमेय नॉन-कॉन्टेक्स्टुअल बैंडिट मॉडल तक सीमित है। इस विश्लेषण को कॉन्टेक्स्टुअल या सीक्वेंसियल सेटिंग्स (जहाँ GRPO संचालित होता है) तक विस्तारित करना एक खुला प्रश्न (open problem) माना गया है।
• प्रभावशीलता की सीमा: शोध पत्र उस क्षेत्र को रेखांकित करता है जहाँ यह काम करता है: जब प्रायर निकट-इष्टतम आर्म्स की प्रचुरता सुनिश्चित करता है। यदि निकट-इष्टतम आर्म्स दुर्लभ हैं (पतली पूंछ/thin tails), तो यह तंत्र कमजोर हो जाता है, और शास्त्रीय अन्वेषण विफलताएं फिर से उभर आती हैं।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि उन वातावरणों में जहाँ निकट-इष्टतम क्रियाओं की "समृद्ध" आपूर्ति होती है, इष्टतम रिग्रेट प्राप्त करने के लिए स्पष्ट अनिश्चितता ट्रैकिंग अनिवार्य रूप से आवश्यक नहीं है; केवल एम्पेरिकल मीन्स पर एनेल्ड सॉफ्टमैक्स पर्याप्त है।