🤖 machine learning

Order Optimal Regret Bounds for Sharpe Ratio Optimization under Thompson Sampling

यह शोध पत्र \texttt{SRTS} एल्गोरिदम को प्रस्तुत करता है, जो एक नवीन रिग्रेट अपघटन (regret decomposition) प्रदान करके, मेल खाते ऊपरी और निचले बाउंड्स (upper and lower bounds) स्थापित करके, और मौजूदा विधियों पर बेहतर अनुभवजन्य प्रदर्शन प्रदर्शित करके स्टोकेस्टिक बैंडिट्स में शार्प रेशियो मैक्सिमाइजेशन के लिए ऑर्डर-ऑप्टिमल लॉगरिदमिक रिग्रेट प्राप्त करता है।

मूल लेखक: Mohammad Taha Shah, Sabrina Khurshid, Gourab Ghatak

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Taha Shah, Sabrina Khurshid, Gourab Ghatak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले महासागर में एक खजाना ढूँढने वाले बेड़े के कप्तान (Captain) हैं। आपका लक्ष्य एक सीमित समय के भीतर "खजाने के द्वीप" (अधिकतम लाभ) तक पहुँचने का सबसे अच्छा रास्ता खोजना है।

मानक निर्णय लेने की दुनिया (जिसे "मल्टी-आर्म्ड बैंडिट" समस्या कहा जाता है) में, अधिकांश कप्तान केवल इस बात की परवाह करते हैं कि कितना सोना मिला। वे पूछते हैं: "किस रास्ते में औसत सोना सबसे अधिक है?" यदि किसी रास्ते में 100 सोना मिलने की 50% संभावना है और 0 सोना मिलने की 50% संभावना है, तो वे उसे चुन सकते हैं क्योंकि औसत 50 है।

लेकिन वास्तविक दुनिया में (जैसे निवेश या व्यवसाय चलाने में), जोखिम भी उतना ही महत्वपूर्ण है जितना कि इनाम। एक रास्ता जो आपको हर बार 50 सोना देता है, वह उस जोखिम भरे रास्ते से बेहतर हो सकता है जो 0 और 100 के बीच झूलता रहता है। यहीं पर शार्प रेश्यो (Sharpe Ratio) काम आता है। यह एक ऐसा स्कोर है जो पूछता है: "मुझे मिलने वाले हर इकाई 'दिल के दौरे' (अस्थिरता/volatility) के बदले कितना सोना मिलता है?"

यह शोध पत्र इन जोखिम भरी लहरों में नेविगेट करने के लिए एक नया, स्मार्ट तरीका पेश करता है। इसका विवरण सरल शब्दों में यहाँ दिया गया है:

1. समस्या: "औसत" का जाल

अधिकांश पुराने नेविगेशन सिस्टम (एल्गोरिदम) एक लापरवाह जुआरी की तरह होते हैं। वे केवल मिले हुए औसत सोने को देखते हैं।

दोष: वे ऐसा रास्ता चुन सकते हैं जिसमें औसत तो अधिक हो, लेकिन वह अविश्वसनीय रूप से ऊबड़-खाबड़ और खतरनाक हो।
पुराना समाधान: कुछ सिस्टमों ने इसे ठीक करने के लिए एक "जोखिम दंड" (जैसे, "सोना घटा जोखिम") जोड़ने की कोशिश की। लेकिन यह एक तराजू के एक तरफ भारी पत्थर और दूसरी तरफ पंख रखने जैसा है। यदि जोखिम बहुत अधिक या बहुत कम हो जाता है, तो तराजू टूट जाता है, और सिस्टम ठीक से काम करना बंद कर देता है।

2. समाधान: "जोखिम-जागरूक" दिशा-सूचक यंत्र (SRTS)

लेखकों ने SRTS (शार्प रेश्यो थॉमसन सैंपलिंग) नामक एक नया एल्गोरिदम प्रस्तावित किया है। इसे एक ऐसे दिशा-सूचक यंत्र (Compass) के रूप में समझें जो न केवल उच्चतम सोने की ओर इशारा करता है, बल्कि सबसे सुगम और विश्वसनीय मार्ग की ओर भी इशारा करता है।

"औसत" का अनुमान लगाने के बजाय, यह दिशा-सूचक यंत्र हर निर्णय लेने पर अपने दिमाग में हजारों संभावित भविष्यों का अनुकरण (Simulate) करता है। यह पूछता है:

"यदि मैं यह रास्ता चुनता हूँ, तो क्या संभावना है कि मुझे बहुत सारा सोना मिले?"
"बहुत अधिक 'झटकों' (Variance) की क्या संभावना है?"
"सोने और झटकों का सर्वश्रेष्ठ संभव अनुपात क्या हो सकता है जिसकी मैं अपेक्षा कर सकता हूँ?"

यह उस रास्ते को चुनता है जो उन सभी सिम्युलेटेड भविष्यों में औसत रूप से सबसे अच्छा दिखता है।

3. गुप्त मंत्र: "डबल-चेक" प्रणाली

इस अनुपात की गणना करने के लिए, आपको दो चीजों को पूरी तरह से जानना आवश्यक है:

औसत सोना (Mean)।
उतार-चढ़ाव/ऊबड़-खाबड़पन (Variance)।

गणित में, ये दोनों चीजें आपस में उलझी हुई होती हैं। यदि आप एक को खींचते हैं, तो दूसरा भी हिल जाता है। यह इसे बहुत कठिन बना देता है कि यह साबित किया जा सके कि एल्गोरिदम वास्तव में सर्वश्रेष्ठ है।

लेखकों ने "डिकपलिंग" (Decoupling) नामक एक चतुर तकनीक का उपयोग करके इस गांठ को सुलझाया।

उपमा: कल्पना कीजिए कि आप एक तरबूज का वजन बताने की कोशिश कर रहे हैं। आपके पास दो तराजू हैं: एक आकार (Mean) मापता है, और दूसरा घनत्व (Variance) मापता है। आमतौर पर, यदि आपके आकार के अनुमान में गलती होती है, तो घनत्व का अनुमान भी बिगड़ जाता है।
ट्रिक: लेखकों ने एक गणितीय "सुरक्षा जाल" बनाया। उन्होंने सिद्ध किया कि भले ही दोनों अनुमान आपस में उलझे हों, वे "आकार से होने वाली त्रुटि" और "घनत्व से होने वाली त्रुटि" को अलग कर सकते हैं और उन्हें स्वतंत्र रूप से संभाल सकते हैं। इसने उन्हें यह साबित करने की अनुमति दी कि उनका एल्गोरिदम गणितीय रूप से इष्टतम (Mathematically Optimal) है—अर्थात, कोई अन्य एल्गोरिदम लंबे समय में इससे बेहतर नहीं कर सकता।

4. "ऑर्डर-ऑप्टिमल" का बैज

गणित की दुनिया में, एक "गोल्ड स्टैंडर्ड" है जिसे "ऑर्डर-ऑप्टिमल" (Order-Optimal) कहा जाता है।

कल्पना कीजिए कि आप एक दौड़ रहे हैं। "सर्वश्रेष्ठ संभव" समय 10 सेकंड है।
कुछ धावक 12 सेकंड में दौड़ पूरी करते हैं।
कुछ 10.0001 सेकंड में।
लेखकों ने सिद्ध किया कि उनका एल्गोरिदम 10.0001 सेकंड में दौड़ पूरी करता है। उन्होंने दिखाया कि ऐसा बेहतर एल्गोरिदम बनाना असंभव है जो 10.0000 सेकंड में समाप्त हो (एक बहुत छोटे स्थिरांक को छोड़कर)। उन्होंने इस समस्या के लिए ब्रह्मांड की सैद्धांतिक गति सीमा (Theoretical Speed Limit) को छू लिया है।

5. यह क्यों महत्वपूर्ण है?

निवेशकों के लिए: यह ऐसे पोर्टफोलियो बनाने में मदद करता है जो केवल उच्च रिटर्न के पीछे नहीं भागते, बल्कि भारी उतार-चढ़ाव के कारण होने वाले दिल के दौरों से भी बचाते हैं।
रोबोट्स के लिए: यह स्वायत्त कारों (Self-driving cars) को तेज़ लेकिन जोखिम भरे लेन और धीमी लेकिन सुरक्षित लेन के बीच चयन करने में मदद करता है, जिससे गति और सुरक्षा का सटीक संतुलन बनता है।
डॉक्टरों के लिए: यह क्लिनिकल ट्रायल्स में इलाज की उम्मीद और दुष्प्रभावों (Side effects) के जोखिम के बीच संतुलन बनाने में मदद कर सकता है।

निष्कर्ष

शोध पत्र कहता है: "हमने एक स्मार्ट दिशा-सूचक यंत्र बनाया है जो इनाम और जोखिम को पूरी तरह से संतुलित करता है। हमने गणितीय रूप से सिद्ध किया है कि सबसे अच्छे रास्ते को सीखने का यह सबसे तेज़ तरीका है, और हमारे प्रयोग दिखाते हैं कि यह पुराने, बोझिल तरीकों से बेहतर काम करता है।"

यह एक ऐसे मानचित्र से अपग्रेड करने जैसा है जो केवल सबसे छोटी दूरी दिखाता है, उस GPS से जो यह भी बताता है कि कौन सी सड़कें सबसे सुगम और सुरक्षित हैं, जिससे यह सुनिश्चित होता है कि आप अपने सोने (और अपनी मानसिक शांति) के साथ अपने गंतव्य तक पहुँचें।

यहाँ शोध पत्र "Order Optimal Regret Bounds for Sharpe Ratio Optimization under Thompson Sampling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र जोखिम-जागरूक उद्देश्य (risk-aware objective) के तहत मल्टी-आर्म्ड बैंडिट (Multi-Armed Bandit - MAB) समस्या को संबोधित करता है: शार्प रेशियो (Sharpe Ratio - SR) को अधिकतम करना।

संदर्भ: मानक MAB के विपरीत, जो संचयी अपेक्षित प्रतिफल (cumulative expected reward) को अधिकतम करते हैं (जो जोखिम-तटस्थ होते हैं), यह सेटिंग अपेक्षित रिटर्न ( $\mu$ ) और प्रतिफल की परिवर्तनशीलता ( $\sigma^2$ ) के बीच संतुलन बनाने की आवश्यकता रखती है।
उद्देश्य: एजेंट एक आर्म $i$ के SR को अधिकतम करने का प्रयास करता है, जिसे इस प्रकार परिभाषित किया गया है:
$\xi_i = \frac{\mu_i}{L_0 + \rho \sigma_i^2}$
जहाँ $L_0$ प्रारंभिक अन्वेषण (exploration) के दौरान शून्य से विभाजन को रोकने के लिए एक रेगुलेराइज़ेशन टर्म है, और $\rho$ एक जोखिम-सहनशीलता (risk-tolerance) पैरामीटर है।
चुनौतियाँ:
1. आंशिक संरचना (Fractional Structure): उद्देश्य यादृच्छिक चरों (random variables) का एक अनुपात है (माध्य बनाम विचरण), जो इसे गैर-रैखिक (non-linear) और गैर-सब-गॉसियन (non-sub-Gaussian) बनाता है।
2. जुड़ा हुआ अनिश्चितता (Coupled Uncertainty): सीखने के लिए माध्य (mean) और विचरण (variance या precision) दोनों के संयुक्त अनुमान की आवश्यकता होती है।
3. एल्गोरिद्मिक परिवर्तनशीलता (Algorithmic Variance): एक नीति (policy) का अनुभवजन्य SR, आर्म्स के बीच वैश्विक स्विचिंग (global switching) पर निर्भर करता है, जो क्रॉस-आर्म वेरिएंस टर्म्स को पेश करता है और रिग्रेट डिकंपोजिशन को जटिल बनाता है।
4. सिद्धांत का अभाव: SR अनुकूलन के लिए मौजूदा सैद्धांतिक परिणाम सीमित हैं, जो अक्सर रूढ़िवादी फ्रीक्वेंटिस्ट बाउंड्स (UCB) पर निर्भर करते हैं या औपचारिक लोअर बाउंड्स की कमी रखते हैं।

2. कार्यप्रणाली: शार्प रेशियो थॉम्पसन सैंपलिंग (Sharpe Ratio Thompson Sampling - SRTS)

लेखक SRTS का प्रस्ताव करते हैं, जो गॉसियन रिवॉर्ड डिस्ट्रीब्यूशन के लिए विशेष रूप से तैयार किया गया एक बेयसियन एल्गोरिदम है।

बेयसियन मॉडल:
- यह मानता है कि रिवॉर्ड्स $X_{i,t} \sim \mathcal{N}(\mu_i, \sigma_i^2)$ हैं।
- माध्य ( $\mu$ ) और प्रिसिजन ( $\tau = 1/\sigma^2$ ) की संयुक्त अनिश्चितता को मॉडल करने के लिए नॉर्मल-गामा कंजुगेट प्रायर (Normal-Gamma conjugate prior) का उपयोग करता है।
- पोस्टीरियर अपडेट्स: चयनित आर्म के लिए देखे गए रिवॉर्ड के बाद, एल्गोरिदम पोस्टीरियर पैरामीटर्स ( $\hat{\mu}, s, \alpha, \beta$ ) को अपडेट करता है।
सैंपलिंग नियम:
- प्रत्येक चरण $t$ पर, प्रत्येक आर्म $i$ के लिए, एल्गोरिदम पोस्टीरियर गामा डिस्ट्रीब्यूशन से एक प्रिसिजन $\tau_{i,t}$ सैंपल करता है।
- $\tau_{i,t}$ की स्थिति में, यह पोस्टीरियर नॉर्मल डिस्ट्रीब्यूशन से एक माध्य $\theta_{i,t}$ सैंपल करता है।
- यह सैंपलड शार्प रेशियो की गणना करता है: $\hat{\xi}_{i,t} = \frac{\theta_{i,t}}{L_0 + \rho/\tau_{i,t}}$ ।
- जिस आर्म का $\hat{\xi}_{i,t}$ उच्चतम होता है, उसे चुना जाता है।
मुख्य विशेषता: उन योगात्मक मीन-वेरिएंस (Mean-Variance) दृष्टिकोणों के विपरीत, जिन्हें जोखिम व्यवस्थाओं ( $\rho \to 0$ या $\rho \to \infty$ ) के आधार पर एल्गोरिदम बदलने की आवश्यकता होती है, SRTS एक एकल एकीकृत सैंपलिंग नियम का उपयोग करता है जो सभी जोखिम स्तरों में स्वाभाविक रूप से अनुकूलित होता है।

3. सैद्धांतिक योगदान (Theoretical Contributions)

यह शोध पत्र थॉम्पसन सैंपलिंग का उपयोग करके SR अनुकूलन के लिए पहला कठोर फाइनाइट-टाइम और एसिम्प्टोटिक विश्लेषण प्रदान करता है।

A. रिग्रेट डिकंपोजिशन (Regret Decomposition)

लेखक आंशिक SR उद्देश्य के लिए विशेष रूप से तैयार किया गया एक नवीन रिग्रेट डिकंपोजिशन विकसित करते हैं।

वे अनुपात (SR) की अपेक्षा को माध्य (numerator) और विचरण (denominator) की अपेक्षाओं में अलग करते हैं।
एफ्रॉन-स्टीन इनइक्वलिटी (Efron-Stein inequality) का उपयोग करते हुए, वे सिद्ध करते हैं कि आर्म पुल काउंट्स का विचरण कड़ाई से बंधा हुआ ( $O(n)$ ) है, जिससे वे माध्य और विचरण अनुमानों के बीच कोवेरिएंस को नियंत्रित कर पाते हैं।
अपेक्षित रिग्रेट (expected regret) को उप-इष्टतम पुल्स (suboptimal pulls) के भारित योग के रूप में व्यक्त किया जाता है, जहाँ वेट्स माध्य और विचरण अनुमान त्रुटियों के संयुक्त प्रभाव को दर्शाते हैं।

B. अपर बाउंड विश्लेषण (Upper Bound Analysis - Theorem 3)

डिकपलिंग फ्रेमवर्क: SR की गैर-सब-गॉसियन प्रकृति को संभालने के लिए, वे एक डिकपलिंग फ्रेमवर्क पेश करते हैं जो एरर बजट $\epsilon$ को एक माध्य घटक ( $\epsilon_\mu$ ) और एक विचरण घटक ( $\epsilon_\sigma$ ) में विभाजित करता है।
इष्टतम विभाजन (Optimal Partitioning): वे माध्य और विचरण परिवर्तनों के प्रति SR की प्रथम-क्रम संवेदनशीलता (first-order sensitivity) के आधार पर एरर बजट को विभाजित करने के लिए इष्टतम वेट्स प्राप्त करते हैं।
परिणाम: वे $O(\log n)$ का डिस्ट्रीब्यूशन-डिपेंडेंट फाइनाइट-टाइम रिग्रेट बाउंड स्थापित करते हैं। लीडिंग कांस्टेंट (leading constant) SR गैप और विचरण गैप (जो KL डाइवर्जेंस से संबंधित है) के फलन पर निर्भर करता है।

C. लोअर बाउंड विश्लेषण (Lower Bound Analysis - Theorem 4)

चेंज-ऑफ-मेजर तर्क (Change-of-measure argument) (सूचना-सैद्धांतिक लोअर बाउंड) का उपयोग करते हुए, वे सिद्ध करते हैं कि किसी भी सुसंगत नीति (consistent policy) को लॉगरिदमिक रिग्रेट उठाना ही होगा।
वे एक मॉडल-विशिष्ट लोअर बाउंड प्राप्त करते हैं जो SRTS अपर बाउंड के ऑर्डर से मेल खाता है, जिससे यह पुष्टि होती है कि SRTS ऑर्डर-ऑप्टिमल (order-optimal) है।

4. मुख्य परिणाम (Key Results)

ऑर्डर ऑप्टिमलिटी: SRTS $O(\log n)$ का अपेक्षित रिग्रेट प्राप्त करता है, जो निरंतर कारकों (constant factors) तक सैद्धांतिक लोअर बाउंड से मेल खाता है। यह सिद्ध करता है कि थॉम्पसन सैंपलिंग जोखिम-समायोजित बैंडिट्स के लिए मौलिक रूप से कुशल है।
एकीकृत शासन (Unified Regime): एल्गोरिदम जोखिम सहनशीलता $\rho$ $ρ$ के पूरे स्पेक्ट्रम में मजबूती से प्रदर्शन करता है।
- जैसे-जैसे $\rho \to 0$ , यह अपेक्षित रिवॉर्ड मैक्सिमाइजेशन के लिए मानक TS के व्यवहार को पुनः प्राप्त करता है।
- जैसे-जैसे $\rho \to \infty$ , यह बिना किसी एल्गोरिद्मिक स्विचिंग के स्केल-इनवेरिएंस बनाए रखते हुए प्रभावी रूप से विचरण को कम करता है।
अनुभवजन्य प्रदर्शन (Empirical Performance): सिंथेटिक गॉसियन बैंडिट्स पर प्रयोग दिखाते हैं कि SRTS विभिन्न जोखिम-रिटर्न सेटिंग्स में मौजूदा जोखिम-जागरूक एल्गोरिदम (UCB-RSSR और U-UCB) से बेहतर प्रदर्शन करता है। बेयसियन दृष्टिकोण फ्रीक्वेंटिस्ट विधियों द्वारा उपयोग किए जाने वाले रूढ़िवादी कंसन्ट्रेशन बाउंड्स की तुलना में माध्य और विचरण की संयुक्त अनिश्चितता के प्रति बेहतर अनुकूलन करता है।

5. महत्व और प्रभाव (Significance and Impact)

सैद्धांतिक अंतराल भरा गया: इस कार्य से पहले, बैंडिट्स में शार्प रेशियो अनुकूलन के लिए कोई ऑर्डर-ऑप्टिमल रिग्रेट बाउंड नहीं था। यह शोध पत्र व्यावहारिक ह्यूरिस्टिक्स और कठोर सिद्धांत के बीच के अंतर को पाटता है।
पद्धतिगत नवाचार: डिकपलिंग फ्रेमवर्क का परिचय और इष्टतम एरर बजट विभाजन आंशिक उद्देश्यों के लिए एक नया टूलकिट प्रदान करता है और गैर-रैखिक, जोखिम-संवेदनशील बैंडिट समस्याओं के विश्लेषण के लिए एक नया ढांचा देता है।
व्यावहारिक प्रयोज्यता: इसके परिणाम उन क्षेत्रों के लिए अत्यधिक प्रासंगिक हैं जहाँ जोखिम प्रबंधन महत्वपूर्ण है, जैसे कि क्वांटिटेटिव फाइनेंस (पोर्टफोलियो ऑप्टिमाइजेशन), स्वायत्त रोबोटिक्स (सुरक्षा-प्रतिबंधित अन्वेषण), और क्लिनिकल ट्रायल्स (प्रभावकारिता और साइड-इफेक्ट परिवर्तनशीलता के बीच संतुलन)।
बेयसियन दृष्टिकोण की श्रेष्ठता: यह शोध पत्र प्रदर्शित करता है कि बेयशियन पोस्टीरियर सैंपलिंग (TS), जोखिम मेट्रिक्स के जटिल, गैर-सब-गॉसियन सांख्यिकी को फ्रीक्वेंटिस्ट UCB विधियों की तुलना में अधिक प्रभावी ढंग से संभाल सकता है, जो अक्सर ढीले यूनियन बाउंड्स (loose union bounds) से ग्रस्त होते हैं।

संक्षेप में, यह शोध पत्र SRTS को शार्प रेशियो उद्देश्यों के तहत अनुक्रमिक निर्णय लेने के लिए सैद्धांतिक रूप से इष्टतम और व्यावहारिक रूप से श्रेष्ठ एल्गोरिदम के रूप में स्थापित करता है, जो एल्गोरिदम डिजाइन से लेकर ऑर्डर-ऑप्टिमल रिग्रेट प्रमाण तक एक पूर्ण ढांचा प्रदान करता है।