💰 quantitative finance

Adaptive Partitioning and Learning for Stochastic Control of Diffusion Processes

यह शोध पत्र असीमित निरंतर अवस्था स्थानों (unbounded continuous state spaces) में नियंत्रित प्रसार प्रक्रियाओं (controlled diffusion processes) के लिए एक अनुकूली विभाजन मॉडल-आधारित सुदृढीकरण शिक्षण एल्गोरिदम (adaptive partitioning model-based reinforcement learning algorithm) प्रस्तावित करता है, जो एक नवीन ज़ूमिंग आयाम (zooming dimension) पर निर्भर रिग्रेट बाउंड्स (regret bounds) स्थापित करता है और बहु-परिसंपत्ति पोर्टफोलियो चयन जैसे उच्च-आयामी वित्तीय अनुप्रयोगों में प्रभावशीलता प्रदर्शित करता है।

मूल लेखक: Hanqing Jin, Renyuan Xu, Yanzhao Yang

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanqing Jin, Renyuan Xu, Yanzhao Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, अनंत महासागर में मछली पकड़ने के सबसे अच्छे स्थानों को खोजने के लिए नेविगेट करना सिखाने की कोशिश कर रहे हैं। महासागर स्टेट स्पेस (state space) का प्रतिनिधित्व करता है (जहाँ रोबोट है), और रोबोट किस दिशा में मुड़ने का निर्णय लेता है वह एक्शन स्पेस (action space) का प्रतिनिधित्व करता है।

कई पारंपरिक शिक्षण समस्याओं में, महासागर एक छोटा, घेरा हुआ पूल होता है। आप इसके हर इंच का आसानी से मानचित्र बना सकते हैं। लेकिन वास्तविक दुनिया में—विशेष रूप से वित्त और अर्थशास्त्र में—महासागर अनबाउंडेड (unbounded) यानी असीम होता है। यह अनंत तक फैला हुआ है, और यदि आप भाग्यशाली रहे तो "रिवॉर्ड्स" (जैसे लाभ) अविश्वसनीय रूप से बड़े हो सकते हैं।

यह शोध पत्र एक नया तरीका पेश करता है जिससे एक रोबोट (या एल्गोरिदम) इस अनंत महासागर में बिना खोए या अभिभूत हुए नेविगेट करना सीख सकता है। यहाँ उनके दृष्टिकोण का सरल उपमाओं के माध्यम से विवरण दिया गया है:

1. समस्या: "अनंत मानचित्र" की दुविधा

यदि आप एक निश्चित ग्रिड (जैसे ग्राफ पेपर) के साथ अनंत महासागर का मानचित्र बनाने की कोशिश करते हैं, तो आप दो समस्याओं का सामना करते हैं:

बहुत सूक्ष्म (Too Fine): यदि ग्रिड के वर्ग सटीक होने के लिए बहुत छोटे हैं, तो आपको अनंत कागज और समय की आवश्यकता होगी।
बहुत मोटा (Too Coarse): यदि वर्ग बहुत बड़े हैं, तो आप महत्वपूर्ण विवरणों (जैसे छिपी हुई चट्टान या मछलियों का झुंड) को चूक जाएंगे।

अधिकांश मौजूदा विधियाँ मानती हैं कि महासागर एक छोटा, सीमित पूल है। यह शोध पत्र एक अनंत महासागर की बहुत कठिन समस्या को हल करता है जहाँ रिवॉर्ड्स पॉलिनोमियल रूप से (जैसे चक्रवृद्धि ब्याज की तरह, जहाँ छोटे लाभ अंततः बहुत बड़े हो सकते हैं) बढ़ सकते हैं।

2. समाधान: "स्मार्ट ज़ूम" कैमरा

लेखक एक एल्गोरिदम प्रस्तावित करते हैं जिसे APL-Diffusion (Adaptive Partitioning and Learning for Diffusions) कहा जाता है। इसे एक स्मार्ट कैमरा जिसमें ज़ूम लेंस लगा है समझें जो केवल वहीं ध्यान केंद्रित करता है जहाँ इसकी आवश्यकता होती है।

पूरे महासागर का मानचित्र एक साथ बनाने के बजाय, एल्गोरिदम निम्नलिखित कार्य करता है:

एक रफ स्केच से शुरुआत करता है: यह महासागर को बड़े, प्रबंधनीय हिस्सों (पार्टिशन्स) में विभाजित करता है।
खोजता है और सीखता है: जैसे-जैसे रोबोट आगे बढ़ता है, वह पानी की धारा (ड्रिफ्ट) और उसकी उथल-पुथल (वोलेटिलिटी) के बारे में डेटा एकत्र करता है।
"ज़ूम" तंत्र: यही मुख्य नवाचार है। यदि रोबोट महासागर के ऐसे हिस्से में प्रवेश करता है जहाँ डेटा भ्रमित करने वाला है या धारा के बारे में "अनुमान" संदिग्ध है, तो एल्गोरिदम उस हिस्से को दो भागों में विभाजित कर देता है। वह उस विशिष्ट क्षेत्र के लिए एक महीन मानचित्र बनाने हेतु ज़ूम इन करता है।
केंद्रित रहता है: यदि कोई क्षेत्र अच्छी तरह से समझा जा चुका है या वहां कम ही जाया जाता है, तो वह एक बड़े हिस्से के रूप में बना रहता है। वह खाली और शांत पानी के लिए बारीक विवरण बनाने में समय बर्बाद नहीं करता है।

3. "अनंत" और "बढ़ते हुए" हिस्सों को संभालना

चूंकि महासागर अनंत है, इसलिए एल्गोरिदम के पास एक सुरक्षा जाल है। यह अपनी सीखने की प्रक्रिया को एक बड़े, केंद्रीय "सुरक्षित क्षेत्र" (एक बड़े घेरे) पर केंद्रित करता है।

सीमा (The Boundary): यदि रोबोट इस सुरक्षित क्षेत्र से बहुत दूर चला जाता है, तो एल्गोरिदम असंभव को सीखने के बजाय एक रफ, "सर्वश्रेष्ठ अनुमान" वाले अनुमान का उपयोग करता है।
बढ़ते रिवॉर्ड्स: वित्त में, शुरुआत में की गई एक छोटी सी गलती बाद में बहुत बड़ा नुकसान पहुंचा सकती है। यह शोध पत्र उन रिवॉर्ड्स को ध्यान में रखता है जो बहुत बड़े हो सकते हैं (पॉलिनोमियल ग्रोथ)। एल्गोरिदम को इन "विस्फोटक" संख्याओं को संभालने के लिए डिज़ाइन किया गया है ताकि दांव ऊंचे होने पर रोबोट घबरा न जाए।

4. परिणाम: कम प्रयास के साथ एक बेहतर मानचित्र

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह "स्मार्ट ज़ूम" दृष्टिकोण कुशलतापूर्वक काम करता है।

रिग्रेट (Regret): सीखने के संदर्भ में, "रिग्रेट" वह अंतर है जो रोबोट ने वास्तव में कैसे प्रदर्शन किया और उसने एक आदर्श मानचित्र के साथ कैसा प्रदर्शन किया होता, उसके बीच का है।
निष्कर्ष: लेखक दिखाते हैं कि उनका एल्गोरिदम इस "रिग्रेट" को कम रखता है। यह लगभग उतनी ही तेजी से सीखता है जितनी तेजी से एक छोटा और सीमित महासागर होता, भले ही यह अनंत हो।
"ज़ूमिंग डायमेंशन": वे एक नया कॉन्सेप्ट पेश करते हैं जिसे "ज़ूमिंग डायमेंशन" कहा जाता है। इसे महासागर की जटिलता मापने के रूप में समझें। भले ही महासागर बहुत बड़ा हो, लेकिन महत्वपूर्ण हिस्से केवल एक सरल पथ (जैसे एक संकीर्ण नदी) पर हो सकते हैं। एल्गोरिदम इतना स्मार्ट है कि वह समझ जाता है कि उसे पूरे महासागर के बजाय केवल उस नदी का मानचित्र बनाने की आवश्यकता है, जिससे सीखना बहुत तेज़ हो जाता है।

5. वास्तविक दुनिया का परीक्षण

लेखकों ने केवल गणित नहीं किया; उन्होंने इसका परीक्षण भी किया।

परीक्षण 1: एक सरल 1D समस्या (जैसे एक सीधी रेखा में नेविगेट करना)। एल्गोरिदम ने सफलतापूर्वक सबसे अच्छे क्षेत्रों पर ज़ूम किया और बाकी को अनदेखा कर दिया।
परीक्षण 2: एक मल्टी-एसेट पोर्टफोलियो (Multi-Asset Portfolio)। कल्पना कीजिए कि एक निवेशक 5 अलग-अलग शेयरों और एक जोखिम-मुक्त बैंक खाते में पैसा संतुलित करने की कोशिश कर रहा है। यह एक उच्च-आयामी, जटिल समस्या है। एल्गोरिदम ने रिटर्न को अधिकतम करने के लिए धन का आवंटन करना सफलतापूर्वक सीखा, भले ही इसके पीछे का गणित अविश्वसनीय रूप से जटिल हो।

सारांश

संक्षेप में, यह शोध पत्र कंप्यूटर को यह सिखाता है कि एक ऐसी दुनिया में कैसे सीखा जाए जो पूरी तरह से मैप करने के लिए बहुत बड़ी है और अंधाधुंध अनुमान लगाने के लिए बहुत जोखिम भरी है। एक स्मार्ट, एडेप्टिव ज़ूमिंग रणनीति का उपयोग करके, एल्गोरिदम अपनी ऊर्जा केवल उन्हीं क्षेत्रों पर केंद्रित करता है जिन्हें ध्यान देने की आवश्यकता होती है, जिससे यह जटिल, अनंत समस्याओं (जैसे वित्तीय पोर्टफोलियो प्रबंधन) के लिए इष्टतम रणनीतियों को सीखने में सक्षम होता है, और साथ ही गणितीय गारंटी भी देता है कि यह रास्ता नहीं भटकेगा।

तकनीकी सारांश: स्टोकेस्टिक डिफ्यूजन प्रक्रियाओं के स्टोकेस्टिक नियंत्रण के लिए एडेप्टिव पार्टीशनिंग और लर्निंग

समस्या का निरूपण
यह शोध पत्र नियंत्रित डिफ्यूजन प्रक्रियाओं (controlled diffusion processes) के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की चुनौती को संबोधित करता है, जो अनबाउंडेड निरंतर अवस्था स्थानों (unbounded continuous state spaces), बाउंडेड निरंतर क्रिया स्थानों (bounded continuous action spaces), और पॉलीनोमियल ग्रोथ वाले पुरस्कारों (rewards with polynomial growth) द्वारा अभिलक्षित हैं। ये परिवेश वित्त, अर्थशास्त्र और ऑपरेशंस रिसर्च (जैसे पोर्टफोलियो अनुकूलन, डायनेमिक हेजिंग और इन्वेंट्री प्रबंधन) में प्रचलित हैं, लेकिन बाउंडेड या टेबुलर MDPs की तुलना में सैद्धांतिक रूप से कम विकसित हैं।

लेखक इस समस्या को एक निरंतर-समय नियंत्रित स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) के यूलर-मरौमा (Euler–Maruyama) विवेकीकरण (discretization) द्वारा प्रेरित एक डिस्क्रीट-टाइम मार्कोव डिसीजन प्रोसेस (MDP) के रूप में निरूपित करते हैं। अवस्था संक्रमण (state transition) निम्नलिखित द्वारा शासित है:
$X_{h+1} - X_h = \mu_h(X_h, A_h)\Delta + \sigma_h(X_h, A_h)B_h\sqrt{\Delta}$
जहाँ $\mu$ और $\sigma$ अज्ञात ड्रिफ्ट (drift) और वोलैटिलिटी (volatility) फलन हैं जो अवस्था-क्रिया युग्म पर निर्भर करते हैं, और $B_h$ i.i.d. गौसियन शोर (Gaussian noise) है। पुरस्कार फलन $\bar{R}_h(x, a)$ को अवस्था के साथ पॉलीनोमियल रूप से बढ़ने की अनुमति है, जो मानक बाउंडेड रिवॉर्ड धारणा को शिथिल करता है। लक्ष्य $K$ एपिसोड के क्षितिज (horizon) $H$ पर संचयी रिग्रेट (cumulative regret) को कम करना है।

कार्यप्रणाली: APL-Diffusion एल्गोरिदम
लेखक APL-Diffusion प्रस्तावित करते हैं, जो एक मॉडल-आधारित एल्गोरिदम है जो स्थानीय सिस्टम डायनेमिक्स के अनुमान के साथ एडेप्टिव पार्टीशनिंग को एकीकृत करता है। मुख्य घटकों में शामिल हैं:

स्टेट लोकलाइजेशन (State Localization): अनबाउंडेड स्टेट स्पेस को संभालने के लिए, एल्गोरिदम लर्निंग को एक बाउंडेड बॉल $S_1 = \{x : \|x\| \le \rho\}$ तक सीमित करता है। इस बॉल से बाहर निकलने वाले ट्राजेक्टरीज को ऐसे मोटे अनुमानों (coarse estimations) के माध्यम से संभाला जाता है जो रिग्रेट बाउंड पर हावी नहीं होते हैं।
एडेप्टिव पार्टीशनिंग (Adaptive Partitioning): संयुक्त अवस्था-क्रिया स्थान को हाइपरक्यूब्स में विभाजित किया जाता है। यूनिफॉर्म ग्रिड के विपरीत, विभाजन को एडेप्टिव रूप से परिष्कृत किया जाता है। एक ब्लॉक $B$ को तब विभाजित किया जाता है जब उसका अनुमानित बायस (bias) एक सांख्यिकीय विश्वास सीमा (statistical confidence bound) से अधिक हो जाता है। यह अन्वेषण (exploration) और सन्निकटन त्रुटि (approximation error) के बीच संतुलन बनाता है।
लोकल एस्टिमेटर्स (Local Estimators): प्रत्येक पार्टीशन ब्लॉक के भीतर, एल्गोरिदम इनके लिए एस्टिमेटर्स बनाए रखता है:
- ड्रिफ्ट ( $\hat{\mu}$ ) और वोलैटिलिटी ( $\hat{\sigma}$ ): देखे गए स्टेट ट्रांजिशन से निर्मित।
- रिवॉर्ड ( $\hat{R}$ ): देखे गए रिवॉर्ड्स से निर्मित।
- ट्रांजिशन कर्नेल (Transition Kernel): अनुमानित ड्रिफ्ट और वोलैटिलिटी पर आधारित गौसियन वितरण के रूप में मॉडल किया गया।
ऑप्टिमिस्टिक प्लानिंग (Optimistic Planning): एल्गोरिदम ड्रिफ्ट, वोलैटिलिटी और रिवॉर्ड में अनुमानित अनिश्चितता, साथ ही पार्टीशन साइज द्वारा पेश किए गए बायस को ध्यान में रखते हुए अपर कॉन्फिडेंस बाउंड्स (UCB) का उपयोग करके ऑप्टिमिस्टिक Q-वैल्यू और वैल्यू फंक्शन का निर्माण करता है।
पॉलिसी निष्पादन (Policy Execution): क्रियाएं ऑप्टिमिस्टिक Q-फंक्शन अनुमानों के आधार पर लालची (greedily) रूप से चुनी जाती हैं, जहाँ ब्लॉक के भीतर क्रिया स्थान को ब्लॉक के प्रोजेक्शन से यूनिफॉर्मली सैंपल किया जाता है।

मुख्य योगदान

अनबाउंडेड डिफ्यूजन के लिए सैद्धांतिक ढांचा: यह शोध पत्र अनबाउंडेड स्टेट स्पेस और पॉलीनोमियलली ग्रोइंग रिवॉर्ड्स वाले नियंत्रित डिफ्यूजन प्रक्रियाओं के लिए RL सिद्धांत का विस्तार करता है, एक ऐसा परिवेश जहाँ मौजूदा सैद्धांतिक गारंटी (जो अक्सर बाउंडेडनेस पर निर्भर करती है) विफल हो जाती है।
नया ज़ूमिंग डायमेंशन (Zooming Dimension): विशेष रूप से अनबाउंडेड स्टेट स्पेस के लिए एक नया "ज़ूमिंग डायमेंशन" ( $z_{max,c}$ ) परिभाषित किया गया है। यह मीट्रिक निकट-इष्टतम सेट (near-optimal set) की जटिलता को मापता है और यह अनुमति देता है कि रिग्रेट बाउंड्स समस्या के एम्बिएंट डायमेंशन के बजाय उसके अंतर्निहित डायमेंशन (intrinsic dimension) पर निर्भर हों।
कंसंट्रेशन इनइक्वेलिटीज (Concentration Inequalities): लेखक लिप्सचिट्ज़ (Lipschitz) धारणाओं के तहत ड्रिफ्ट और वोलैटिलिटी के एस्टिमेटर्स के लिए कंसंट्रेशन इनइक्वेलिटीज व्युत्पन्न करते हैं। एक महत्वपूर्ण तकनीकी चुनौती वोलैटिलिटी की केवल लिप्सचिट्ज़ रेगुलैरिटी के तहत कोवेरिएंस मैट्रिसेस के लिए कंसंट्रेशन स्थापित करना है, जिसके लिए मध्यवर्ती पदों को पेश करने की आवश्यकता पड़ी जो मानक बाउंडेड MDP विश्लेषणों में मौजूद नहीं हैं।
रिग्रेट बाउंड्स: शोध पत्र उच्च-संभाव्यता (high-probability) वाला रिग्रेट बाउंड निम्नलिखित क्रम में स्थापित करता है:
$\tilde{O}\left( H K^{\frac{1 - p^2 - (m+1)^2(z_{max,c}+2) - (m+1)(2d_S + 2m + 4)}{p(p+m+1)(z_{max,c}+2) + p(2d_S + 2m + 4)}} \right)$
जहाँ $p$ $p$ प्रारंभिक अवस्था वितरण का बाउंडेड मोमेंट ऑर्डर है, $m+1$ $m + 1$ रिवॉर्ड का पॉलीनोमियल ग्रोथ ऑर्डर है, $d_S$ $d_{S}$ स्टेट डायमेंशन है, और $z_{max,c}$ $z_{ma x, c}$ वर्स्ट-केस ज़ूमिंग डायमेंशन है।
- जैसे-जैसे $p \to \infty$ (बाउंडेड इनिशियल मोमेंट्स), यह बाउंड क्रम $\tilde{O}(H K^{\frac{z_{max,c}+1}{z_{max,c}+2}})$ को रिकवर करता है, जो बाउंडेड सेटिंग्स (जैसे [Sinclair et al., 2023]) के लिए मौजूदा परिणामों के अनुरूप है।
- यह बाउंड स्पष्ट रूप से हेवी-टेल्ड इनिशियल डिस्ट्रीब्यूशन और फास्ट रिवॉर्ड ग्रोथ का लर्निंग एफिशिएंसी पर प्रभाव को कैप्चर करता है।

परिणाम और सत्यापन

सैद्धांतिक विश्लेषण: रिग्रेट विश्लेषण प्रदर्शित करता है कि एल्गोरिदम एपिसोड्स की संख्या $K$ में सबलीनियर रिग्रेट प्राप्त करता है। बाउंड्स को दिखाया गया है कि वे बाउंडेड सेटिंग्स के लिए मौजूदा परिणामों को एक विशेष मामले के रूप में रिकवर करते हैं जबकि डिफ्यूजन समस्याओं के एक व्यापक वर्ग तक गारंटी का विस्तार करते हैं।
संख्यात्मक प्रयोग (Numerical Experiments):
- 1D उदाहरण: एक सुलभ एक-आयामी नियंत्रण समस्या दर्शाती है कि एल्गोरिदम उच्च इष्टतम Q-वैल्यू वाले क्षेत्रों में पार्टीशन्स को एडेप्टिव रूप से रिफाइन करता है, जिससे अनुमानित वैल्यू फंक्शन का तेजी से अभिसरण (convergence) होता है। अनुमानित रिग्रेट ऑर्डर (0.69) को वर्स्ट-केस सैद्धांतिक बाउंड (0.75) से बेहतर पाया गया।
- मीन-वैरिएंस पोर्टफोलियो ऑप्टिमाइजेशन: 5 जोखिमपूर्ण संपत्तियों और 1 जोखिम-मुक्त संपत्ति वाला एक उच्च-आयामी अनुप्रयोग। हालांकि यह समस्या एक्शन वेरिएबल पर सख्त लिप्सचिट्ज़ धारणाओं का उल्लंघन करती है (वोलैटिलिटी के बहुत कम होने के कारण), एल्गोरिदम ने 0.78 के रिग्रेट ऑर्डर के साथ मजबूत अनुभवजन्य प्रदर्शन प्रदर्शित किया, जो वर्स्ट-केस सैद्धांतिक बाउंड 0.875 से बेहतर है।

महत्व
यह शोध पत्र दावा करता है कि यह अनबाउंडेड स्टेट्स और पॉलीनोमियलली ग्रोइंग रिवॉर्ड्स वाले नियंत्रित डिफ्यूजन प्रक्रियाओं के लिए पहला कठोर सैद्धांतिक ढांचा और एल्गोरिदम प्रदान करता है। एक लोकलाइज्ड एडेप्टिव पार्टीशनिंग स्कीम और एक अनुकूलित ज़ूमिंग डायमेंशन पेश करके, यह कार्य बाउंडेड MDPs की सैद्धांतिक सुगमता और वास्तविक वित्तीय एवं आर्थिक प्रणालियों को मॉडल करने की व्यावहारिक आवश्यकता के बीच के अंतर को पाटता है। परिणाम बताते हैं कि इन जटिल, उच्च-आयामी सेटिंग्स में कुशल लर्निंग संभव है, बशर्ते कि निकट-इष्टतम क्षेत्र (near-optimal regions) में कम अंतर्निहित आयामीता (lower intrinsic dimensionality) हो। संख्यात्मक प्रयोग एल्गोरिदम की मजबूती और वास्तविक, उच्च-आयामी वित्तीय अनुप्रयोगों में इसकी प्रभावशीलता को प्रमाणित करते हैं।