💰 quantitative finance

Learning Time-Inhomogeneous Markov Dynamics in Financial Time Series via Neural Parameterization

यह शोध पत्र एक ऐसे ढांचे को प्रस्तुत करता है जो वित्तीय समय श्रृंखला (financial time series) के लिए स्पष्ट, समय-परिवर्ती मार्कोव ट्रांज़िशन मैट्रिसेस (Markov transition matrices) को पैरामीटराइज़ करने के लिए न्यूरल नेटवर्क का उपयोग करता है, जिससे गणितीय व्याख्यात्मकता बनाए रखते हुए डेटा की विरलता (data sparsity) की समस्या को दूर किया जा सके और रिजीम शिफ्ट (regime shifts) को पकड़ने तथा मेमोरी ब्रेकडाउन (memory breakdowns) का निदान करने में सक्षम हुआ जा सके।

मूल लेखक: Jan Rovirosa, Jesse Schmolze

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jan Rovirosa, Jesse Schmolze

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं, लेकिन बादलों को देखने के बजाय, आप शेयर बाजार को देख रहे हैं। आप जानना चाहते हैं: "अगर आज बाजार इस तरह का व्यवहार कर रहा है, तो कल इसके क्या करने की संभावना है?"

लंबे समय तक, वैज्ञानिकों ने एक सरल विधि का उपयोग करके इसका उत्तर देने का प्रयास किया जिसे गिनती (counting) कहा जाता है। वे इतिहास को देखते थे और कहते थे, "ठीक है, हर बार जब बाजार थोड़ा ऊपर गया (स्थिति A), तो यह 100 में से 10 बार थोड़ा नीचे गया (स्थिति B)।" वे ऐसे नियमों का एक विशाल मानचित्र बनाते थे।

समस्या: "खाली मानचित्र" (The "Empty Map" Issue) की समस्या
लेख बताता है कि यह गिनती करने वाली विधि विफल हो जाती है जब आप बहुत अधिक विशिष्ट होने की कोशिश करते हैं। कल्पना कीजिए कि आप दिन के हर एक सेकंड के लिए मौसम को मैप करने की कोशिश कर रहे हैं, न कि केवल "सुबह" या "दोपहर" के लिए। अचानक, आपके पास लाखों छोटे बक्से आ जाते हैं जिन्हें भरना है। लेकिन आपके पास केवल कुछ वर्षों का डेटा है। उन सभी बक्सों में से अधिकांश पूरी तरह से खाली होंगे। आपके पास एक ऐसा मानचित्र होगा जो छेदों से भरा है, जिससे वह भविष्यवाणी के लिए बेकार हो जाता है। वित्त की दुनिया में, इसे स्पैरसिटी प्रॉब्लम (sparsity problem) कहा जाता है।

समाधान: "स्मार्ट आर्किटेक्ट" (The "Smart Architect")
लेखक इस मानचित्र को बनाने का एक नया तरीका प्रस्तावित करते हैं। अतीत की घटनाओं को गिनने के बजाय, वे एक न्यूरल नेटवर्क (एक प्रकार का AI) का उपयोग एक "स्मार्ट आर्किटेक्ट" के रूप में करते हैं।

न्यूरल नेटवर्क को एक ऐसे जादुई ब्लैक बॉक्स के रूप में न देखें जो आपको एक एकल उत्तर देता है, बल्कि इसे एक नियम-बनाने वाले (rule-maker) के रूप में देखें।

इनपुट (The Input): आप आर्किटेक्ट को बताते हैं: "यह वर्तमान बाजार की स्थिति है (जैसे, 'थोड़ा ऊपर') और यहाँ वर्तमान स्थितियाँ हैं (जैसे, 'उच्च ब्याज दरें')।"
आउटपुट (The Output): आर्किटेक्ट अगले क्या होने की संभावनाओं का एक पूर्ण, सुचारू मानचित्र खींचता है। वह सटीक पिछले मिलानों को गिनने के बजाय, समान स्थितियों में पैटर्न को देखकर खाली बक्सों को भर देता है।
ट्विस्ट (The Twist): सबसे महत्वपूर्ण हिस्सा यह है कि आर्किटेक्ट को एक वैध मानचित्र (valid map) बनाने के लिए मजबूर किया जाता है। मानचित्र की हर रेखा 100% जोड़नी चाहिए। यह गणित को ईमानदार और समझने योग्य बनाए रखता है, उन कई AI मॉडलों के विपरीत जो केवल बिना नियमों का पालन किए नंबरों का अनुमान लगाते हैं।

उन्होंने क्या खोजा
इस "स्मार्ट आर्किटेक्ट" का उपयोग करके शेयर बाजार (विशेष रूप से जेपी मॉर्गन चेज़ स्टॉक) को देखने पर, उन्होंने कुछ आश्चर्यजनक चीजें पाईं:

बाजार अपने नियम बदल देता है: मानचित्र स्थिर नहीं है। शांत दिनों में, नियम जटिल और विविध होते हैं। अराजक, उच्च-तनाव वाले दिनों में, नियम बदल जाते हैं।
अराजकता चीजों को उबाऊ बना देती है: आप सोच सकते हैं कि जब बाजार पागलपन भरा (उच्च अस्थिरता) होता है, तो यह अप्रत्याशित और विविध हो जाता है। शोध ने इसके विपरीत पाया। जब बाजार तनाव में होता है, तो "स्मार्ट आर्किटेक्ट" एक ऐसा मानचित्र बनाता है जहाँ सभी रास्ते बहुत समान दिखते हैं। यह ऐसा है जैसे, घबराहट में, लोग चाहे कहीं से भी शुरू करें, वे सभी एक ही दिशा में भागते हैं। लेखक इसे होमोजेनाइजेशन (homogenization) कहते हैं।
"लॉजिक चेक" टूल: पेपर एक चालाक ट्रिक पेश करता है जो चैपमैन-कोलमोगोरोव समीकरण (Chapman-Kolmogorov equation) नामक एक पुराने गणितीय नियम का उपयोग करती है। इसे एक "तर्क की जांच" (sanity check) के रूप में समझें।
- सामान्य उपयोग: "यदि मैं A से B पर जाता हूँ, और फिर B से C पर जाता हूँ, तो क्या यह सीधे A से C पर जाने के नियम से मेल खाता है?"
- उनका उपयोग: वे इसका उपयोग AI को पूर्ण बनाने के लिए नहीं, बल्कि मुश्किलों को पहचानने के लिए करते हैं। जब गणित मेल नहीं खाता, तो यह उन्हें बताता है, "हे, अभी बाजार एक ऐसे तरीके से व्यवहार कर रहा है जो हमारे सरल 'एक-दिवसीय' स्मृति नियम में फिट नहीं बैठता।" यह ठीक से पहचानता है कि कब बाजार अजीब व्यवहार कर रहा है या लंबी अवधि की यादों को पकड़ कर रख रहा है।

निष्कर्ष (The Bottom Line)
यह पेपर यह दावा नहीं करता कि इसके पास शेयर बाजार की सटीक भविष्यवाणी करने वाला कोई क्रिस्टल बॉल है। वास्तव में, वे स्वीकार करते हैं कि उनकी भविष्यवाणियां एक साधारण अनुमान से केवल थोड़ी ही बेहतर हैं।

इसके बजाय, इस पेपर की वास्तविक जीत पारदर्शिता (transparency) है। उन्होंने दिखाया कि कैसे एक शक्तिशाली AI का उपयोग करके बाजार के चलने का एक स्पष्ट, गणितीय रूप से सुदृढ़ मानचित्र बनाया जा सकता है। यह मानचित्र शोधकर्ताओं को यह देखने की अनुमति देता है कि बाजार के नियम समय के साथ कैसे बदलते हैं और वे ठीक कब पहचान सकते हैं कि बाजार एक सरल, एक-चरणीय प्रणाली की तरह व्यवहार करना बंद कर देता है। यह एक "ब्लैक बॉक्स" AI को एक "ग्लास बॉक्स" टूल में बदल देता है जो प्रायिकता के नियमों का सम्मान करता है।

तकनीकी सारांश: न्यूरल पैरामीट्राइजेशन के माध्यम से वित्तीय समय श्रृंखलाओं में लर्निंग टाइम-इनहोमोजिनियस मार्कोव डायनेमिक्स

1. समस्या विवरण

यह शोध पत्र गैर-स्थिर (non-stationary) स्टोकेस्टिक प्रणालियों, विशेष रूप से वित्तीय समय श्रृंखलाओं (financial time series) को मॉडल करने की चुनौती को संबोधित करता है, जहाँ शास्त्रीय मार्कोव मॉडल और आधुनिक डीप लर्निंग दृष्टिकोण दोनों की महत्वपूर्ण सीमाएँ हैं।

विरलता की बाधा (The Sparsity Barrier): शास्त्रीय मार्कोव मॉडलिंग विविक्त अवस्थाओं (discrete states) के बीच संक्रमणों की अनुभवजन्य गणना (empirical counting) पर निर्भर करती है। भारी-पूंछ वाले (heavy-tailed) वित्तीय रिटर्न की सूक्ष्मता को पकड़ने के लिए, एक महीन विवक्तीकरण (बड़ी संख्या में बिन्स, $n$ ) की आवश्यकता होती है। हालाँकि, संभावित संक्रमणों की संख्या द्विघाती ( $n^2$ ) रूप से बढ़ती है। परिमित, शोर वाले वित्तीय डेटासेट में, यह गंभीर डेटा विरलता (data sparsity) की ओर ले जाता है जहाँ अधिकांश संक्रमण सेल अप्रवर्तित (unobserved) रह जाते हैं (उदाहरण के लिए, $n=55$ पर 99.9% सेल्स में 5 से कम अवलोकन हैं)। इसके कारण अनुभवजन्य अनुमानक (empirical estimators) शून्य और उच्च-विचरण शोर से भरे क्षीण ऑपरेटरों में ढह जाते हैं, जिससे वे संरचनात्मक विश्लेषण के लिए बेकार हो जाते हैं।
व्याख्यात्मकता अंतराल (The Interpretability Gap): जबकि न्यूरल सीक्वेंस मॉडल जटिल निर्भरताओं को संभाल सकते हैं, वे आमतौर पर अपारदर्शी लेटेंट रिप्रजेंटेशन के माध्यम से कार्य करते हैं, जिससे शास्त्रीय ऑपरेटर-सिद्धांतिक निदान (जैसे ट्रांजिशन हीटमैप्स, रो हेटेरोजेनिटी, चैपमैन-कोल्पमोर-कंसिस्टेंसी) का अनुप्रयोग असंभव हो जाता है।

लेखक एक मध्य मार्ग प्रस्तावित करते हैं: एक ऐसा ढांचा जो समय-परिवर्तनीय मार्कोव ऑपरेटरों के स्पष्ट, समय-विषम (time-varying) पैरामीट्राइजेशन के लिए न्यूरल नेटवर्क की लचीलेपन का उपयोग करता है, जिससे अनुभवजन्य गणना की विरलता को दूर किया जा सके और गणितीय पारदर्शिता बनी रहे।

2. कार्यप्रणाली

मुख्य योगदान समय-विषम (time-inhomogeneous) मार्कोव ऑपरेटरों का न्यूरल पैरामीट्राइजेशन है।

2.1 फ्रेमवर्क फॉर्मूलेशन

प्रणाली को एक फीचर-कंडीशन्ड, टाइम-इनहोमोजिनियस मार्कोव चेन के रूप में मॉडल किया गया है।

स्टेट स्पेस (State Space): रिटर्न्स को क्वांटाइल बिनिंग के माध्यम से एक परिमित स्टेट स्पेस $S = \{s_1, \dots, s_n\}$ में विवक्त किया जाता है।
फीचर कंडीशनिंग: संक्रमण की संभावनाएँ अवलोकन योग्य सहचरों (covariates) $F_t$ (मैक्रोइकॉनोमिक संकेतक, फर्म फंडामेंटल्स) और वर्तमान अवस्था $X_t$ पर निर्भर करती हैं।
ऑपरेटर निर्माण: संक्रमणों की गिनती करने के बजाय, एक न्यूरल नेटवर्क $f^{(h)}_\theta$ $(X_t, F_t)$ से अगले स्टेट के संभाव्यता वितरण (probability distribution) के मैपिंग को सीखता है।
$\hat{A}^{(h)}_t(i, \cdot) = f^{(h)}_\theta(s_i, F_t)$
समय $t$ पर पूर्ण ट्रांजिशन मैट्रिक्स $\hat{A}^{(h)}_t$ बनाने के लिए, नेटवर्क को उसी फीचर स्नैपशॉट $F_t$ के तहत प्रत्येक संभावित अवस्था $s_i \in S$ के लिए मूल्यांकित किया जाता है। यह सुनिश्चित करता है कि आउटपुट एक वैध, सुचारू स्टोकेस्टिक ऑपरेटर है, भले ही संक्रमण अप्रवर्तित हों।

2.2 मॉडल आर्किटेक्चर और ट्रेनिंग

आर्किटेक्चर: एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) वन-हॉट स्टेट एनकोडिंग और फीचर वेक्टर के संयोजन (concatenation) को लेता है। यह एक सॉफ्टमैक्स लेयर के माध्यम से एक संभाव्यता वितरण आउटपुट करता है।
ट्रेनिंग ऑब्जेक्टिव: मॉडल्स को नेगेटिव लॉग-लाइक्लीहुड को कम करने के लिए एडम ऑप्टिमाइज़ेशन का उपयोग करके प्रशिक्षित किया जाता है। विवक्त रिटर्न्स में शोर को संभालने के लिए, वैकल्पिक रूप से एक स्मूथ-टारगेट ऑब्जेक्टिव का उपयोग किया जाता है, जो पड़ोसी बिन्स को आंशिक द्रव्यमान (partial mass) आवंटित करता है।
बेसलाइन्स:
- स्टेट-फ्री एब्लेशन: एक मॉडल जो केवल फीचर्स $F_t$ पर कंडീഷन्ड है ( $X_t$ को हटाकर), जो रो-इनवेरिएंट ऑपरेटर्स उत्पन्न करता है।
- एम्पिरिकल काउंटर्स: शास्त्रीय अनुमानक (मार्जनल, कंडिशनल, बैकऑफ-स्मूदेड) यह प्रदर्शित करने के लिए कि उच्च रिज़ॉल्यूशन पर गणना विफल हो जाती है।

2.3 डायग्नोस्टिक टूल्स

चूंकि आउटपुट एक स्पष्ट ऑपरेटर मैट्रिक्स है, इसलिए यह ढांचा विशिष्ट निदान सक्षम करता है:

रो हेटेरोजेनिटी (Row Heterogeneity): स्टेट डिपेंडेंस को मापने के लिए पंक्तियों के बीच टोटल-वेरिएशन डिस्टेंस को मापता है।
रो एंट्रॉपी (Row Entropy): संक्रमण वितरण के फैलाव/अनिश्चितता को मापता है।
चैपमैन-कोल्पमोर (CK) कंसिस्टेंसी: सीधे अनुमानित $h$ -स्टेप ऑपरेटर की तुलना $h$ वन-स्टेप ऑपरेटर्स के संयोजन से करता है। यह एक स्थानीयकृत निदान के रूप में कार्य करता है ताकि उन टेम्पोरल विंडोज़ की पहचान की जा सके जहाँ फर्स्ट-ऑर्डर मार्कोव धारणा टूट जाती है।

3. मुख्य परिणाम

प्रयोग एक एकल इक्विटी (JPM) के साथ $n=55$ बिन्स और विभिन्न फोरकास्ट हॉरिज़न्स पर केंद्रित हैं।

3.1 अनुभवजन्य गणना की विफलता

लक्ष्य रिज़ॉल्यूशन ( $n=55$ ) पर, अनुभवजन्य ट्रांजिशन मैट्रिसेस प्रभावी रूप से खाली हैं। 57% से अधिक सेल्स पूरी तरह से अप्रवर्तित हैं, और 99.9% में 5 से कम अवलोकन हैं। यह पुष्टि करता है कि टैबुलेशन इस स्तर की सूक्ष्मता पर ऑपरेटर-स्तरीय विश्लेषण का समर्थन नहीं कर सकता।

3.2 संरचनात्मक वैधता और स्टेट डिपेंडेंस

स्टेट कंडीशनिंग: स्टेट-कंडीशन्ड मॉडल नॉन-ट्रिवियल स्ट्रक्चर वाले ऑपरेटर्स बनाता है, जो $\bar{\rho} = 0.0073$ की औसत रो हेटेरोजेनिटी प्राप्त करता है। इसके विपरीत, स्टेट-फ्री एब्लेशन बिल्कुल $\rho = 0.0000$ (समान पंक्तियाँ) पर ढह जाता है, जो पुष्टि करता है कि विवक्त स्टेट $X_t$ अद्वितीय ट्रांजिशन जानकारी रखता है।
वोलेटिलिटी और होमोजेनाइजेशन: एक प्रति-सहज (counter-intuitive) निष्कर्ष यह है कि उच्च अस्थिरता (high-volatility) वाले रेजिम ट्रांजिशन डायनेमिक्स को विविध बनाने के बजाय उन्हें होमोजेनाइज (एकसमान) कर देते हैं।
- रो एंट्रॉपी, रियलाइज्ड वेरिएंस के साथ मजबूती से नकारात्मक रूप से सहसंबंधित है ( $r = -0.62, p \approx 10^{-251}$ )।
- तनावपूर्ण अवधियों (शीर्ष 20% रियलाइज्ड वेरिएंस) के दौरान, ट्रांजिशन रोज एक समान, केंद्रित वितरण की ओर झुक जाती हैं। शांत अवधियों के दौरान, रोज अधिक विविध होती हैं।

3.3 चैपमैन-कोल्पमोर डायग्नोस्टिक्स

CK डायग्नोस्टिक प्रकट करता है कि फर्स्ट-ऑर्डर मार्कोव धारणा समान रूप से उल्लंघन नहीं होती है, बल्कि विशिष्ट टेम्पोरल विंडोज़ में विफल होती है।

स्टेट-कंडीशन्ड मॉडल उच्च CK विसंगति (औसत KL डाइवर्जेंस 0.140 बनाम बेसलाइन के लिए 0.022) प्रदर्शित करता है क्योंकि यह वास्तविक स्टेट-डिपेंडेंट डायनेमिक्स सीखता है जिसे सरल वन-स्टेप ऑपरेटर्स का उत्पाद पूरी तरह से पुनर्गठित नहीं कर सकता है।
CK उल्लंघन विशिष्ट विंडोज़ (जैसे, $t \in [2120, 2200]$ ) में केंद्रित होते हैं, जो केंद्रित, लो-एंट्रॉपी डायनेमिक्स वाली अवधियों के साथ सहसंबंधित हैं। यह मॉडल को उन स्थानों को पिनपॉइंट करने की अनुमति देता है जहाँ "मेमोरी" धारणाएं टूट जाती हैं।

3.4 प्रेडिक्टिव परफॉरमेंस

शोध पत्र मामूली प्रेडिक्टिव लाभ रिपोर्ट करता है, जो सिंगल-एसेट डेली डेटा की वीक-फॉर्म एफिशिएंसी और लो-फ्रीक्वेंसी फीचर्स की सीमाओं के अनुरूप है।

हॉरिजन $h=10$ पर, स्टेट-कंडीशन्ड मॉडल मार्जिनल बेसलाइन के सापेक्ष $\Delta$ NLL के $+0.025$ प्राप्त करता है (95% CI: $[-0.020, +0.028]$ )।
छोटे हॉरिजन मार्जिनल बेसलाइन के करीब या उससे नीचे प्रदर्शन करते हैं।
कैलिब्रेशन उचित है, जिसमें स्टेट-कंडीशन्ड मॉडल नेगेटिव रिटर्न्स के लिए 0.079 का एक्सपेक्टेड कैलिब्रेशन एरर (ECE) प्राप्त करता है।

4. महत्व और दावे

शोध पत्र का दावा है कि इसकी प्राथमिक महत्ता उच्च प्रेडिक्टिव सटीकता प्राप्त करने में नहीं, बल्कि जटिल समय श्रृंखला मॉडलिंग में संरचनात्मक व्याख्यात्मकता को बहाल करने में है।

अंतराल को पाटना: यह प्रदर्शित करता है कि न्यूरल नेटवर्क को स्पष्ट स्टोकेस्टिक ऑपरेटर्स (explicit stochastic operators) जैसे गणितीय रूप से सुसंगत स्ट्रक्चरल फॉर्म आउटपुट करने के लिए बाधित किया जा सकता है, जिससे उच्च-रिज़ॉल्यूशन, गैर-स्थिर डेटा के लिए कठोर शास्त्रीय ऑपरेटर विश्लेषण व्यवहार्य हो जाता है।
डायग्नोस्टिक क्षमता: ट्रांजिशन ऑपरेटर को उजागर करके, यह ढांचा शास्त्रीय उपकरणों (हीटमैप्स, हेटेरोजेनिटी मेट्रिक्स, CK चेक्स) के उपयोग को सक्षम करता है जो ब्लैक-बॉक्स सीक्वेंस मॉडल्स के लिए असंभव है।
मार्केट डायनेमिक्स में अंतर्दृष्टि: यह ढांचा विशिष्ट संरचनात्मक व्यवहारों को प्रकट करता है, जैसे उच्च अस्थिरता के दौरान ट्रांजिशन डायनेमिक्स का होमोजेनाइजेशन और मार्कोव धारणाओं का स्थानीयकृत टूटना, जो बाजार के रेजिम्स का अध्ययन करने के लिए एक "पारदर्शी, कैलिब्रेटेड माइक्रोस्कोप" प्रदान करता है।

लेखक अपनी वर्तमान स्थिति के प्रति विनम्र रहते हुए कहते हैं कि सिंगल-एसेट, डेली-ग्रैनुलैरिटी सेटिंग सिग्नल-टू-नॉइज़ को सीमित करती है। वे सुझाव देते हैं कि इन व्याख्यात्मक लाभों को बनाए रखते हुए भौतिक प्रेडिक्टिव सुधारों को साकार करने के लिए मल्टी-एसेट, हाई-फ्रीक्वेंसी यूनिवर्स तक स्केल करना आवश्यक पथ है।