📊 statistics

From Exponential to Polynomial: An Exact Filter for High-Dimensional MSM Models

यह शोध पत्र उच्च-आयामी मार्कोव-स्विचिंग-मल्टीफ्रैक्टल (MSM) मॉडलों के लिए एक नवीन बेयसियन फ़िल्टर सूत्रीकरण प्रस्तुत करता है जो गणना समय जटिलता को घातांकीय से बहुपद में कम करने के लिए क्रमपरिवर्तन समरूपता (permutation symmetry) का लाभ उठाता है, जिससे मानक दृष्टिकोणों की तुलना में ग्राउंड-ट्रुथ रिकवरी में सुधार करते हुए आयामी बाधाओं को महत्वपूर्ण रूप से कम किया जा सकता है।

मूल लेखक: Daniyal Ali Hameedi

प्रकाशित 2026-08-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniyal Ali Hameedi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

वित्तीय बाजार संख्याओं की एक निरंतर धारा हैं, लेकिन स्टॉक की कीमतों के दैनिक उतार-चढ़ाव के नीचे जोखिम की एक छिपी हुई लय होती है। दशकों से, अर्थशास्त्रियों ने इस अस्थिरता को मॉडल करने का प्रयास किया है—जिस तरह से कीमतें उछलती और स्थिर होती हैं—एक ढांचे का उपयोग करके जिसे मार्कोव-स्विचिंग-मल्टीफ्रैक्टल (Markov-Switching-Multifractal) मॉडल के रूप में जाना जाता है। इस मॉडल को एक ऐसी मशीन के रूप में सोचें जिसमें कई आंतरिक गियर हैं, जहाँ प्रत्येक गियर बाजार की उथल-पुथल के एक अलग स्रोत का प्रतिनिधित्व करता है। कुछ गियर धीरे घूमते हैं, जो दीर्घकालिक आर्थिक बदलावों का प्रतिनिधित्व करते हैं, जबकि अन्य तेजी से घूमते हैं, जो अचानक आए झटकों को पकड़ते हैं। चुनौती हमेशा यह रही है कि जैसे-जैसे आप मॉडल को अधिक यथार्थवादी बनाने के लिए अधिक गियर जोड़ते हैं, उनकी स्थितियों के संभावित संयोजनों की संख्या विस्फोट की तरह बढ़ती जाती है। यदि आपके पास केवल कुछ ही गियर हैं, तो आप मशीन की सबसे संभावित स्थिति की गणना कर सकते हैं। लेकिन यदि आप अधिक जोड़ते हैं, तो संभावनाओं की संख्या इतनी तेजी से बढ़ती है कि सबसे शक्तिशाली कंप्यूटर भी उसका मुकाबला नहीं कर पाते, जिससे शोधकर्ता अनुमानित गणनाओं का उपयोग करने के लिए मजबूर हो जाते हैं जो वास्तविक तस्वीर को छोड़ सकती हैं।

किंग्स कॉलेज लंदन के एक शोधकर्ता ने अब बिना किसी सटीकता को खोए इस कम्प्यूटेशनल दीवार को पार करने का एक तरीका खोज लिया है। इन आंतरिक गियर्स के बीच होने वाली अंतःक्रियाओं को करीब से देखकर, शोधकर्ता ने पाया कि इस मॉडल में एक छिपी हुई समरूपता (symmetry) है: जिस क्रम में गियर्स व्यवस्थित हैं उससे मशीन के समग्र व्यवहार में कोई बदलाव नहीं आता, केवल वे लेबल बदल जाते हैं जो हम उन्हें देते हैं। इस अंतर्दight ने एक नई फ़िल्टरिंग विधि के निर्माण की अनुमति दी जो व्यक्तिगत गियर की स्थितियों के अनावश्यक विवरणों को अनदेखा करती है और इसके बजाय केवल इस बात को ट्रैक करती है कि प्रत्येक अवस्था में कितने गियर हैं। दृष्टिकोण में यह बदलाव एक ऐसी समस्या को, जो पहले बड़े सिस्टम के लिए हल करना असंभव थी, एक ऐसी समस्या में बदल देता है जिसे कुशलतापूर्वक संभाला जा सकता है। परिणाम स्वरूप एक ऐसा उपकरण प्राप्त होता है जो जटिल, उच्च-आयामी बाजार डेटा को अनुमान के बजाय सटीक रूप से संसाधित कर सकता है, जो वित्तीय जोखिम के अधिक सटीक पूर्वानुमान के द्वार खोलता है।

पारंपरिक दृष्टिकोण में कठिनाई का मूल कारण डेटा की वह विशाल मात्रा है जिसे कंप्यूटर को हर चरण पर संसाधित करना पड़ता है। मानक पद्धति में, कंप्यूटर को अस्थिरता के घटकों की प्रत्येक अद्वितीय व्यवस्था के लिए प्रायिकता की गणना करनी पड़ती है। यदि एक मॉडल में दस घटक हैं और प्रत्येक दो अवस्थाओं में हो सकता है, तो कंप्यूटर को एक हजार से अधिक संभावनाओं को ट्रैक करना होगा। यदि मॉडल में बीस घटक हैं, तो वह संख्या दस लाख से ऊपर पहुँच जाती है। जैसे-जैसे घटकों की संख्या बढ़ती है, गणना चलाने के लिए आवश्यक समय तेजी से (exponentially) बढ़ता है, जिससे यह बहुत धीमा हो जाता है और उपयोगी नहीं रह जाता। इस बाधा ने शोधकर्ताओं को बहुत कम घटकों वाले मॉडल का उपयोग करने तक सीमित कर दिया है, जो वास्तविक दुनिया के बाजारों की पूरी जटिलता को नहीं पकड़ पाते हैं। नया कार्य यह प्रदर्शित करता है कि यह पहचानकर कि कई व्यवस्थाएं गणितीय रूप से समान हैं, गणना को संकुचित किया जा सकता है। व्यक्तिगत पथों के लाखों ट्रैकों के बजाय, नया फ़िल्टर समूहों के एक बहुत छोटे सेट को ट्रैक करता है कि प्रत्येक अवस्था में कितने घटक हैं।

यह जटिलता में कमी कोई अनुमान या शॉर्टकट नहीं है; यह एक सटीक गणितीय पुनर्गठन है। शोधकर्ता ने दिखाया कि नए फ़िल्टर को चलाने के लिए आवश्यक समय घटकों की संख्या के साथ केवल बहुपद (polynomially) रूप से बढ़ता है, जिसका अर्थ है कि गियर्स की संख्या को दोगुना करने से गणना घातीय रूप से कठिन नहीं होती, बल्कि केवल मध्यम रूप से कठिन होती है। इसे सिद्ध करने के लिए, अध्ययन ने वास्तविक ऐतिहासिक डेटा (S&P 500 इंडेक्स) का उपयोग करके सिमुलेशन चलाए, और विभिन्न घटकों वाले मॉडलों पर पुराने तरीके के मुकाबले नए तरीके का परीक्षण किया। उन मामलों में जहाँ पुराना तरीका अभी भी चल सकता था, नए तरीके ने समान परिणाम दिए, जिससे पुष्टि हुई कि संपीड़न में कोई जानकारी नहीं खोई गई। जब शोधकर्ताओं ने नए तरीके को पहले कभी न आजमाए गए बहुत अधिक घटकों वाले मॉडलों तक धकेला, तो इसने गणनाओं को सेकंडों में पूरा कर लिया, जबकि पुराने तरीके को अव्यवहारिक रूप से लंबा समय लगता।

अध्ययन ने यह भी जांचा कि क्या डेटा के इस नए समूह बनाने के तरीके ने भविष्यवाणियों की सटीकता को बदला। कुछ परीक्षणों में, नया फ़िल्टर और पुराना फ़िल्टर बाजार की अवस्था के विशिष्ट लेबल पर असहमत थे, लेकिन जब शोधकर्ताओं ने इस तथ्य को ध्यान में रखा कि लेबल विनिमेय (interchangeable) थे, तो नए फ़िल्टर ने वास्तव में वास्तविक अंतर्निहित अवस्था को अधिक बार रिकवर किया। यह सुझाव देता है कि गणना को मनमाने लेबल के बजाय आवश्यक गणनाओं पर ध्यान केंद्रित करने के लिए मजबूर करके, नया तरीका भ्रम के प्रति अधिक सुदृढ़ (robust) हो सकता है। शोधकर्ताओं ने पाया कि नया फ़िल्टर चालीस घटकों तक के मॉडलों को संभाल सकता है, जो कि पहले अप्राप्य था। यह क्षमता बाजार की अस्थिरता का एक बहुत समृद्ध और अधिक समग्र दृश्य प्रदान करती है, जो संभावित रूप से बेहतर जोखिम प्रबंधन और अधिक विश्वसनीय आर्थिक पूर्वानुमानों की ओर ले जा सकती है।

हालाँकि नया तरीका तत्काल गति की समस्या को हल करता है, लेकिन यह परिणामों की व्याख्या करने के बारे में गहरे प्रश्न भी उठाता है। अध्ययन इस बात पर प्रकाश डालता है कि इस प्रकार की समरूपता वाले सिस्टम में, कंप्यूटर द्वारा पहचाना गया सबसे संभावित एकल राज्य सबसे महत्वपूर्ण नहीं हो सकता है जिसे देखना चाहिए। इसके बजाय, सभी समकक्ष अवस्थाओं की सामूहिक प्रायिकता अधिक मायने रखती है। शोधकर्ता नोट करते हैं कि इस दृष्टिकोण को अन्य जटिल प्रणालियों में विस्तारित किया जा सकता है जहाँ विभिन्न भाग समान व्यवहार करते हैं, जैसे परस्पर क्रिया करने वाले एजेंटों की आबादी या अन्य भौतिक प्रणालियाँ। यह कार्य इस बात का प्रदर्शन है कि समस्या की मौलिक समरूपताओं को समझकर, अक्सर सत्य के लिए एक सरल मार्ग खोजा जा सकता है, जिससे डेटा के एक अगम्य पहाड़ को बिना उत्तर की सटीकता खोए एक प्रबंधनीय पहाड़ी में बदला जा सकता है।

तकनीकी सारांश: घातांकीय से बहुपद तक: उच्च-आयामी MSM मॉडलों के लिए एक सटीक फ़िल्टर

1. समस्या विवरण

मार्कोव-स्विचिंग-मल्टीफ्रैक्टल (MSM) मॉडल, जिसे कैल्वेट और फिशर द्वारा प्रस्तुत किया गया था, वित्तीय संपत्तियों के दीर्घ-स्मृति (long-memory) अस्थिरता को मॉडल करने के लिए एक सुदृढ़ ढांचा प्रदान करता है। हालांकि, यह मॉडल अपने गुप्त अवस्था स्थान (latent state space) के घातांकीय विकास के कारण एक गंभीर कम्प्यूटेशनल बाधा का सामना करता है। $k$ अस्थिरता घटकों और प्रत्येक घटक के लिए $D$ संभावित असतत अवस्थाओं वाले एक विविक्त-समय (discrete-time) निरूपण में, संयुक्त अवस्था स्थान का आकार $D^k$ होता है।

मानक बेयसियन फ़िल्टरिंग (फॉरवर्ड-बैकवर्ड एल्गोरिदम) इस स्थान पर लागू करने के लिए प्रति टाइमस्टेप $O(D^k)$ की कम्प्यूटेशनल जटिलता (या स्पार्स ट्रांजिशन अनुकूलन के साथ $O(kD^{k+1})$ ) की आवश्यकता होती है। यह घातांकीय स्केलिंग $k$ के मध्यम से बड़े मानों (आमतौर पर $k > 13$ ) के लिए सटीक अनुमान (exact inference) को दुर्गम बना देती है, जिससे शोधकर्ता GMM या पार्टिकल फ़िल्टरिंग जैसी अनुमानित विधियों पर निर्भर होने के लिए मजबूर हो जाते हैं। यह शोध पत्र बिना किसी अनुमान का सहारा लिए, मॉडल की पूर्ण सूचना सामग्री को संरक्षित करते हुए, जटिलता में सटीक कमी की आवश्यकता की पहचान करता है।

2. कार्यप्रणाली

प्रस्तावित समाधान एक सटीक सेक्टर फ़िल्टर (Exact Sector Filter) है जो MSM मॉडल में अंतर्निहित संरचनात्मक समरूपताओं (structural symmetries) का लाभ उठाता है। कार्यप्रणाली विविक्त MSM मॉडल के दो मौलिक गुणों पर आधारित है:

स्वतंत्रता (Independence): $k$ अस्थिरता घटक एक-दूसरे से स्वतंत्र रूप से विकसित होते हैं।
प्रोडक्ट एमिशन सिमेट्री (Product Emission Symmetry): सशर्त संभावना (एमिशन प्रोबेबिलिटी) केवल अस्थिरता मल्टीप्लायर्स के गुणनफल के माध्यम से ही गुप्त अवस्था पर निर्भर करती है। फलस्वरूप, संभावना $k$ घटकों पर कार्य करने वाले क्रमपरिवर्तन समूह (permutation group) $S_k$ के अंतर्गत अपरिवर्तित रहती है।

सैद्धांतिक ढांचा

पूर्ण सूक्ष्म अवस्था स्थान (microscopic state space) $\Sigma = \{m_1, \dots, m_D\}^k$ (आकार $D^k$ ) पर फ़िल्टर करने के बजाय, लेखक समस्या को क्वोटिएंट स्पेस (quotient space) $\Sigma/S_k$ पर पुनर्गठित करते हैं, जो ऑक्यूपेशन-नंबर कॉन्फ़िगरेशन (या "सेक्टर") के स्थान का प्रतिनिधित्व करता है। इस ลด किए गए स्थान में एक अवस्था को वेक्टर $\vec{n} = (n_1, \dots, n_D)$ द्वारा परिभाषित किया जाता है, जहाँ $n_i$ घटक $m_i$ की संख्या को गिनता है, जो $\sum n_i = k$ के प्रतिबंध के अधीन है।

इस कम किए गए स्थान का आकार कॉम्बिनेटोरियल फैक्टर $\binom{k+D-1}{D-1}$ द्वारा दिया जाता है, जो निश्चित $D$ के लिए $O(k^{D-1})$ के रूप में बहुपद (polynomially) रूप से स्केल करता है, न कि घातांकीय रूप से।

एल्गोरिद्मिक निर्माण

फ़िल्टर प्रत्येक टाइमस्टेप में तीन चरणों में कार्य करता है:

फैक्टरलाइज्ड प्रेडिक्शन (Factorized Prediction): ट्रांजिशन कर्नेल $k$ स्वतंत्र घटकों पर विघटित (factorize) होता है। एल्गोरिदम पूरे संयुक्त वितरण को प्रसारित करने के बजाय प्रत्येक घटक के लिए व्यक्तिगत रूप से मार्जिनल संभावनाओं की भविष्यवाणी करता है ( $O(kD^2)$ )।
सेक्टर डिस्ट्रीब्यूशन कंस्ट्रक्शन: पॉइसन-मल्टीनोमियल डिस्ट्रीब्यूशन (PMD) जनरेटिंग फंक्शन का उपयोग करके, एल्गोरिदम ऑक्यूपेशन वेक्टर्स $\vec{n}$ पर अनुमानित संभाव्यता वितरण का निर्माण करता है। इसमें विशिष्ट घटकों को हटाने के लिए रिकर्सिव रूप से "लीव-वन-आउट" डिस्ट्रीब्यूशन $Q(\vec{n}, \ell)$ की गणना करना शामिल है।
मार्जिनल रिकवरी (Marginal Recovery): डेटा के अवलोकन पर, सेक्टर पोस्टीरियर को बेयस नियम का उपयोग करके अपडेट किया जाता है। महत्वपूर्ण रूप से, एल्गोरिदम कम किए गए सेक्टर पोस्टीरियर से घटक-वार मार्जिनल संभावनाओं को पुनर्गठित करने के लिए एक मार्जिनल रिकवरी फॉर्मूला का उपयोग करता है। यह चरण एल्गोरिदम को पूर्ण $D^k$ स्थान में विस्तार किए बिना पैरामीटर अनुमान (MLE) के लिए आवश्यक सांख्यिकी आउटपुट करने की अनुमति देता है।

3. मुख्य योगदान

सटीक जटिलता न्यूनीकरण: शोध पत्र विश्लेषणात्मक और अनुभवजन्य रूप से प्रदर्शित करता है कि सटीक फ़िल्टरिंग की कम्प्यूटेशनल जटिलता को $O(D^k)$ से $O(kD)$ (विशेष रूप से निश्चित $D$ के लिए $O(k^D)$ के संदर्भ में, लेकिन फ़िल्टरिंग ऑपरेशन $k$ के साथ बहुपद रूप से स्केल होते हैं) तक कम किया जा सकता है।
सटीकता (Exactness): पिछली अनुमानित विधियों के विपरीत, यह निरूपण सटीक है। यह संभावना संरचना की क्रमपरिवर्तन अपरिवर्तनीयता (permutation invariance) का उपयोग करके मूल मॉडल की पूर्ण सूचना सामग्री को संरक्षित करता है।
एल्गोरिद्मिक कार्यान्वयन: लेखक एक पूर्ण एल्गोरिद्मिक फॉर्मूलेशन (एल्गोरिदम 1) और एक सार्वजनिक रूप से उपलब्ध पायथन कार्यान्वयन (msm_filter) प्रदान करते हैं जो उन उच्च-आयामी शासन (regimes) को संभाल सकता है ( $k$ तक 40) जो पहले सटीक फ़िल्टरिंग के लिए दुर्गम थे।
पहचान योग्यता विश्लेषण (Identifiability Analysis): पेपर एक ऑर्बिट-इनवेरिएंट (orbit-invariant) बेंचमार्किंग प्रोटोकॉल पेश करता है। यह तर्क देता है कि सममित मॉडलों में हैमिंग डिस्टेंस जैसे पारंपरिक मेट्रिक्स भ्रामक हो सकते हैं क्योंकि अलग-अलग सूक्ष्म कॉन्फ़िगरेशन एक ही भौतिक सेक्टर का प्रतिनिधित्व कर सकते हैं। लेखक निष्पक्ष तुलना के लिए ऑर्बिट-इनवेरिएंट डिस्टेंस और सेक्टर पोस्टीरियर पर टोटल वेरिएशन (TV) डिस्टेंस का उपयोग करने का प्रस्ताव देते हैं।

4. संख्यात्मक परिणाम

लेखक ने तीन दावों को मान्य करने के लिए S&P 500 डेटा और सिंथेटिक प्रक्रियाओं का उपयोग करके बेंचमार्क किए:

समय जटिलता: $k \in \{5, \dots, 40\}$ और $D \in \{2, 3, 4\}$ के लिए बेंचमार्क बहुपद स्केलिंग की पुष्टि करते हैं। देखे गए रनटाइम $O(k^D)$ के सैद्धांतिक अनुमान के करीब हैं, जो उच्च-आयामी मॉडलों को संभालने की क्षमता प्रदर्शित करते हैं जहाँ मानक फ़िल्टर विफल हो जाते हैं।
सटीकता और सहमति: उन शासनों में जहाँ मानक फ़िल्टर सुलभ है ( $k \le 6$ ), सेक्टर फ़िल्टर मानक फ़िल्टर की तुलना में संख्यात्मक रूप से अविभेद्य लॉग-लाइक्लीहुड और स्टेट रिकवरी उत्पन्न करता है (सापेक्ष लॉग-लाइक्लीहुड अंतर $10^{-6}$ के क्रम में है)।
ग्राउंड-ट्रुथ रिकवरी: तुलनात्मक बेंचमार्क में, सेक्टर फ़िल्टर अक्सर मानक फ़िल्टर की तुलना में समान या बेहतर ग्राउंड-ट्रुथ रिकवरी प्रदर्शित करता है, भले ही उनके MAP कॉन्फ़िगरेशन असहमत हों। लेखक इसका श्रेय सेक्टर फ़िल्टर को एक अंतर्निहित रेगुलराइज़र के रूप में देखते हैं, जो रेडंडेंट सूक्ष्म कॉन्फ़िगरेशन पर संभाव्यता द्रव्यमान को एकत्रित करके विचरण (variance) को कम करता है।
ऑर्बिट इनवेरिएंस: जब मेट्रिक्स को क्रमपरिवर्तन समरूपता (permutation symmetry) के लिए समायोजित किया जाता है (ऑर्बिट-इनवेरिएंट हैमिंग डिस्टेंस), तो दोनों फ़िल्टर्स के बीच सहमति में काफी सुधार होता है, जिससे यह पुष्टि होती है कि मानक MAP सहमति में विसंगतियां मुख्य रूप से लेबलिंग के आर्टिफैक्ट हैं न कि फ़िल्टरिंग त्रुटियां।

5. महत्व और दावे

पेपर का दावा है कि यह कार्य एक व्यापक सिद्धांत स्थापित करता है: जब किसी मॉडल की संभावना एक ग्रुप एक्शन के तहत अपरिवर्तनीय होती है और ट्रांजिशन ऑपरेटर उस समरूपता का सम्मान करता है, तो फ़िल्टरिंग को सीधे संबंधित ऑर्बिट (सेक्टर) स्पेस पर तैयार किया जा सकता है।

कम्प्यूटेशनल मूल्य: प्राथमिक महत्व सटीक अनुमान में घातांकीय बाधा को हटाना है, जिससे उच्च-आयामी मॉडलों ( $k > 13$ ) का अंशांकन (calibration) संभव हो जाता है जो पहले दुर्गम थे।
सांख्यिकीय अंतर्दृष्टि: परिणाम बताते हैं कि क्रमपरिवर्तन-अपरिवर्तनीय कॉम्बिनेटोरियल संरचना को लागू करने से "पोस्टीरियर फ्रैगमेंटेशन" को दबाकर लेटेंट-स्टेट रिकवरी में सुधार हो सकता है, जो मानक फ़िल्टर द्वारा भौतिक रूप से समान अवस्थाओं के बीच अंतर करने के कारण होता है।
भावी दिशाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि जबकि न्यूनीकरण सटीक है, समरूपता न्यूनीकरण, पोस्टीरियर ज्यामिति और रिकवरी सटीकता के बीच संबंध पर आगे अध्ययन की आवश्यकता है। वे आंशिक विनिमयशीलता (partial exchangeability) वाले इंटरैक्टिंग पॉपुलेशन और निरंतर (continuum) फॉर्मुलेशन में निरंतर समरूपता समूहों के संभावित विस्तार के लिए भविष्य के कार्य का प्रस्ताव करते हैं।

निष्कर्षतः, पेपर का दावा है कि सेक्टर फ़िल्टर केवल एक कम्प्यूटेशनल ट्रिक नहीं है, बल्कि एक पुनर्गठन है जो अनुमान प्रक्रिया को MSM मॉडल की अंतर्निहित समरूपताओं के साथ संरेखित करता है, जिससे कम्प्यूटेशनल दक्षता और संभावित सांख्यिकीय मजबूती मिलती है।