📊 statistics

A Beta-GAM Hidden Markov Model for Proportion Time Series

यह शोध पत्र अनुपात समय श्रृंखला (proportion time series) के लिए एक बीटा-जीएएम (Beta-GAM) हिडन मार्कोव मॉडल प्रस्तावित करता है जो लचीले स्प्लाइन-आधारित कोवेरिएट प्रभावों के साथ रिजीम-स्विचिंग गतिकी को जोड़ता है, जिसे सिमुलेशन के माध्यम से मान्य किया गया है और ऐतिहासिक मृत्यु दर झटकों के अंतर्निहित गुप्त संरचनात्मक रिजीम की पहचान करने के लिए रूसी मृत्यु दर डेटा पर लागू किया गया है।

मूल लेखक: Andrea Nigri, Han Lin Shang, Marco Bonetti

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Nigri, Han Lin Shang, Marco Bonetti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी कहानी को समझने की कोशिश कर रहे हैं जो एक अकेले, उतार-चढ़ाव वाले नंबर द्वारा सुनाई जा रही है—जैसे कि एक विशिष्ट आयु वर्ग में महिला मृत्यु का प्रतिशत। यह नंबर केवल बिना किसी कारण के नहीं हिलता; यह एक पैटर्न का पालन करता है, लेकिन वह पैटर्न युग के "मिजाज" के आधार पर बदल जाता है। कभी-कभी कहानी शांत और अनुमानित होती है; अन्य समय में यह अराजक और अस्थिर होती है।

इस शोध पत्र के लेखकों ने इन कहानियों को डिकोड करने के लिए एक नया गणितीय उपकरण बनाया है, जिसे बीटा-जीएएम हिडन मार्कोव मॉडल (Beta-GAM Hidden Markov Model) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:

1. "गिरगिट" जैसा कहानीकार (छिपे हुए शासन/Regimes)

डेटा (मृत्यु का अनुपात) को एक गिरगिट के रूप में सोचें। गिरगिट अपने वातावरण के आधार पर अपना रंग बदलता है, लेकिन आप वातावरण को सीधे नहीं देख सकते; आप केवल रंग देखते हैं।

छिपी हुई अवस्थाएँ (Hidden States): इस शोध पत्र के मॉडल में, अदृश्य "शासन" या "मिजाज" (जैसे कि एक शांत मिजाज बनाम एक अराजक मिजाज) होते हैं। डेटा इन मिजाजों के बीच बदलता रहता है।
बदलाव (The Switching): मॉडल यह पता लगाता है कि कहानी कब एक "शांत युग" से "अराजक युग" में और वापस बदलती है, भले ही डेटा में यह बदलाव स्पष्ट रूप से चिह्नित न हो।

2. "लचीला पैमाना" (The GAM Part)

आमतौर पर, जब सांख्यिकीविद् यह वर्णन करने की कोशिश करते हैं कि कोई संख्या समय के साथ (जैसे आयु के साथ) कैसे बदलती है, तो वे एक सीधे पैमाने या एक साधारण वक्र (curve) का उपयोग करते हैं। लेकिन वास्तविक जीवन शायद ही कभी एक सीधी रेखा होता है।

समाधान: यह मॉडल एक "लचीले पैमाने" का उपयोग करता है जो स्प्लाइन्स (splines) (एक मुड़ने वाली प्लास्टिक की पट्टी के बारे में सोचें) से बना है। यह मॉडल को चिकने, लहरदार वक्र बनाने की अनुमति देता है जो डेटा के आकार में पूरी तरह फिट बैठते हैं, बिना उसे एक सीधी रेखा में मजबूर किए।
लाभ: यह जटिल पैटर्न को पकड़ सकता है, जैसे कि कैसे युवा वयस्कता में पुरुष और महिला मृत्यु दर के बीच का अंतर बढ़ता है और बाद में कम हो जाता है, जबकि उस युग का "मिजाज" समान रहता है।

3. "सटीकता का डायल" (The Beta Part)

जिस डेटा का अध्ययन किया जा रहा है वह एक अनुपात (proportion) है (0 और 1 के बीच की संख्या, जैसे कि 0.45 या 0.80)।

डायल: कल्पना करें कि एक डायल है जो यह नियंत्रित करता है कि डेटा बिंदु औसत के आसपास कितने "सघन" या "फैले हुए" हैं।
- उच्च सटीकता (High Precision): डेटा बिंदु पक्षियों के झुंड की तरह एक साथ सघन रूप से जुड़े हुए हैं (बहुत अनुमानित)।
- कम सटीकता (Low Precision): डेटा बिंदु तूफान में उड़ते पक्षियों के झुंड की तरह बिखरे हुए हैं (बहुत शोर वाला/noisy)।
नवाचार: यह मॉडल आपको "सटीकता के डायल" को बदलने की अनुमति देता है जो यह तय करता है कि सिस्टम किस "मिजाज" (शासन) में है। एक युग बहुत स्थिर (सघन झुंड) हो सकता है, जबकि दूसरा अराजक (बिखरा हुआ झुंड) हो सकता है।

4. "जासूस का फिल्टर" (गलत अलार्म से बचना)

जब आप डेटा में छिपे हुए मिजाज खोजने की कोशिश करते हैं, तो बहुत अधिक लालची होना और बहुत सारे मिजाज बना लेना (उदाहरण के लिए, "शायद 2 के बजाय 5 मिजाज हैं?") आसान होता है। इससे अक्सर बेतुके परिणाम मिलते हैं जहाँ गणित विफल हो जाता है।

फिल्टर: लेखकों ने एक विशेष "डीजेनरेसी फिल्टर" (degeneracy filter) बनाया है। यह एक गुणवत्ता नियंत्रण निरीक्षक की तरह है। यदि मॉडल एक ऐसा मिजाज बनाने की कोशिश करता है जो समझ में नहीं आता (उदाहरण के लिए, एक ऐसा मिजाज जो इतना अराजक है कि गणित ही टूट जाए), तो यह फिल्टर उसे बाहर निकाल देता है। यह सुनिश्चित करता है कि अंतिम उत्तर स्थिर और वास्तविक है, न कि कोई गणितीय त्रुटि।

5. "विश्वास का जाल" (Bootstrap)

हम कैसे जानते हैं कि मॉडल सही है?

विधि: लेखकों ने बूटस्ट्रैपिंग (bootstrapping) नामक एक तकनीक का उपयोग किया है। कल्पना कीजिए कि उन्होंने कहानी ली, उसके पन्नों को थोड़ा इधर-उधर किया, और फिर से कहानी को 200 बार सुनाया। यदि मॉडल हर बार एक ही उत्तर देता है, तो हम जानते हैं कि हम इस पर भरोसा कर सकते हैं। यदि उत्तर बहुत अधिक इधर-उधर कूदते हैं, तो हमें सावधान रहने की आवश्यकता है।

वास्तविक दुनिया का परीक्षण: रूसी मृत्यु दर

लेखकों ने इस उपकरण का परीक्षण वास्तविक डेटा पर किया: 1960 से 2014 तक रूस में महिला से कुल मृत्यु का अनुपात।

उन्होंने क्या पाया: मॉडल ने सफलतापूर्वक दो अलग-अलग युगों की पहचान की:
1. अराजक युग (The Chaotic Era): अत्यधिक अस्थिरता और अनुपात में भारी गिरावट का समय (जिसका अर्थ है कि बहुत अधिक पुरुष दुर्घटनाओं, हिंसा या शराब से मर रहे थे)। यह देर से सोवियत स्वास्थ्य संकट और 1990 के दशक के संक्रमण के अशांत समय से मेल खाता है।
2. स्थिर युग (The Stable Era): एक अधिक सुचारू, अधिक अनुमानित पैटर्न वाला समय जहाँ अनुपात अधिक और कम अस्थिर था।
परिणाम: मॉडल ने केवल यह नहीं कहा कि "यह बदला"; इसने यह भी दिखाया कि विभिन्न युगों के दौरान आयु-संबंधी मृत्यु दर का आकार कैसे बदला और इन बदलावों के समय का एक स्पष्ट टाइमलाइन दिया।

सारांश

संक्षेप में, यह शोध पत्र प्रतिशत का विश्लेषण करने के एक स्मार्ट, लचीले तरीके को पेश करता है जो समय के साथ बदलते रहते हैं। यह तीन शक्तिशाली विचारों को जोड़ता है:

छिपे हुए मिजाज: यह डेटा के व्यवहार में अदृश्य बदलावों को पाता है।
लचीले आकार: यह डेटा में पूरी तरह फिट होने के लिए चिकने, जटिल वक्र बनाता है।
स्मार्ट फिल्टरिंग: यह गणित को टूटने से बचाने के लिए असंभव समाधानों को खारिज करता है।

परिणामस्वरूप, यह एक ऐसा उपकरण है जो यह बता सकता है कि जनसंख्या के स्वास्थ्य पैटर्न कैसे विकसित होते हैं, स्थिरता और संकट के समय के बीच अंतर कर सकता है, भले ही डेटा अव्यवस्थित क्यों न हो।

तकनीकी सारांश: अनुपात टाइम सीरीज़ के लिए एक बीटा-जीएएम हिडन मार्कोव मॉडल

समस्या विवरण
यह शोध पत्र खुले अंतराल $(0, 1)$ में मान रखने वाली यूनिवेरिएट अनुपात टाइम सीरीज़ (univariate proportion time series) की मॉडलिंग को संबोधित करता है। इस प्रकार का डेटा अर्थशास्त्र, वित्त और जनसांख्यिकी (जैसे, मृत्यु दर अनुपात, बोली वितरण, आय हिस्सेदारी) में व्यापक रूप से प्रचलित है। मौजूदा दृष्टिकोणों में सीमाएँ हैं: मानक हिडन मार्कोव मॉडल (HMMs) अक्सर लैटेंट स्टेट्स (latent states) के भीतर स्थिर उत्सर्जन मापदंडों (emission parameters) को मानते हैं, जो कोवेरिएट-निर्भर संरचनाओं को पकड़ने में विफल रहते हैं। इसके विपरीत, मार्कोव-स्विचिंग जनरलाइज्ड एडिटिव मॉडल्स (MS-GAMs) स्मूथ कोवेरिएट प्रभावों की अनुमति देते हैं, लेकिन वे विशेष रूप से बाउंडेड प्रोपोर्शन डेटा के लिए डिज़ाइन नहीं किए गए हैं, जिसके लिए एक ऐसे वितरण की आवश्यकता होती है जो $(0, 1)$ सपोर्ट का सम्मान करे और हेटेरोसेडास्टिसिटी (heteroscedasticity) को उचित रूप से संभाल सके। लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो GAMs के लचीलेपन को HMMs की रेजीम-स्विचिंग क्षमताओं के साथ एकीकृत करता है, जो विशेष रूप से बीटा-वितरित उत्missions (emissions) के लिए तैयार किया गया है।

कार्यप्रणाली
प्रस्तावित मॉडल एक हिडन मार्कोव मॉडल है जहाँ प्रेक्षित चर $y_t$ एक लैटेंट स्टेट $z_t = k$ पर सशर्त बीटा वितरण का अनुसरण करता है। बीटा वितरण को एक स्टेट-विशिष्ट माध्य $\mu_{kt}$ और एक स्टेट-विशिष्ट प्रिसिजन (precision) $\phi_k$ द्वारा पैरामीटराइज किया गया है।

उत्सर्जन वितरण (Emission Distribution):
कंडीशनल डिस्ट्रीब्यूशन है $y_t | z_t = k \sim \text{Beta}(\mu_{kt}\phi_k, (1-\mu_{kt})\phi_k)$ ।
माध्य $\mu_{kt}$ को एक एडिटिव प्रेडिक्टर के लॉजिस्टिक ट्रांसफॉर्मेशन के माध्यम से कोवेरिएट्स $x_t$ से जोड़ा जाता है:
$\text{logit}(\mu_{kt}) = \eta_{kt} = \sum_{j=1}^p f_{kj}(x_{tj})$
जहाँ प्रत्येक $f_{kj}(\cdot)$ एक स्मूथ फंक्शन है जिसे क्यूबिक बी-स्प्लाइन (cubic B-spline) बेसिस एक्सपेंशन का उपयोग करके अनुमानित किया जाता है। प्रिसिजन $\phi_k$ एक स्टेट के भीतर स्थिर रहता है लेकिन विभिन्न स्टेट्स के बीच भिन्न होता है, जो रेजीम-डिपेंडेंट वेरिएबिलिटी की अनुमति देता है।
अनुमान (Penalized EM Algorithm):
पैरामीटर्स $\Theta = (\pi, A, \{\beta_k\}, \{\phi_k\})$ का अनुमान एक पेनलाइज्ड एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम के माध्यम से लगाया जाता है।

E-step: लैटेंट स्टेट्स के स्मूथड पोस्टीरियर प्रोबेबिलिटीज ( $\gamma_{tk}$ ) और स्टेट ट्रांज़िशन ( $\xi_{tij}$ ) प्राप्त करने के लिए फॉरवर्ड-बैकवर्ड रिकर्शन की गणना करता है। संख्यात्मक स्थिरता सुनिश्चित करने के लिए गणनाएँ लॉग-स्केल पर की जाती हैं।
M-step: पेनलाइज्ड एक्सपेक्टेड कम्पलीट-डेटा लॉग-लाइक्लीहुड को मैक्सिमाइज करता है। स्मूथनेस को नियंत्रित करने और ओवरफिटिंग को रोकने के लिए बी-स्प्लाइन कोएफिशिएंट्स $\beta_k$ पर एक क्वाड्रेटिक पेनल्टी (P-splines) लागू की जाती है। मानक EM के विपरीत, M-step उत्सर्जन मापदंडों के लिए क्लोज्ड-फॉर्म अपडेट प्रदान नहीं करता है; इसके बजाय, यह प्रत्येक स्टेट के लिए पेनलाइज्ड Q-फंक्शन को मैक्सिमाइज करने के लिए न्यूमेरिकल ऑप्टिमाइज़ेशन (L-BFGS-B) का उपयोग करता है। यह एक जनरलाइज्ड EM एल्गोरिदम है।

मॉडल चयन और डायग्नोस्टिक्स:
लेखक लैटेंट स्टेट्स की संख्या $K$ और स्मूथिंग पेनल्टी $\lambda$ का चयन करने के लिए एक दो-चरणीय ग्रिड सर्च पेश करते हैं।

डायग्नोस्टिक फ़िल्टर: डिजेनरेट सॉल्यूशंस (जहाँ $K$ का ओवरस्पेसिफिकेशन कुछ स्टेट्स को नगण्य ऑक्यूपेंसी और विस्फोटक प्रिसिजन अनुमानों की ओर ले जाता है) को संबोधित करने के लिए, एक डायग्नोस्टिक मानदंड लागू किया जाता है। मॉडल्स को तब फ्लैग और डिस्कॉर्ड किया जाता है यदि प्रिसिजन अनुमान ऊपरी सीमा तक पहुँच जाते हैं या यदि क्रमबद्ध प्रिसिजन अनुमानों के बीच अचानक "विस्फोट" (explosions) दिखाई देते हैं।
चयन मानदंड: गैर-डेजेनरेट मॉडल्स के बीच, $K$ और $\lambda$ का चयन सूचना मानदंडों (AIC, BIC, ICL) का उपयोग करके किया जाता है जो पेनल्टी-प्रेरित श्रिंकेज को ध्यान में रखने के लिए प्रभावी डिग्री ऑफ फ्रीडम (EDF) का उपयोग करते हैं। प्रक्रिया प्रत्येक $K$ के भीतर $\lambda$ को AIC (कम रूढ़िवादी) का उपयोग करके चुनती है और $K$ को BIC (अधिक रूढ़िवादी) का उपयोग करके चुनती है, जिसमें समृद्ध संरचनाओं के प्रति प्राथमिकता दी जाती है यदि मॉडल दो BIC यूनिट के भीतर आते हैं।

अनिश्चितता परिमाणीकरण (Uncertainty Quantification):
ट्रांज़िशन प्रोबेबिलिटीज और स्टेट-डिपेंडेंट पैरामीटर्स के लिए कॉन्फिडेंस इंटरवल एक पैरामेट्रिक बूटस्ट्रैप प्रक्रिया के माध्यम से प्राप्त किए जाते हैं, जो फिट किए गए मॉडल से नए डेटासेट को सिम्युलेट करते हैं और पैरामीटर्स का पुन: अनुमान लगाते हैं।

प्रमुख योगदान
यह शोध पत्र चार प्राथमिक पद्धतिगत योगदान देता है:

GAMs और Beta-HMMs का एकीकरण: यह एक बीटा एमिशन HMM के भीतर बी-स्प्लाइन आधारित GAMs को समाहित करता है, जिससे प्रत्येक लैटेंट रेजीम के भीतर कोवेरिएट्स के साथ नॉनलीनियरली (nonlinearly) परिवर्तनशील कंडीशनल मीन संभव होती है, जबकि स्टेट-विशिष्ट प्रिसिजन बना रहता है।
फ्रीक्वेंटिस्ट पेनलाइज्ड एस्टीमेशन: यह पूरी तरह से बेयसियन (Bayesian) होने के बजाय एक पेनलाइज्ड EM दृष्टिकोण अपनाता है, जो उच्च-आयामी स्प्लाइन कोएफिशिएंट्स के लिए प्रायर्स (priors) निर्दिष्ट करने से बचता है और बड़े नमूनों के लिए कम्प्यूटेशनल दक्षता प्रदान करता है।
डेजेनेरेसी के लिए डायग्नोस्टिक फिल्टर: यह ओवरस्पेसिफाइड लैटेंट स्टेट्स से उत्पन्न होने वाले डेजेनरेट सॉल्यूशंस का पता लगाने और उन्हें बाहर करने के लिए एक विशिष्ट डायग्नोस्टिक मानदंड पेश करता है, जो लचीले HMMs में एक आम समस्या है।
विश्लेषणात्मक व्युत्पन्न (Analytical Derivations): यह कम्पलीट-डेटा लाइक्लीहुड और पेनलाइज्ड लॉग-लाइक्लीहुड के डेरिवेटिव के लिए स्पष्ट विश्लेषणात्मक व्युत्पन्न प्रदान करता है, जो अनुमान प्रक्रिया के लिए एक औपचारिक गणितीय आधार स्थापित करता है।

परिणाम

सिमुलेशन अध्ययन: $T=2,500$ और $K=4$ के साथ एक मोंटे कार्लो अध्ययन दर्शाता है कि मॉडल ट्रांज़िशन डायनेमिक्स, स्टेट प्रिसिज़न और लैटेंट-स्टेट डिकोडिंग (विटर्बी सटीकता $\approx 93.2\%$ ) को सटीक रूप से रिकवर करता है। दो-चरणीय चयन प्रक्रिया सही स्टेट्स की संख्या और उपयुक्त स्मूथिंग स्तरों की सफलतापूर्वक पहचान करती है। विधि कम सैंपल साइज ( $T=1,500$ ) और कम स्टेट पर्सिस्टेंस के तहत भी स्थिर रहती है, हालांकि प्रदर्शन मेट्रिक्स अपेक्षित रूप से कम हो जाते हैं।
अनुप्रयुक्त प्रयोग (Empirical Application): मॉडल को रूसी आयु-विशिष्ट मृत्यु दर डेटा (1960–2014, आयु 0–40) पर लागू किया गया है, जो महिला-से-कुल मृत्यु दर अनुपात को मॉडल करता है। चयनित मॉडल दो निरंतर लैटेंट रेजीम्स की पहचान करता है:
- स्टेट 1: एक अधिक विसरित (dispersed) रेजीम जिसमें युवा वयस्क आयु सीमा (15–35) में गहरा गर्त (trough) है, जो बढ़े हुए और अस्थिर पुरुष अतिरिक्त मृत्यु दर से जुड़ा है।
- स्टेट 2: एक अत्यधिक केंद्रित (concentrated) रेजीम जिसमें उथला गर्त है, जो एक अधिक स्थिर मृत्यु दर पैटर्न का प्रतिनिधित्व करता है।
  विटर्बी-डिकोडेड सीक्वेंस विसरित से केंद्रित रेजीम में संक्रमण का सुझाव देता है जो 1960 के दशक के अंत में हुआ था, और केंद्रित रेजीम उसके बाद प्रभावी रहा, जो रूस में ऐतिहासिक जनसांख्यिकीय बदलावों (जैसे, देर से सोवियत स्वास्थ्य संकट और उसके बाद की रिकवरी) के अनुरूप है।

महत्व और दावे
लेखक का दावा है कि प्रस्तावित Beta-GAM HMM अनुपात टाइम सीरीज़ के विश्लेषण के लिए लचीलेपन, व्याख्यात्मकता और कम्प्यूटेशनल सुगमता के बीच एक व्यावहारिक संतुलन प्रदान करता है। फ्रेमवर्क लैटेंट रेजीम डायनेमिक्स को स्मूथली परिवर्तनशील कोवेरिएट प्रभावों से सफलतापूर्वक अलग करता है। डायग्नोस्टिक फ़िल्टर का समावेश मॉडल स्थिरता और व्याख्यात्मकता सुनिश्चित करने के लिए एक महत्वपूर्ण कदम के रूप में रेखांकित किया गया है, विशेष रूप से जब स्टेट्स की संख्या अज्ञात हो। रूसी मृत्यु दर डेटा पर अनुप्रयोग यह दर्शाता है कि मॉडल स्मूथ एज पैटर्न को सारांशित करने और ऐतिहासिक घटनाओं द्वारा संचालित सार्थक संरचनात्मक परिवर्तनों की पहचान करने की क्षमता रखता है। शोध पत्र निष्कर्ष निकालता है कि यह कार्यप्रणाली जनसांख्यिकीय अनुपातों के संरचनात्मक परिवर्तनों का वर्णन करने और निगरानी करने के लिए एक मजबूत उपकरण प्रदान करती है, जिसमें संकीर्ण बूटस्ट्रैप कॉन्फिडेंस इंटरवल विश्वसनीय अनिश्चितता परिमाणीकरण का संकेत देते हैं।