Modelling multivariate ordinal time series using pairwise likelihood

यहाँ अन्ना नल्पान्तिडी और दिमित्रिस कार्लिस के शोध पत्र "Modelling multivariate ordinal time series using pairwise likelihood" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बहुचर क्रमिक समय श्रृंखला (multivariate ordinal time series) के संयुक्त मॉडलिंग की चुनौती को संबोधित करता है। जबकि एकचर (univariate) क्रमिक समय श्रृंखला मॉडलिंग (मार्कोव मॉडल, रिग्रेशन, लेटेंट कंटीन्यूअस मॉडल आदि का उपयोग करके) अच्छी तरह से स्थापित है, इन्हें बहुचर परिवेश में विस्तारित करना दो प्राथमिक कारकों के कारण कठिन है:

1. संयुक्त वितरण की जटिलता (Complexity of Joint Distribution): एक ऐसा बहुचर वितरण बनाना जो क्रमिक चरों (ordinal variables) के लिए लचीला और गणनात्मक रूप से सुलभ (tractable) हो, स्वाभाविक रूप से कठिन है।
2. निर्भरता संरचना (Dependence Structure): एक वैध बहुचर ढांचे को एक साथ निम्नलिखित को ध्यान में रखना चाहिए:
   • ऑटोकोरिलेशन (Autocorrelation): प्रत्येक व्यक्तिगत समय श्रृंखला के भीतर क्रमिक निर्भरता।
   • क्रॉस-कोरिलेशन (Cross-correlation): एक ही समय बिंदु पर विभिन्न समय श्रृंखलाओं के बीच निर्भरता (समकालीन/contemporaneous) और विभिन्न लैग्स (lags) के माध्यम से निर्भरता।

पारंपरिक दृष्टिकोण अक्सर बहुचर वितरण को जोड़ने के लिए उच्च-आयामी कोपुलों (copulas) पर निर्भर करते हैं। हालाँकि, $K$-आयामी क्रमिक वेक्टर के लिए संयुक्त संभाव्यता द्रव्यमान फलन (joint probability mass function) की गणना करने के लिए $2^K$ पदों का मूल्यांकन करना आवश्यक होता है, जिससे श्रृंखलाओं की संख्या ($K$) बढ़ने पर गंभीर गणना संबंधी बाधाएं उत्पन्न होती हैं।

2. कार्यप्रणाली (Methodology)

लेखक पूर्ण बहुचर संभावना (full multivariate likelihood) की गणनात्मक अव्यवहारिकता से बचने के लिए पेयरवाइज लाइक्लीहुड (Pairwise Likelihood) दृष्टिकोण को कोपुल (Copulas) के साथ प्रस्तावित करते हैं।

A. मॉडल विनिर्देश (Model Specification)

• सीमांत मॉडल (Marginal Models): प्रत्येक क्रमिक समय श्रृंखला $Z_{kt}$ को $p$ क्रम के एक ऑर्डिनल ऑटोरेग्रेसिव लॉजिट मॉडल (Ordinal Autoregressive Logit Model) का उपयोग करके सीमांत रूप से मॉडल किया जाता है। महत्वपूर्ण रूप से, प्रत्येक श्रृंखला $k$ के लिए सीमाधिकार मॉडल में सिस्टम की सभी $K$ श्रृंखलाओं के लैग्ड मान शामिल हैं ताकि माध्य संरचना (mean structure) में क्रॉस-डिपेंडेंस को पकड़ा जा सके।
  $$\text{logit}(\gamma_{sjt}^{(k)}) = \alpha_{k0j} + \sum_{m=1}^K \sum_{g=1}^p \alpha'_{kmg} \tilde{Z}_{m, t-g}$$
  जहाँ $\gamma_{sjt}^{(k)}$ संचयी संभाव्यता $P(Z_{kt} \leq s_j | \mathcal{F}_{t-1})$ है।
• कोपुल लिंकेज (Copula Linkage): समकालीन (lag-0) क्रॉस-कोरिलेशन को पकड़ने के लिए, लेखक कोपुलों का उपयोग करते हैं। किसी भी जोड़ी $(Z_{rt}, Z_{st})$ के लिए, संयुक्त संचयी वितरण को इस प्रकार परिभाषित किया गया है:
  $$F_{Z_{rt}, Z_{st}}(z_{rt}, z_{st} | \mathcal{F}_{t-1}) = C(F_{Z_{rt}}(z_{rt}), F_{Z_{st}}(z_{st}) | \mathcal{F}_{t-1}, \phi)$$
  जहाँ $C$ एक द्विचर (bivariate) कोपुल है और $\phi$ निर्भरता पैरामीटर है।

B. पेयरवाइज लाइक्लीहुड के माध्यम से अनुमान (Estimation via Pairwise Likelihood)

पूर्ण $K$-आयामी लाइक्लीहुड को अधिकतम करने के बजाय, लेखक सशर्त पेयरवाइज लॉग-लाइक्लीहुड (Conditional Pairwise Log-Likelihood) को अधिकतम करते हैं:
$$\ell_{prw}(\theta; z) = \sum_{t=2}^T \sum_{r=1}^{K-1} \sum_{s=r+1}^K \log f_{Z_{rt}, Z_{st}}(z_{rt}, z_{st}; \theta_{rs} | \mathcal{F}_{t-1})$$
यह समस्या को $K(K-1)/2$ द्विचर (bivariate) मॉडलों के अनुमान में बदल देता है।

C. दो-चरणीय अनुमान प्रक्रिया (Two-Stage Estimation Procedure)

उच्च-आयामी कंपोजिट लाइक्लीहुड को सीधे अनुकूलित (optimize) करने की कठिनाई से बचने के लिए, लेखक एक दो-चरणीय दृष्टिकोण अपनाते हैं (Fieuws और Verbeke, 2006 के अनुसार):

1. स्वतंत्र अधिकतमकरण (Independent Maximization): प्रत्येक $K(K-1)/2$ द्विचर मॉडल को व्यक्तिगत पैरामीटर अनुमान $\tilde{\theta}_{rs}$ प्राप्त करने के लिए स्वतंत्र रूप से फिट किया जाता है।
2. भारित एकत्रीकरण (Weighted Aggregation): व्यक्तिगत अनुमानों को पूर्ण सिस्टम के लिए एक अद्वितीय सेट बनाने के लिए संयोजित किया जाता है।
   • एक साधारण माध्य के बजाय, लेखक लॉग-लाइक्लीहुड के हेसियन मैट्रिक्स (Hessian matrix) के आधार पर एक भारित माध्य (Weighted Mean) प्रस्तावित करते हैं।
   • द्वितीय-क्रम टेलर विस्तार (second-order Taylor expansion) का उपयोग करते हुए, भार ऋणात्मक हेसियन मैट्रिक्स $H(\tilde{\theta}_{rs})$ से प्राप्त किए जाते हैं।
   • अंतिम अनुमानक $\tilde{\theta}_{wm}$ की गणना इस प्रकार की जाती है:
     $$\tilde{\theta}_{wm} = \left( \sum_{r,s} H(\tilde{\theta}_{rs}^f) \right)^{-1} \left( \sum_{r,s} H(\tilde{\theta}_{rs}^f) \tilde{\theta}_{rs}^f \right)$$
     जहाँ $\tilde{\theta}_{rs}^f$ को पूर्ण पैरामीटर वेक्टर $\theta$ के आयाम से मेल खाने के लिए शून्य के साथ पैड (pad) किया गया है।

D. पूर्वानुमान (Forecasting)

पूर्वानुमान लगाना चुनौतीपूर्ण है क्योंकि पूर्ण संयुक्त वितरण स्पष्ट रूप से उपलब्ध नहीं है। लेखक द्विचर मॉडलों से पूर्वानुमानों को संश्लेषित करने के लिए दो विधियाँ प्रस्तावित करते हैं:

• विधि A (मोड एकत्रीकरण - Mode Aggregation): प्रत्येक द्विचर मॉडल से व्यक्तिगत रूप से पूर्वानुमान उत्पन्न करें, फिर इन व्यक्तिगत पूर्वानुमानों के मोड (mode) (सबसे बार आने वाली अवस्था) के रूप में अंतिम अवस्था का चयन करें।
• विधि B (संभाव्यता एकत्रीकरण - Probability Aggregation): एक संयुक्त संभाव्यता वितरण बनाने के लिए सभी द्विचर मॉडलों से सशर्त अवस्था संभाव्यता ($\pi_{jt}$) का औसत निकालें, फिर इस एकत्रित वितरण से उच्चतम संभाव्यता (या माध्यिका) वाले राज्य का चयन करें।

3. मुख्य योगदान (Key Contributions)

1. गणना संबंधी दक्षता (Computational Efficiency): पेयरवाइज लाइक्लीहुड दृष्टिकोण एक अव्यवहार्य $O(2^K)$ समस्या को एक प्रबंधनीय $O(K^2)$ द्विचर समस्याओं में बदल देता है, जिससे उच्च-आयामी क्रमिक समय श्रृंखला मॉडलिंग संभव हो जाती है।
2. लचीली निर्भरता मॉडलिंग (Flexible Dependence Modeling): यह ढांचा विभिन्न समय श्रृंखलाओं के जोड़ों के लिए अलग-अलग कोपुल परिवारों को चुनने की अनुमति देता है, जो विषम निर्भरता संरचनाओं (जैसे सकारात्मक बनाम नकारात्मक सहसंबंध) को समायोजित करता है।
3. बेहतर अनुमान रणनीति (Improved Estimation Strategy): स्वतंत्र द्विचर परिणामों को संयोजित करने के लिए हेसियन-भारित माध्य (Hessian-weighted mean) का परिचय देना एक सांख्यिकीय रूप से कठोर तरीका प्रदान करता है, जो सिमुलेशन अध्ययनों में साधारण औसत से बेहतर प्रदर्शन करता है।
4. पूर्वानुमान ढांचा (Forecasting Framework): यह शोध पत्र कंपोजिट लाइक्लीहुड सेटिंग में पूर्वानुमान की विशिष्ट अस्पष्टता को संबोधित करता है और दो अलग-अलग एकत्रीकरण रणनीतियों का प्रस्ताव और तुलना करता है।

4. परिणाम (Results)

सिमुलेशन अध्ययन (Simulation Study)

• सेटअप: Gumbel कोपुल ($\phi=2$) का उपयोग करते हुए एक त्रिवारीय (trivariate) मामला ($K=3$) जिसमें 3 अवस्थाएँ थीं, जिसे $T = 100, 500, 1000$ नमूना आकार के साथ सिम्युलेट किया गया।
• निष्कर्ष:
  • दोनों सरल माध्य और भारित माध्य अनुमानक पूर्वाग्रह-मुक्त (unbiased) और सुसंगत (consistent) थे (जैसे-जैसे $T$ बढ़ता है, विचरण कम होता जाता है)।
  • भारित माध्य ने लगातार सरल माध्य से बेहतर प्रदर्शन किया, विशेष रूप से निर्भरता पैरामीटर $\phi$ के लिए, जो कम माध्य वर्ग त्रुटि (MSE) प्रदर्शित करता है।
  • जैसे-जैसे नमूना आकार बढ़ा, दोनों विधियों के लिए MSE शून्य के करीब पहुँच गया।

वास्तविक डेटा अनुप्रयोग (Real Data Application)

• डेटासेट: 1998-2023 के दौरान छह यूरोपीय संघ के देशों (पुर्तगाल, स्लोवाकिया, फिनलैंड, ग्रीस, स्पेन, इटली) के लिए त्रैमासिक बेरोजगारी दरें।
• प्रीप्रोसेसिंग: निरंतर दरों को क्वांटाइल्स (quantiles) के आधार पर 4 क्रमिक अवस्थाओं में विभाजित किया गया।
• मॉडल: सभी 6 देशों के लैग-1 प्रभावों वाले ऑर्डिनल ऑटोरेग्रेसिव लॉजिट मॉडल, जिन्हें फ्रैंक कोपुल (Frank copulas) द्वारा जोड़ा गया (जो सकारात्मक और नकारात्मक दोनों सहसंबंधों को संभालने की क्षमता के लिए चुने गए थे)।
• परिणाम:
  • मॉडल ने मजबूत ऑटोकोरिलेशन और क्रॉस-कंट्री सहसंबंधों (जैसे, स्पेन-ग्रीस और स्पेन-इटली के बीच मजबूत संबंध) को सफलतापूर्वक पकड़ा।
  • पूर्वानुबंध (2021-2023): विधि A और विधि B दोनों समान परिणाम प्रदान करते हैं।
    • उच्च सटीकता: पुर्तगाल, स्लोवाकिया और फिनलैंड का सही अवस्था के साथ उच्च संभाव्यता के साथ पूर्वानुमान लगाया गया।
    • कम सटीकता: ग्रीस, स्पेन और इटली ने खराब प्रदर्शन दिखाया। लेखक इसे डेटा में एक ही अवस्था के लंबे "रन" (persistence) के कारण बताते हैं, जिसे मानक ऑटोरेग्रेसिव लॉजिट मॉडल विशेष मॉडलों (जैसे, DAR मॉडल) की तुलना में उतनी अच्छी तरह से नहीं पकड़ पाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र जटिल बहुचर क्रमिक डेटा के विश्लेषण के लिए एक मजबूत और स्केलेबल ढांचा प्रदान करता है, जो अर्थशास्त्र, स्वास्थ्य और पर्यावरण विज्ञान में प्रचलित है। पूर्ण बहुचर कोपुलों से जुड़े "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को पार करने के लिए, लेखक पेयरवाइज लाइक्लीहुड के माध्यम से सीमांत गतिशीलता (marginal dynamics) को निर्भरता संरचना से अलग करते हैं।

मुख्य बातें:

• पेयरवाइज लाइक्लीहुड दृष्टिकोण उच्च-आयामी क्रमिक समय श्रृंखला के लिए पूर्ण लाइक्लीहुड का एक व्यवहार्य विकल्प है।
• अनुमानों का भारित औसत (Weighted averaging), साधारण औसत की तुलना में अधिक श्रेष्ठ है, जो परिशुद्धता में सुधार करने के लिए लाइक्लीहुड सतह की वक्रता (Hession) का लाभ उठाता है।
• कार्यप्रणाली लचीली है: यह विभिन्न जोड़ों के लिए अलग-अलग सीमांत मॉडल और कोपुल परिवारों की अनुमति देती है, हालांकि लेखक नोट करते हैं कि ऐसे लचीले परिवेश में मॉडल चयन एक गैर-तुच्छ (non-trivial) कार्य बन जाता है।
• भविष्य के कार्य में कोवेरिएट्स (covariates), उच्च-क्रम लैग्स (higher-order lags), और क्रमिक डेटा में दीर्घकालिक दृढ़ता (long-run persistence) के लिए विशेष मॉडलों को शामिल करना शामिल हो सकता है।