📊 statistics

Disaggregating Time-Series with Many Indicators: An Overview of the DisaggregateTS Package

यह शोध पत्र R पैकेज DisaggregateTS को प्रस्तुत करता है, जो कई संकेतकों वाले उच्च-आयामी परिवेश (high-dimensional settings) को संभालने के लिए पारंपरिक प्रतिगमन-आधारित समय-श्रृंखला विघटन विधियों का विस्तार करता है, जो कार्यान्वयन मार्गदर्शन प्रदान करता है और CO2 उत्सर्जन केस स्टडी के माध्यम से इसके अनुप्रयोग का प्रदर्शन करता है।

मूल लेखक: Luke Mosley, Kaveh Salehzadeh Nobari, Giuseppe Brandi, Alex Gibberd

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luke Mosley, Kaveh Salehzadeh Nobari, Giuseppe Brandi, Alex Gibberd

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म देखना चाहते हैं, लेकिन आपके पास केवल हर एक अध्याय का सारांश (plot summary) है (कम-आवृत्ति वाला डेटा)। आप जानते हैं कि अध्याय 1, अध्याय 2 और अध्याय 3 में वास्तव में क्या हुआ, लेकिन आपको यह नहीं पता कि इन अध्यायों के बीच के विशिष्ट दृश्यों में क्या हुआ था।

अब, कल्पना कीजिए कि आपके पास पात्रों की दैनिक डायरी प्रविष्टियाँ (उच्च-आवृत्ति डेटा) भी हैं। ये डायरियाँ अव्यवस्थित हैं, कभी-कभी विरोधाभासी हैं, और आपके पास अध्याय सारांशों की तुलना में बहुत अधिक डायरी प्रविष्टियाँ हैं।

समस्या:
आप पूरी हाई-डेफिनिशन सीन-दर-सीन फिल्म को फिर से बनाना चाहते हैं।

पुरानी विधि: बस अध्याय सारांशों के बीच एक सीधी रेखा खींचकर गायब दृश्यों का अनुमान लगाना। इससे फिल्म उबाऊ और नकली लगेगी क्योंकि वास्तविक जीवन (और अर्थशास्त्र) उतार-चढ़ाव और आश्चर्यों से भरा होता है।
नई समस्या: अतीत में, आपके पास मदद के लिए केवल कुछ ही डायरी प्रविष्टियाँ होती थीं। लेकिन अब, "बिग डेटा" के युग में, आपके पास हजारों संकेतक (डायरी प्रविष्टियाँ, समाचार फीड, स्टॉक की कीमतें, मौसम रिपोर्ट) हैं। यदि आप उन सभी को पुरानी गणित के साथ उपयोग करने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है या क्रैश हो जाता है क्योंकि वेरिएबल्स बहुत अधिक हैं और उन्हें चेक करने के लिए पर्याप्त "अध्याय सारांश" नहीं हैं।

समाधान: DisaggregateTS पैकेज
यह पेपर एक नए टूलकिट (एक R पैकेज जिसे DisaggregateTS कहा जाता है) का परिचय देता है, जो एक सुपर-स्मार्ट फिल्म एडिटर की तरह काम करता है। यह आपके कच्चे अध्याय सारांशों को लेता है और ढेर सारी दैनिक डायरी प्रविष्टियों का उपयोग करके उनके बीच के अंतराल को विस्तृत और यथार्थवादी दृश्यों के साथ भर देता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "चाउ-लिन" (Chow-Lin) विधि (क्लासिक एडिटर)

इसे एक कुशल संपादक के रूप में सोचें जो आपके अध्याय सारांशों को देखता है और कहता है, "ठीक है, कहानी अध्याय 1 में ऊपर गई और अध्याय 2 में नीचे आई। डायरी प्रविष्टियों के आधार पर, आइए मान लें कि कहानी बीच में एक सुचारू, तार्किक पथ पर चली।"

यह कैसे काम करता है: यह उच्च-आवृत्ति वाली "डायरियों" और निम्न-आवृत्ति वाले "सारांशों" को मिलाने के लिए एक गणितीय सूत्र का उपयोग करता है।
कैच (चुनौती): यह तब बहुत अच्छा काम करता है जब आपके पास केवल कुछ ही डायरी प्रविष्टियाँ हों। लेकिन यदि आपके पास 1,000 डायरियाँ हैं और केवल 10 अध्याय हैं, तो गणित विफल हो जाता है। यह एक पहेली को हल करने जैसा है जिसमें 1,000 टुकड़े हैं लेकिन बोर्ड पर केवल 10 जगह हैं।

2. "स्पार्स" (Sparse) विधि (डिटेक्टिव एडिटर)

यही इस पेपर का बड़ा नवाचार है। यह "बहुत अधिक टुकड़ों" वाली समस्या को हल करता है।

उपमा: कल्पना कीजिए कि आप एक अपराध को सुलझाने की कोशिश कर रहे हैं एक जासूस हैं। आपके पास 1,000 संदिग्ध (इंडिकेटर्स) हैं, लेकिन आप केवल जानते हैं कि अपराध 10 विशिष्ट दिनों में हुआ था। यदि आप सभी से पूछताछ करने की कोशिश करेंगे, तो आप पागल हो जाएंगे।
ट्रिक: DisaggregateTS पैकेज LASSO (Least Absolute Shrinkage and Selection Operator) नामक तकनीक का उपयोग करता है। इसे एक जादुई फिल्टर या छंटाई करने वाली कैंची के रूप में सोचें।
- यह सभी 1,000 संदिग्धों को देखता है।
- यह महसूस करता है, "इनमें से 990 लोग घटनास्थल के पास भी नहीं थे।"
- यह उन्हें बाहर कर देता है (उनके प्रभाव को शून्य पर सेट कर देता है)।
- यह केवल उन शीर्ष 5 या 10 संदिग्धों पर ध्यान केंद्रित करता जो वास्तव में महत्वपूर्ण हैं।
परिणाम: यह शोर (noise) को नजरअंदाज करते हुए, केवल सबसे प्रासंगिक सुरागों का उपयोग करके फिल्म का एक साफ और सटीक पुनर्निर्माण करता है।

3. "एडेप्टिव" (Adaptive) विधि (स्मार्ट डिटेक्टिव)

कभी-कभी संदिग्ध पेचीदा होते हैं। हो सकता है कि दो संदिग्ध बिल्कुल एक जैसे दिखते हों (वे सह-संबंधित हों)। "क्लासिक" फिल्टर भ्रमित हो सकता है और गलत व्यक्ति को चुन सकता है।

एडेप्टिव विधि एक ऐसे जासूस की तरह है जो संदिग्धों को बेहतर जानता है। यह एक मोटा विचार प्राप्त करने के लिए पहला दौर (first pass) करता है, फिर अपनी चयन प्रक्रिया को परिष्कृत करता है ताकि यह सुनिश्चित हो सके कि वह वास्तविक दोषियों को चुने, भले ही वे समान दिखते हों। यह सुनिश्चित करता है कि अंतिम फिल्म यथासंभव सटीक हो।

वास्तविक दुनिया का उदाहरण: कार्बन फुटप्रिंट

लेखकों ने इसका परीक्षण एक वास्तविक दुनिया की समस्या पर किया: कार्बन उत्सर्जन को ट्रैक करना।

निम्न-आवृत्ति डेटा: सरकारें केवल साल में एक बार किसी देश का कुल CO2 उत्सर्जन बताती हैं। यह सटीक है लेकिन धीमा है।
उच्च-आवृत्ति डेटा: कंपनियाँ हर तिमाही या महीने में वित्तीय रिपोर्ट (बिक्री, पूंजी, ऊर्जा उपयोग) जारी करती हैं।
लक्ष्य: हम यह जानना चाहते हैं कि CO2 उत्सर्जन हर महीने कैसा है ताकि यह देखा जा सके कि कोई कंपनी वास्तविक समय में अधिक हरी-भरी (green) हो रही है या अधिक प्रदूषित।
परिणाम: DisaggregateTS का उपयोग करके, उन्होंने वार्षिक कुल योग लिया और मासिक वित्तीय रिपोर्ट का उपयोग करके "खाली स्थानों को भरने" के लिए किया।
- लीनियर इंटरपोलेशन (पुरानी विधि): बस वार्षिक बिंदुओं के बीच एक सीधी रेखा खींच दी। यह सपाट और उबाऊ लगा, जिससे प्रदूषण के वास्तविक उछाल और गिरावट छूट गई।
- DisaggregateTS (नई विधि): इसने वित्तीय डेटा का उपयोग करके दिखाया कि जब बिक्री अधिक थी तो उत्सर्जन वास्तव में बढ़ गया और जब अर्थव्यवस्था धीमी हुई तो गिर गया। इसने अर्थव्यवस्था की वास्तविक लय को पकड़ा।

आपको इसकी परवाह क्यों करनी चाहिए?

डेटा से भरे इस संसार में, हमारे पास अक्सर बहुत अधिक जानकारी होती है लेकिन उसे प्रोसेस करने के लिए पर्याप्त समय नहीं होता।

अर्थशास्त्री अब मासिक रिपोर्टों का इंतजार करने के बजाय हजारों दैनिक संकेतकों का उपयोग करके मंदी की भविष्यवाणी तेजी से कर सकते हैं।
जलवायु वैज्ञानिक कंपनियों को तुरंत जवाबदेह ठहराने के लिए (रिपोर्ट का एक साल तक इंतजार करने के बजाय) वास्तविक समय में प्रदूषण को ट्रैक कर सकते हैं।
हर किसी को दुनिया वास्तव में कैसे चल रही है, इसकी एक स्पष्ट, कम धुंधली तस्वीर मिलती है।

संक्षेप में: यह पेपर हमें एक नया चश्मा देता है। निम्न-रिज़ॉल्यूशन वाले स्नैपशॉट के रूप में दुनिया को देखने के बजाय, अब हम हाई-डेफिनिशन, तेज़-मूविंग विवरण देख सकते हैं, भले ही हम डेटा के ढेर में डूबे हों।

यहाँ Mosley et al. (2023) के शोध पत्र "Disaggregating Time-Series with Many Indicators: An Overview of the DisaggregateTS Package" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी परिवेश (high-dimensional settings) के संदर्भ में अस्थायी विखंडन (temporal disaggregation) (निम्न-आवृत्ति वाले डेटा को उच्च-आवृत्ति वाले डेटा में इंटरपोलेट करना) की चुनौती को संबोधित करता है।

संदर्भ: सरकारी और प्रशासनिक एजेंसियां अक्सर सटीक लेकिन निम्न-आवृत्ति वाला डेटा (जैसे, त्रैमासिक जीडीपी, वार्षिक उत्सर्जन) जारी करती हैं। इसके विपरीत, उच्च-आवृत्ति वाले संकेतक (जैसे, मासिक सर्वेक्षण, प्रशासनिक रिकॉर्ड) प्रचुर मात्रा में होते हैं लेकिन अक्सर कम सटीक या कम सामयिक होते हैं।
लक्ष्य: एक ऐसी उच्च-आवृत्ति श्रृंखला ( $y_m$ ) का अनुमान लगाना जो अल्पकालिक गतिकी (dynamics) को ट्रैक करे और साथ ही देखे गए निम्न-आवृत्ति बेंचमार्क ( $y_q$ ) के साथ टेम्पोरल रूप से सुसंगत रहे।
चुनौती: पारंपरिक प्रतिगमन-आधारित विधियाँ (जैसे, Chow-Lin) तब विफल हो जाती हैं जब उच्च-आवृत्ति संकेतकों की संख्या ( $d$ ), निम्न-आवृत्ति अवलोकनों की संख्या ( $n$ ) के बराबर या उससे अधिक हो जाती है। इन "बड़े $p$ , छोटे $n$ " वाले परिदृश्यों में, डिज़ाइन मैट्रिक्स रैंक-डेफिशिएंट (rank-deficient) हो जाता है, जिससे नॉन-इन्वर्टिबिलिटी और उच्च विचरण (variance) के कारण मानक जनरल लाइज्ड स्क्वायर्स (GLS) अनुमान असंभव हो जाता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र शास्त्रीय विधियों से आधुनिक स्पार्स एस्टीमेशन (sparse estimation) तकनीकों तक के विकास को रेखांकित करता है, जिसे DisaggregateTS R पैकेज के भीतर कार्यान्वित किया गया है।

A. शास्त्रीय प्रतिगमन-आधारित तकनीकें (Classical Regression-Based Techniques)

इसका आधार Chow-Lin (1971) विधि है, जो यह मानती है कि उच्च-आवृत्ति श्रृंखला एक ऑटोकोरिलेटेड एरर (autocorrelated errors) के साथ लीनियर रिग्रेशन का पालन करती है:
$y_m = X_m\beta + u_m, \quad u_m \sim N(0, V_m)$

एकत्रीकरण (Aggregation): एक मैट्रिक्स $C$ उच्च-आवृत्ति श्रृंखला को निम्न-आवृत्ति बेंचमार्क से मेल खाने के लिए एकत्रित करता है (जैसे, फ्लो डेटा के लिए त्रैमासिक योग प्राप्त करने के लिए मासिक मूल्यों को जोड़ना)।
अनुमान (Estimation): गुणांक $\beta$ का अनुमान GLS का उपयोग करके लगाया जाता है, यह मानते हुए कि एरर टर्म एक AR(1) प्रक्रिया का पालन करता है ( $u_t = \rho u_{t-1} + \epsilon_t$ )।
सीमा: इसके लिए $d < n$ होना आवश्यक है। यदि $d \geq n$ है, तो $X_q^\top V_q^{-1} X_q$ मैट्रिक्स सिंगुलर (singular) हो जाता है।

B. उच्च-आयामी परिवेशों के लिए विस्तार (Extension to High-Dimensional Settings - Sparse Temporal Disaggregation)

$d \gg n$ वाले मामलों को संभालने के लिए, लेखक उच्च-आयामी सांख्यिकी (Mosley et al., 2022) से विधियों को अनुकूलित करते हैं:

नियमितीकरण (Regularization - LASSO):
GLS कॉस्ट फंक्शन को स्पर्सिटी (sparsity) लाने के लिए एक $\ell_1$ पेनाल्टी (LASSO) जोड़कर संशोधित किया जाता है:
$\hat{\beta}(\lambda_n | \rho) = \arg \min_{\beta} \left\{ \|V_q^{-1/2}(y_q - X_q\beta)\|_2^2 + \lambda_n \|\beta\|_1 \right\}$
यह गुणांकों को दंडित (penalize) करता है, जिससे प्रासंगिक संकेतकों का चयन होता है और अप्रासंगिक संकेतकों को शून्य की ओर सिकोड़ा जाता है।
डीबायसिंग (Debiasing):
LASSO एस्टिमेटर्स अपने बायस (bias) के लिए जाने जाते हैं। इसे ठीक करने के लिए, लेखक एक रीफिटिंग प्रक्रिया (refitting procedure) का उपयोग करते हैं:
- LASSO समाधान से गैर-शून्य गुणांकों की पहचान करें।
- केवल इन चयनित चरों वाले एक रिड्यूस्ड डिज़ाइन मैट्रिक्स का निर्माण करें।
- इस रिड्यूस्ड सबसेट पर एक मानक लीस्ट स्क्वायर्स अनुमान प्राप्त करने के लिए लीस्ट स्क्वायर्स का उपयोग करें।
एडेप्टिव LASSO (Adaptive LASSO):
उन समस्याओं को संबोधित करने के लिए जहाँ "इररिप्रेजेंटेबिलिटी कंडीशन" (Irrepresentability Condition) का उल्लंघन होता है (जो अत्यधिक सह-संबंधित संकेतकों में सामान्य है), Adaptive LASSO का उपयोग किया जाता है। यह वेरिएबल सिलेक्शन कंसिस्टेंसी में सुधार करने के लिए पेनल्टी टर्म को एक प्रारंभिक एस्टिमेटर ( $\hat{\beta}_{init}$ ) के व्युत्क्रम (inverse) द्वारा भारित (weight) करता है:
$\text{Penalty} = \lambda_n \sum_{j=1}^d \frac{|\beta_j|}{|\hat{\beta}_{init,j}|}$
हाइपरपैरामीटर चयन (Hyperparameter Selection):
- $\rho$ (Autocorrelation): प्रोफाइल-लाइक्लीहुड मैक्सिमाइजेशन (ग्रिड सर्च) के माध्यम से अनुमानित।
- $\lambda_n$ (Regularization strength): निम्न-आवृत्ति अवलोकनों के छोटे सैंपल साइज के कारण क्रॉस-वैलिडेशन के बजाय बेयसियन इंफॉर्मेशन क्राइटेरियन (BIC) का उपयोग करके चुना जाता है।

3. मुख्य योगदान: `DisaggregateTS` पैकेज

मुख्य योगदान DisaggregateTS R पैकेज है, जो इन विधियों को संचालित करता है।

मुख्य फंक्शन: disaggregate(Y, X, aggMat, aggRatio, method, ...)
- इनपुट: निम्न-आवृत्ति लक्ष्य ( $Y$ ), उच्च-आवृत्ति संकेतक ( $X$ ), एकत्रीकरण मैट्रिक्स प्रकार (जैसे, फ्लो डेटा के लिए "sum", स्टॉक डेटा के लिए "first"), और आवृत्तियों के बीच का अनुपात।
- समर्थित विधियाँ:
  - शास्त्रीय: "Chow-lin", "Denton", "Fernandez", "Litterman"।
  - उच्च-आयामी: "spTD" (Sparse Temporal Disaggregation) और "adaptive-spTD"।
सिमुलेशन टूल: TempDisaggDGP() सिंथेटिक डेटा उत्पन्न करता है जिसमें यूजर-परिभाषित स्पर्सिटी, ऑटोकोरिलेशन और एकत्रीकरण अनुपात होते हैं ताकि विधियों का परीक्षण किया जा सके।
लचीलापन: यह aggMat तर्क के माध्यम से फ्लो डेटा (sums) और स्टॉक डेटा (point-in-time) दोनों को संभालता है।

4. परिणाम और प्रदर्शन (Results and Demonstrations)

शोध पत्र सिमुलेशन और एक एम्ពីរिकल एप्लीकेशन के माध्यम से कार्यप्रणाली को मान्य करता है।

A. सिमुलेशन अध्ययन (Simulation Studies)

शास्त्रीय सेटिंग ( $d < n$ ): पैकेज सफलतापूर्वक मानक Chow-Lin परिणामों को दोहराता है, यह दिखाते हुए कि टेम्पोरल डिसेग्रिगेशन सरल लीनियर इंटरपोलेशन की तुलना में उतार-चढ़ाव को बेहतर ढंग से कैप्चर करता है।
उच्च-आयामी सेटिंग ( $d > n$ ):
- मानक विधियाँ विफल हो जाती हैं (गणना नहीं कर पातीं)।
- adaptive-spTD विधि एक स्पर्स सबसेट ऑफ इंडिकेटर्स को चुनकर अंतर्निहित सिग्नल को सफलतापूर्वक रिकवर करती है।
- दृश्य प्रमाण: चित्र 3 और 4 प्रदर्शित करते हैं कि जबकि लीनियर इंटरपोलेशन अत्यधिक स्मूथ, अवास्तविक रेखाएं बनाता है, स्पार्स टेम्पोरल डिसेग्रिगेशन विधि उच्च-आवृत्ति श्रृंखला की वास्तविक अस्थिरता (volatility) और गतिकी को पुनर्गठित करती है।

B. एम्ពីរिकल एप्लीकेशन: कार्बन इंटेंसिटी (Carbon Intensity)

उद्देश्य: IBM के वार्षिक $CO_2$ उत्सर्जन (17 अवलोकन) को 112 उच्च-आवृत्ति वित्तीय संकेतकों (बैलेंस शीट, इनकम स्टेटमेंट, कैश फ्लो) का उपयोग करके त्रैमासिक डेटा में विखंडित करना।
प्रीप्रोसेसिंग: वे चर जिनका पेयरवाइज कोरिलेशन > 0.99 था, उन्हें हटा दिया गया।
परिणाम: एडेप्टिव LASSO ने केवल दो महत्वपूर्ण भविष्यवक्ताओं (predictors) को चुना:
1. 12-महीने का ट्रेलिंग सेल्स (12-month trailing sales)।
2. कुल कंपनी कैपिटल (Total company capital)।
प्रदर्शन: परिणामी त्रैमासिक उत्सर्जन अनुमानों ने आर्थिक गतिविधि के साथ सह-संबंधित यथार्थवादी उतार-चढ़ाव दिखाए, जबकि लीनियर इंटरपोलेशन इन गतिकी को पकड़ने में विफल रहा। यह कार्बन इंटेंसिटी (बिक्री प्रति इकाई उत्सर्जन) की समय पर गणना करने की अनुमति देता है।

5. महत्व (Significance)

डेटा अंतराल को पाटना: यह पैकेज शोधकर्ताओं को निम्न-आवृत्ति आर्थिक और पर्यावरणीय सांख्यिकी में सुधार करने के लिए "बिग डेटा" युग के प्रशासनिक संकेतकों की प्रचुरता का उपयोग करने में सक्षम बनाता है।
मेथोडोलॉजिकल एडवांसमेंट: यह क्लासिक Chow-Lin फ्रेमवर्क को उच्च-आयामी स्थानों तक विस्तारित करता है जहाँ $d \geq n$ है, जो आधुनिक अर्थमिति में एक सामान्य परिदृश्य है जिसे पहले एड-हॉक डाइमेंशनलिटी रिडक्शन की आवश्यकता होती थी।
क्लाइमेट फाइनेंस एप्लीकेशन: उच्च-आवृत्ति उत्सर्जन के अनुमान को सक्षम करके, यह टूल अधिक उत्तरदायी जलवायु नीति, कार्बन अकाउंटिंग और ESG (पर्यावरण, सामाजिक और शासन) विश्लेषण का समर्थन करता है, जो वार्षिक रिपोर्टिंग में निहित अंतराल को संबोधित करता है।
पुनरुत्पादकता (Reproducibility): एक समर्पित R पैकेज प्रदान करके, लेखक जटिल स्पार्स रिग्रेशन तकनीकों को टेम्पोरल डिस्ट्रीब्यूशन समस्याओं पर लागू करने के लिए प्रवेश बाधाओं को कम करते हैं।