On tail-robust autocovariance matrix estimation for high-dimensional and potentially nonstationary time series

आधुनिक दुनिया में, डेटा अक्सर अलग-थलग तथ्यों के रूप में नहीं, बल्कि परस्पर जुड़े अवलोकनों की एक निरंतर धारा के रूप में आता है। एक मौसम केंद्र हर घंटे तापमान रिकॉर्ड करता है; एक स्टॉक मार्केट ट्रैकर हर सेकंड कीमतें दर्ज करता है; एक सरकारी एजेंसी हर महीने आर्थिक संकेतकों को एकत्र करती है। जब ये धाराएं एक साथ कई अलग-अलग स्रोतों से आती हैं—मान लीजिए, एक साथ ट्रैक किए जा रहे सैकड़ों आर्थिक चर (variables)—तो वे क्या बनाते हैं जिसे सांख्यिकीविद् 'हाई-डायमेंशनल टाइम सीरीज़' कहते हैं। वैज्ञानिकों के लिए चुनौती यह समझना है कि ये चर समय के साथ एक साथ कैसे चलते हैं। वे इस पैटर्न को देखते हैं कि आज एक चर में होने वाला बदलाव कल या पिछले महीने के दूसरे चर में होने वाले बदलावों से कैसे संबंधित हो सकता है। ऐसा करने के लिए, वे 'ऑटोकोवेरिएंस मैट्रिक्स' नामक एक गणितीय उपकरण पर भरोसा करते हैं, जो इन संबंधों के मानचित्र के रूप में कार्य करता है, यह दिखाता है कि कौन से चर तालमेल में ऊपर और नीचे जाते हैं और कौन से नहीं।

हालाँकि, जब डेटा अव्यवस्थित होता है, तो इस मानचित्र को बनाना अत्यंत कठिन हो जाता है। वास्तविक दुनिया के डेटा में अक्सर अत्यधिक आउटलेर्स (outliers) होते हैं—अचानक आने वाले बड़े उछाल या गिरावट जो सामान्य पैटर्न में फिट नहीं बैठते। सांख्यिकीय शब्दों में, इसे 'हैवी-टेल्डनेस' (heavy-tailedness) कहा जाता है। मानचित्र बनाने की पारंपरिक विधियाँ मानती हैं कि डेटा 'व्यवहार संगत' है, जहाँ अधिकांश मान एक औसत के आसपास केंद्रित होते हैं और चरम मान दुर्लभ होते हैं। जब ये धारणाएँ विफल हो जाती हैं, तो परिणामी मानचित्र विकृत हो जाता है, जिससे गलत निष्कर्ष निकलते हैं। इसके अलावा, डेटा अक्सर समय के साथ अपना व्यवहार बदल देता है, जिसे 'नॉनस्टेशनैरिटी' (nonstationarity) कहा जाता है, जो शायद किसी नई नीति, तकनीकी बदलाव या वैश्विक संकट के कारण हो सकता है। जब खेल के नियम बीच धारा में बदल जाते हैं, तो मानक उपकरण अक्सर टूट जाते हैं, जिससे शोधकर्ताओं को सांख्यिकीय रूप से भ्रामक चित्र प्राप्त होता है।

शोधकर्ताओं की एक टीम ने इस मानचित्र को बनाने के लिए एक नया दृष्टिकोण विकसित किया है जो इन अव्यवस्थित स्थितियों का सामना करने के लिए डिज़ाइन किया गया है। उन्होंने दो विशिष्ट समस्याओं पर ध्यान केंद्रित किया: अत्यधिक आउटलेर्स की उपस्थिति और यह संभावना कि डेटा के अंतर्निहित पैटर्न समय के साथ बदल रहे हैं। डेटा के दबाव में टूटने वाली विधियों पर निर्भर रहने के बजाय, उन्होंने 'एस्टिमेटर्स' (estimators) बनाए—चरों के बीच संबंधों की गणना करने के उपकरण—जो 'रोबस्ट' (robust) हैं, जिसका अर्थ है कि वे भारी-पूंछ (heavy-tailed) वाले डेटा या नॉनस्टेशनरी डेटा के बावजूद भी सटीक रहते हैं। उनका कार्य इन जटिल संबंधों को उच्च स्तर की निश्चितता के साथ मापने का एक तरीका प्रदान करता है, भले ही चरों की संख्या बहुत अधिक हो और डेटा एक सरल, अनुमानित पैटर्न का पालन न करता हो।

शोधकर्ताओं ने इस मजबूती को प्राप्त करने के लिए दो विशिष्ट परीक्षण विधियों का परीक्षण किया। पहली विधि 'हूबर के एम-एस्टिमेशन' (Huber's M-estimation) नामक तकनीक पर आधारित है, जो अनिवार्य रूप से चरम मानों के प्रभाव को सुचारू बनाती है क्योंकि यह उन्हें सामान्य मानों से अलग तरह से देखती है। दूसरी विधि, जिसे उन्होंने गणनात्मक रूप से अधिक कुशल पाया, 'ट्रंकेशन' (truncation) नामक एक प्रक्रिया का उपयोग करती है। एक फिल्टर की कल्पना करें जो किसी भी ऐसे मान को सीमित कर देता है जो बहुत बड़ा हो जाता है, जिससे एक एकल चरम संख्या पूरी गणना को प्रभावित करने से बच जाती है। दोनों विधियों को हाई-डायमेंशनल परिवेश में काम करने के लिए डिज़ाइन किया गया था, जहाँ चरों की संख्या उपलब्ध समय बिंदुओं की संख्या से बहुत अधिक हो सकती है। टीम ने गणितीय रूप से सिद्ध किया कि ये विधियाँ त्रुटि के लिए सटीक और विश्वसनीय सीमाएँ प्रदान करती हैं, जिसका अर्थ है कि वे यह गारंटी दे सकती हैं कि उनका अनुमान वास्तविक संबंध के कितने करीब है, चाहे डेटा वितरण की पूंछ (tails) कितनी भी भारी क्यों न हो।

यह सुनिश्चित करने के लिए कि ये उपकरण व्यवहार में काम करें, शोधकर्ताओं ने अपने परिणामों की विश्वसनीयता का परीक्षण करने का एक तरीका भी विकसित किया। उन्होंने अपने अनुमानों के वितरण को सिम्युलेट (simulate) करने का एक तरीका बनाया, जिससे वे यह निर्धारित कर सके कि पहचाना गया पैटर्न वास्तविक है या केवल डेटा का कोई संयोग। यह डेटा के आधार पर निर्णय लेने के लिए महत्वपूर्ण है, जैसे कि यह पहचानना कि कब एक संरचनात्मक परिवर्तन हुआ है। उन्होंने प्रदर्शित किया कि उनका दृष्टिकोण शोर वाले डेटा और चरों की उच्च संख्या के बावजूद इन परिवर्तनों को सफलतापूर्वक पहचान सकता है।

टीम ने अपने तरीकों को सिम्युलेटेड डेटा और वास्तविक दुनिया के आर्थिक रिकॉर्ड दोनों का उपयोग करके परखा। अपने सिमुलेशन में, उन्होंने ऐसा डेटा तैयार किया जो वास्तविक दुनिया के विभिन्न परिदृश्यों की नकल करता है, जिसमें वे मामले शामिल थे जहाँ डेटा एक सामान्य वितरण का पालन करता है और वे मामले जहाँ इसमें 'हैवी टेल्स' थे, जैसा कि वित्तीय बाजारों या चरम मौसम की घटनाओं में पाया जाता है। उन्होंने अपने नए रोबस्ट एस्टिमेटर्स की पारंपरिक विधियों के विरुद्ध तुलना की। परिणामों ने दिखाया कि जबकि पारंपरिक विधियाँ स्वच्छ डेटा के साथ अच्छा प्रदर्शन करती थीं, वे 'हैवी टेल्स' वाले डेटा के मामले में काफी विफल रहीं। इसके विपरीत, नए रोबस्ट एस्टिमेटर्स ने सभी परिदृश्यों में उच्च सटीकता बनाए रखी, जिसमें अत्यधिक आउटलेर्स भी शामिल थे। उन्होंने यह भी पाया कि ट्रंकेटेड एस्टिमेटर (truncated estimator), जो गणना में तेज़ था, उतना ही अच्छा प्रदर्शन करता है जितना कि अधिक जटिल हूबर विधि, जिससे यह बड़े पैमाने के अनुप्रयोगों के लिए एक व्यावहारिक विकल्प बन जाता है।

यह देखने के लिए कि वास्तविक दुनिया में यह कैसे काम करता है, शोधकर्ताओं ने अपने तरीके को जनवरी 1998 से दिसंबर 2022 तक संयुक्त राज्य अमेरिका के मासिक मैक्रोइकॉनॉमिक वेरिएबल्स के डेटासेट पर लागू किया। इस डेटासेट में औद्योगिक उत्पादन, रोजगार दर और उपभोक्ता कीमतों जैसे सौ से अधिक विभिन्न आर्थिक संकेतक शामिल थे। लक्ष्य यह पता लगाना था कि क्या और कब इन चरों के बीच के संबंध समय के साथ बदलते हैं। अपने रोबस्ट एस्टिमेटर का उपयोग करते हुए, टीम ने जून 2020 में होने वाले एक महत्वपूर्ण संरचनात्मक बदलाव की पहचान की। यह समय संयुक्त राज्य अमेरिका में कोविड-19 महामारी के प्रकोप के साथ मेल खाता है। विश्लेषण से पता चला कि महामारी ने न केवल व्यक्तिगत चरों को अस्थायी झटका दिया; इसने मौलिक रूप से इस बात को बदल दिया कि ये चर एक-दूसरे के साथ कैसे परस्पर क्रिया करते हैं। वे संबंध जो महामारी से पहले सत्य थे, उसके बाद वैध नहीं रहे, एक ऐसा परिवर्तन जिसे नया तरीका स्पष्ट रूप से पहचानने में सक्षम था।

शोधकर्ताओं ने डेटा को तीन महीने के अंतराल (lag) के साथ भी देखा ताकि यह पता लगाया जा सके कि क्या यह परिवर्तन त्रैमासिक पैटर्न में दिखाई देता है। परिणाम सुसंगत थे: जून 2020 का बदलाव न केवल मासिक डेटा के लिए, बल्कि अर्थव्यवस्था की त्रैमासिक संरचना के लिए भी एक प्रमुख मोड़ था। जब उन्होंने इस तारीख से पहले और बाद के चरों के बीच के संबंधों को विज़ुअलाइज़ किया, तो अंतर स्पष्ट था। आर्थिक संकेतकों के बीच जुड़ाव के पैटर्न पुनर्गठित हो गए थे, जो आर्थिक परिदृश्य पर महामारी के गहरे प्रभाव को दर्शाते हैं। इसके विपरीत, जब उन्होंने उसी डेटा का विश्लेषण करने के लिए पारंपरिक, गैर-रोबस्ट विधि का उपयोग किया, तो सिग्नल शोर और 'हैवी टेल्स' द्वारा बाधित हो गया, जिससे विश्वास के साथ परिवर्तन की पहचान करना कठिन हो गया।

यह कार्य उन सांख्यिकीविदों और डेटा वैज्ञानिकों के लिए एक नया टूलकिट प्रदान करता है जो जटिल, वास्तविक दुनिया की टाइम सीरीज़ के साथ काम कर रहे हैं। आउटलेर्स के प्रति प्रतिरोधी तरीके और बदलते डायनेमिक्स को संभालने में सक्षम विधियों को प्रदान करके, शोधकर्ताओं ने उन अंतर्दृष्टि को निकालना संभव बना दिया है जो पहले प्रभावी ढंग से विश्लेषण करने के लिए बहुत अव्यवस्थित थे। उनके निष्कर्ष बताते हैं कि हाई-डायमेंशनल डेटा के युग में, जहाँ चरम घटनाएँ आम हैं और सिस्टम लगातार विकसित हो रहे हैं, 'रोबस्टनेस' (robustness) केवल एक अच्छी विशेषता नहीं बल्कि सटीक निष्कर्ष के लिए एक आवश्यकता है। वैश्विक महामारी द्वारा उत्पन्न आर्थिक बदलाव जैसे संरचनात्मक परिवर्तनों को सटीकता और विश्वास के साथ पहचानने की क्षमता, हमारे आधुनिक विश्व को परिभाषित करने वाली जटिल, परस्पर जुड़ी प्रणालियों को बेहतर ढंग से समझने और उन पर प्रतिक्रिया देने के द्वार खोलती है।