तकनीकी सारांश: सीज़नल ट्रेंड एनोमली डिटेक्शन (STAD)

समस्या विवरण

टाइम सीरीज़ डेटा में विसंगतियों (anomalies) का पता लगाना वित्त, ऊर्जा और स्वास्थ्य सेवा जैसे विभिन्न क्षेत्रों में एक महत्वपूर्ण कार्य है। हालाँकि, मौजूदा विधियों को जटिल संरचनाओं वाले वास्तविक दुनिया के डेटा पर लागू करने में महत्वपूर्ण सीमाएँ आती हैं। पारंपरिक दृष्टिकोण अक्सर एक स्थिर बेसलाइन (constant baseline) मानते हैं या विशेष रूप से केवल पॉइंट अनोमलीज़ (point anomalies) पर ध्यान केंद्रित करते हैं। जबकि CAPA (कलेक्टिव एंड पॉइंट अनोमलीज़) जैसी हालिया विधियाँ पॉइंट और कलेक्टिव दोनों प्रकार की विसंगतियों का पता लगा सकती हैं, वे आमतौर पर गाऊसी शोर (Gaussian noise) के साथ एक स्थिर बेसलाइन के अनुमान के तहत कार्य करती हैं।

व्यवहार में, टाइम सीरीज़ में अक्सर पॉलीनोमियल ट्रेंड्स (polynomial trends) और आवधिक मौसमी पैटर्न (periodic seasonal patterns) दिखाई देते हैं। जब ये घटक मौजूद होते हैं, तो मानक अपघटन (decomposition) विधियाँ (जैसे STL, RobustSTL) वास्तविक विसंगतियों और संरचनात्मक विविधताओं के बीच अंतर करने में विफल रहती हैं। विशेष रूप से, कलेक्टिव अनोमलीज़ (लगातार विसंगतिपूर्ण बिंदुओं के समूह) अनुमानित ट्रेंड या सीज़नल घटकों में समाहित हो सकते हैं, जिससे 'फॉल्स नेगेटिव' (असली विसंगति न पकड़ पाना) की स्थिति उत्पन्न होती है। इसके विपरीत, मजबूत ट्रेंड और सीज़नैलिटी उन विधियों में 'फॉल्स पॉजिटिव' (सामान्य बदलाव को विसंगति मान लेना) का कारण बन सकते हैं जो इनके प्रभाव को ध्यान में नहीं रखती हैं। एक ऐसी मजबूत सांख्यिकीय विधि का अभाव है जो टाइम सीरीज़ को ट्रेंड, सीज़नैलिटी और अनोमली घटकों में समान रूप से विभाजित कर सके और साथ ही पॉइंट और कलेक्टिव दोनों प्रकार की विसंगतियों की सटीक पहचान कर सके।

कार्यप्रणाली: सीज़नल ट्रेंड एनोमली डिटेक्शन (STAD)

लेखक STAD का प्रस्ताव करते हैं, जो एक नवीन दृष्टिकोण है जो पॉलीनोमियल ट्रेंड्स और सीज़नल घटकों को संभालने के लिए मौजूदा अनोमली डिटेक्शन फ्रेमवर्क का विस्तार करता है। यह विधि प्रेक्षित टाइम सीरीज़ $Y$ को चार घटकों में विभाजित करती है:
$$Y = A + T + S + \varepsilon$$
जहाँ $A$ विसंगतियों (कलेक्टिव और पॉइंट दोनों) का प्रतिनिधित्व करता है, $T$ एक पॉलीनोमियल ट्रेंड है, $S$ एक आवधिक सीज़नल घटक है, और $\varepsilon$ गाऊसी शोर (Gaussian noise) है।

STAD एल्गोरिदम चार पुनरावृत्ति चरणों (iterative steps) के माध्यम से आगे बढ़ता है:

1. प्रारंभिक अनुमान (Initial Estimation):

   • ट्रेंड: सीज़नैलिटी को हटाने के लिए, डेटा को एक अंतराल $D$ के साथ डिफरेंस (difference) किया जाता है जो सीज़नल पीरियड $P$ का गुणज है। प्रारंभिक ट्रेंड अनुमान $\hat{T}_0$ प्राप्त करने के लिए इस डिफरेंस्ड सीरीज़ पर एक रोबस्ट ट्रेंड एस्टिमेटर लागू किया जाता है।
   • सीज़नैलिटी: मूल डेटा से प्रारंभिक ट्रेंड को घटाया जाता है। प्रारंभिक सीज़नल अनुमान $\hat{S}_0$ प्राप्त करने के लिए शेष भाग पर एक रोबस्ट सीज़नैलिटी एस्टिमेटर लागू किया जाता है।

2. परिष्कृत ट्रेंड अनुमान (Refined Trend Estimation):

   • परिष्कृत ट्रेंड का अनुमान $Y - \hat{S}_0$ के शेष भाग पर एक रोबस्ट ट्रेंड एस्टिमेटर लागू करके लगाया जाता है।
   • सैंपलिंग रणनीति: कलेक्टिव अनोमलीज़ को संभालने के लिए एक व्यवस्थित सैंपलिंग रणनीति एक प्रमुख नवाचार है। यह विधि टाइम सीरीज़ को विच्छेदित खंडों (disjoint segments) में विभाजित करती है और वैकल्पिक सेटों (विषम या सम इंडेक्स्ड सेगमेंट) से उप-खंडों (sub-segments) का नमूना लेती है। यह सुनिश्चित करता है कि उच्च संभावना के साथ कम से कम एक उप-नमूना (subsample) कलेक्टिव अनोमलीज़ से मुक्त हो, जिससे बड़े विसंगतिपूर्ण ब्लॉकों की उपस्थिति में भी पॉलीनोमियल ट्रेंड का विश्वसनीय अनुमान लगाया जा सके।
   • यह विधि इस सैंपलिंग प्रक्रिया को $J$ बार दोहराती है और उस ट्रेंड अनुमान का चयन करती है जो अनोमली डिटेक्शन चरण पर लागू पेनलाइज्ड कॉस्ट फंक्शन (penalized cost function) को न्यूनतम करता है।

3. परिष्कृत सीज़नैलिटी अनुमान (Refined Seasonality Estimation):

   • एक बार जब ट्रेंड परिष्कृत हो जाता है, तो पिछले चरण में पहचाने गए विसंगतिपूर्ण अंतरालों को स्पष्ट रूप से बाहर रखते हुए, $Y - \hat{T}$ पर एक रोबस्ट सीज़नैलिटी एस्टिमेटर लागू करके सीज़नल घटक का पुन: अनुमान लगाया जाता है।
   • यदि सीज़नैलिटी को स्मूथ (smooth) माना जाता है, तो अनुमानित सीज़नल गुणांकों पर स्प्लाइन स्मूथिंग (spline smoothing) लागू की जाती है।

4. अनोमली डिटेक्शन (Anomaly Detection):

   • अंत में, शेष भाग $Y - \hat{T} - \hat{S}$ पर CAPA एल्गोरिदम के संशोधित संस्करण को लागू करके अनोमली घटक $A$ का अनुमान लगाया जाता है।
   • यह चरण कलेक्टिव और पॉइंट दोनों प्रकार की विसंगतियों की संख्या, स्थान और परिमाण की पहचान करने के लिए एक पेनलाइज्ड कॉस्ट अप्रोच (Generalized Functional Pruning Optimal Partitioning - GFPOP) का उपयोग करता है।

मुख्य योगदान

• नवीन अपघटन ढांचा (Novel Decomposition Framework): STAD एक एकीकृत सांख्यिकीय ढांचे के भीतर पॉलीनोमियल ट्रेंड्स, सीज़नल घटकों और पॉइंट एवं कलेक्टिव दोनों प्रकार की विसंगतियों का एक साथ अनुमान लगाने वाला पहला तरीका है।
• ट्रेंड अनुमान के लिए रोबस्ट सैंपलिंग: यह शोध पत्र एक व्यवस्थित सैंपलिंग प्रक्रिया प्रस्तुत करता है जो उच्च संभावना के साथ गैर-विसंगतिपूर्ण उप-नमूनों के अस्तित्व की गारंटी देता है। यह मानक रोबस्ट एस्टिमेटर्स (जैसे M-estimators) की सीमाओं को दूर करता है, जो बड़े कलेक्टिव अनोमलीज़ से प्रभावित हो सकते हैं।
• सैद्धांतिक गारंटी: लेखक एक सांख्यिकीय सिद्धांत स्थापित करते हैं जो सिद्ध करता है कि STAD:
  • विसंगतियों की संख्या का सुसंगत (consistently) अनुमान लगाता है।
  • अनोमली, ट्रेंड और सीज़नल घटकों के अनुमान त्रुटियों के लिए एसिम्प्टोटिक $L_2$ बाउंड प्रदान करता है।
  • यह सुनिश्चित करता है कि विसंगतियों के अनुमानित प्रारंभ और समाप्ति बिंदु वास्तविक मूल्यों के करीब (लॉगारिदमिक एरर बाउंड के भीतर) हों।
• गैर-स्थिरता (Non-Stationarity) को संभालना: CAPA के विपरीत, जो एक स्थिर बेसलाइन मानता है, STAD पॉलीनोमियल ट्रेंड्स और सीज़नैलिटी द्वारा संचालित गैर-स्थिर डेटा को समायोजित करता है।

परिणाम

STAD के प्रदर्शन का मूल्यांकन व्यापक सिमुलेशन अध्ययनों और एक वास्तविक अनुप्रयोग के माध्यम से किया गया:

• सिमुलेशन अध्ययन:

  • STAD की तुलना उसके स्वयं के "ओरेकल" (oracle) संस्करणों (जो वास्तविक ट्रेंड या सीज़नैलिटी को जानते हैं) और मानक विधियों से की गई।
  • अनोमली की लंबाई: STAD टाइम सीरीज़ की लंबाई के लगभग 25% तक की विसंगतियों के लिए लगभग ओरेकल के समान प्रदर्शन करता है। प्रदर्शन केवल तब गिरता है जब विसंगतियाँ अत्यधिक लंबी हो जाती हैं, जिससे गैर-विसंगतिपूर्ण उप-नमूनों की पहचान करना कठिन हो जाता है।
  • सीज़नल पीरियड: विधि विभिन्न सीज़नल पीरियड्स में मजबूत बनी रहती है, बशर्ते डेटा में कम से कम पांच सीज़नल साइकिल मौजूद हों।
  • एकाधिक विसंगतियाँ: STAD अलग-अलग लंबाई और परिमाण वाली कई कलेक्टिव अनोमलीज़ का सफलतापूर्वक पता लगाता है, और अधिकांश परिदृश्यों में ओरेकल प्रदर्शन से मेल खाता है।
  • ट्यूनिंग: अध्ययन सुझाव देता है कि डिफॉल्ट ट्यूनिंग पैरामीटर ($J=20$ सैंपलिंग इटरेशन के लिए, $\lambda_{coll}=4$, $\lambda_{point}=3$) सटीकता और कम्प्यूटेशनल लागत के बीच एक अच्छा संतुलन प्रदान करते हैं।

• वास्तविक अनुप्रयोग:

  • विधि को यूके इलेक्ट्रिसिटी एक्सपोर्ट प्राइस डेटा (Octopus Agile) पर लागू किया गया, जिसमें दैनिक सीज़नैलिटी और दीर्घकालिक ट्रेंड्स दिखाई देते हैं।
  • तुलना: इस डेटा पर लागू करने पर, CAPA ने सीज़नल पैटर्न के कारण बड़ी संख्या में 'फॉल्स पॉजिटिव' का पता लगाया, भले ही हाई पेनल्टी पैरामीटर्स का उपयोग किया गया हो।
  • STAD का प्रदर्शन: STAD ने डेटा को सफलतापूर्वक विभाजित किया और तीन महत्वपूर्ण कलेक्टिव अनोमलीज़ की पहचान की। ये विसंगतियाँ उच्च नवीकरणीय ऊर्जा उत्पादन की अवधियों के साथ सह-संबंधित थीं, जो संरचनात्मक विसंगतियों और सामान्य सीज़नल उतार-चढ़ाव के बीच अंतर करने में इस विधि की व्यावहारिक उपयोगिता को प्रदर्शित करती हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि STAD जटिल, गैर-स्थिर संरचनाओं की उपस्थिति में टाइम सीरीज़ विश्लेषण में एक महत्वपूर्ण अंतर को भरता है। लेखक इस बात पर जोर देते हैं कि वर्तमान विधियाँ उन डेटा के लिए अनुपयुक्त हैं जहाँ ट्रेंड और सीज़नैलिटी स्पष्ट होते हैं, जिससे अक्सर कलेक्टिव अनोमलीज़ छिप जाती हैं या सीज़नल पैटर्न को विसंगति के रूप में गलत पहचान लिया जाता है।

कठोर सांख्यिकीय सिद्धांत स्थापित करके और मजबूत 'फाइनाइट-सैंपल' प्रदर्शन प्रदर्शित करके, लेखक STAD को ऊर्जा बाजारों और वित्तीय निगरानी जैसे डोमेन के लिए एक मजबूत उपकरण के रूप में स्थापित करते हैं। यह कार्य CAPA एल्गोरिथ्म के सैद्धांतिक आधारों का विस्तार करता है, जो एक सुसंगत एस्टिमेटर प्रदान करता है, भले ही अंतर्निहित बेसलाइन स्थिर न हो। लेखक उल्लेख करते हैं कि हालांकि यह विधि पॉलीनोमियल ट्रेंड्स और स्थिर सीज़नल घटकों तक सीमित है, फिर भी यह वास्तविक दुनिया के टाइम सीरीज़ डेटा की संरचनात्मक चुनौतियों को संभालने की दिशा में एक महत्वपूर्ण कदम है।