Explainable Outlier Detection for Multivariate Functional Data

तकनीकी सारांश: बहुभिन्नरूपी कार्यात्मक डेटा के लिए व्याख्यात्मक आउटलेयर डिटेक्शन (Explainable Outlier Detection for Multivariate Functional Data)

समस्या विवरण (Problem Statement)

बहुभिन्नरूपी कार्यात्मक डेटा विश्लेषण (Multivariate Functional Data Analysis - FDA) में ऐसे डेटा का विश्लेषण शामिल है जो कई चरों (जैसे, कई सेंसरों के टाइम सीरीज़) में निरंतर फलनों (continuous functions) के रूप में दर्शाया जाता है। जबकि फंक्शनल प्रिंसिपल कंपोनेंट एनालिसिस (FPCA) एक प्रमुख उपकरण है, माध्य (mean) और सहप्रसरण फलनों (covariance functions) का सुदृढ़ अनुमान (robust estimation) एक महत्वपूर्ण चुनौती बनी हुई है, विशेष रूप से आउटलेयर्स (outliers) की उपस्थिति में। आउटलेयर्स गैर-सुदृढ़ अनुमानों को गंभीर रूप से विकृत कर सकते हैं, जिससे अविश्वसनीय निष्कर्ष निकल सकते हैं। इसके अलावा, मौजूदा आउटलेयर डिटेक्शन विधियाँ अक्सर व्याख्यात्मकता (interpretability) का अभाव प्रदर्शित करती हैं; वे यह तो पहचान लेती हैं कि कोई अवलोकन विसंगतिपूर्ण (anomalous) है, लेकिन यह समझाने में विफल रहती हैं कि क्यों—विशेष रूप से, कौन से घटक (variables) और किन समय बिंदुओं (time points) पर विचलन होता है।

वर्तमान साहित्य में यूनिवैरिएट कार्यात्मक डेटा के लिए सुदृढ़ विधियाँ और मल्टीवेरिएट सेटिंग्स के लिए डेप्थ-आधारित दृष्टिकोण उपलब्ध हैं, लेकिन मल्टीवेरिएट कार्यात्मक डेटा के लिए, विशेष रूप से पृथकरणीय सहप्रसरण संरचनाओं (separable covariance structures) के तहत, सुदृढ़ दूरी-आधारित अनुमान और व्याख्यात्मक, घटक-और-समय-विशिष्ट आउटलेयर स्पष्टीकरण को संयोजित करने वाले एक एकीकृत ढांचे (unified framework) की कमी है।

कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा तीन मुख्य घटकों को एकीकृत करता है: सुदृढ़ सहप्रसरण अनुमान (robust covariance estimation), एक ट्रंकेटेड मल्टीवेरिएट फंक्शनल महलानोबिस दूरी (truncated multivariate functional Mahalanobis distance), और शापली वैल्यू-आधारित अपघटन (Shapley value-based decomposition)।

1. सैद्धांतिक ढांचा: पृथकरणीय सहप्रसरण और आधार प्रतिनिधित्व (Theoretical Framework: Separable Covariance and Basis Representation)

यह विधि मानती है कि बहुभिन्नरूपी स्टोकेस्टिक प्रक्रिया $X(t)$ में एक पृथकरणीय सहप्रसरण संरचना (separable covariance structure) होती है, जहाँ सहप्रसरण कर्नेल $K(s, t)$ एक क्रॉस-कोवेरिएंस मैट्रिक्स $\Sigma_{row}$ (घटकों के बीच) और एक टेम्पोरल कर्नेल $\kappa(s, t)$ (घटकों के भीतर) में विभाजित होता है:
$$K(s, t) = \Sigma_{row} \kappa(s, t)$$
डिस्क्रीट अवलोकनों को संभालने के लिए, डेटा को एक परिमित आधार प्रतिनिधित्व (finite basis representation) (जैसे, B-splines) का उपयोग करके स्मूथ किया जाता है। एक प्रमुख सैद्धांतिक योगदान कार्यात्मक प्रक्रिया और उसके गुणांक मैट्रिक्स (coefficient matrix) $A$ के बीच एक सीधा संबंध स्थापित करना है। यदि $X(t) = A' \phi(t)$ है, तो यह शोध पत्र सिद्ध करता है कि पृथकरणीयता के तहत, गुणांक मैट्रिक्स $A$ एक मैट्रिक्स-वेरिएट वितरण का पालन करता है जिसका माध्य $M_A$ और सहप्रसरण $\Sigma_{row}$ और $\Sigma_{col}$ (जहाँ $\Sigma_{col}$, $\kappa$ से संबंधित है) है। यह कार्यात्मक महलानोबिस दूरी को गुणांक मैट्रिसेस पर एक मैट्रिक्स-वेरिएट महलानोबिस दूरी के रूप में गणना करने की अनुमति देता है, जिससे कम्प्यूटेशनल जटिलता काफी कम हो जाती है।

2. सुदृढ़ अनुमान: MMCD (Robust Estimation: MMCD)

आउटलेयर्स के विरुद्ध सुदृढ़ता सुनिश्चित करने के लिए, यह ढांचा गुणांक मैट्रिसेस के माध्य और सहप्रसरण का अनुमान लगाने के लिए मैट्रिक्स मिनिमम कोवेरिएंस डिटरमिनेंट (MMCD) एस्टिमेटर (Mayrhofer et al., 2025) का उपयोग करता है। यह दृष्टिकोण अत्यधिक सुदृढ़, कुशल और मैट्रिक्स-वेरिएट एलिप्टिकल डिस्ट्रीब्यूशन के लिए सुसंगत (consistent) है। MMCD एस्टिमेटर्स ($\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$) का उपयोग एक सुदृढ़ ट्रंकेटेड फंक्शनल महलानोबिस दूरी बनाने के लिए किया जाता है।

3. दूरी मीट्रिक: ट्रंकेटेड मल्टीवेरिएट फंक्शनल महलानोबिस डिस्टेंस (fMMD)

लेखक एक स्क्वेर्ड ट्रंकेटेड फंक्शनल मल्टीवेरिएट महलानोबिस सेमी-डिस्टेंस (fMMD) को इस प्रकार परिभाषित करते हैं:
$$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$$
जहाँ $(\pi_k, \psi_k)$ सहप्रसरण ऑपरेटर के आइगनपेयर्स (eigenpairs) हैं। पृथकरणीयता की धारणा के तहत, यह दूरी दिखाया गया है कि गुणांक मैट्रिक्स $A$ की मैट्रिक्स-वेरिएट महलानोबिस दूरी के समान है। यह समानता सुदृढ़ मैट्रिक्स एस्टिमेटर्स का उपयोग करके कुशल गणना को सक्षम बनाती है।

4. व्याख्यात्मकता: शापली वैल्यू अपघटन (Explainability: Shapley Value Decomposition)

आउटलेयर डिटेक्शन की "ब्लैक बॉक्स" प्रकृति को संबोधित करने के लिए, यह शोध पत्र शापली वैल्यूज (सहकारी गेम थ्योरी से) को कुल आउटलाइंगनेस (fMMD) को योगात्मक योगदान (additive contributions) में विघटित करने के लिए सामान्यीकृत करता है।

• कोऑर्डिनेट-विशिष्ट (Coordinate-specific): यह पहचानता है कि कौन सा चर (घटक) विसंगति में सबसे अधिक योगदान देता है।
• समय-विशिष्ट (Time-specific): यह पहचानता है कि कौन से समय अंतराल सबसे अधिक योगदान देते हैं।
• समय-कोऑर्डिनेट-विशिष्ट (Time-coordinate-specific): यह चर और समय अंतराल दोनों द्वारा योगदान को एक साथ विघटित करता है।

महत्वपूर्ण रूप से, लेखक इन योगदानों के लिए एक क्लोज्ड-फॉर्म समाधान निकालते हैं जो कम्प्यूटेशनल जटिलता को घटकों की संख्या के सापेक्ष घातीय (exponential) से रैखिक (linear) में बदल देता है, जबकि शापली वैल्यूज के प्रमुख गुणों (दक्षता, समरूपता, एकदिष्टता) को बनाए रखता है।

मुख्य योगदान (Key Contributions)

1. बहुभिन्नरूपी FDA के लिए सुदृढ़ ढांचा: यह शोध पत्र पृथकरणीय सहप्रसरण धारणा के तहत बेसिस कोएफिशिएंट्स पर MMCD एस्टिमेटर्स का उपयोग करके मल्टीवेरिएट कार्यात्मक डेटा के लिए एक व्यापक सुदृढ़ माध्य और सहप्रसरण अनुमान ढांचे को पेश करता है।
2. कार्यात्मक और मैट्रिक्स-वेरिएट वितरणों के बीच सैद्धांतिक लिंक: यह कठोरता से स्थापित करता है कि एक मल्टीवेरिएट कार्यात्मक प्रक्रिया में सहप्रसरण ऑपरेटर की पृथकरणीयता, रैंडम कोएफिशिएंट मैट्रिक्स के वितरण में एक विशिष्ट पृथकरणीय संरचना में परिवर्तित होती है। यह कार्यात्मक सुदृढ़ता को मैट्रिक्स-वेरिएट सुदृढ़ता सिद्धांत के साथ जोड़ता है।
3. कुशल व्याख्यात्मक आउटलेयर डिटेक्शन: यह कार्य शापली वैल्यूज को कार्यात्मक डेटा के लिए सामान्य करता है, जो मल्टीवेरिएट फंक्शनल आउटलाइंगनेस को समय- और घटक-विशिष्ट योगदानों में विघटित करने के लिए एक सिद्धांत आधारित विधि प्रदान करता है। इन विघटनों के लिए एक लीनियर-कॉम्प्लेक्सिटी एल्गोरिदम का व्युत्पन्न एक महत्वपूर्ण कम्प्यूटेशनल प्रगति है।
4. अनुभवजन्य सत्यापन (Empirical Validation): विधि को विस्तृत सिमुलेशन और वास्तविक दुनिया के अनुप्रयोगों के माध्यम से मान्य किया गया है, जो विभिन्न प्रकार के आउटलेयर्स (शिफ्ट, शेप, आइसोलेटेड, कोवेरिएंस-इंड्यूस्ड) का पता लगाने में इसकी प्रभावशीलता और मिसस्पेसिफिकेशन (misspecification) के बावजूद इसकी सुदृढ़ता को प्रदर्शित करता है।

परिणाम (Results)

सिमुलेशन अध्ययन (Simulation Studies)

प्रस्तावित विधि (MMCD-आधारित महलानोबिस दूरी) की तुलना अत्याधुनिक डेप्थ-आधारित विधियों (जैसे, fSDO, fAO, fDO), मैग्नीट्यूड-शेप प्लॉट्स और फंक्शनल आइसोलेशन फॉरेस्ट से करने के लिए व्यापक सिमुलेशन किए गए।

• प्रदर्शन: प्रस्तावित सुदृढ़ दूरी-आधारित दृष्टिकोण ने F-स्कोर, AUC और रिकॉल के मामले में प्रतिस्पर्धी विधियों (जैसे, fSDO, fAO, fDO) को लगातार पछाड़ दिया, विशेष रूप से शिफ्ट और शेप आउटलेयर्स के लिए।
• मिसस्पेसिफिकेशन के प्रति सुदृढ़ता: भले ही डेटा ने पृथकरणीयता धारणा का उल्लंघन किया (नॉन-सेपरेबल प्रक्रियाएं), प्रस्तावित विधि प्रभावी बनी रही, और अक्सर अनरेगुलराइज्ड सैंपल कोवेरिएंस एस्टिमेटर्स की तुलना में बेहतर प्रदर्शन किया क्योंकि इसमें अनुकूल बायस-वेरिएंस ट्रेड-ऑफ था।
• गैर-गाऊसी डेटा (Non-Gaussian Data): हेवी-टेल्ड सेटिंग्स (t-डिस्ट्रीब्यूशन) में, सुदृढ़ विधि ने उच्च रिकॉल और AUC बनाए रखा, हालांकि ट्रू आउटलेयर्स और डिस्ट्रीब्यूशन टेल्स के बीच अंतर करने की कठिनाई के कारण प्रिसिजन (precision) कम थी।
• व्याख्यात्मकता: शापली वैल्यूज ने सफलतापूर्वक उन विशिष्ट कोऑर्डिनेट्स और समय अंतरालों की पहचान की जो आउटलेयर्स के लिए जिम्मेदार थे, जो स्थानीयकृत संदूषण (localized contamination) परिदृश्यों में नैव डेविएशन मेजर और डेप्थ-आधारित लोकल स्कोर से बेहतर प्रदर्शन करते हैं।

वास्तविक दुनिया के अनुप्रयोग (Real-World Applications)

1. एल नीनो-दक्षिणी दोलन (ENSO): चार नीनो क्षेत्रों से समुद्र की सतह के तापमान (SST) डेटा का विश्लेषण किया गया। बहुभिन्नरूपी दृष्टिकोण ने यूनिवैरिएट विश्लेषण की तुलना में अधिक चरम ENSO घटनाओं की पहचान की। शापली अपघटन ने खुलासा किया कि एल नीनोو घटनाएं नीनो 3.4 और नीनो 3 में वार्मिंग द्वारा संचालित थीं, जबकि ला नीना घटनाएं नीनो 4 और नीनो 3 में कूलिंग द्वारा संचालित थीं।
2. रेसिस्टेंस स्पॉट वेल्डिंग (Resistance Spot Welding): ऑटोमोटिव मैन्युफैक्चरिंग से डायनेमिक रेजिस्टेंस कर्व्स पर लागू किया गया। इस विधि ने 0.95 का AUC प्राप्त किया, अन्य विधियों से बेहतर प्रदर्शन किया, और एक्सपल्शन (expulsion) के मामलों में यह भी सफलतापूर्वक पहचाना कि कौन से वेल्डिंग पॉइंट्स और समय अंतराल विसंगत थे।
3. प्रजनन दर (Fertility Rates): 22 देशों के आयु-विशिष्ट प्रजनन वक्रों का विश्लेषण किया गया। सुदृढ़ विधि ने उन आउटलेयर्स का पता लगाया जो क्लासिकल एस्टिमेटर्स (जैसे, USA, Germany) द्वारा छिपा दिए गए थे, और दशकों और आयु समूहों में प्रजनन समय में बदलाव के बारे में व्याख्यात्मक अंतर्दृष्टि प्रदान की।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह पृथकरणीय सहप्रसरण संरचनाओं वाले मल्टीवेरिएट कार्यात्मक डेटा के विश्लेषण के लिए एक सुदृढ़ और व्याख्यात्मक दृष्टिकोण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• डिटेक्शन से व्याख्या की ओर बढ़ना: शापली वैल्यूज को एकीकृत करके, यह ढांचा केवल विसंगतियों को चिह्नित नहीं करता है बल्कि उन्हें विशिष्ट घटकों और समय बिंदुओं के संदर्भ में समझाता है, जो डोमेन विशेषज्ञों (जैसे, जलवायु विज्ञानविद, विनिर्माण इंजीनियर) के लिए अत्यंत महत्वपूर्ण है।
• कम्प्यूटेशनल दक्षता: शापली वैल्यू की जटिलता को घातीय से रैखिक में बदलने से यह विधि उच्च-आयामी कार्यात्मक डेटा के लिए स्केलेबल हो जाती है।
• सुदृढ़ता (Robustness): MMCD एस्टिमेटर्स का उपयोग यह सुनिश्चित करता है कि पहचान और व्याख्या उन्हीं आउटलेयर्स से प्रभावित न हो जिन्हें वे खोजने का प्रयास कर रहे हैं।
• व्यावहारिक उपयोगिता: यह ढांचा तब भी प्रभावी है जब मॉडल की धारणाएं (पृथकरणीयता, सामान्यता) पूरी तरह से सटीक नहीं होती हैं, जिससे यह वास्तविक दुनिया के डेटा विश्लेषण के लिए एक व्यवहार्य उपकरण बन जाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि पृथकरणीयता की धारणा मॉडलिंग को सरल बनाती है, प्रस्तावित स्ट्रक्चर्ड एस्टिमेटर एक सुदृढ़ सन्निकटन (approximation) के रूप में कार्य करता है जो मध्यम नमूना आकार में अनकन्स्ट्रेंड एस्टिमेटर्स की तुलना में अधिक स्थिर डायग्नोस्टिक्स प्रदान करता है। भविष्य के कार्यों के लिए गैर-पृथकरणीय सहप्रसरण संरचनाओं तक इन सुदृढ़ अनुमान तकनीकों को विस्तारित करने का सुझाव दिया गया है।