🤖 machine learning

Root Cause Analysis of Measurement and Mechanistic Anomalies

यह शोध पत्र विसंगति का पता लगाने (anomaly detection) में मापन त्रुटियों (measurement errors) और यांत्रिक बदलावों (mechanistic shifts) के बीच अंतर करने के लिए एक कारण मॉडल (causal model) और एक कुशल अनुमान प्रक्रिया प्रस्तावित करता है, जो अत्याधुनिक प्रदर्शन के साथ सटीक मूल कारण स्थानीयकरण (root cause localization) और विसंगति प्रकार वर्गीकरण को सक्षम बनाता है।

मूल लेखक: Hendrik Suhr, David Kaltenpoth, Jilles Vreeken

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hendrik Suhr, David Kaltenpoth, Jilles Vreeken

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फैक्ट्री में रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में। कुछ गलत हो गया है और डेटा अजीब लग रहा है। लेकिन एक पेच है: हर "अजीब" चीज़ एक जैसी नहीं होती।

कभी-कभी मशीन बिल्कुल सही काम कर रही होती है, लेकिन थर्मामीटर खराब होता है और गलत रीडिंग दे रहा होता है। दूसरी ओर, थर्मामीटर ठीक होता है, लेकिन मशीन का व्यवहार वास्तव में बदल गया होता है (शायद कोई गियर फिसल गया, या ईंधन का मिश्रण गलत है)।

Suhr, Kaltenpoth, और Vreeken का शोध पत्र एक नया जासूसी टूल पेश करता है जिसे CALI (Causal Anomaly Localization and Inspection) कहा जाता है। इसकी महाशक्ति यह पता लगाने में है कि इनमें से कौन सी स्थिति हो रही है और समस्या वास्तव में कहाँ से शुरू हुई।

यहाँ उनके काम का सरल शब्दों में विवरण दिया गया है:

1. "अजीब" के दो प्रकार

लेखक बताते हैं कि मौजूदा अधिकांश उपकरण केवल यह कहते हैं, "हे, यह नंबर अजीब है!" वे यह नहीं बताते कि क्यों। यह पेपर "अजीब" को दो अलग श्रेणियों में विभाजित करता है:

मापन विसंगति (टूटा हुआ रूलर/पैमाना): कल्पना कीजिए कि आप एक मेज को माप रहे हैं। मेज बिल्कुल सामान्य है, लेकिन आपका रूलर मुड़ा हुआ है, इसलिए आप गलत नंबर लिख रहे हैं। "सच्चाई" नहीं बदली है; केवल उसे रिकॉर्ड करने का तरीका बदला है। फैक्ट्री में, यह एक सेंसर की खराबी जैसा है।
यांत्रिक विसंगति (टूटी हुई मशीन): कल्पना कीजिए कि मेज खुद टेढ़ी हो गई है क्योंकि लकड़ी गीली थी। आपका रूलर एकदम सही है, लेकिन जिस वस्तु को मापा जा रहा है वह वास्तव में बदल गई है। फैक्ट्री में, यह एक वास्तविक प्रक्रियात्मक विफलता है, जैसे किसी वाल्व का अटक जाना या रासायनिक प्रतिक्रिया का बिगड़ जाना।

यह क्यों मायने रखता है? यदि आपके पास टूटा हुआ रूलर है, तो आप बस सेंसर ठीक करते हैं। यदि आपके पास टेढ़ी मेज है, तो आपको मशीन रोकनी होगी और प्रक्रिया को ठीक करना होगा। दोनों को मिला देने से समय और पैसा बर्बाद होता है।

2. जासूस का नक्शा (Causal DAG)

इसे हल करने के लिए, CALI एक "नक्शे" का उपयोग करता है कि चीजें एक-दूसरे को कैसे प्रभावित करती हैं। इसे कारण-और-प्रभाव (cause-and-effect) के फ्लोचार्ट के रूप में समझें।

उदाहरण: बारिश $\rightarrow$ गीली घास $\rightarrow$ फिसलन भरी सड़क।

यदि सड़क फिसलन भरी है, तो क्या यह इसलिए है कि:

सड़क को मापने वाला सेंसर खराब है (मापन)?
वास्तव में बारिश हुई थी (यांत्रिक)?

CALI पूरे नक्शे को देखता है। यदि घास सूखी है लेकिन सड़क कह रही है कि वह फिसलन भरी है, तो CALI जानता है कि सड़क का सेंसर झूठ बोल रहा है (मापन)। यदि घास गीली है और सड़क फिसलन भरी है, तो बारिश ने इसे पैदा किया है (यांत्रिक)।

3. CALI कैसे काम करता है ( "क्या होगा अगर?" का खेल)

यह टूल केवल अनुमान नहीं लगाता; यह Interventions नामक एक अवधारणा का उपयोग करके "क्या होगा अगर?" का खेल खेलता है।

सेटअप: यह सीखता है कि सिस्टम आमतौर पर कैसे व्यवहार करता है ("साफ" प्रक्रिया)।
परीक्षण: जब यह एक अजीब डेटा पॉइंट देखता है, तो यह पूछता है: "यदि मैं यह मान लूँ कि यह विशिष्ट सेंसर खराब है, तो क्या बाकी डेटा समझ में आता है?" या "यदि मैं यह मान लूँ कि मशीन की प्रक्रिया यहाँ बदल गई है, तो क्या बाकी डेटा समझ में आता है?"
विजेता: यह उस स्पष्टीकरण को चुनता है जिसमें सबसे कम धारणाओं की आवश्यकता होती है (एक सिद्धांत जिसे "Sparse Mechanism Shift" कहा जाता है)। यह इस विचार को प्राथमिकता देता है कि "एक सेंसर खराब हुआ" बजाय इसके कि "मशीन के तीन अलग-अलग हिस्से एक साथ बदल गए।"

4. परिणाम: एक सटीक जासूस

लेखकों ने दो प्रकार के डेटा पर CALI का परीक्षण किया:

नकली डेटा: उन्होंने कंप्यूटर सिमुलेशन बनाए जहाँ उन्हें पता था कि क्या टूटा हुआ था। CALI टूटे हुए हिस्से को खोजने और यह सही ढंग से पहचानने में अविश्वसनीय रूप से सटीक था कि यह एक सेंसर त्रुटि थी या एक मशीन त्रुटि।
वास्तविक डेटा: उन्होंने इसका परीक्षण किया:
- जैविक डेटा: कोशिकाओं में प्रोटीन इंटरेक्शन (Sachs dataset)।
- भौतिकी डेटा: एक नियंत्रित लाइट टनल प्रयोग (Causal Chambers)।
- टैक्सी डेटा: न्यूयॉर्क शहर की टैक्सी यात्राएं।

टैक्सी केस स्टडी:
लेखकों को कुछ वास्तव में अजीब टैक्सी यात्राएं मिलीं।

मापन त्रुटि: एक यात्रा जो 9 मील लंबी थी लेकिन उसमें केवल 1 मिनट लगा और लागत $2.50 आई। गणित मेल नहीं खा रहा था। CALI ने इसे सही ढंग से एक मापन त्रुटि के रूप में चिह्नित किया (दूरी या समय गलत दर्ज किया गया था)।
यांत्रिक विसंगति: एक यात्रा जिसकी लागत दूरी के बावजूद $52 फ्लैट थी। CALI ने महसूस किया कि यह कोई ग्लिच नहीं था; यह एक यांत्रिक परिवर्तन था (JFK हवाई अड्डे के लिए एक विशेष फ्लैट-रेट किराया)।

5. मुख्य निष्कर्ष

पेपर का दावा है कि CALI पहला ऐसा टूल है जो यह कर सकता है:

सटीक मूल कारण का स्थान (Locate) बता सके (कौन सा वेरिएबल समस्या है)।
समस्या के प्रकार को वर्गीकृत (Classify) कर सके (क्या यह एक खराब सेंसर है या एक खराब प्रक्रिया?)।
और यह सब बिना किसी अलग "साफ" डेटासेट की आवश्यकता के कर सके (यह इसे खुद ही बिखरे हुए डेटा से समझ लेता है)।

संक्षेप में, CALI आपको यह तय करने में मदद करता है कि आपको अपने सेंसर को कैलिब्रेट करना है या अपनी मशीन को ठीक करना है, जिससे गलत मरम्मत करने से बचा जा सके।

तकनीकी सारांश: मापन और यांत्रिक विसंगतियों का मूल कारण विश्लेषण (Root Cause Analysis)

समस्या विवरण

वास्तविक दुनिया के डेटासेट में अक्सर विसंगतियाँ (anomalies) होती हैं—ऐसे नमूने जो सामान्य से अलग प्रक्रियाओं द्वारा उत्पन्न होते हैं। जबकि मौजूदा रूट कॉज एनालिसिस (RCA) विधियाँ यह पहचानने का प्रयास करती हैं कि कौन सी विशेषताएँ एक विसंगति के लिए जिम्मेदार हैं, वे दो मौलिक रूप से भिन्न जनरेटिव प्रक्रियाओं के बीच अंतर करने में विफल रहती हैं:

मापन विसंगतियाँ (Measurement Anomalies): अंतर्निहित कारण प्रक्रिया सामान्य है, लेकिन एक या अधिक मान गलत तरीके से दर्ज किए गए हैं (जैसे, सेंसर की खराबी, डेटा प्रविष्टि त्रुटियाँ)।
यांत्रिक विसंगतियाँ (Mechanistic Anomalies): नमूना उत्पन्न करने वाली वास्तविक कारण प्रक्रिया वास्तव में बदल गई है (जैसे, भौतिक प्रक्रिया या सिस्टम डायनेमिक्स में बदलाव)।

इनके बीच अंतर करना व्यावहारिक अनुप्रयोगों के लिए महत्वपूर्ण है। एक मापन त्रुटि के लिए डेटा सुधार या सेंसर अंशांकन (recalibration) की आवश्यकता हो सकती है, जबकि एक यांत्रिक बदलाव के लिए स्वयं सिस्टम में हस्तक्षेप की आवश्यकता होती है। मौजूदा विधियाँ इस अंतर को धुंधला कर देती हैं, और अक्सर सभी आउटलेर्स (outliers) को देखे गए डेटा में विचलन मानकर उपचारित करती हैं, बिना लेटेंट कॉज़ल स्टेट (latent causal state) को मॉडल किए। इसके अलावा, कई दृष्टिकोण एक स्वच्छ प्रशिक्षण सेट (clean training set) मान लेते हैं, जबकि व्यवहार में, विसंगतियों को अक्सर एक दूषित डेटासेट के भीतर सीधे पहचानना आवश्यक होता है (unsupervised in-sample setting)।

कार्यप्रणाली

कॉज़ल फॉर्मलाइजेशन (Causal Formalization)

लेखक एक कॉज़ल फ्रेमवर्क प्रस्तावित करते हैं जो स्पष्ट रूप से दोनों प्रकार की विसंगतियों को एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) पर हस्तक्षेप (intervention) के रूप में मॉडल करता है।

चर (Variables): मॉडल लेटेंट कॉज़ल स्टेट वेरिएबल्स ( $X^*$ ) और उनके ऑब्जर्व्ड रीडआउट्स ( $X$ ) के बीच अंतर करता है।
विसंगति-मुक्त प्रक्रिया (Anomaly-Free Process): विसंगतियों की अनुपस्थिति में, $X^*_j = f_j(Pa^*_j, U_j)$ और $X_j = X^*_j$ होता है, जहाँ $f_j$ स्ट्रक्चरल असाइनमेंट है और $U_j$ स्वतंत्र शोर (noise) है।
यांत्रिक विसंगतियाँ (Mechanistic Anomalies): इन्हें लेटेंट वेरिएबल $X^*_j$ पर एक 'हार्ड इंटरवेंशन' के रूप में मॉडल किया गया है। स्ट्रक्चरल असाइनमेंट को एक एक्सोजेनस आउटलेयर वेरिएबल $O^{mech}_j$ द्वारा प्रतिस्थापित किया जाता है। यह विक्षोभ (perturbation) डाउनस्ट्रीम वेरिएबल्स तक फैलता है।
मापन विसंगतियाँ (Measurement Anomalies): इन्हें केवल ऑब्जर्व्ड वेरिएबल $X_j$ पर एक 'हार्ड इंटरवेंशन' के रूप में मॉडल किया गया है। लेटेंट स्टेट $X^*_j$ अपरिवर्तित रहता है, और विक्षोभ डाउनस्ट्रीम में नहीं फैलता है।
स्पार्स मैकेनिज्म शिफ्ट (Sparse Mechanism Shift - SMS): फ्रेमवर्क SMS परिकल्पना को अपनाता है, जो यह मानती है कि वे स्पष्टीकरण जिनमें कम एक साथ होने वाले मैकेनिज्म फेलियर की आवश्यकता होती है, उनके अधिक संभावित होने की संभावना है। यह सरल स्पष्टीकरणों (जैसे, एक एकल मापन त्रुटि) को जटिल संयुक्त मैकेनिज्म परिवर्तनों पर प्राथमिकता देने के लिए एक इंडक्टिव बायस (inductive bias) के रूप में कार्य करता है।

अनुमान और पहचान क्षमता (Inference and Identifiability)

इस समस्या को एक लेटेंट-वेरिएबल मैक्सिमम लाइकलीहुड एस्टीमेशन कार्य के रूप में प्रस्तुत किया गया है।

असाइनमेंट-कंडीशनल डेंसिटीज (Assignment-Conditional Densities): एक विशिष्ट असाइनमेंट (कौन से वेरिएबल्स पर हस्तक्षेप किया गया है और कैसे) के दिए गए होने पर नमूने की लाइकलीहुड (likelihood) व्युत्पन्न की जाती है। मापन विसंगतियों के लिए, इसमें अनऑब्जर्व्ड लेटेंट प्री-रिप्लेसमेंट वैल्यूज का मार्जिनलाइजेशन (marginalization) करना आवश्यक है।
पहचान क्षमता (Identifiability): पेपर उन स्थितियों को स्थापित करता है जिनमें रिड्यूस्ड इंटरवेंशन प्रोबेबिलिटीज को डेटा से पहचाना जा सकता है।
- नॉन-सिंक नोड्स (non-sink nodes) के लिए, यांत्रिक और मापन प्रोबेबिलिटीज को अलग-अलग पहचाना जा सकता है।
- सिंक नोड्स (sink nodes - वे वेरिएबल्स जिनका लेटेंट ग्राफ में कोई वंशज/descendant नहीं है) के लिए, किसी भी हस्तक्षेप (यांत्रिक या मापन) की प्रोबेबिलिटी ही अलग से पहचानी जा सकती है, क्योंकि दोनों प्रकार के हस्तक्षेप सिंक पर समान ऑब्जर्वेबल डिस्ट्रीब्यूशन उत्पन्न करते हैं।
- लीनियर गॉसियन SCMs और फिक्स्ड-डिग्री पॉलिनॉमियल गॉसियन SCMs के लिए जेनेरिक पहचान क्षमता सिद्ध की गई है।
ऑप्टिमाइजेशन (Optimization): चूंकि सभी संभावित विसंगति असाइनमेंटों पर सटीक मार्जिनलाइजेशन करना कम्प्यूटेशनल रूपिका से असंभव है (चरों की संख्या में घातीय/exponential), लेखक एक हार्ड-असाइनमेंट एप्रोक्सिमेशन पेश करते हैं। वे सभी असाइनमेंटों पर योग करने के बजाय सबसे संभावित एकल असाइनमेंट की लाइकलीहुड को अधिकतम करते हैं। यह तब उचित है जब आउटलेर्स इतने मजबूत हों कि वे अलग-अलग असाइनमेंट-कंडीशनल डेंसिटीज को प्रेरित करें।

CALI एल्गोरिदम

लेखक CALI (Causal Anomaly Localization and Inspection) विकसित करते हैं, जो एक व्यावहारिक एल्गोरिदम है:

क्लीन मॉडल का अनुमान लगाना: यह दूषित डेटा से स्वच्छ SCM और नॉइज़ डिस्ट्रीबशन्स को सीखने के लिए रोबस्ट रिग्रेशन (जनरलाइज्ड एडिटिव मॉडल्स के साथ क्वांटाइल रिग्रेशन) और ट्रिम्ड कर्नेल डेंसिटी एस्टीमेशन का उपयोग करता है।
ग्रीडी असाइनमेंट (Greedy Assignment): प्रत्येक नमूने के लिए विसंगति असाइनमेंट को पुनरावृत्ति (iteratively) से अपडेट करता है। यह उन उम्मीदवारों को प्राथमिकता देता है जिनकी क्लीन डेंसिटी के तहत रेसिडुअल लाइकलीहुड कम होती है, और एक हस्तक्षेप को तभी स्वीकार करता है जब लाइकलीहुड में लाभ स्पैरसिटी कॉस्ट (आउटलेयर जोड़ने के दंड) से अधिक हो।
आउटपुट: यह रूट कॉज और उनके प्रकारों (मापन बनाम यांत्रिक) की पहचान करने वाला एक डिस्क्रीट असाइनमेंट और कॉन्फिडेंस स्कोर प्रदान करता है।

मुख्य योगदान

औपचारिक कॉज़ल मॉडल: एक कॉज़ल फ्रेमवर्क के भीतर मापन और यांत्रिक विसंगतियों की पहली औपचारिक परिभाषा, जो उन्हें लेटेंट और ऑब्जर्व्ड वेरिएबल्स पर अलग-अलग हस्तक्षेप के रूप में मानती है।
पहचान क्षमता लक्षण वर्णन (Identifiability Characterization): उन शर्तों का सैद्धांतिक लक्षण वर्णन कि कब डेटा से रिड्यूस्ड इंटरवेंशन प्रोबेबिलिटीज को प्राप्त किया जा सकता है, विशेष रूप से सिंक नोड्स पर विसंगति प्रकारों की अविभेद्यता को संबोधित करते हुए।
व्यावहारिक एल्गोरिदम (CALI): एक कुशल अनुमान प्रक्रिया जो अनसुपरवाइज्ड, इन-सैंपल सेटिंग में रूट कॉज लोकलाइजेशन और विसंगति प्रकारों के वर्गीकरण में अत्याधुनिक प्रदर्शन प्राप्त करती है।

प्रयोगात्मक परिणाम

लेखक सिंथेटिक डेटा और वास्तविक दुनिया के बेंचमार्क (Sachs प्रोटीन सिग्नलिंग, Causal Chambers, और NYC Taxi डेटा) पर CALI का मूल्यांकन करते हैं।

रूट कॉज लोकलाइजेशन: CALI सिंथेटिक डेटा पर स्टेट-ऑफ-द-आर्ट Top-k रिकॉल प्राप्त करता है, जो एक ओरकल एग्जॉस्टिव सर्च (OPT*) के प्रदर्शन के करीब है। वास्तविक दुनिया के डेटासेट पर, यह मौजूदा RCA विधियों (जिसमें SCM-आधारित एट्रिब्यूशन, SMTR, SCOR, और AE+SHAP शामिल हैं) को पछाड़ देता है, विशेष रूप से मध्यम से मजबूत आउटलेयर स्ट्रेंथ के तहत।
विसंगति प्रकार वर्गीकरण: CALI मापन और यांत्रिक विसंगतियों के बीच अंतर करने में बेसलाइन्स (जैसे MARG, जो मार्जिनल आउटलेयरनेस का उपयोग करता है) की तुलना में काफी बेहतर प्रदर्शन करता है। यह कमजोर आउटलेर्स के साथ भी उच्च सटीकता बनाए रखता है जहाँ अन्य विधियाँ संघर्ष करती हैं।
मजबूती (Robustness): विधि धारणाओं के उल्लंघन के प्रति मजबूत है, जिसमें सहसंबद्ध रूट कॉज, सॉफ्ट इंटरवेंशन, DAG मिसस्पेसिफिकेशन, कन्फाउंडिंग और हेटेरोसेडास्टिक नॉइज़ शामिल हैं।
केस स्टडी: NYC Taxi डेटासेट पर, CALI ने सफल रूप से प्रशंसनीय मापन त्रुटियों (जैसे असंभव यात्रा दूरी बनाम किराया) और यांत्रिक बदलावों (जैसे विशिष्ट फ्लैट-फेयर प्राइसिंग नियम) की पहचान की, जो कार्रवाई योग्य अंतर्दृष्टि प्रदर्शित करता है।

महत्व और दावे

पेपर का दावा है कि मापन त्रुटियों और यांत्रिक बदलावों के बीच अंतर करना विसंगति विश्लेषण में एक महत्वपूर्ण, पहले से अनदेखा किया गया अंतर है। इन दोनों को अलग-अलग कॉज़ल इंटरवेंशन के रूप में मॉडल करके, प्रस्तावित विधि अधिक उपयुक्त सुधार रणनीतियों (जैसे सेंसर को ठीक करना बनाम प्रक्रिया को ठीक करना) को सक्षम बनाती है।

लेखक अपनी सीमाओं के संबंध में विनम्र हैं:

इसके लिए ज्ञात या सीखा गया DAG आवश्यक है; यदि कॉज़ल स्ट्रक्चर गंभीर रूप से मिसस्पेसिफाइड है तो प्रदर्शन घट जाता है।
यह मानता है कि विसंगतियाँ दुर्लभ हैं और "स्वच्छ" प्रक्रिया डेटा पर हावी है।
अत्यंत बड़े बदलावों के लिए, सरल मार्जिनल विधियाँ प्रतिस्पर्धी हो सकती हैं, क्योंकि मॉडल ऐसे डेंसिटी एस्टीमेट्स पर निर्भर करता है जो खराब एक्सट्रपलेशन कर सकते हैं।
वर्तमान में यह विधि टैबुलर डेटा तक सीमित है।

लेखक CALI को एक स्वचालित निर्णय लेने वाले के बजाय एक निर्णय-सहायता उपकरण (decision-support tool) के रूप में प्रस्तुत करते हैं, यह नोट करते हुए कि इसके निष्कर्ष अनुमानित कॉज़ल ग्राफ और मॉडलिंग धारणाओं की वैधता पर निर्भर करते हैं। वे सुझाव देते हैं कि भविष्य के कार्य दूषित डेटा में कॉज़ल डिस्कवरी को बेहतर बनाने के लिए विसंगतियों की संरचना का लाभ उठा सकते हैं।