💻 computer science

What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule

यह शोध पत्र एक निर्णय-नियम-मुक्त (decision-rule-free) मूल्यांकन ढांचे का प्रस्ताव करता है जो एक डिटेक्टर की भौतिक प्रक्रियाओं को निरूपित करने की क्षमता को उसके थ्रेशोल्ड अंशांकन (threshold calibration) से अलग करता है, जिससे यह प्रकट होता है कि पारंपरिक मेट्रिक्स जैसे कि ROC-AUC, विभिन्न साइबर-भौतिक प्रणाली बेंचमार्क और विसंगति डिटेक्टरों के बीच प्रदर्शन की महत्वपूर्ण असमानताओं और विविध विफलता मोडों को छिपा सकते हैं।

मूल लेखक: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

प्रकाशित 2026-08-05

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, उच्च-तकनीकी कारखाने में एक सुरक्षा गार्ड हैं जहाँ रोबोट कारें बनाते हैं और रसायनों का मिश्रण करते हैं। आपका काम असेंबली लाइन पर होने वाली किसी भी अजीब गतिविधि को पकड़ना है। यदि कोई रोबोटिक हाथ बहुत तेज़ चलने लगे या कोई वाल्व तब खुले जब उसे नहीं खुलना चाहिए, तो आपको तुरंत पता चलना चाहिए। विज्ञान की दुनिया में, इसे साइबर-फिजिकल सिस्टम (CPS) कहा जाता है। यह वह जगह है जहाँ कंप्यूटर कोड वास्तविक, भौतिक दुनिया से मिलता है। लेकिन यहाँ एक पेचीदा बात है: कभी-कभी कारखाने का बस एक "बुरा दिन" होता है। मशीनें कंपन करती हैं, तापमान ऊपर-नीचे होता है, और सेंसर थोड़े अस्थिर हो जाते हैं। आप एक मामूली गड़बड़ी और किसी चालाक हैकर के बीच अंतर कैसे करेंगे जो सब कुछ उड़ाने की कोशिश कर रहा है?

लंबे समय तक, वैज्ञानिकों ने इसे "विसंगति पहचानकर्ताओं" (anomaly detectors) को बनाने के माध्यम से हल करने की कोशिश की है। इन्हें ऐसे समझें जैसे ये सुपर-स्मार्ट कैमरे हैं जो कारखाने पर नज़र रखते हैं। वे सीखते हैं कि "सामान्य" क्या दिखता है, और फिर वे "अलार्म!" चिल्लाते हैं यदि कुछ अलग दिखाई देता है। लेकिन एक समस्या है कि हम इन कैमरों का परीक्षण कैसे करते हैं। आमतौर पर, हम केवल अंतिम परिणाम देखते हैं: क्या अलार्म बजा? क्या उन्होंने कुछ मिस किया? यह एक छात्र को केवल इस आधार पर ग्रेड देने जैसा है कि उसने हाथ उठाया या नहीं, बिना यह जांचे कि क्या उसने वास्तव में प्रश्न समझा भी था या नहीं। यह शोध पत्र तर्क देता है कि हमें चिल्लाने के नियमों के कारण भ्रमित होने से पहले, हमें यह देखना चाहिए कि कैमरे ने वास्तव में क्या "देखा" था।

दो चरणों वाला जासूस

इस शोध पत्र के लेखकों ने, जो यूनिवर्सिटी ऑफ नॉर्थ कैरोलिना एट चार्लोट की एक टीम है, निर्णयरों (detectors) को केवल उनके अंतिम "चिल्लाने" (अलार्म) के आधार पर ग्रेड देना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने प्रत्येक डिटेक्टर को एक दो-चरणीय प्रक्रिया के रूप में माना, जैसे कि एक जासूस अपराध सुलझा रहा हो।

चरण 1: साक्ष्य संग्रहकर्ता (The Evidence Collector)।
कल्पना कीजिए कि एक जासूस अपराध स्थल को देख रहा है। वे तुरंत "अपराधी!" चिल्लाते नहीं हैं। पहले वे सुराग इकट्ठा करते हैं। वे जूतों पर लगी कीचड़, कमरे का तापमान और घड़ी का समय मापते हैं। शोध पत्र की भाषा में, यह रेसिड्यूअल रिप्रेजेंटेशन (residual representation) है। डिटेक्टर कारखाने के डेटा को लेता है और "क्या हुआ" और "क्या होना चाहिए था" के बीच के "अंतर" की गणना करता है। यदि रोबोटिक हाथ 5 इंच चला लेकिन कंप्यूटर ने 4 इंच की उम्मीद की थी, तो "रेसिड्यूअल" (अंतर) 1 इंच है। यह चरण पूरी तरह से कच्चे साक्ष्य इकट्ठा करने के बारे में है।

चरण 2: निर्णय निर्माता (The Decision Maker)।
एक बार जब जासूस के पास सुराग होते हैं, तो उन्हें निर्णय लेना होता है: क्या यह एक अपराध है? शायद उनके पास एक नियम हो जैसे, "यदि कीचड़ 2 इंच से अधिक है, तो पुलिस को बुलाएं।" यह एक अलार्म नियम (alarm rule) है। यह एक थ्रेशोल्ड (सीमा) है। यदि अंतर पर्याप्त बड़ा है, तो आप चिल्लाते हैं; यदि यह छोटा है, तो आप इसे अनदेखा करते हैं।

शोध पत्र जिस बड़ी समस्या की ओर इशारा करता है वह यह है कि अधिकांश वैज्ञानिक केवल चरण 2 के अंतिम परिणाम को देखते हैं। वे कहते हैं, "ओह, डिटेक्टर A की सफलता दर 90% थी, और डिटेक्टर B की 80% थी।" लेकिन यह यह कहने जैसा है कि दो जासूस समान रूप से अच्छे हैं क्योंकि उन्होंने अपराधियों की समान संख्या पकड़ी, बिना यह पूछे कि उन्होंने उन्हें कैसे खोजा। हो सकता है कि डिटेक्टर A के पास अद्भुत सुराग थे लेकिन पुलिस बुलाने के लिए उसका नियम बहुत खराब था। हो सकता है कि डिटेक्टर B के पास भयानक सुराग थे लेकिन वह चिल्लाने के लिए कम सीमा के कारण भाग्यशाली रहा।

देखने का नया तरीका: "ऊर्जा" मीटर

इसे ठीक करने के लिए, लेखकों ने डिटेक्टरों को मापने का एक नया तरीका ईजाद किया। उन्होंने नॉर्मलाइज्ड रेसिड्यूअल एनर्जी (Normalized Residual Energy) नामक एक उपकरण बनाया।

इसे एक "अजीबता मीटर" की तरह समझें। केवल यह पूछने के बजाय कि "क्या आपने चिल्लाया?", वे पूछते हैं, "चिल्लाने का निर्णय लेने से पहले साक्ष्य कितने अजीब दिखे थे?" वे वास्तविक दुनिया और अपेक्षित दुनिया के बीच के अंतर की "ऊर्जा" को मापते हैं। यदि कारखाना सामान्य रूप से काम कर रहा है, तो ऊर्जा कम होती है। यदि कोई हैकर वाल्वों के साथ छेड़छाड़ कर रहा है, तो ऊर्जा में उछाल आता है।

इस मीटर की खास बात यह है कि इसे "चिल्लाने के नियम" की परवाह नहीं है। यह केवल कच्चे साक्ष्य को मापता है। लेखकों ने पाया कि इस ऊर्जा मीटर का कुलबैक-लीब्लर (KL) डाइवर्जेंस (Kullback–Leibler divergence) नामक गणितीय अवधारणा के साथ एक विशेष संबंध है। सरल शब्दों में, यह दो चीजों के बीच के अंतर को मापने का एक तरीका है। यह मापने जैसा है कि एक "सामान्य" कारखाने का दिन एक "हैक किए गए" कारखाने के दिन से कितना अलग सुनाई देता है। इस ऊर्जा मीटर का उपयोग करके, लेखक निर्णय नियमों के शोर के बिना साक्ष्य की "सच्चाई" देख सके।

उन्होंने क्या पाया: महान जासूस अदला-बदली

टीम ने तीन प्रसिद्ध फैक्ट्री टेस्टबेड्स (SWaT, WADI, और HAI) पर पांच अलग-अलग प्रकार के डिटेक्टरों (जैसे GDN, FuSAGNet, TranAD, और अन्य) का परीक्षण किया। ये एक वीडियो गेम के विभिन्न "लेवल" की तरह हैं, जिनमें से प्रत्येक का अपना लेआउट और हमलों के प्रकार हैं।

यहाँ उनकी खोजें हैं, जो काफी आश्चर्यजनक हैं:

"स्कोर" का झूठ: दो डिटेक्टरों का अंतिम स्कोर (जैसे F1 स्कोर या ROC-AUC) लगभग समान हो सकता है, लेकिन जब आप कच्चे साक्ष्य को देखते हैं, तो वे पूरी तरह से अलग होते हैं। एक के पास बेहतरीन साक्ष्य हो सकते हैं लेकिन पुलिस बुलाने के लिए एक बुरा नियम हो सकता है, जबकि दूसरे के पास कमजोर साक्ष्य लेकिन एक भाग्यशाली नियम हो सकता। शोध पत्र ने दिखाया कि SWaT टेस्टबेड पर, समान समग्र रैंकिंग वाले डिटेक्टरों की अलार्म सफलता दर एक मानक नियम का उपयोग करने पर दस गुना से अधिक (एक ऑर्डर ऑफ मैग्नीट्यूड) भिन्न हो सकती है!
"एक ही आकार सबके लिए" का मिथक: आप सोच सकते हैं कि जो डिटेक्टर लेवल 1 (SWaT) में अच्छा है, वह लेवल 2 (WADI) में भी अच्छा होगा। लेखकों ने पाया कि यह सच नहीं है। TranAD नाम का एक डिटेक्टर HAI टेस्टबेड पर शीर्ष प्रदर्शन करने वाला था लेकिन SWaT पर सबसे निचले स्थान पर आया। वहीं, NSIBF WADI का राजा था लेकिन HAI का लूजर। यह स्पष्ट है कि अलग-अलग कारखानों को अलग-अलग तरह की आँखों की आवश्यकता होती है।
"डाइल्यूशन" (पतला होने) की समस्या: कुछ डिटेक्टर एक ही समय में पूरे कारखाने को देखते हैं, सारा डेटा एक साथ मिला देते हैं। लेखकों ने पाया कि WADI टेस्टबेड पर, यह एक बुरा विचार था। यदि कोई हैकर एक विशाल प्लांट में केवल एक छोटे से वाल्व के साथ छेड़छाड़ करता है, और डिटेक्टर पूरे प्लांट को देखता है, तो वह छोटा संकेत पूरे कारखाने के बाकी सामान्य, उबाऊ डेटा द्वारा "डाइल्यूट" (पतला) हो जाता है। वह संकेत शोर में खो जाता है। लेकिन जो डिटेक्टर कारखाने के छोटे, विशिष्ट हिस्सों (जैसे केवल सेंसर) को देखते थे, वे हमले को स्पष्ट रूप से देख सके।
"ड्रिफ्ट" (विचलन) का जाल: कभी-कभी, एक डिटेक्टर हमले को इसलिए मिस कर देता है क्योंकि वह बुरा नहीं है, बल्कि इसलिए क्योंकि कारखाना बदल गया है। यदि परीक्षण के दौरान कारखाना प्रशिक्षण के दौरान की तुलना में थोड़ा अलग चलता है (जैसे मशीन का गर्म होना), तो "सामान्य" बेसलाइन शिफ्ट हो जाती है। लेखकों ने पाया कि कुछ डिटेक्टर इसलिए विफल हो रहे थे क्योंकि उनका "सामान्य" संदर्भ भटक (drift) रहा था, जिससे हमले सामान्य शोर की तरह दिखने लगे।

यह क्यों महत्वपूर्ण है

यह शोध पत्र केवल यह नहीं कहता कि "डिटेक्टर X बेहतर है।" यह डॉक्टरों के लिए नैदानिक उपकरण (diagnostic tool) की तरह कार्य करता है। यदि कोई मरीज (डिटेक्टर) बीमार है, तो आप केवल यह नहीं कहते कि "वे बीमार हैं।" आपको यह जानने की आवश्यकता है कि क्यों। क्या समस्या यह है कि आँखें (चरण 1) बीमारी को नहीं देख पा रही हैं? क्या समस्या यह है कि मस्तिष्क (चरण 2) प्रतिक्रिया देने में बहुत धीमा है? या क्या समस्या यह है कि मरीज का शरीर इतना बदल गया है कि पुराने मेडिकल चार्ट अब काम नहीं कर रहे हैं?

"साक्ष्य एकत्र करने" को "निर्णय लेने" से अलग करके, लेखकों ने दिखाया कि एक विफल अलार्म कई कारणों से हो सकता है:

कमजोर साक्ष्य: डिटेक्टर हमले को देख ही नहीं सका।
खराब थ्रेशोल्ड: डिटेक्टर ने हमला देखा लेकिन अलार्म की सीमा बहुत ऊँची रखी।
ड्रिफ्ट: कारखाना बदल गया, और डिटेक्टर की "सामान्य" स्मृति पुरानी हो गई।
डाइल्यूशन: हमला बहुत छोटा था और बड़े परिदृश्य में खो गया।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि हमें साइबर-सुरक्षा डिटेक्टरों को केवल उनके अंतिम अलार्म बेलों से आंकना बंद करना चाहिए। इसके बजाय, हमें "रेसिड्यूअल एनर्जी" को देखना चाहिए—वह कच्चा, बिना छना हुआ साक्ष्य जो वे एकत्र करते हैं। लेखकों ने दिखाया कि जब आप ऐसा करते हैं, तो डिटेक्टरों की रैंकिंग पूरी तरह से बदल जाती है, और आप अंततः समझ सकते हैं कि कोई डिटेक्टर क्यों विफल हुआ। यह केवल "अलार्म" गिनने से बढ़कर मशीन के "दृष्टिकोण" (vision) को समझने की ओर एक कदम है।

इस अध्ययन ने पुरस्कार जीतने के लिए कोई नया डिटेक्टर नहीं बनाया; इसने हमारे पास मौजूद डिटेक्टरों को ग्रेड करने का एक नया तरीका बनाया। और जो ग्रेड उन्होंने दिया वह स्पष्ट है: यदि आप जानना चाहते हैं कि क्या कोई डिटेक्टर वास्तव में अच्छा है, तो आपको यह देखना होगा कि चिल्लाने का निर्णय लेने से पहले वह क्या देखता है।

तकनीकी सारांश: निर्णय नियम (Decision Rule) से स्वतंत्र रूप से CPS विसंगति डिटेक्टरों का मूल्यांकन करना

1. समस्या विवरण

साइबर-फिजिकल सिस्टम्स (CPS) सेंसर और एक्चुएटर टेलीमेट्री के प्रतिकूल हेरफेर (adversarial manipulation) के विरुद्ध अंतिम रक्षा पंक्ति के रूप में विसंगति डिटेक्टरों (anomaly detectors) पर निर्भर करते हैं। हालाँकि, इन डिटेक्टरों का मानक मूल्यांकन दोषपूर्ण है क्योंकि यह दो अलग-अलग घटकों को मिला देता है:

चरण 1 (प्रतिनिधित्व - Representation): अवलोकनों (observations) को एक अवशेष संकेत (residual signal) में मैप करना (जैसे, भविष्यवाणी त्रुटियां, पुनर्निर्माण त्रुटियां, या इनवेरिएंट उल्लंघन) जो देखे गए व्यवहार और अपेक्षित सामान्य व्यवहार के बीच के अंतर को दर्शाता है।
चरण 2 (निर्णय नियम - Decision Rule): थ्रेशोल्ड, स्मूथिंग, या अनुक्रमिक परीक्षणों (जैसे, CUSUM) के माध्यम से अवशेषों (residuals) को बाइनरी अलार्म में मैप करना।

वर्तमान बेंचमार्क आमतौर पर एक एकल ऑपरेटिंग पॉइंट पर प्रिसिजन (precision), रिकॉल (recall), और F1 स्कोर रिपोर्ट करते हैं। ये मेट्रिक्स अवशेष प्रतिनिधित्व की गुणवत्ता को निर्णय नियम के अंशांकन (calibration) के साथ मिला देते हैं। फलस्वरूप, एक कम F1 स्कोर यह अंतर नहीं कर सकता कि एक मिस किया गया हमला किसके कारण हुआ:

कमजोर अवशेष साक्ष्य (हमला मॉडल के लिए अदृश्य है)।
ट्रेन-टेस्ट ड्रिफ्ट (प्रशिक्षण और परीक्षण के बीच सामान्य वितरण बदल गया)।
आयामी तनुकरण (Dimensional dilution) (सभी चैनलों में साक्ष्य को एकत्रित करने पर स्थानीयकृत हमले छिप जाते हैं)।
खराब थ्रेशोल्ड अंशांकन (साक्ष्य मौजूद है लेकिन अलार्म नियम उसे निकालने में विफल रहता है)।

यह समस्या विषम डिटेक्टरों (जैसे, ग्राफ प्रेडिक्टर्स बनाम इनवेरिएंट चेकर्स) की तुलना को और जटिल बना देती है जिनके अवशेष अलग-अलग स्पेस में होते हैं और स्वतंत्र रूप से ट्यून किए गए निर्णय नियमों के साथ जोड़े जाते हैं।

2. कार्यप्रणाली

लेखक एक निर्णय-नियम-मुक्त मूल्यांकन ढांचे (decision-rule-free evaluation framework) का प्रस्ताव करते हैं जो एक CPS विसंगति डिटेक्टर को दो-चरणीय पाइपलाइन के रूप में मानता है और सीधे चरण 1 का मूल्यांकन करता है।

द्वि-चरणीय अपघटन (The Two-Stage Decomposition)

चरण 1 ( $\phi$ ): अवलोकनों की एक विंडो को एक अवशेष वेक्टर $r_t$ में मैप करता है।
चरण 2 ( $\pi$ ): अवशेषों को अलार्म $a_t$ में मैप करता है।
ढांचा किसी भी अलार्म नियम को लागू करने से पहले $\phi$ को मूल्यांकन के लिए अलग करता है।

अवशेष सूचना-ऊर्जा ढांचा (The Residual Information-Energy Framework)

मुख्य मीट्रिक सामान्यीकृत अवशेष ऊर्जा (Normalized Residual Energy) ( $e_t$ ) है, जिसे प्रशिक्षित-सामान्य संदर्भ से माहालेनोबिस दूरी (Mahalanobis distance) के वर्ग के रूप में परिभाषित किया गया है, जिसे आधे से स्केल किया गया है:
$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$
जहाँ $\mu_0$ और $S_0$ हमले-मुक्त प्रशिक्षण डेटा से अनुमानित अवशेष वितरण का माध्य और सहप्रसरण (covariance) हैं।

सैद्धांतिक आधार:
एक मोमेंट-मैच्ड गॉसियन दृष्टिकोण के तहत, इस ऊर्जा की अपेक्षा का कुलबैक-लीब्लर (KL) डाइवर्जेंस के साथ एक सटीक संबंध है। विशेष रूप से:
$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$
यह पहचान ऊर्जा पैमाने को एक साथ मापने की अनुमति देती है:

हमला पृथक्करण (Attack Separation): हमला वितरण सामान्य से कितनी अच्छी तरह अलग होता है।
ट्रेन-टेस्ट ड्रिफ्ट: सामान्य वितरण कितना स्थानांतरित हुआ है।
अवशेष स्थान संरचना (Residual Space Structure): प्रतिनिधित्व की सघनता (compactness)।

मूल्यांकन मेट्रिक्स

ढांचा ऊर्जा स्ट्रीम से कई नैदानिक मेट्रिक्स व्युत्पन्न करता है:

रैंक मेट्रिक्स: ROC-AUC और pAUC@1% (कम फॉल्स-अलार्म दरों पर ध्यान केंद्रित करते हुए) जो पॉइंट-लेवल पृथक्करण को मापते हैं।
हमला-विंडो ऊर्जा: एकीकृत KL अनुमान ( $D_{FULL}$ ) और संभावना ( $P_{FULL}$ ) कि एक हमला विंडो एक अवधि-मैच्ड सामान्य विंडो पर हावी होगी।
ड्रिफ्ट डायग्नोस्टिक्स: ट्रेन-टेस्ट ड्रिफ्ट ( $D_{drift}$ ) और ड्रिफ्ट-सुधारित साक्ष्य ( $D_{eff}$ ) ताकि हमले के संकेतों को सामान्य वितरण के बदलावों से अलग किया जा सके।
सघनता (Compactness): प्रभावी आयाम ( $p_{eff}$ ) का नाममात्र आयाम ( $p$ ) के साथ अनुपात, जो यह दर्शाता है कि अवशेष स्थान का कितना उपयोग किया गया है।
नियंत्रित चरण-2 प्रोब: प्रशिक्षण-सामान्य ऊर्जा के 99वें पर्सेंटाइल पर एक निश्चित थ्रेशोल्ड का उपयोग केवल यह देखने के लिए एक प्रोब के रूप में किया जाता है कि एक साझा नियम कितना साक्ष्य निकाल सकता है, न कि प्राथमिक रैंकिंग मीट्रिक के रूप में ( $F1@p99$ )।

3. प्रयोगात्मक सेटअप

इस ढांचे को बिना किसी प्रति-डिटेक्टर ट्यूनिंग के पाँच डिटेक्टरों पर तीन CPS बेंचमार्क पर समान रूप से लागू किया गया:

डिटेक्टर: GDN, FuSAGNet, TranAD (ग्राफ/ट्रांसफॉर्मर प्रेडिक्टर्स), NSIBF (ऑब्जर्वर-आधारित), और GeCo (बीजगणितीय इनवेरिएंट्स)।
बेंचमार्क: SWaT (वॉटर ट्रीटमेंट), WADI (बड़ा वॉटर डिस्ट्रीब्यूशन), और HAI (पावर/बॉयलर)।
प्रोटोकॉल: डिटेक्टरों को हमले-मुक्त डेटा पर प्रशिक्षित किया गया और लेबल किए गए हमले के ट्रेसेस पर मूल्यांकन किया गया। सामान्य संदर्भ का अनुमान लगाने और ऊर्जा मेट्रिक्स की गणना करने के लिए एक निश्चित प्रोटोकॉल (Ledoit–Wolf shrinkage covariance) का उपयोग किया गया।

4. मुख्य परिणाम और निष्कर्ष

अध्ययन विफलता के कारणों के संबंध में चार नैदानिक अनुसंधान प्रश्नों (RQs) का उत्तर देता है:

RQ1: क्या अलार्म नियम से पहले हमले का साक्ष्य मौजूद है?

निष्कर्ष: समान ROC-AUC मान अलार्म प्रदर्शन में परिमाण के क्रम (order-of-magnitude) के अंतर को छिपा सकते हैं। उदाहरण के लिए, SWaT पर, TranAD का ROC-AUC 0.750 था लेकिन $F1@p99$ केवल 0.025 था, जबकि अन्य डिटेक्टरों ने समान ROC-AUC के साथ बहुत अधिक F1 प्राप्त किया। यह इंगित करता है कि अवशेष प्रतिनिधित्व में रैंकिंग जानकारी थी, लेकिन पृथक्करण कमजोर था।

RQ2: क्या सामान्य अवशेष संदर्भ स्थिर है?

निष्कर्ष: ट्रेन-टेस्ट ड्रिफ्ट विफलता का एक प्रमुख स्रोत है। समान हमले रैंकिंग वाले डिटेक्टरों ने बहुत अलग ड्रिफ्ट मान प्रदर्शित किए। उदाहरण के लिए, SWaT पर, GDN ने भारी ड्रिफ्ट ( $1.9 \times 10^5$ ) दिखाया, जबकि NSIBF ने न्यूनतम ड्रिफ्ट ( $6.2 \times 10^2$ ) दिखाया। उच्च ड्रिफ्ट उपलब्ध मार्जिन को कम कर देता है, जिससे मिस किए गए अलार्मों की व्याख्या होती है, भले ही मॉडल "सही" हो।

RQ3: क्या साक्ष्य अवशेष स्थान में व्यक्त है या पतला (diluted) हो गया है?

निष्कर्ष: अवशेष स्थान का चुनाव तय करता है कि कौन से हमले दृश्यमान हैं। WADI पर, स्थानीयकृत हमलों को NSIBF द्वारा सफलतापूर्वक पकड़ा गया (जो एक सेंसर-इनोवेशन सबस्पेस को स्कोर करता है), लेकिन पूर्ण-अवलोकन डिटेक्टरों द्वारा मिस कर दिया गया। सभी चैनलों में साक्ष्य को एकत्रित करने से स्थानीयकृत सिग्नल का तनुकरण (dilution) हो गया। यह समझाता है कि क्यों रैंकिंग टेस्टबेड के अनुसार बदल जाती है: NSIBF ने WADI पर प्रथम स्थान प्राप्त किया लेकिन HAI पर अंतिम, जबकि TranAD ने HAI पर प्रथम और SWaT पर अंतिम स्थान प्राप्त किया।

RQ4: क्या चरण-2 नियम उपलब्ध साक्ष्य को निकालता है?

निष्कर्ष: एक नियंत्रित चरण-2 प्रोब ने खुलासा किया कि समान मिस किए गए अलार्म अलग-अलग कारणों से हो सकते हैं। कुछ विफलताएं कमजोर अवशेष साक्ष्य के कारण थीं (हमला अवशेष को मुश्किल से हिलाता है), कुछ ड्रिफ्ट-प्रधान साक्ष्य के कारण थीं (हमला ऊर्जा < ड्रिफ्ट), और कुछ थ्रेशोल्ड निष्कर्षण विफलताओं के कारण थीं (साक्ष्य मौजूद है लेकिन निश्चित थ्रेशोल्ड उसे मिस कर देता है)।

5. महत्व और योगदान

यह पेपर चार मुख्य योगदानों का दावा करता है:

निर्णय-नियम-स्वतंत्र मूल्यांकन वस्तु: यह अलार्म नियम से अलग चरण-1 अवशेष प्रतिनिधित्व के मूल्यांकन को औपचारिक बनाता है, जिससे शोधकर्ता यह पूछ सकते हैं कि क्या अलार्म नियम या स्मूथिंग लागू करने से पहले हमले का साक्ष्य मौजूद है।
अवशेष सूचना-ऊर्जा पैमाना: यह एक सामान्यीकृत अवशेष ऊर्जा मीट्रिक पेश करता है जिसका सटीक KL-डाइवर्जेंस इंटरप्रिटेशन है, जो विभिन्न अवशेष स्थानों में विषम डिटेक्टरों (ग्राफ, ट्रांसफॉर्मर, ऑब्जर्वर, इनवेरिएंट) की तुलना करने के लिए एक सामान्य पैमाना प्रदान करता है।
विफलता-आरोपण निदान (Failure-Attribution Diagnostics): यह विशिष्ट विफलता मोड के बीच अंतर करने के लिए मीट्रिक्स का एक समूह प्रदान करता है: कमजोर साक्ष्य, संदर्भ अस्थिरता, आयामी तनुकरण, और चरण-2 अंशांकन विफलता। यह मूल्यांकन को केवल एक लीडरबोर्ड नंबर से आगे ले जाकर एक नैदानिक उपकरण बनाता है।
समान क्रॉस-डिटेक्टर अध्ययन: यह प्रदर्शित करता है कि डिटेक्टर रैंकिंग टेस्टबेड के बीच विश्वसनीय रूप से स्थानांतरित नहीं होती है और समान अलार्म-स्तर की विफलताएं अक्सर अलग-अलग कारणों (जैसे, प्रतिनिधित्व पुनर्गठन बनाम संदर्भ स्थिरीकरण) से उत्पन्न होती हैं।

निष्कर्ष:
लेखक तर्क देते हैं कि CPS में पहचान की विफलता बहुआयामी है। अवशेष प्रतिनिधित्व को निर्णय नियम से अलग करके, प्रस्तावित ढांचा यह प्रकट करता है कि "पहचान की विफलता" एक अखंड अवधारणा नहीं है। यह डिटेक्टर की हमले को देखने में असमर्थता, सामान्य आधार रेखा की अस्थिरता, उच्च-आयामी स्थानों में संकेतों के तनुकरण, या अलार्म नीति द्वारा साक्ष्य के उप-इष्टतम निष्कर्षण से उत्पन्न हो सकती है। यह केवल थ्रेशोल्ड ट्यूनिंग करने के बजाय अधिक लक्षित सुधारों, जैसे कि स्थानीयकृत हमलों के लिए प्रतिनिधित्व को फिर से डिजाइन करना या ड्रिफ्ट के विरुद्ध संदर्भों को स्थिर करना, को सक्षम बनाता है।