💻 computer science

CALIBURN: A Regime-Sensitivity Study of Operationally Calibrated Streaming Intrusion Detection

यह शोध पत्र CALIBURN को प्रस्तुत करता है, जो एक ऑपरेशनली कैलिब्रेटेड स्ट्रीमिंग इंट्रूज़न डिटेक्शन पाइपलाइन है जो लागत और बजट बाधाओं के माध्यम से प्री-डिप्लॉयमेंट अलर्टिंग कॉन्फ़िगरेशन को सक्षम बनाता है, जो दुर्लभ-हमले वाले परिदृश्यों में उत्कृष्ट प्रदर्शन प्रदर्शित करता है और विभिन्न हमले की व्यापकता स्तरों पर स्ट्रीमिंग विधियों की संवेदनशीलता के बारे में महत्वपूर्ण अंतर्दृष्टि प्रदान करता है।

मूल लेखक: Michel A. Youssef

प्रकाशित 2026-05-26

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michel A. Youssef

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, व्यस्त हवाई अड्डे के सुरक्षा गार्ड हैं। आपका काम लाखों सामान्य यात्रियों (नेटवर्क ट्रैफ़िक) के बीच घुसपैठियों (हैकर्स) को पहचानना है।

वर्तमान सुरक्षा प्रणालियों के साथ समस्या यह है कि वे उन गार्डों की तरह हैं जो मामूली संदिग्ध व्यवहार पर ही "घुसपैठिया!" चिल्लाने लगते हैं, या इससे भी बदतर, वे शिफ्ट खत्म होने तक इंतज़ार करते हैं कि उन्हें किसे चिल्लाना चाहिए था। इससे दो बुरे परिणाम निकलते हैं: या तो गार्ड झूठे अलार्मों से इतना थक जाता है कि वह वास्तविक खतरे को अनदेखा कर देता है, या वह खतरे को पूरी तरह से मिस कर देता है क्योंकि उसे पता ही नहीं था कि उसे क्या देखना चाहिए था।

CALIBURN एक नया सिस्टम है जिसे इसे ठीक करने के लिए डिज़ाइन किया गया है। यह केवल एक डिटेक्टर नहीं है; यह एक "स्मार्ट निर्णय लेने वाला" (smart decision-maker) है जो एक बुरे आदमी को मिस करने की लागत और निर्दोष लोगों को परेशान करने की लागत के बीच संतुलन बनाना सीखता है।

CALIBURN कैसे काम करता है, यहाँ पाँच सरल उपमाओं (analogies) का उपयोग करके बताया गया है:

1. "रन-लेंथ" वॉचर (जासूस)

अधिकांश डिटेक्टर केवल एक व्यक्ति को देखते हैं और कहते हैं, "तुम अजीब लग रहे हो।" CALIBURN अलग है। यह लोगों के प्रवाह को देखता है और पूछता है, "क्या भीड़ का पैटर्न बदल गया है?"

यह Bayesian Online Change-Point Detection नामक विधि का उपयोग करता है। इसे एक जासूस की तरह समझें जो इस बात को ट्रैक कर रहा है कि लोगों का एक समूह कितनी देर तक एक सीधी रेखा में साथ चल रहा है।

यदि समूह सीधा चलता रहता है, तो जासूस सोचता है, "सब कुछ सामान्य है।"
यदि समूह अचानक रुक जाता है, मुड़ जाता है, या दौड़ने लगता है, तो जासूस सोचता है, "कुछ बदल गया है!"
ट्रिक: जासूस को इतिहास से अभिभूत होने से बचाने के लिए, CALIBURN केवल पिछले कुछ सौ कदमों को याद रखता है (truncation)। यह सिस्टम को तेज़ और मेमोरी-कुशल बनाए रखता है, जैसे एक जासूस जिसे केवल इस बात से मतलब है कि अभी क्या हो रहा है, न कि पिछले साल क्या हुआ था।

2. "अनुवादक" (कैलिब्रेशन लेयर)

जासूस का "परिवर्तन" (change) सिग्नल सीधे "यह एक हैकर है" का स्कोर नहीं है। यह अधिक "पैटर्न बदल गया है" जैसा है।

समस्या: पैटर्न का बदलना एक हैकर हो सकता है, लेकिन यह एक निर्धारित बस का आगमन या फायर ड्रिल भी हो सकता है।
समाधान: CALIBBURN एक अनुवादक (Isotonic Calibration) का उपयोग करता है। यह जासूस के कच्चे "शिफ्ट" सिग्नल को लेता है और उसे एक स्पष्ट संभावना में अनुवादित करता है: "इस बदलाव को देखते हुए, इस बात की 90% संभावना है कि यह एक हमला है।"
परिणाम: यह चरण सिस्टम को बहुत अधिक सटीक बनाता है। पेपर के परीक्षणों में, इस अनुवाद ने "अनुमान लगाने की त्रुटि" (guessing error) को लगभग 30% कम कर दिया।

3. "प्राइस टैग" निर्णय (कॉस्ट-सेंसिटिव थ्रेशोल्ड)

अब सिस्टम के पास एक संभावना है। लेकिन आप वास्तव में अलार्म कब बजाएंगे?

पुराना तरीका: एक रैंडम नंबर चुनें (जैसे, "यदि संभावना > 50%, तो चिल्लाओ!")।
CALIBURN का तरीका: बॉस से पूछें: "हमारे लिए एक हैकर को मिस करने की लागत बनाम एक झूठे अलार्म के लिए टीम को जगाने की लागत कितनी है?"
- यदि एक हैकर को मिस करना झूठे अलार्म की तुलना में 10 गुना बदतर है, तो सिस्टम अलार्म को 9% की कम संभावना पर भी बजने के लिए सेट कर देता है।
- यदि झूठे अलार्म बहुत महंगे हैं (अलर्ट थकान का कारण बनते हैं), तो यह 90% निश्चितता का इंतज़ार करता है।
यह सुनिश्चित करता है कि अलार्म व्यावसायिक वास्तविकता के आधार पर सेट किया गया है, न कि केवल गणित के आधार पर।

4. "बजट" मैनेजर (कॉन्फ़ॉर्मल रिस्क कंट्रोल)

भले ही आपके पास एक आदर्श प्राइस टैग हो, आप गलती से अपने बजट से अधिक संवेदनशील होकर अपना बजट खत्म कर सकते हैं।

अवधारणा: कल्पना कीजिए कि आपके पास प्रतिदिन 100 अलर्ट का "फॉल्स अलार्म बजट" है। आप पहले घंटे में ही इसे सब खर्च नहीं करना चाहते।
समाधान: CALIBURN एक बजट मैनेजर (Conformal Risk Control) का उपयोग करता है। यह डेटा को देखता है और गणितीय रूप से गारंटी देता है: "यदि हम अलार्म को इस विशिष्ट स्तर पर सेट करते हैं, तो हम आपके 100 झूठे अलार्मों के बजट से अधिक नहीं होंगे।"
यह एक सख्त अकाउंटेंट की तरह काम करता है जो यह सुनिश्चित करता है कि सिस्टम झूठे अलार्मों पर बहुत अधिक खर्च न करे, भले ही डेटा कठिन हो।

5. "बर्न रेट" अलार्म (SRE लेयर)

अंत में, सिस्टम तय करता है कि खबर कैसे दी जाए।

समस्या: एक अजीब घटना एक ग्लिच (glitch) हो सकती है। सौ अजीब घटनाएं लगातार होना एक संकट है।
समाधान: CALIBURN बर्न-रेट अलर्टिंग (साइट रिलायबिलिटी इंजीनियरिंग से लिया गया) का उपयोग करता है।
- शॉर्ट विंडो: यदि 5 मिनट में 5 अजीब चीजें होती हैं, तो यह लॉन्ग विंडो की जांच करता है।
- लॉन्ग विंडो: यदि वे 5 चीजें एक ऐसे पैटर्न का हिस्सा हैं जो एक घंटे से चल रहा है, तभी यह मामले को बढ़ाता है।
- परिणाम: यह एक बार होने वाली गड़बड़ी (noise) को अनदेखा करता है लेकिन यदि एक निरंतर हमला हो रहा है, तो तुरंत चिल्लाता है। यह धीमी समस्याओं के लिए "टिकट", मध्यम समस्याओं के लिए "स्लो पेज" और आपात स्थितियों के लिए "फास्ट पेज" भेज सकता है।

पेपर ने वास्तव में क्या पाया (रेजीम सेंसिटिविटी)

लेखकों ने केवल यह नहीं कहा कि "CALIBURN सबसे अच्छा है।" उन्होंने यह देखने के लिए कि यह कहाँ काम करता है और कहाँ विफल होता है, तीन अलग-अलग "मौसम की स्थितियों" में इसका परीक्षण किया:

दुर्लभ हमला मौसम (LITNET-2020):
- परिदृश्य: 95% ट्रैफ़िक सामान्य है; 5% हमले हैं।
- परिणाम: CALIBURN बड़ी जीत हासिल करता है। यह अगले सबसे अच्छे स्ट्रीमिंग सिस्टम से 2.2 गुना बेहतर और सबसे अच्छे "बैच" (ऑफलाइन) सिस्टम से 4 गुना बेहतर था। इसने बिना बेवजह शोर मचाए दुर्लभ घुसपैठियों को पकड़ा।
मध्यम हमला मौसम (CICIDS2017):
- परिदृश्य: लगभग 22% ट्रैफ़िक हमले हैं।
- परिणाम: CALIBURN अभी भी सबसे अच्छा स्ट्रीमिंग सिस्टम है, लेकिन एक पारंपरिक "ऑफलाइन" सिस्टम (जो एक साथ सारा डेटा देखता है) इसे मात देता है। यह समझ में आता है: जब हमले आम होते हैं, तो "पैटर्न वॉचर" भ्रमित हो जाता है क्योंकि "सामान्य" पैटर्न अब हमलों से प्रदूषित हो जाता है।
उच्च हमला मौसम (UNSW-NB15):
- परिदृश्य: 64% ट्रैफ़िक हमले हैं।
- परिणाम: सब कुछ टूट जाता है। CALIBURN और अन्य सभी स्ट्रीमिंग सिस्टम विफल हो गए।
- क्यों? सिस्टम यह मानकर चलता है कि स्ट्रीम मुख्य रूप से सामान्य है। जब स्ट्रीम में हमले बहुमत में होते हैं, तो सिस्टम इन हमलों को नया "नॉर्मल" मान लेता है और उन्हें फ्लैग करना बंद कर देता है। पेपर साबित करता है कि यह कोड में बग या डेटा में धोखाधड़ी नहीं है; यह स्ट्रीमिंग डिटेक्शन की एक मौलिक सीमा है जब "बुरे लोग" बहुमत में होते हैं।

निचोड़ (The Bottom Line)

CALIBURN उन सिक्योरिटी ऑपरेशंस सेंटर्स के लिए एक उपकरण है जिन्हें सामान्य ट्रैफ़िक के समुद्र में दुर्लभ हमलों को संभालने की आवश्यकता है।

यह तब बहुत अच्छा है जब: हमले दुर्लभ हों, आपको झूठे अलार्मों के लिए बजट सेट करने की आवश्यकता हो, और आप डेटा को लेबल करने के लिए मानव के इंतजार के बिना सुरक्षा शुरू नहीं कर सकते।
यह इसके लिए नहीं है: ऐसी स्थितियों के लिए जहाँ ट्रैफ़िक में हमले बहुमत में हैं, या जहाँ आपके पास ऑफलाइन मॉडल को फिर से प्रशिक्षित करने के लिए असीमित समय है।

पेपर निष्कर्ष निकालता है कि CALIBURN एक व्यावहारिक, व्याख्या योग्य (explainable) सिस्टम है जो ऑपरेटरों को जादुई नंबरों का अनुमान लगाने के बजाय अपने स्वयं के "लागत" और "बजट" को परिभाषित करने की अनुमति देता है। यह तब सबसे अच्छा काम करता है जब दुनिया ज्यादातर शांत होती है, और घुसपैठिए अपवाद होते हैं।

तकनीकी सारांश: CALIBURN: ऑपरेशनली कैलिब्रेटेड स्ट्रीमिंग इंट्रूज़न डिटेक्शन का एक रिजीम-सेंसिटिविटी अध्ययन

1. समस्या विवरण (Problem Statement)

प्रोडक्शन में नेटवर्क इंट्रूज़न डिटेक्शन सिस्टम्स (NIDS) सांख्यिकीय विसंगति स्कोर (statistical anomaly scores) और परिचालन संबंधी अलर्टिंग आवश्यकताओं के बीच एक निरंतर अंतराल का सामना करते हैं। वर्तमान शैक्षणिक विधियाँ आमतौर पर थ्रेशोल्ड चयन को एक 'पोस्ट-हॉक ट्यूनिंग' समस्या मानती हैं, जो उन वैलिडेशन लेबल्स पर F1 या AUC-ROC जैसे मेट्रिक्स को अनुकूलित करती है जो अक्सर वास्तविक सुरक्षा संचालन केंद्रों (SOCs) में उपलब्ध, विलंबित या दुर्लभ होते हैं।

ऑपरेटर्स को ऐसे अलर्टिंग व्यवहारों की आवश्यकता होती है जो तैनाती से पहले परिचालन इनपुट का उपयोग करके परिभाषित किए गए हों: जैसे कि फॉल्स नेगेटिव बनाम फॉल्स पॉजिटिव की सापेक्ष लागत, और एक सीमित अलर्टिंग बजट (जैसे, सर्विस लेवल ऑब्जेक्टिव्स से प्राप्त)। इसके अलावा, स्ट्रीमिंग डिटेक्टर्स को सीमित मेमोरी के साथ निरंतर फ्लो को प्रोसेस करना चाहिए, फिर भी अधिकांश मौजूदा स्ट्रीमिंग विसंगति पहचान विधियाँ स्कोर को कार्रवाई योग्य अलर्ट में बदलने को एक अलग, ह्यूरिस्टिक समस्या के रूप में छोड़ देती हैं। यह शोध पत्र एक ऐसे स्ट्रीमिंग पाइपलाइन की आवश्यकता को संबोधित करता है जो ऑपरेशनली कैलिब्रेटेड हो, यानी थ्रेशोल्ड को लेबल-निर्भर खोज के बजाय सीधे ऑपरेटर-निर्दिष्ट लागतों और बजट से प्राप्त किया गया हो।

2. कार्यप्रणाली: CALIBURN पाइपलाइन (Methodology: The CALIBURN Pipeline)

CALIBURN एक पांच-घटक वाला स्ट्रीमिंग अलर्टिंग पाइपलाइन है जिसे सांख्यिकीय स्कोरिंग, परिचालन निर्णय लेने और अलर्ट एस्केलेशन को अलग करने के लिए डिज़ाइन किया गया है। इसे एक सार्वभौमिक समाधान के रूप में नहीं, बल्कि विभिन्न हमले की व्यापकता (attack prevalence) के तहत प्रदर्शन का मूल्यांकन करने वाले एक रिजीम-सेंसिटिविटी अध्ययन के रूप में फ्रेम किया गया है।

मुख्य घटक (Core Components)

ट्रंकेटेड बेयसियन ऑनलाइन चेंज-पॉइंट डिटेक्शन (BOCPD):
- कार्य: यह नेटवर्क फ्लो को क्रमिक रूप से प्रोसेस करता है ताकि एक संभाव्य विसंगति स्कोर $s_t = P(r_t = 0 | x_{1:t})$ उत्पन्न किया जा सके, जो इस बात की पोस्टीरियर प्रोबेबिलिटी है कि वर्तमान फ्लो एक नया रिजीम (रन-लेंथ रीसेट) शुरू करता है।
- प्रतिबंध: यह एक ट्रंकेटेड रन-लेंथ एप्रोक्सिमेशन (अधिकतम लंबाई $L$ ) का उपयोग करता है ताकि अपडेट लागत और मेमोरी को स्थिर रखा जा सके, जिससे यह निरंतर स्ट्रीमिंग के लिए उपयुक्त बनता है।
- मॉडल: यह ऑनलाइन पर्याप्त सांख्यिकी (sufficient statistics) अपडेट के साथ एक गॉसियन ऑब्जर्वेशन मॉडल का उपयोग करता है।
आइसोटोनिक कैलिब्रेशन लेयर (Isotonic Calibration Layer):
- कार्य: यह कच्चे BOCPD स्कोर $s_t$ (एक रिजीम-शिफ्ट प्रोबेबिलिटी) को एक अनुभवजन्य सशर्त हमला संभाव्यता (empirical conditional attack probability) $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$ में मैप करता है।
- विधि: यह वैलिडेशन स्प्लिट पर आइसोटोनिक रिग्रेशन (पूल-एडजेंट-वायलेटर्स एल्गोरिदम) का उपयोग करके एक मोनोटोन कैलिब्रेशन मैप फिट करता है।
- तर्क: कच्चा BOCPD स्कोर एक सीधा हमला प्रोबेबिलिटी नहीं है; कैलिब्रेशन उपलब्ध लेबल्स का उपयोग करके "रिजीम शिफ्ट" और "हमले" के बीच के अंतर को पाटता है।
कॉस्ट-सेंसिटिव डिसीजन थ्रेशोल्ड (Cost-Sensitive Decision Threshold):
- कार्य: यह ऑपरेटर-निर्दिष्ट गलत वर्गीकरण लागतों के आधार पर एक डिसीजन थ्रेशोल्ड $\tau^*$ व्युत्पन्न करता है।
- फॉर्मूला: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$ , जहाँ $C_{FP}$ और $C_{FN}$ क्रमशः फॉल्स पॉजिटिव और फॉल्स नेगेटिव की लागत हैं।
- अंतर: यह थ्रेशोल्ड लागत अनुपात से प्राप्त होता है, न कि वैलिडेशन सेट ऑप्टिमाइज़ेशन से।
कॉन्फोर्मल रिस्क कंट्रोल (CRC) रैपर:
- कार्य: यह एक ऑपरेटर-निर्दिष्ट अलर्ट बजट $\alpha$ (जैसे, अधिकतम फॉल्स पॉजिटिव रेट) को वैलिडेशन और टेस्ट नेगेटिव्स के बीच एक्सचेंजेबिलिटी की धारणा के तहत एक वैध थ्रेशोल्ड $\hat{\tau}_\alpha$ में परिवर्तित करता है।
- गारंटी: यह फॉल्स पॉजिटिव रेट पर एक मार्जिनल एक्सपेक्टेशन बाउंड प्रदान करता है: $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$ ।
- तंत्र: यह वह इन्फिमम (infimum) थ्रेशोल्ड $\tau$ चुनता है जहाँ वैलिडेशन नेगेटिव्स पर एम्पिरिकल FPR, एक स्लैक टर्म $1/(n_0+1)$ के साथ, $\alpha$ से नीचे रहता है।
मल्टी-विंडो बर्न-रेट अलर्टिंग (Multi-Window Burn-Rate Alerting):
- कार्य: यह साइट रिलायबिलिटी इंजीनियरिंग (SRE) प्रथाओं से अनुकूलित एक एस्केलेशन लेयर है।
- लॉजिक: यह थ्रेशोल्ड क्रॉसिंग को केवल तभी अलर्ट में बदलता है जब "बर्न रेट" (अलर्ट बजट का उपभोग) युग्मित शॉर्ट और लॉन्ग टाइम विंडोज़ में एक थ्रेशोल्ड को पार करता है। यह क्षणिक शोर (transient noise) को फ़िल्टर करता है जबकि निरंतर विसंगतियों को एस्केलेट करता है।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र अपने योगदान को पाइपलाइन के परिचालन दायरे और सीमाओं को मैप करने के रूप में प्रस्तुत करता है, न कि एक सार्वभौमिक प्रभुत्व का दावा करने के रूप में:

रिजीम-सेंसिटिविटी मैपिंग: अध्ययन तीन अलग-अलग हमले की व्यापकता वाले रिजीम्स के तहत पाइपलाइन का मूल्यांकन करता है:
- दुर्लभ (LITNET-2020, ~5.2%): CALIBURN यहाँ उत्कृष्ट प्रदर्शन करता है।
- मध्यम (CICIDS2017, ~22.06%): CALIBURN सबसे मजबूत स्ट्रीमिंग विधि बना रहता है, लेकिन बैच डेंसिटी विधियों द्वारा पीछे छोड़ दिया जाता है।
- उच्च (UNSW-NB15, ~64%): सभी स्ट्रीमिंग विधियाँ, CALIBURN सहित, बेस-रेट इनवर्जन के कारण लगभग रैंडम प्रदर्शन तक गिर जाती हैं।
CRC-कोलैप्स तंत्र की पहचान: लेखक दो ऐसे तंत्रों की पहचान और मात्रा निर्धारित करते हैं जहाँ छोटे अलर्ट बजट $\alpha$ पर कॉन्फोर्मल रिस्क कंट्रोल विफल हो सकता है:
- सैद्धांतिक ओवरशूट (Theoretical Overshoot): बाउंड $2B/(n_0+1)$ प्रक्रिया को लक्षित $\alpha$ से अधिक (overshoot) कर सकता है।
- एम्पिरिकल-डेंसिटी विफलता (Empirical-Density Failure): जब वैलिडेशन नेगेटिव स्कोर का वितरण उम्मीदवार थ्रेशोल्ड के नीचे भारी रूप से केंद्रित होता है, तो प्रक्रिया बाउंड को रिक्त रूप से संतुष्ट करने के लिए शून्य अलर्ट उत्पन्न करने वाला थ्रेशोल्ड चुन सकती है (डैजनरेसी)।
स्पष्ट कैलिब्रेशन विश्लेषण: शोध पत्र प्रदर्शित करता है कि आइसोटोनिक कैलिब्रेशन कच्चे BOCPD पोस्टीरियर्स की तुलना में ब्रायर स्कोर (Brier scores) को काफी कम (3 datasets में 30-63% की कमी) कर देता है, जो रिजीम-शिफ्ट स्कोर को कंडीशनल अटैक प्रोबेबिलिटी में मैप करने की आवश्यकता को प्रमाणित करता है।
फीचर आर्टिफ़ेक्ट्स का एब्लेशन (UNSW-NB15): लेखक इस परिकल्पना का परीक्षण करते हैं कि UNSW-NB15 पर स्ट्रीमिंग विधियों का पतन सिंथेटिक TTL फीचर आर्टिफ़ेक्ट्स के कारण हुआ है। इन फीचर्स को हटाने के बाद, प्रदर्शन कम होने के बजाय थोड़ा सुधरा। यह पुष्टि करता है कि पतन (collapse) उच्च व्यापकता (high prevalence) के तहत स्ट्रीमिंग डिटेक्शन के लिए आंतरिक (intrinsic) है, न कि हटाने योग्य लीकेज का आर्टिफ़ेक्ट।
परिचालन दिशानिर्देश: शोध पत्र उन विशिष्ट स्थितियों को रेखांकित करता है जिनमें CALIBUR उपयुक्त है:
- हमला व्यापकता < ~25%।
- अलर्ट बजट $\alpha$ , सैद्धांतिक ओवरशूट बाउंड $2B/(n_0+1)$ से काफी ऊपर है।
- कैलिब्रेशन डिस्ट्रीब्यूशन डिप्लॉयमेंट स्ट्रीम के साथ लगभग एक्सचेंज करने योग्य (exchangeable) है।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट्स और बेसलाइन्स

डेटासेट्स: LITNET-2020 (5.2% हमला), CICIDS2017 (22.06% हमला, सुधारा हुआ संस्करण), UNSW-NB15 (64% हमला)।
बेसलाइन्स: पाँच स्ट्रीमिंग विधियाँ (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) और तीन बैच संदर्भ (LOF, ECOD, COPOD)।

रिजीम के अनुसार प्रदर्शन

दुर्लभ-हमला रिजीम (LITNET-2020):
- CALIBURN ने AUC-PR 0.943 प्राप्त किया।
- इसने सर्वश्रेष्ठ स्ट्रीमिंग बेसलाइन (LODA) को 2.21× और सर्वश्रेष्ठ बैच संदर्भ (ECOD) को 4.12× से पीछे छोड़ा।
- मध्यम रिकॉल (0.451) के साथ उच्च प्रिसिजन (0.976) प्राप्त किया, जो कॉस्ट-सेंसिटिव ट्रेड-ऑफ को दर्शाता है।
- आइसोटोनिक कैलिब्रेशन ने ब्रायर स्कोर को 30% कम कर दिया।
मध्यम-व्यापकता रिजीम (CICIDS2017):
- CALIBURN ने AUC-PR 0.545 प्राप्त किया, जो इसे सबसे मजबूत स्ट्रीमिंग विधि बनाता है।
- हालाँकि, इसे बैच विधि LOF (AUC-PR 0.863) द्वारा पीछे छोड़ दिया गया।
- लेखक उच्च मात्रा में हमलों द्वारा स्ट्रीमिंग रेफरेंस डिस्ट्रीब्यूशन के संदूषण (contamination) को इसका कारण मानते हैं, जिससे बैच विधियाँ इससे बच जाती हैं।
उच्च-व्यापकता रिजीम (UNSW-NB15):
- CALIBURN ने AUC-PR 0.653 प्राप्त किया, जो प्रिवलेंस फ्लोर (0.676) के समान है।
- सभी स्ट्रीमिंग विधियाँ रैंडम रैंकिंग (AUC-ROC ~0.5) की ओर गिर गईं।
- बैच विधियों (LOF, ECOD) ने बेहतर प्रदर्शन किया, लेकिन ऐसे परिवेश में जहाँ "नॉर्मल" बेसलाइन अब निर्दोष (benign) नहीं रही।

एब्लेशन निष्कर्ष

दुर्लभ-हमला रिजीम में, पूर्ण पाइपलाइन (V1) "स्ट्रॉमैन" वेरिएंट (V4: रॉ स्कोर + कॉस्ट थ्रेशोल्ड) की तुलना में काफी बेहतर प्रदर्शन करती है, जिसमें उच्च फॉल्स पॉजिटिव रेट (9.6%) देखा गया।
उच्च-व्यापकता रिजीम में, पूर्ण पाइपलाइन (V1) अक्सर CRC बाधाओं के कारण शून्य अलर्ट तक गिर जाती है, जबकि रॉ-स्कोर वेरिएंट (V4) अधिक उपयोगी (यद्यपि कम प्रिसिजन वाले) परिणाम देता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र विनम्रता से दावा करता है कि CALIBURN सभी घुसपैठ पहचान विधियों के लिए सार्वभौमिक प्रतिस्थापन नहीं है। इसका महत्व निम्नलिखित में निहित है:

परिचालन संरेखण (Operational Alignment): यह एक ऐसा ढांचा प्रदान करता है जहाँ अलर्टिंग थ्रेशोल्ड्स ऑपरेटर-निर्दिष्ट लागतों और बजटों से प्राप्त होते हैं, न कि पोस्ट-हॉक लेबल ट्यूनिंग से, जिससे सिस्टम तैनाती से पहले व्याख्या योग्य और बचाव योग्य बनता है।
रिजीम जागरूकता: यह स्पष्ट रूप से पहचानता है कि स्ट्रीमिंग के लिए "दुर्लभ-हमला" रिजीम सबसे उपयुक्त है। यह पेशेवरों को चेतावनी देता कि स्ट्रीमिंग विधियाँ संरचनात्मक रूप से सीमित हैं जब हमला व्यापकता बेस-रेट को उलट देती है (अर्थात, जब हमले बहुमत बन जाते हैं)।
व्यावहारिक दिशानिर्देश: यह ठोस तैनाती जाँच प्रदान करता है, जैसे कि $\alpha$ को CRC ओवरशूट बाउंड के विरुद्ध सत्यापित करना और "एम्पिरिकल-डेंसिटी फेल्योर" मोड की निगरानी करना जहाँ CRC शून्य अलर्ट उत्पन्न करता है।

लेखक निष्कर्ष निकालते हैं कि CALIBURN उन सुरक्षा संचालन केंद्रों (SOCs) के लिए सबसे उपयुक्त है जहाँ हमले दुर्लभ होते हैं, विश्लेषक क्षमता सीमित होती है, और अलर्टिंग नीति डेटासेट-विशिष्ट ट्यूनिंग के बजाय परिचालन बाधाओं द्वारा परिभाषित होनी चाहिए। भविष्य के कार्य के लिए कॉन्सेप्ट ड्रिफ्ट को संभालने के लिए ऑनलाइन री-कैलिब्रेशन और एडेप्टिव कॉस्ट-रेशियो एस्टीमेशन का सुझाव दिया गया है।