💻 computer science

LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection

LogSemFuse एक साक्ष्य-निर्देशित (evidence-guided) प्लग-इन फ्रेमवर्क है जो स्थानीय पैटर्न, LLM तर्क और निष्पादन योग्य नियमों से पुन: प्रयोज्य अर्थपूर्ण साक्ष्य को बैकबोन भविष्यवाणियों के साथ संलयित (fuse) करके मौजूदा लॉग विसंगति डिटेक्टरों को बढ़ाता है, ताकि न्यूनतम रनटाइम ओवरहेड के साथ पता लगाने की सटीकता में सुधार किया जा सके और कार्रवाई योग्य, व्याख्या योग्य अंतर्दृष्टि प्रदान की जा सके।

मूल लेखक: Hassan Jabri, Zeyang Ma, Zhijie Wang, Tse-Hsun Chen

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hassan Jabri, Zeyang Ma, Zhijie Wang, Tse-Hsun Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हलचल भरे शहर (एक आधुनिक सॉफ़्टवेयर सिस्टम) के सुरक्षा गार्ड हैं। हर दिन, लाखों लोग (लॉग संदेश) गेटों से गुजरते हैं, और चिल्लाकर बताते हैं कि वे क्या कर रहे हैं। आपका काम है मुसीबत पैदा करने वालों (विसंगतियों/anomalies) को आपदा होने से पहले पहचानना।

लंबे समय से, आपके पास एक उच्च-तकनीकी सुरक्षा कैमरा सिस्टम (मौजूदा AI डिटेक्टर जैसे DeepLog या LogBERT) है। यह कैमरा चेहरों को गिनने और पैटर्न पहचानने में बहुत अच्छा है। यदि कोई व्यक्ति एक मिनट में 50 बार दरवाजे से गुजरता है, तो कैमरा चिल्ला उठता है, "अलार्म!" लेकिन समस्या यह है कि कैमरा केवल एक लाल बत्ती और एक स्कोर देता है। यह यह नहीं बताता कि वह क्यों अलार्म बजा रहा है। क्या वह व्यक्ति चोर है? क्या वह बस जल्दी में है? क्या वह लड़खड़ा गया? आपको यह समझने के लिए खुद कच्चे वीडियो फुटेज को देखना पड़ता है, जो धीमा और थका देने वाला है।

हाल ही में, किसी ने इस वीडियो को देखने के लिए एक सुपर-स्मार्ट जासूस (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखने का सुझाव दिया। यह जासूस संदर्भ (context) को समझने में माहिर है और आपको बता सकता है, "वह व्यक्ति इसलिए भाग रहा है क्योंकि वह एक बैग चुरा रहा है।" लेकिन एक पेंच है: हर उस व्यक्ति के लिए जो गेट से गुजरता है, इस जासूस को काम पर रखना अविश्वसनीय रूप से महंगा और धीमा है। इसके अलावा, कभी-कभी जासूस भ्रमित हो जाता है या ऐसी कहानियाँ बना देता है जो वास्तव में वीडियो में मौजूद ही नहीं हैं।

पेश है LogSemFuse।

लेखकों ने एक "प्लग-इन" सिस्टम बनाया है जो आपके मौजूदा सुरक्षा कैमरे के लिए एक स्मार्ट सहायक के रूप में कार्य करता है। यह कैमरे को बदलता नहीं है; यह बस कैमरे को एक सुपरपावर देता है: साक्ष्य (evidence) का उपयोग करके खुद को समझाने की क्षमता।

यहाँ बताया गया है कि LogSemFuse तीन सरल उपकरणों का उपयोग करके कैसे काम करता है:

1. "पैटर्न स्पॉटर" (स्थानीय घटना पैटर्न - Local Event Patterns)

इसे पिछले अपराधों से बनाई गई "संदिग्ध व्यवहारों" की एक सूची के रूप में समझें।

यह कैसे काम करता है: सिस्टम कच्चे डेटा को देखता है और उन विशिष्ट लघु अनुक्रमों (sequences) को ढूंढता है जो हमेशा तब होते हैं जब कुछ गलत होता है। उदाहरण के लिए, "यदि कोई दरवाजा खोलने की कोशिश करता है, फिर तुरंत खिड़की तोड़ने की कोशिश करता है, और फिर भाग जाता है," तो यह एक बुरा पैटर्न है।
उपमा: यह एक चीट शीट रखने जैसा है जिसमें लिखा है, "यदि आप एक साथ ये तीन विशिष्ट चरण देखते हैं, तो यह निश्चित रूप से एक अपराध है।" यह हिस्सा तेज़, मुफ्त है और इसे महंगे जासूस की आवश्यकता नहीं है।

2. "नियम पुस्तिका" (क्लस्टर-व्युत्पन्न नियम - Cluster-Derived Rules)

कभी-कभी, अपराध अधिक जटिल होते हैं। वे एक सीधी रेखा में नहीं होते; वे एक अव्यवस्थित समूह के रूप में होते हैं।

यह कैसे काम करता है: सिस्टम पिछले समान अपराधों को एक साथ समूहित करता है (clustering) और सुपर-स्मार्ट जासूस से प्रत्येक समूह के लिए एक "नियम पुस्तिका" लिखने के लिए कहता है। जासूस कहता है, "इस समूह के अपराधों में, अपराधी हमेशा एक नोट छोड़ देते हैं, लेकिन वे कभी पिछला दरवाजा लॉक नहीं करते हैं।" सिस्टम इसे एक सख्त नियम में बदल देता है।
उपमा: हर नए व्यक्ति को देखने के लिए जासूस को काम पर रखने के बजाय, आप सुरक्षा गार्ड को एक नियम पुस्तिका देते हैं: "यदि आप एक नोट देखते हैं और पिछला दरवाजा खुला देखते हैं, तो अलार्म बजाएं।" जासूस केवल एक बार (प्रशिक्षण के दौरान) नियम पुस्तिका लिखता है, और गार्ड उसका उपयोग हमेशा के लिए करता है।

3. "ऑन-डिमांड डिटेक्टिव" (LLM रीजनिंग - LLM Reasoning)

क्या होगा यदि कोई नई, अजीब स्थिति आती है जो आपकी चीट शीट या आपकी नियम पुस्तिका में नहीं है?

यह कैसे काम करता है: सिस्टम केवल उस विशिष्ट, भ्रमित करने वाली स्थिति के लिए सुपर-स्मार्ट जासूस को बुलाता है। जासूस घटनाओं को देखता है, समझाता है कि क्या हो रहा है, और एक कॉन्फिडेंस स्कोर देता है। महत्वपूर्ण बात यह है कि सिस्टम इस स्पष्टीकरण को सहेज लेता है। यदि वही अजीब स्थिति बाद में फिर से होती है, तो सिस्टम जासूस को दोबारा बुलाने के बजाय अपनी जेब से सहेजा हुआ स्पष्टीकरण निकाल लेता है।
उपमा: यह एक अनूठी समस्या के लिए सलाहकार को बुलाने, उनकी सलाह लिखने और फिर उसे संभाल कर रखने जैसा है ताकि आपको उसी समस्या के लिए दोबारा भुगतान न करना पड़े।

सब कुछ एक साथ जोड़ना

जब कोई नया "व्यक्ति" (लॉग सेशन) गेट से गुजरता है:

कैमरा (मूल AI) एक नज़र डालता है और एक स्कोर देता है।
पैटर्न स्पॉटर चीट शीट की जाँच करता है।
नियम पुस्तिका सख्त नियमों की जाँच करती है।
यदि पहले तीनों अनिश्चित हैं या स्थिति नई है, तो केवल तभी ऑन-डिमांड डिटेक्टिव को बुलाया जाता है।

इन सभी साक्ष्यों को जोड़ा जाता है। यदि इनमें से कोई भी कहता है कि "यह बुरा लग रहा है," तो सिस्टम अलार्म बजा देता है। लेकिन इससे भी महत्वपूर्ण बात यह है कि यह आपको एक रिपोर्ट सौंपता है जो कहती है: "हमने इसे इसलिए चिह्नित किया क्योंकि: (1) उन्होंने 'दरवाजा-खिड़की-भागना' पैटर्न किया, और (2) उन्होंने एक नोट छोड़ा लेकिन दरवाजा लॉक नहीं किया, और (3) जासूस ने पुष्टि की कि यह चोरी जैसा लग रहा है।"

यह एक बड़ी बात क्यों है?

लेखकों ने परीक्षण के लिए तीन अलग-अलग "शहरों" (डेटासेट: HDSF, BGL, और Liberty) का उपयोग किया और चार अलग-अलग सुरक्षा कैमरों का उपयोग किया।

बेहतर डिटेक्शन: इसने लगभग उन सभी अपराधियों को पकड़ा जिन्हें मूल कैमरों ने मिस कर दिया था (98.8% फॉल्स नेगेटिव को रिकवर किया)।
बेहतर स्पष्टीकरण: जब उन्होंने मानव विशेषज्ञों से स्पष्टीकरण पढ़ने के लिए कहा, तो उन्होंने LogSemFuse की रिपोर्ट को जासूस की कच्ची रिपोर्टों की तुलना में अधिक पसंद किया। विशेषज्ञों ने पाया कि LogSemFuse के स्पष्टीकरण अधिक स्पष्ट, तार्किक और वास्तविक घटनाओं से बेहतर जुड़े हुए थे।
सस्ता और तेज़: क्योंकि यह चीट शीट और नियम पुस्तिकाओं का पुन: उपयोग करता है, इसलिए इसे हर व्यक्ति के लिए महंगे जासूस को बुलाने की आवश्यकता नहीं होती है। यह प्रक्रिया में केवल एक बहुत छोटा, स्थिर समय जोड़ता है।

संक्षेप में: LogSemFuse एक स्मार्ट लेकिन मौन सुरक्षा कैमरे को एक आवाज़, नियमों की एक नोटबुक और आवश्यकता होने पर ही मदद मांगने का तरीका देता है। यह सिस्टम को अधिक स्मार्ट, तेज़ और मनुष्यों के लिए विश्वास करने में बहुत आसान बनाता है।

तकनीकी सारांश: LogSemFuse

समस्या विवरण

आधुनिक सॉफ़्टवेयर सिस्टम की निगरानी के लिए लॉग विसंगति का पता लगाना (Log anomaly detection) आवश्यक है, फिर भी मौजूदा मॉडल-आधारित डिटेक्टरों को दो प्राथमिक सीमाओं का सामना करना पड़ता है। पहला, जबकि वे मजबूत पहचान प्रदर्शन प्राप्त करते हैं, वे आमतौर पर केवल विसंगति स्कोर या बाइनरी लेबल आउटपुट करते हैं, बिना निर्णय के पीछे के परिचालन अर्थों (operational semantics) को प्रदान किए। साक्ष्य की यह कमी ऑपरेटरों को यह समझने के लिए मैन्युअल रूप से लॉगों का निरीक्षण करने के लिए मजबूर करती है कि एक सत्र (session) को क्यों चिह्नित किया गया था, जिससे कुशल निदान और घटना प्रतिक्रिया बाधित होती है। दूसरा, जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) समृद्ध लॉग अर्थों को पुनः प्राप्त कर सकते हैं, उन्हें स्टैंडअलोन डिटेक्टर के रूप में उपयोग करना अक्सर महंगा, अनुमान परिवर्तनशीलता (inference variability) के प्रति संवेदनशील, और निर्णय के पीछे के विशिष्ट साक्ष्यों के आधार पर स्पष्टीकरण देने में अक्षम होता है। इसके अलावा, प्रत्येक सत्र के लिए सीधे LLMs को प्रॉम्प्ट करना गणनात्मक रूप से महंगा और स्केल करने में कठिन है।

मुख्य चुनौती यह है कि मौजूदा, उच्च-प्रदर्शन वाले बैकबोन डिटेक्टरों को उनके प्रशिक्षण पाइपलाइन को बदले बिना या अत्यधिक रनटाइम लागत उठाए बिना, व्याख्या योग्य सिमेंटिक साक्ष्य (semantic evidence) के साथ कैसे बढ़ाया जाए।

कार्यप्रणाली: LogSemFuse फ्रेमवर्क

LogSemFuse को एक प्लग-इन सिमेंटिक ऑग्मेंटेशन फ्रेमवर्क के रूप में प्रस्तावित किया गया है। यह बैकबोन डिटेक्टर को प्रतिस्थापित नहीं करता है या उसके प्रशिक्षण उद्देश्य को नहीं बदलता है। इसके बजाय, यह तीन अलग-अलग मॉड्यूल से प्राप्त संरचित सिमेंटिक साक्ष्य के साथ बैकबोन के प्रेडिक्शन को फ्यूज करने के लिए इन्फरेंस स्टेज पर कार्य करता है। फ्रेमवर्क एक नॉलेज बैंक ( $K$ ) बनाए रखता है जो प्रशिक्षण के दौरान निर्मित होता है, जो इन्फरेंस के दौरान LLM के उपयोग को कम करने के लिए पुन: प्रयोज्य आर्टिफैक्ट्स को संग्रहीत करता है।

1. प्रशिक्षण समय साक्ष्य निर्माण (Training-Time Evidence Construction)

इन्फरेंस से पहले, LogSemFuse प्रशिक्षण डेटा को संसाधित करके दो प्रकार के पुन: प्रयोज्य साक्ष्य बनाता है:

लोकल इवेंट-पैटर्न बैंक ( $K_{ngram}$ ): सिस्टम लेबल किए गए विसंगत प्रशिक्षण सत्रों के EventId अनुक्रमों से विभेदक (discriminative) unigrams, bigrams और trigrams को माइन करता है। पैटर्न को "लिफ्ट" (सामान्य सपोर्ट के सापेक्ष विसंगत सपोर्ट) द्वारा रैंक किया जाता है और यह सुनिश्चित करने के लिए मान्य किया जाता है कि वे सामान्य सत्रों पर अत्यधिक सक्रिय न हों। ये पैटर्न लघु, निरंतर विसंगत व्यवहारों (जैसे, बार-बार होने वाले रिट्राइ या अपवाद अनुक्रम) के नियतात्मक (deterministic), व्याख्या योग्य साक्ष्य प्रदान करते हैं।
क्लस्टर-व्युत्पन्न नियम बैंक ( $K_{rule}$ ): विसंगत प्रशिक्षण सत्रों को उनके इवेंट वितरण के आधार पर HDBSCAN का उपयोग करके क्लस्टर किया जाता है। प्रत्येक क्लस्टर के लिए, एक LLM को साझा परिचालन व्यवहार का सारांश देने और संरचित, निष्पादन योग्य नियमों को प्रेरित करने के लिए प्रॉम्प्ट किया जाता है। ये नियम contains_ngram, ordered_subset, min_count, और absent_within जैसे प्रिमिटिव्स का उपयोग करते हैं। परिणामी नियम व्यापक, गैर-निरंतर परिचालन पैटर्न को कैप्चर करते हैं और इन्फरेंस के समय नियतात्मक मिलान के लिए संग्रहीत किए जाते हैं।

2. इन्फरेंस-टाइम सिमेंटिक ऑग्मेंटेशन

एक इनकमिंग लॉग सत्र $x$ के लिए, LogSemFuse अंतिम निर्णय और स्पष्टीकरण उत्पन्न करने के लिए चार बाइनरी सिग्नल को एकत्रित करता है:

बैकबोन सिग्नल ( $s_b$ ): बैकबोन डिटेक्टर (जैसे, DeepLog, LogBERT) से मूल विसंगति स्कोर या लेबल।
लोकल पैटर्न सिग्नल ( $s_n$ ): $K_{ngram}$ के विरुद्ध सत्र के EventId अनुक्रम के मिलान द्वारा निर्धारित।
रूल सिग्नल ( $s_r$ ): $K_{rule}$ में मौजूद नियमों को सत्र के विरुद्ध निष्पादित करके निर्धारित।
LLM सिमेंटिक रीजनिंग सिग्नल ( $s_\ell$ ): एक LLM सत्र का विश्लेषण करता है ताकि एक हाई-रिस्क प्रेडिक्शन, कॉन्फिडेंस स्कोर और एक तर्क (अपेक्षित बनाम देखा गया व्यवहार) प्रदान किया जा सके। लागत को नियंत्रित करने के लिए, LLM को केवल नए सत्रों के लिए ही बुलाया जाता है; परिणामों को सत्र पहचानकर्ता (session identifier) द्वारा पुन: उपयोग के लिए कैश किया जाता है।

फ्यूजन और स्पष्टीकरण:
एक फ्यूजन ऑपरेटर (वैलिडेशन डेटा के आधार पर OR, AND, या vote- $k$ नीतियों में से चुना गया) इन चार सिग्नलों को संयोजित करके अंतिम विसंगति लेबल निर्धारित करता है। सिस्टम फिर योगदान देने वाले सिग्नलों: मैच किए गए लोकल पैटर्न, ट्रिगर किए गए क्लस्टर-व्युत्पन्न नियमों (क्लस्टर-स्तरीय स्पष्टीकरणों के साथ), और LLM के तर्क का पता लगाकर एक साक्ष्य-आधारित स्पष्टीकरण उत्पन्न करता है।

मुख्य योगदान

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

प्लग-इन फ्रेमवर्क: अपने मूल प्रशिक्षण या इन्फरेंस पाइपलाइन को संशोधित किए बिना मौजूदा लॉग डिटेक्टरों को निष्पादन योग्य सिमेंटिक साक्ष्य के साथ बढ़ाने की एक विधि।
नॉलेज बैंक डिज़ाइन: कुशल, कम-लागत वाले पुन: उपयोग को सक्षम करने के लिए स्थानीय इवेंट पैटर्न और क्लस्टर-व्युत्पन्न नियमों को, कैश किए गए सत्र-स्तरीय LLM रीजनिंग के साथ संग्रहीत करने का एक तंत्र।
साक्ष्य-आधारित स्पष्टीकरण: पोस्ट-हॉक फीचर एट्रिब्यूशन के बजाय फायरिंग पैटर्न, ट्रिगर किए गए नियमों और LLM तर्कों का उपयोग करके विसंगति निर्णयों की व्याख्या करने का एक दृष्टिकोण।
अनुभवजन्य सत्यापन (Empirical Validation): तीन डेटासेट्स (HDFS, BGL, Liberty) और चार बैकबोन डिटेक्टरों पर व्यापक मूल्यांकन, जो मामूली ओवरहेड के साथ बेहतर पहचान प्रदर्शन और स्पष्टीकरण गुणवत्ता प्रदर्शित करता है।

मूल्यांकन परिणाम

फ्रेमवर्क का मूल्यांकन DeepLog, LogAnomaly, LogBERT, और NeuralLog बैकबोन्स के साथ HDFS, BGL, और Liberty डेटासेट्स पर किया गया।

डिटेक्शन प्रदर्शन: LogSemFuse ने प्रत्येक गैर-परफेक्ट बेसलाइन के लिए F1-स्कोर में सुधार किया। इसने टेस्ट सेट्स में बैकबोन के 98.8% फॉल्स नेगेटिव्स को रिकवर किया। विशेष रूप से, इसने उन मामलों में पूर्ण प्रदर्शन को बनाए रखा जहाँ बैकबोन पहले से ही इष्टतम था (जैसे, Liberty पर LogAnomaly)।
दक्षता: फ्रेमवर्क बार-बार LLM कॉल्स के बजाय स्थानीय पैटर्न मिलान और नियम निष्पादन पर निर्भर करके मामूली और स्थिर इन्फरेंस-टाइम ओवरहेड (डेटासेट के आधार पर ~2.3 से 5.8 सेकंड के बीच) जोड़ता है। LLM टोकन का उपयोग कैश किए गए परिणामों और नॉलेज बैंक के पुन: उपयोग के माध्यम से अमोर्टाइज (amortized) किया जाता है।
मानव मूल्यांकन: 14 प्रतिभागियों (डेवलपर्स और शोधकर्ताओं सहित) के एक यूजर स्टडी ने दिखाया कि LogSemFuse के स्पष्टीकरण सभी मेट्रिक्स (लॉजिकल कोहेरेंस, टेक्निकल साउंडनेस, क्लैरिटी, आदि) में सीधे LLM स्पष्टीकरण की तुलना में काफी बेहतर थे। LogSemFuse ने बेसलाइन LLM के 3.06 के मुकाबले 4.13 का औसत समग्र गुणवत्ता स्कोर प्राप्त किया।
एब्लेशन स्टडीज: लोकल इवेंट पैटर्न को हटाने से सबसे महत्वपूर्ण प्रदर्शन गिरावट हुई, जो विशिष्ट विसंगति संकेतकों का पता लगाने में उनकी महत्वपूर्ण भूमिका को दर्शाता है। क्लस्टर-व्युत्पन्न नियम बैंक ने स्पष्टीकरण के लिए पुन: प्रयोज्य साक्ष्य प्रदान किया, जबकि LLM रीजनिंग ने कठिन कॉन्फ़िगरेशन में लक्षित लाभ प्रदान किया।

महत्व और दावे

शोध पत्र का दावा है कि LogSemFuse यह प्रदर्शित करता है कि सिमेंटिक ऑग्मेंटेशन मौजूदा लॉग विसंगति डिटेक्टरों को मजबूत करने के लिए एक व्यावहारिक रणनीति है। LLMs और नियम इंडक्शन को स्टैंडअलोन डिटेक्टरों के बजाय पुन: प्रयोज्य साक्ष्य के स्रोतों के रूप में उपयोग करके, फ्रेमवर्क प्राप्त करता है:

बेहतर प्रभावशीलता: उन विसंगतियों को रिकवर करना जिन्हें अनुक्रम-आधारित मॉडल स्पार्स या कमजोर संकेतों के कारण मिस कर देते हैं।
व्याख्यात्मकता (Interpretability): ऑपरेटरों को अपारदर्शी स्कोर के बजाय ठोस, साक्ष्य-आधारित स्पष्टीकरण (पैटर्न, नियम और तर्क) प्रदान करना।
स्केलेबिलिटी: सिमेंटिक आर्टिफैक्ट्स को कैश करके और प्रत्येक अनुरोध के लिए LLM इन्फरेंस से बचकर कम और स्थिर रनटाइम लागत बनाए रखना।

लेखक LogSemFuse को पारंपरिक डिटेक्टरों या एक नए LLM-केंद्रित प्रतिमान के विकल्प के रूप में नहीं, बल्कि उच्च-प्रदर्शन डिटेक्शन और क्रियाशील, सिमेंटिक समझ के बीच के अंतर को पाटने के लिए एक एकीकृत विधि के रूप में प्रस्तुत करते हैं।