Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation
यह शोध पत्र Krone-viz प्रस्तुत करता है, जो एक संवादात्मक विज़ुअलाइज़ेशन सिस्टम है जो चयनात्मक LLM संवर्धन (augmentation) और मानव-इन-द-लूप परिशोधन के माध्यम से सटीक विसंगति का पता लगाने, स्थानीयकरण करने और स्पष्टीकरण करने में सक्षम बनाने के लिए एक नवीन पदानुक्रमित लॉग एब्स्ट्रैक्शन और मॉड्यूलर ऑर्केस्ट्रेशन फ्रेमवर्क का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अपराध को सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपको कुछ गवाहों के बयानों के बजाय, एक अराजक, निरंतर रेडियो प्रसारण का 10,000 पन्नों का ट्रांसक्रिप्ट थमा दिया गया है। हर वाक्य बातचीत का एक छोटा सा अंश है, लेकिन वे सभी आपस में उलझे हुए एक ही सपाट सूची में हैं। कंप्यूटर के "लॉग्स" (logs) आमतौर पर ऐसे ही दिखते हैं: टेक्स्ट की अंतहीन धाराएं जो सिस्टम को बताती हैं कि वह क्या कर रहा है, लेकिन इस तरह से जो इंसानों के लिए समझना अविश्वसनीय रूप से कठिन है।
यह पेपर Krone (और इसके विजुअल टूल, Krone-viz) को पेश करता है, जो इस अराजकता को समझने का एक नया तरीका है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:
1. समस्या: "सपाट" सूची बनाम "कहानी"
अधिकांश वर्तमान उपकरण लॉग्स को सामग्री की एक सपाट सूची की तरह मानते हैं। यदि केक जल जाता है, तो वे केवल कहते हैं, "केक खराब है।" वे आपको यह नहीं बताते कि कौन सा घटक गलत था, कब वह खराब हुआ, या क्यों।
- पुराना तरीका: 10,000 लॉग प्रविष्टियों की एक सपाट सूची को देखना और उस एक टाइपो (typo) को खोजने की कोशिश करना जिसके कारण क्रैश हुआ। यह एक उपन्यास में एक विशिष्ट वाक्य खोजने की कोशिश करने जैसा है जहाँ हर शब्द एक ही पंक्ति पर लिखा गया है।
- Krone का तरीका: Krone महसूस करता है कि कंप्यूटर केवल यादृच्छिक (random) चीजें नहीं करते; वे एक कहानी की संरचना का पालन करते हैं। हर क्रिया के पास एक कौन (Entity/इकाई), एक क्या (Action/क्रिया), और एक परिणाम (Status/स्थिति) होता है।
2. समाधान: लॉग्स के लिए एक "फैमिली ट्री" बनाना
Krone उस बिखरी हुई, सपाट सूची को लेकर उसे एक पदानुक्रमित फैमिली ट्री (जिसे Krone-Tree कहा जाता है) में व्यवस्थित करता है।
- उपमा: कल्पना कीजिए कि लेगो (Lego) ईंटों के एक बिखरे हुए ढेर को बक्सों में छाँट रहे हैं: "पहिए," "खिड़कियाँ," और "दरवाजे।" फिर, आप उन बक्सों को "कार के पुर्जों" में, और फिर उन्हें "पूरी कार" में समूहबद्ध करते हैं।
- यह कैसे काम करता है: Krone एक AI (एक लार्ज लैंग्वेज मॉडल, या LLM) का उपयोग करता है जो लॉग्स को पढ़ता है और कहता है, "आह, यह लॉग प्रविष्टि एक 'सेशन' (कौन) के बारे में है जिसने 'ओपन' (क्या) किया और 'स्टार्टेड' (परिणाम) हुआ।" यह एक ऐसा मानचित्र बनाता है जहाँ प्रत्येक लॉग प्रविष्टि जानती है कि बड़े चित्र में उसका स्थान कहाँ है।
3. जासूसी का काम: "विभाजित करो और जीतो" (Divide and Conquer)
एक बार जब लॉग्स इस पेड़ में व्यवस्थित हो जाते हैं, तो Krone हर एक ईंट की जाँच नहीं करता है। यह समस्या खोजने के लिए एक स्मार्ट, चरण-दर-चरण रणनीति का उपयोग करता है।
- "लाइटवेट" फ़िल्टर: सबसे पहले, Krone एक सरल, तेज़ नियम-जांचकर्ता (जैसे स्पेल-चेकर) का उपयोग करता है जो लॉग्स को स्कैन करता है। यदि कोई लॉग प्रविष्टि सामान्य दिखती है, तो वह उसे अनदेखा कर देता है। यह एक सुरक्षा गार्ड की तरह है जो स्पष्ट आईडी वाले लोगों को जल्दी से अंदर जाने देता है।
- "AI" जासूस: यदि सरल चेकर को कुछ अजीब मिलता है, तब वह जांच करने के लिए महंगे, सुपर-स्मार्ट AI जासूस (LLM) को बुलाता है।
- "बॉटम-अप" रणनीति: Krone सबसे छोटी बारीकियों (जैसे "स्टार्टेड" या "फेल्ड" स्तर की "स्टेटस") की जाँच करके शुरू करता है। यदि उसे वहां कोई समस्या मिलती है, तो वह तुरंत रुक जाता है। वह बड़े "एक्शन" या "एंटिटी" स्तरों की जाँच करने में समय बर्बाद नहीं करता क्योंकि समस्या पहले ही मिल चुकी है। इससे बहुत सारे पैसे और कंप्यूटिंग पावर की बचत होती है।
4. "चीट शीट": सीखते रहना
Krone की सबसे शानदार विशेषताओं में से एक यह है कि यह जो कुछ भी सीखता है, उसे याद रखता है।
- उपमा: कल्पना कीजिए कि एक जासूस जो एक नोटबुक रखता है। यदि वे आज "टूटे हुए दरवाजे के कब्जे" के बारे में रहस्य सुलझाते हैं, तो वे इसे लिख लेते हैं। अगली बार जब वे "टूटा हुआ दरवाजा का कब्जा" देखते हैं, तो उन्हें महंगे AI जासूस को फिर से बुलाने की आवश्यकता नहीं होती; वे बस अपनी नोटबुक देखते हैं।
- यह कैसे काम करता है: Krone एक नॉलेज बेस (Knowledge Base) बनाता है। यदि यह एक विशिष्ट प्रकार के लॉग अनुक्रम का विश्लेषण करता है और पाता है कि यह सामान्य है (या असामान्य है), तो यह परिणाम को सहेज लेता है। यदि वही अनुक्रम बाद में फिर से दिखाई देता है, तो Krone उत्तर का पुन: उपयोग करता है। यह सिस्टम को समय के साथ तेज़ और सस्ता बनाता है।
5. विजुअल टूल: Krone-viz
दस्तावेज़ में Krone-viz प्रस्तुत किया गया है, जो एक डैशबोर्ड है जो इंजीनियरों को वास्तविक समय में यह सब होते हुए देखने देता है।
- आप क्या कर सकते हैं:
- पेड़ को देखें: आप देख सकते हैं कि कैसे सपाट लॉग्स एक व्यवस्थित फैमिली ट्री में बदल जाते हैं।
- ग्लिच (Glitch) को पहचानें: आप देख सकते हैं कि पेड़ की कौन सी "शाखा" टूटी हुई है।
- व्याख्या पढ़ें: AI एक साधारण अंग्रेजी में व्याख्या लिखता है कि उसे क्यों लगता है कि कुछ गलत है।
- AI को ठीक करें: यदि AI कोई गलती करता है, तो आप उसे सुधार सकते हैं। सिस्टम आपके सुधार से सीखता है और अपने "नोटबुक" को अपडेट करता है ताकि वह दोबारा वही गलती न करे।
सारांश
संक्षेप में, Krone कंप्यूटर लॉग्स को एक अराजक टेक्स्ट वॉल की तरह मानना बंद करता है। इसके बजाय, यह उन्हें एक संरचित कहानी में व्यवस्थित करता है, त्रुटियों को खोजने के लिए एक स्मार्ट "पहले जाँच करें, बाद में पूछें" रणनीति का उपयोग करता है, और खुद को स्मार्ट और सस्ता बनाने के लिए अपने निष्कर्षों को याद रखता है। Krone-viz वह खिड़की है जो मनुष्यों को इस प्रक्रिया को देखने, AI के तर्क को समझने और आवश्यकता होने पर इसे ठीक करने की अनुमति देती है।
नोट: पेपर ने विशेष रूप से इस प्रणाली का परीक्षण HDFS (एक प्रकार का फाइल स्टोरेज सिस्टम लॉग) नामक एक मानक डेटासेट पर किया है ताकि यह सिद्ध किया जा सके कि यह पिछले तरीकों की तुलना में बेहतर और कम लागत वाला है। यह अभी तक चिकित्सा निदान या अन्य विशिष्ट उद्योगों में उपयोग किए जाने का दावा नहीं करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।