AnoMod: A Dataset for Anomaly Detection and Root Cause Analysis in Microservice Systems
यह शोध पत्र AnoMod को प्रस्तुत करता है, जो माइक्रोसर्विस सिस्टम के लिए एक व्यापक मल्टीमॉडल डेटासेट है, जो विविध विसंगति श्रेणियों और पांच विशिष्ट मॉनिटरिंग मोडैलिटीज को प्रदान करके मौजूदा कमियों को दूर करता है ताकि क्रॉस-मोडल विसंगति पहचान और सूक्ष्म-स्तरीय मूल कारण विश्लेषण (root cause analysis) में उन्नत अनुसंधान को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे रेलवे स्टेशन (एक माइक्रोसर्विस सिस्टम) के मैनेजर हैं। एक बड़ी इमारत होने के बजाय, यह स्टेशन सैकड़ों छोटे, विशिष्ट बूथों से बना है: एक टिकट बेचता है, दूसरा आईडी चेक करता है, तीसरा सामान संभालता है, और चौथा ट्रेन का शेड्यूल मैनेज करता है। यात्री को बिंदु A से बिंदु B तक पहुँचाने के लिए वे आपस में लगातार संवाद करते हैं।
जब कुछ गलत हो जाता है—कोई टिकट बूथ फ्रीज हो जाता है, सामान स्कैन करने वाली मशीन सुस्त हो जाती है, या ट्रेन का शेड्यूल खराब हो जाता है—तो यह समझना एक दुस्वप्न बन जाता है कि क्यों हुआ। क्या यह नेटवर्क की समस्या है? कोई खराब कोड? या फुल डेटाबेस?
यही वह समस्या है जिसे AnoMod पेपर हल करने की कोशिश करता है। यहाँ इसे सरल शब्दों में समझाया गया है:
1. समस्या: वर्तमान टूल्स में "ब्लाइंड स्पॉट" (अंधा कोना)
लेखकों का कहना है कि वर्तमान में, जो शोधकर्ता इन "स्मार्ट जासूसों" (AI टूल्स) को बनाने की कोशिश कर रहे हैं जो इन रेलवे स्टेशनों को ठीक कर सकें, वे खराब नक्शों के साथ काम कर रहे हैं।
- पुराने नक्शे: मौजूदा डेटासेट (डेटा के संग्रह) ज्यादातर केवल परफॉरमेंस (प्रदर्शन) को देखते हैं। वे आपको बताते हैं कि स्टेशन "धीमा" है या "व्यस्त" है, जैसे यह देखना कि टिकट बूथ पर लाइन लंबी है या नहीं।
- गायब कड़ियाँ: वे यह नहीं बताते कि लाइन लंबी क्यों है। क्या इसलिए क्योंकि टिकट मशीन खराब हो गई है? क्या कैशियर ने गणित में गलती की? क्या डेटाबेस की स्याही खत्म हो गई? इसके अलावा, अधिकांश पुराने डेटासेट केवल दो या तीन प्रकार के सुरागों (जैसे लॉग्स और स्पीड चार्ट) को देखते थे, जिससे बड़ी तस्वीर छूट जाती थी।
2. समाधान: AnoMod नामक एक नया "सुपर-डेटासेट"
टीम ने AnoMod नामक एक नया, विशाल डेटासेट बनाया है। इसे एक "क्रैश टेस्ट" के रूप में सोचें जहाँ उन्होंने जानबूझकर दो वास्तविक दुनिया के रेलवे स्टेशनों (SocialNetwork और TrainTicket) को बहुत ही विशिष्ट, वास्तविक तरीकों से बिगाड़ा (break किया), और फिर जो कुछ भी हुआ उसे रिकॉर्ड किया।
उन्होंने चीजों को बेतरतीब ढंग से नहीं बिगाड़ा; उन्होंने "ब्रेक्स" को चार अलग-अलग श्रेणियों में व्यवस्थित किया, जैसे कि एक मैकेनिक की चेकलिस्ट होती है:
- परफॉरमेंस लेवल: इंजन को गर्म करना या नेटवर्क को धीमा करना (जैसे ट्रैफिक जाम)।
- सर्विस लेवल: एक बूथ का दूसरे से बात करने से मना करना (जैसे टिकट विक्रेता और गेट के बीच टूटी हुई फोन लाइन)।
- डेटाबेस लेवल: स्टोरेज रूम को भर देना ताकि कोई नई चीज़ स्टोर न की जा सके (जैसे कनेक्शन पूल का सूख जाना)।
- कोड लेवल: लॉजिक एरर (तर्क संबंधी त्रुटियां) डालना, जैसे कि एक कैशियर जो निर्देशों में टाइपिंग की गलती के कारण गलती से मुफ्त टिकट दे देता है।
3. "पांच इंद्रियों" वाला दृष्टिकोण
इस डेटासेट का सबसे अनूठा हिस्सा यह है कि उन्होंने केवल स्टेशन की "गति" को रिकॉर्ड नहीं किया। उन्होंने एक साथ पांच अलग-अलग प्रकार के डेटा (मोडालिटीज) रिकॉर्ड किए, जो एक 360-डिग्री दृश्य प्रदान करते हैं:
- लॉग्स (Logs): हर उस क्रिया की लिखित डायरी जो बूथों ने की।
- मेट्रिक्स (Metrics): स्पीडोमीटर और फ्यूल गेज (CPU, मेमोरी उपयोग)।
- ट्रेस (Traces): एक नक्शा जो दिखाता है कि एक यात्री ने हर एक बूथ के माध्यम से वास्तव में कौन सा रास्ता लिया।
- API रिस्पॉन्स (API Responses): यात्री ने वास्तव में क्या देखा (क्या उन्हें टिकट मिला? क्या उन्हें एरर मैसेज मिला?)। यह "यूजर एक्सपीरियंस" है।
- कोड कवरेज रिपोर्ट्स (Code Coverage Reports): एक विशेष हाइलाइटर जो दिखाता है कि कैशियर के निर्देश मैनुअल की कौन सी लाइनें वास्तव में पढ़ी और उपयोग की गईं। यह यह पहचानने में मदद करता है कि क्या त्रुटि कोड में ही थी।
4. उन्होंने यह कैसे किया (प्रयोग)
इसे बनाने के लिए, उन्होंने EvoMaster नामक एक रोबोट टेस्टर का उपयोग किया।
- चरण 1: रोबोट हजारों ग्राहकों की तरह व्यवहार करता है, टिकट खरीदने और सिस्टम का उपयोग करने की कोशिश करता है ताकि यह सुनिश्चित हो सके कि सब कुछ सामान्य रूप से काम कर रहा है।
- चरण 2: टीम ने सिस्टम में "ब्रेक्स" (विसंगतियां/anomalies) डाले। उन्होंने केवल रैंडम बूथों को नहीं चुना; उन्होंने सबसे महत्वपूर्ण बूथों को निशाना बनाया ताकि यह देखा जा सके कि पूरा स्टेशन कैसे प्रतिक्रिया देता है।
- चरण 3: जब रोबोट काम कर रहा था, तब उन्होंने सभी पांच प्रकार के डेटा को रिकॉर्ड किया, जिससे वास्तविक समय में होने वाली उथल-पुथल को कैप्चर किया गया।
5. यह क्यों महत्वपूर्ण है
लेखकों का दावा है कि यह डेटासेट एक गेम-चेंजर है क्योंकि यह शोधकर्ताओं को अनुमति देता है:
- कड़ियों को जोड़ना: यह देखना कि कैसे एक छोटा सा कोड एरर (मैनुअल में टाइपिंग की गलती) अंततः एक यूजर को "सिस्टम एरर" मैसेज दिखाने का कारण बनता है।
- मूल कारण (Root Cause) का पता लगाना: केवल यह जानने के बजाय कि "सिस्टम धीमा है," वे यह सटीक रूप से बता सकते हैं कि "डेटाबेस कनेक्शन पूल समाप्त हो गया है क्योंकि एक विशिष्ट कोड पाथ के कारण ऐसा हुआ है।"
- बेहतर AI का परीक्षण करना: यह AI शोधकर्ताओं को अपने "स्मार्ट डिटेक्टिव्स" को प्रशिक्षित करने के लिए एक बहुत ही समृद्ध, अधिक वास्तविक प्लेग्राउंड देता है ताकि वे इन जटिल प्रणालियों को स्वचालित रूप से ठीक कर सकें।
संक्षेप में: यह पेपर एक नए, अत्यधिक विस्तृत "क्राइम सीन" डेटासेट को पेश करता है जहाँ उन्होंने एक माइक्रोसर्विस सिस्टम को चार अलग-अलग तरीकों से बिगाड़ा और इसे पांच अलग-अलग कैमरों के साथ रिकॉर्ड किया। यह भविष्य के AI टूल्स को न केवल यह सीखने में मदद करता है कि क्या गलत है, बल्कि यह भी कि क्या गलत है और उसे कहाँ ठीक करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।