KRCA: An Efficient Root Cause Analysis System in Hyper-Scale Microservice Systems via Agentic AI
यह शोध पत्र KRCA प्रस्तुत करता है, जो हाइपर-स्केल माइक्रोसर्विसेज के लिए एक एंड-टू-एंड रूट कॉज एनालिसिस सिस्टम है, जो उच्च नैदानिक सटीकता और दक्षता प्राप्त करने के लिए एक मेमोरी-ऑगमेंटेड मल्टी-एजेंट फ्रेमवर्क के साथ एक मल्टी-स्टेज पाइपलाइन को जोड़ता है, जैसा कि क्वाशौ (Kuaishou) में इसके सफल छह महीने के परिनियोजन द्वारा प्रमाणित हुआ है जिसने निदान समय को 77.3% तक कम कर दिया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, भविष्यवादी क्रूज शिप के कप्तान हैं जिसमें 200,000 छोटे, स्वतंत्र इंजन (माइक्रोसर्विस) मिलकर जहाज को चलाने का काम कर रहे हैं। हर दिन, नए इंजन जोड़े जाते हैं, पुराने में बदलाव किए जाते हैं, और अलग-अलग टीमें लगातार बदलाव करती रहती हैं।
एक सुबह, एक अलार्म बजता है: "जहाज की गति धीमी हो रही है!"
अतीत में, यह पता लगाना कि किस विशिष्ट इंजन ने गति कम की है, एक शहर के आकार के ढेर में सुई खोजने जैसा था। आपको हर एक इंजन को एक-एक करके जांचना पड़ता, और अक्सर उन हजारों अन्य इंजनों के शोर से भ्रमित होना पड़ता जो समस्या का कारण नहीं थे, बल्कि केवल उस पर प्रतिक्रिया दे रहे थे। इसे खोजने में घंटों लग जाते थे, और जब तक आप समाधान ढूंढते, जहाज (या इस मामले में, क्वा शौ (Kuaishou) जैसा ऐप) को भारी नुकसान होता था।
KRCA एक नया, अत्यंत स्मार्ट जासूसी सिस्टम है जिसे विशेष रूप से इस समस्या को हल करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ इसके तीन सरल चरणों का विवरण दिया गया है:
1. "ड्रिल-डाउन" टॉर्च (खोज को सीमित करना)
सभी 200,000 इंजनों की जांच करने के बजाय, KRCA ठीक उसी स्थान से शुरू होता है जहाँ अलार्म बजा था (एक विशिष्ट API)। यह एक विशेष "टॉर्च" का उपयोग करता है जो केवल उस स्थान से सीधे जुड़े इंजनों को देखती है।
- उपमा: कल्पना कीजिए कि एक जासूस पूरे शहर की तलाशी नहीं लेता। इसके बजाय, वे अपराध स्थल से शुरू करते हैं और केवल उन लोगों के पदचिह्नों का पीछा करते हैं जो ठीक उसी क्षण वहां मौजूद थे।
- यह कैसे काम करता है: यह जुड़े हुए सेवाओं की "विफलता दर" (failure rate) और "गति" (speed) की जांच करता है। यदि कोई डाउनस्ट्रीम इंजन अजीब व्यवहार कर रहा है, तो यह उस पथ का अनुसरण करता है। यदि कोई इंजन सामान्य रूप से कार्य कर रहा है, तो यह उसे अनदेखा कर देता है। यह खोज को 200,000 संदिग्धों से घटाकर तुरंत केवल कुछ ही "संदिग्ध" इंजनों तक सीमित कर देता है।
2. "कंकाल मानचित्र" (सुरागों को व्यवस्थित करना)
एक बार जब सिस्टम को एक संदिग्ध इंजन मिल जाता है, तो उस इंजन से सैकड़ों सेंसर (मेट्रिक्स) जुड़े हो सकते हैं (तापमान, दबाव, ईंधन प्रवाह, आदि)। कच्चे नंबरों को देखकर यह पता लगाना कि कौन सा सेंसर असली अपराधी है, 400 टुकड़ों वाली पहेली को सुलझाने जैसा है जो पूरी तरह बिखरे हुए हैं।
- उपमा: बिखरे हुए पहेली के टुकड़ों को घूरने के बजाय, KRCA पहले एक कंकाल ढांचा (skeleton frame) बनाता है। वह जानता है कि "ईंधन प्रवाह" (Fuel Flow) आमतौर पर "इंजन गति" (Engine Speed) की समस्याओं का कारण बनता है, और "तापमान" (Temperature) आमतौर पर "दबाव" (Pressure) की समस्याओं का कारण बनता है।
- यह कैसे काम करता है: यह अजीब सेंसर रीडिंग को एक पूर्व-निर्मित "कंकाल" मानचित्र में फिट करता है, जो इस आधार पर बना होता है कि सिस्टम को कैसे काम करना चाहिए। यह जासूस को एक संरचित शुरुआती बिंदु देता है, ताकि वे शोर के बीच खो न जाएं।
3. "विशेषज्ञों की टीम" (एजेंटिक AI)
अब जब सिस्टम के पास संदिग्धों की एक छोटी सूची और एक संरचित मानचित्र है, तो यह विशेषज्ञों की एक AI टीम को बुलाता है।
- उपमा: कल्पना कीजिए कि एक मुख्य जासूस (Main Agent) एक ट्रैफिक विशेषज्ञ, एक CPU विशेषज्ञ और एक डेटाबेस विशेषज्ञ को बुलाता है।
- मुख्य एजेंट कहता है: "हे, CPU गर्म है। विशेषज्ञ CPU, जांचो कि क्या यह वास्तव में एक समस्या है या केवल एक तकनीकी खराबी।"
- विशेषज्ञ अपने पिछले मामलों के मेमोरी बैंक (जैसे एक अनुभवी जासूस पिछले साल के समान मामले को याद करता है) की जांच करता है और सबूत जुटाने के लिए उपकरणों का उपयोग करता है।
- वे आपस में बात करते हैं, तथ्यों की क्रॉस-चेकिंग करते हैं, और कहते हैं, "नहीं, यह वह नहीं है," या "हाँ, निश्चित रूप से यही कारण है।"
- परिणाम: वे मिलकर एक अंतिम रिपोर्ट लिखते हैं जो बताती है कि ठीक कौन सा इंजन टूटा और क्यों (उदाहरण के लिए, "स्टोरेज सेवा में मेमोरी लीक के कारण एक चेन रिएक्शन हुआ")।
यह एक बड़ी बात क्यों है?
- गति: KRCA से पहले, इंजीनियरों को मूल कारण खोजने में लगभग 52 मिनट लगते थे। KRCA के साथ, इसमें लगभग 11 मिनट लगते हैं। यह समय में 77% की कमी है।
- सटीकता: परीक्षणों में, KRCA ने 88% बार सही इंजन पाया और 79% बार विफलता के प्रकार की सही पहचान की। यह पिछले तरीकों की तुलना में बहुत बेहतर है, जो अक्सर डेटा की विशाल मात्रा में खो जाते थे।
- वास्तविक दुनिया की सफलता: यह केवल एक सिद्धांत नहीं है। यह छह महीने से अधिक समय से क्वा शौ (Kuaishou) के वास्तविक प्रोडक्शन सिस्टम पर चल रहा है, प्रतिदिन हजारों अलर्ट संभाल रहा है और विफलताओं को तेजी से रोककर कंपनी के महत्वपूर्ण पैसे बचा रहा है।
संक्षेप में: KRCA एक अत्यधिक संगठित, बहु-विशेषज्ञ जासूसी टीम की तरह है जो खोज को सीमित करने के लिए टॉर्च का उपयोग करती है, सुरागों को व्यवस्थित करने के लिए एक कंकाल मानचित्र का उपयोग करती है, और बड़े, जटिल सिस्टम फेलियर को घंटों के बजाय मिनटों में हल करने के लिए पिछले मामलों के मेमोरी बैंक का उपयोग करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।