From General Agents to RCA Experts: A Self-Evolving Harness for Root Cause Analysis
यह शोध पत्र OpsHarness को प्रस्तुत करता है, जो एक स्व-विकसित ढांचा (self-evolving framework) है जो पिछले निदानों से परिचालन विशेषज्ञता को संचित और सत्यापित करने वाले एक अनुकूली बाहरी हार्नेस (adaptive external harness) का लाभ उठाकर सामान्य-उद्देश्य वाले LLM एजेंटों की मूल कारण विश्लेषण (root cause analysis) क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है, जिससे यह नग्न सामान्य एजेंटों और विशिष्ट RCA एजेंटों दोनों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब एक जटिल कंप्यूटर सिस्टम विफल होने लगता है, तो समस्या शायद ही कभी वहीं रुकती है जहाँ से वह शुरू हुई थी। आधुनिक डिजिटल दुनिया में, सॉफ्टवेयर हजारों छोटे, परस्पर जुड़े हुए टुकड़ों से बना होता है। यदि एक टुकड़ा लड़खड़ाता है, तो त्रुटि बाहर की ओर फैल सकती है, जिससे उपयोगकर्ता के ऐप में देरी हो सकती है या त्रुटि संदेशों का अचानक उछाल आ सकता है जो पूरी तरह से एक अलग समस्या जैसा दिखता है। यह पता लगाना कि वास्तविक समस्या वास्तव में कहाँ से शुरू हुई, 'रूट कॉज एनालिसिस' (मूल कारण विश्लेषण) कहलाता है। दशकों से, इंजीनियर इन टुकड़ों के जुड़ने के मानचित्रों या सांख्यिकीय पैटर्न पर निर्भर रहे हैं ताकि अपराधी का पता लगाया जा सके। आज, वे तेजी से आर्टिफिशियल इंटेलिजेंस, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) की ओर मुड़ रहे हैं, ताकि वे डिजिटल जासूस के रूप में कार्य कर सकें। ये मॉडल लॉग्स को पढ़ने, कोड को समझने और जटिल परिदृश्यों के माध्यम से तर्क करने में अविश्वसनीय रूप से कुशल हैं, बिल्कुल एक प्रतिभाशाली इंजीनियर की तरह जिसने लाइब्रेरी में मौजूद हर मैनुअल को पढ़ लिया हो। हालाँकि, इसमें एक पेंच है: जबकि ये मॉडल बुद्धिमान हैं, वे उस विशिष्ट सिस्टम की बारीकियों को नहीं जानते जिसे वे ठीक करने की कोशिश कर रहे हैं। उनमें उस गहरे, संचित अनुभव की कमी होती है जो एक मानव विशेषज्ञ को एक ही सिस्टम को बार-बार विफल होते और फिर से सुधरते हुए देखकर प्राप्त होता है।
द चाइनीज यूनिवर्सिटी ऑफ हांगकांग और बाइटडांस (ByteDance) के शोधकर्ताओं ने इस अंतर को पाटने का एक नया तरीका विकसित किया है। हर सिस्टम के लिए एक नया, विशिष्ट AI शून्य से बनाने के बजाय, उन्होंने एक लचीली बाहरी परत बनाई है जो एक शक्तिशाली, सामान्य-उद्देश्य वाले AI के चारों ओर लिपटी होती है। वे इस परत को 'हार्नेस' (harness) कहते हैं। इस हार्नेस को एक विशेष टूलकिट और फील्ड नोट्स के सेट के रूप में समझें जो एक सामान्य इंजीनियर को एक नई टीम में शामिल होने पर प्राप्त होते हैं। सामान्य AI तर्क करने की शक्ति प्रदान करता है, लेकिन हार्नेस विशिष्ट संदर्भ, उपयोग के लिए सही उपकरण और पिछली गलतियों से सीखे गए सबक प्रदान करता है। उनके काम का सबसे महत्वपूर्ण नवाचार, जिसे 'ऑप्सहार्नेस' (OpsHarness) कहा जाता है, यह है कि यह परत स्व-विकसित (self-evolving) है। यह केवल वहां बैठा नहीं रहता; यह प्रत्येक निदान (diagnosis) जो यह करने में मदद करता है, उसे देखता है, सफलताओं और विफलताओं दोनों से सीखता है, और समय के साथ बेहतर होने के लिए अपने स्वयं के निर्देशों को अपडेट करता है।
टीम ने एक सामान्य धारणा का परीक्षण करके शुरुआत की: कि समस्या निवारण (troubleshooting) के लिए विशेष रूप से बनाया गया एक कस्टम AI एजेंट बनाना सबसे अच्छा दृष्टिकोण है। उन्होंने इन कस्टम-निर्मित एजेंटों की तुलना मानक, सामान्य-उद्देश्य वाले AI मॉडल्स से की, जिन्हें केवल समस्या का निदान करने का कार्य दिया गया था। परिणाम आश्चर्यजनक थे। सामान्य मॉडल, जिन्हें विशेष रूप से ट्रबलशूटिंग के लिए प्रशिक्षित नहीं किया गया था, अक्सर कस्टम एजेंटों की तुलना में बेहतर प्रदर्शन करते थे। ऐसा इसलिए हुआ क्योंकि कस्टम एजेंटों में अक्सर उन परिष्कृत तर्क और योजना क्षमताओं की कमी होती थी जिन्हें सामान्य मॉडल्स ने पहले ही सिद्ध कर लिया था। हालाँकि, सबसे अच्छे सामान्य मॉडल भी पूर्ण नहीं थे। वे अक्सर सही लक्षणों की पहचान तो कर लेते थे लेकिन गलत कारण की ओर इशारा करते थे क्योंकि उनमें इस बात की जानकारी नहीं थी कि वह विशिष्ट सिस्टम तनाव के तहत कैसे व्यवहार करता है। उदाहरण के लिए, एक मॉडल डेटाबेस कनेक्शन में अचानक गिरावट देख सकता है और डेटाबेस विफलता मान सकता है, जबकि वास्तव में, वह गिरावट किसी अन्य घटक, जैसे कि सर्वर की प्रोसेसिंग पावर खत्म होने का एक दुष्प्रभाव मात्र हो सकती है।
इस समस्या को हल करने के लिए, शोधकर्ताओं ने ऑप्सहार्नेस को मॉडल की सामान्य बुद्धिमत्ता और सिस्टम की विशिष्ट वास्तविकता के बीच एक सेतु के रूप में डिजाइन किया। सिस्टम को दो मुख्य भागों में विभाजित किया गया है। पहला भाग एक नॉलेज बेस (ज्ञान आधार) है जो सूचनाओं को परतों में संग्रहीत करता है। यह समस्याओं की जांच करने के सामान्य नियमों से शुरू होता है, फिर निगरानी किए जा रहे विशिष्ट सिस्टम का एक प्रोफाइल जोड़ता है, और अंत में, विशिष्ट वर्कफ़्लो और नियमों का एक नेटवर्क संचित करता है जो काम करने के लिए सिद्ध हुए हैं। दूसरा भाग "आइडिया कार्ड्स" (idea cards) का एक पुस्तकालय है। हार्ड-कोडेड स्क्रिप्ट बनाने के बजाय जो सिस्टम बदलने पर टूट सकती हैं, हार्नेस AI को एक उपकरण या विधि का विवरण देता है, और AI उस क्षण में उसका उपयोग करने के लिए कोड लिखता है। यह सिस्टम को बिना पुन: प्रोग्राम किए विभिन्न डेटा लेआउट के अनुकूल होने की अनुमति देता है।
ऑप्सहार्नेस की असली शक्ति उसके अनुभव से सीखने की क्षमता में निहित है। समस्या का निदान करने में मदद करने के बाद, सिस्टम पूरी प्रक्रिया की समीक्षा करता है। यदि निदान सही था, तो सिस्टम सफल चरणों को निकालता है और उन्हें एक पुन: प्रयोज्य वर्कफ़्लो या नियम में बदल देता है। यदि निदान गलत था, तो यह पहचान करता है कि तर्क कहाँ से भटक गया और भविष्य में उस विशिष्ट गलती को रोकने के लिए एक नियम बनाता है। यह प्रक्रिया लापरवाही से स्वचालित नहीं है; सिस्टम में एक सख्त सुरक्षा जांच है। किसी भी नए नियम को अपनी मेमोरी में जोड़ने से पहले, इसे एक सुरक्षित, अलग वातावरण में परीक्षण किया जाता है ताकि यह सुनिश्चित हो सके कि यह बिना किसी अन्य चीज़ को नुकसान पहुँचाए निदान में सुधार करता है। यह दोहरा-जांच प्रक्रिया सिस्टम को बुरी आदतें सीखने या किसी एक अजीब घटना के प्रति अत्यधिक संवेदनशील (overfitting) होने से रोकती है।
शोधकर्ताओं ने वास्तविक दुनिया के सैकड़ों विफलता मामलों वाले दो सार्वजनिक बेंचमार्क पर इस दृष्टिकोण का परीक्षण किया और इसे एक बड़े वाणिज्यिक क्लाउड वातावरण में भी तैनात किया। परिणामों ने एक नाटकीय सुधार दिखाया। जब अकेले एक सामान्य AI मॉडल का उपयोग किया गया, तो सिस्टम लगभग 36 प्रतिशत बार सही मूल कारण की पहचान कर पाया। जब उसी मॉडल को ऑप्सहार्नेस से लैस किया गया, तो वह सटीकता बढ़कर लगभग 59 प्रतिशत हो गई। यह सुधार विभिन्न प्रकार के AI मॉडल्स और विभिन्न प्रकार के सिस्टमों में सुसंगत था। अध्ययन ने यह भी पाया कि सिस्टम जितना अधिक उपयोग किया जाता है, उतना ही बेहतर होता जाता है। एक निरंतर परीक्षण में, जहाँ सिस्टम ने समय के साथ घटनाओं का निदान किया, जैसे-जैसे इसने अधिक अनुभव प्राप्त किया, इसकी सटीकता लगातार बढ़ती गई। इसके विपरीत, जो सिस्टम विकसित नहीं हुए वे स्थिर रहे, और जो सिस्टम बिना सुरक्षा जांच के विकसित हुए, वे शोर (noise) से सीखकर स्थिति को और खराब करने लगे।
शोधकर्ताओं ने इस प्रणाली को चलाने की लागत को भी मापा। हालांकि हार्नेस प्रक्रिया में कुछ ओवरहेड जोड़ता है, लेकिन इसके लिए सामान्य AI मॉडल का उपयोग करने की तुलना में काफी अधिक कंप्यूटिंग पावर या समय की आवश्यकता नहीं होती है। वास्तव में, AI को सही रास्ते पर अधिक तेज़ी से निर्देशित करके, यह अक्सर समस्या को हल करने के लिए AI द्वारा उठाए जाने वाले चरणों की संख्या को कम कर देता है। संपूर्ण सिस्टम, जिसमें सभी सीखे गए नियम और उपकरण शामिल हैं, बहुत कम स्टोरेज स्पेस लेता है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन जाता है।
यह कार्य जटिल कार्यों के लिए बुद्धिमान सिस्टम बनाने के तरीके में एक बदलाव का सुझाव देता है। हर विशिष्ट कार्य के लिए ज़ीरो से एक नया AI प्रशिक्षित करने के बजाय, सबसे प्रभावी मार्ग एक शक्तिशाली, सामान्य AI को लेना और उसे एक स्मार्ट, विकसित होती परत में लपेटना है जो उसे परिवेश के विशिष्ट विवरण सिखाती है। इस बाहरी परत पर ध्यान केंद्रित करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो एक सामान्य मॉडल की कच्ची बुद्धिमत्ता को एक विशिष्ट विशेषज्ञ में बदल सकता है, जो अपने स्वयं के इतिहास से सीखने और हर उस घटना को सुलझाने में सुधार करने में सक्षम है जिसमें वह मदद करता है। निष्कर्ष बताते हैं कि स्वचालित ट्रबलशूटिंग का भविष्य केवल स्मार्ट मॉडल्स में नहीं, बल्कि उन मॉडल्स को काम करना सिखाने के स्मार्ट तरीकों में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।