Where Does the Accuracy of LLM-Based Root-Cause Analysis Come From? An Empirical Study on Microservice Benchmarks
यह अनुभवजन्य अध्ययन प्रकट करता है कि माइक्रोसर्विसेज में एलएलएम-आधारित रूट-कॉज़ एनालिसिस (मूल कारण विश्लेषण) की सटीकता मुख्य रूप से इसके अंतर्निहित पाइपलाइन द्वारा निकाले गए साक्ष्य की गुणवत्ता द्वारा संचालित होती है, न कि स्वयं मॉडल द्वारा, जबकि यह भ्रामक टेक्स्ट और टाइमिंग त्रुटियों के प्रति सिस्टम की महत्वपूर्ण संवेदनशीलता को भी उजागर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सॉफ्टवेयर के विशाल, अदृश्य शहरों में, जहाँ हज़ारों छोटे प्रोग्राम जिन्हें माइक्रोसर्विसेज कहा जाता है, ऑनलाइन शॉपिंग से लेकर बैंकिंग तक सब कुछ चलाने के लिए मिलकर काम करते हैं, कभी-कभी चीज़ें टूट जाती हैं। जब कोई विफलता होती है, तो इंजीनियरों को उसे ठीक करने के लिए उस एक टूटे हुए हिस्से को तेज़ी से ढूँढना होता है। इस प्रक्रिया को रूट-कॉज़ एनालिसिस (मूल-कारण विश्लेषण) कहा जाता है। वर्षों से, इसे करने का मानक तरीका स्वचालित डिटेक्टरों का उपयोग करना रहा है जो सिस्टम के डेटा में अजीब नंबरों पर नज़र रखते हैं—जैसे कि मेमोरी उपयोग में अचानक उछाल या किसी संदेश में देरी—और फिर इस बात की गिनती करते हैं कि कौन सी सर्विस सबसे अधिक गड़बड़ी कर रही है। हाल ही में, एक नया विचार उभरा है: केवल गिनती करने के बजाय, हम डेटा को एक लार्ज लैंग्वेज मॉडल (एक प्रकार का आर्टिफिशियल इंटेलिजेंस जो पढ़ और तर्क कर सकता है) को दे सकते हैं और उससे दोषी का नाम बताने के लिए कह सकते हैं। उम्मीद यह है कि ये मॉडल साधारण काउंटर की तुलना में संख्याओं के पीछे की कहानी को बेहतर ढंग से समझ सकते हैं। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: यदि मॉडल सही उत्तर देता है, तो क्या यह इसलिए है क्योंकि वह वास्तव में स्मार्ट है, या यह केवल उन सुरागों को पढ़ रहा है जो स्वचालित डिटेक्टरों ने उसे दिए हैं?
शोधकर्ताओं की एक टीम ने एक वास्तविक दुनिया के सॉफ्टवेयर सिस्टम और 360 सिम्युलेटेड विफलताओं के एक सार्वजनिक संग्रह का उपयोग करके एक नियंत्रित प्रयोग बनाकर इसका उत्तर देने का प्रयास किया। उन्होंने एक मौजूदा सिस्टम लिया जहाँ डिटेक्टर डेटा को एक संक्षिप्त टेक्स्ट रिपोर्ट में सारांशित करते हैं और फिर निदान करने के लिए इसे एक आर्टिफिशियल इंटेलिजेंस मॉडल को भेजते हैं। उनका लक्ष्य परतों को हटाकर यह देखना था कि सटीकता वास्तव में कहाँ से आई। वे जानना चाहते थे कि क्या मॉडल वास्तव में कोई वास्तविक मूल्य जोड़ रहा है, या उत्तर पहले से ही उस टेक्स्ट में छिपा था जो डिटेक्टरों ने लिखा था। यह पता लगाने के लिए, उन्होंने एक ही मॉडल को परीक्षण के विभिन्न संस्करणों के माध्यम से चलाया। कुछ रन में, उन्होंने वे व्याख्यात्मक वाक्य हटा दिए जो डिटेक्टरों ने जोड़े थे। अन्य में, उन्होंने वास्तविक सर्विस नामों को तटस्थ लेबल से बदल दिया। उन्होंने एक गलत सुराग भी बोया, यह बताते हुए कि एक विशिष्ट सर्विस समस्या का कारण थी जबकि वह वास्तव में निर्दोष थी, ताकि यह देखा जा सके कि क्या मॉडल बिना सोचे-समझे उस सुझाव का पालन करता है।
परिणामों ने एक चौंकाने वाला सच उजागर किया कि ये सिस्टम कैसे काम करते हैं। जब शोधकर्ताओं ने मॉडल का परीक्षण नेटवर्क और रिसोर्स संबंधी मुद्दों वाली 270 विफलताओं पर किया, तो मॉडल वास्तव में डिटेक्टरों की सरल गिनती की तुलना में कम सटीक था। डिटेक्टरों ने, जो केवल इस बात की गिनती करते थे कि प्रत्येक सर्विस के लिए कितने अलार्म बजे, 60% बार सही उत्तर दिया, जबकि मॉडल केवल 44% बार सही था। यह सुझाव देता है कि इस प्रकार की समस्याओं पर, मॉडल निदान में सुधार नहीं कर रहा था; बल्कि वह कभी-कभी बाधा बन रहा था। शोधकर्ताओं ने पाया कि मॉडल का प्रदर्शन उस टेक्स्ट पर बहुत अधिक निर्भर था जो पाइपलाइन ने उसके लिए लिखा था। जब उन्होंने वे व्याख्यात्मक नोट्स हटा दिए जो सिस्टम ने डेटा को समझाने के लिए जोड़े थे, तो मॉडल की सटीकता काफी गिर गई। यहाँ तक कि अधिक स्पष्ट रूप से, जब उन्होंने एक गलत नोट लगाया जिसमें दावा किया गया कि एक विशिष्ट सर्विस ही कारण थी, तो मॉडल ने लगभग आधे मामलों में उस झूठ का अनुसरण किया, और निर्दोष सर्विस को ही दोषी बताया। इसने दिखाया कि मॉडल उस नैरेटिव (कथा) के प्रति अत्यधिक संवेदनशील था जो उसे दिया गया था, और अक्सर वास्तविक साक्ष्य के बजाय टेक्स्ट के दावे को प्राथमिकता देता था।
हालाँकि, कहानी तब बदल गई जब शोधकर्ताओं ने कंप्यूटर कोड के भीतर होने वाली त्रुटियों से जुड़ी 90 विफलताओं के एक अलग सेट को देखा। यहाँ, मॉडल साधारण डिटेक्टर काउंट से बेहतर प्रदर्शन कर रहा था, जहाँ वह 60% बार सही उत्तर दे रहा था जबकि डिटेक्टर 38% बार। शोधकर्ताओं ने पाया कि यह सुधार लगभग पूरी तरह से रॉ लॉग टेक्स्ट (raw log text)—वास्तविक त्रुटि संदेश जो सॉफ्टवेयर द्वारा लिखे गए थे—से आया था, जिसे मॉडल पढ़ और समझ सकता था, जबकि डिटेक्टर केवल उन्हें संख्याओं में सारांशित कर सकते थे। जब उन्होंने मॉडल के इनपुट से इस रॉ टेक्स्ट को हटा दिया, तो इसकी सटीकता वापस साधारण डिटेक्टरों के स्तर पर आ गई। यह इंगित करता है कि इस परिदृश्य में मॉडल की "बुद्धिमत्ता" उसकी सामान्य तर्क क्षमता नहीं थी, बल्कि रॉ एरर लॉग्स को पढ़ने का एक विशिष्ट कौशल था जिन्हें डिटेक्टरों ने संख्याओं में सारांशित कर दिया था।
अध्ययन ने यह भी परीक्षण किया कि ये सिस्टम विफलता कब शुरू हुई, इसकी अनिश्चितता को कैसे संभालते हैं। उन्होंने पाया कि सबसे शक्तिशाली सांख्यिकीय विधियाँ, जो ज्ञात विफलता समय से पहले और बाद के डेटा की तुलना करने पर निर्भर करती हैं, तब विफल हो गईं जब शोधकर्ताओं ने स्टार्ट टाइम को केवल दो मिनट बदल दिया। मॉडल इस त्रुटि के प्रति थोड़ा अधिक मजबूत था, लेकिन वह भी संघर्ष कर रहा था। जब शोधकर्ताओं ने एक पूरी तरह से अलग, सरल पाइपलाइन बनाई जो डेटा को बिना किसी जटिल व्याख्यात्मक नोट्स के प्रस्तुत करती थी, तो उसी मॉडल ने 87% की बहुत अधिक सटीकता प्राप्त की। इसने साबित कर दिया कि मॉडल स्वयं उच्च प्रदर्शन करने में सक्षम था, लेकिन केवल तभी जब साक्ष्य स्पष्ट रूप से और भ्रामक व्याख्यात्मक टेक्स्ट के बिना प्रस्तुत किए गए हों। मूल सिस्टम में, व्याख्यात्मक नोट्स एक फिल्टर की तरह काम कर रहे थे जो कभी-कभी सच्चाई को धुंधला कर देते थे।
अंततः, शोध यह निष्कर्ष निकालता है कि इन आर्टिफिशियल इंटेलिजेंस एजेंटों की सटीकता केवल मॉडल का गुण नहीं है। यह उन डिटेक्टरों द्वारा निकाले गए डेटा, टेक्स्ट को कैसे लिखा गया है, और उस टेक्स्ट पर मॉडल की प्रतिक्रिया का मिश्रण है। अध्ययन किए गए मामले में, मॉडल अक्सर उन साधारण डिटेक्टरों से कम काम करता था जिन्हें उसे बदलने के लिए बनाया गया था। पाइपलाइन द्वारा जोड़े गए व्याख्यात्मक वाक्य ऐसे शक्तिशाली लीवर थे जो उत्तर को सही दिशा में खींच सकते थे या उतनी ही आसानी से गलत दिशा में भी। शोधकर्ता तर्क देते हैं कि इन सिस्टमों को वास्तव में समझने के लिए, हमें मॉडल को एक 'ब्लैक बॉक्स' के रूप में मानना बंद करना होगा जो जादू से समस्याओं को हल करता है। इसके बजाय, हमें उस टेक्स्ट का भी उतनी ही कठोरता से परीक्षण करना चाहिए जिसे वह पढ़ता है, यह जाँचते हुए कि क्या मॉडल तर्क कर रहा है या केवल उस टेक्स्ट के नेतृत्व का अनुसरण कर रहा है जो उसे दिया गया है। निष्कर्ष बताते हैं कि इन उपकरणों के विश्वसनीय होने के लिए, जिस तरह से हम उन्हें जानकारी देते हैं, उसका डिज़ाइन उतना ही सावधानीपूर्वक होना चाहिए जितना कि स्वयं मॉडल्स का।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।