Intelligent Root Cause Analysis and Incident Diagnostics for Microsoft Fabric and Power BI through Telemetry Correlation and Kusto Query Language

कल्पना कीजिए कि आप "द एनालिटिक्स एंटरप्राइज" नामक एक विशाल, उच्च-तकनीकी अंतरिक्ष यान के कप्तान हैं। यह जहाज माइक्रोसॉफ्ट फैब्रिक (Microsoft Fabric) और पावर बीआई (Power BI) नामक दो अत्यंत जटिल इंजनों द्वारा संचालित है। ये इंजन केवल उड़ते ही नहीं; वे बड़े निर्णय लेने में चालक दल की मदद करने के लिए डेटा के पहाड़ों को प्रोसेस करते हैं। लेकिन कभी-कभी, जहाज लड़खड़ा जाता है। एक डैशबोर्ड खाली हो जाता है, एक रिपोर्ट लोड होने में बहुत समय लेती है, या एक डेटा पाइपलाइन रुक जाती है।

जब ऐसा होता है, तो चीजों को ठीक करने का पुराना तरीका इंजन रूम में टॉर्च और नोटपैड लेकर घूमने वाले मैकेनिक को भेजने जैसा है। उन्हें ईंधन की पाइपों, वायरिंग, कूलिंग सिस्टम और नेविगेशन कंप्यूटरों को एक-एक करके जांचना पड़ता है, और अंदाज़ा लगाना पड़ता है कि समस्या कहाँ है। यह धीमा है, थकाऊ है, और यदि मैकेनिक विशेषज्ञ नहीं है, तो वह गलत चीज़ को ठीक कर सकता है।

यह बिल्कुल वही है जिसके बारे में शुजात बेग मिर्जा का पेपर बात कर रहा है। लेखक का तर्क है कि माइक्रोसॉफ्ट फैब्रिक और पावर बीआई जैसे विशाल प्लेटफार्मों के लिए, टॉर्च और नोटपैड के साथ इधर-उधर घूमना बहुत धीमा और गलतियों से भरा है। इसके बजाय, पेपर एक स्मार्ट डिटेक्टिव सिस्टम (चतुर जासूस प्रणाली) का प्रस्ताव करता है जो जहाज के इंजन रूम के लिए एक सुपर-पावर्ड जीपीएस की तरह काम करता है।

स्मार्ट डिटेक्टिव का टूलकिट

नई प्रणाली रहस्यों को सुलझाने के लिए दो मुख्य उपकरणों का उपयोग करती है:

1. टेलीमेट्री कोरिलेशन (सर्वव्यापी दृष्टि):
   सोचिए कि अंतरिक्ष यान में हर जगह लाखों छोटे कैमरे और माइक्रोफोन (लॉग्स, मेट्रिक्स और ट्रेसेस) हैं। पुराने दिनों में, इंजीनियरों को प्रत्येक कैमरा फीड को अलग से देखना पड़ता था। नया सिस्टम इन सभी फीड्स को एक साथ जोड़कर एक विशाल, सिंक्रोनाइज़्ड मूवी में बदल देता है। यह देख सकता है कि ईंधन की पाइप में आया झटका ठीक उसी समय हुआ जब नेविगेशन कंप्यूटर में अजीब सी आवाज़ आई। यह उन कड़ियों को जोड़ देता है जिन्हें इंसान मिस कर सकते हैं क्योंकि वे एक साथ बहुत सारी स्क्रीनों को देख रहे होते हैं।

2. कुस्टो क्वेरी लैंग्वेज (जादुई मंत्रों की किताब):
   यह वह भाषा है जिसका उपयोग जासूस जहाज से सवाल पूछने के लिए करता है। हर बार कुछ टूटने पर नया, जटिल सवाल शून्य से लिखने के बजाय, जासूस पहले से लिखे गए, पुन: प्रयोज्य "स्पेल" (टेम्पलेट्स) का उपयोग करता है। ये स्पेल इस तरह डिज़ाइन किए गए हैं कि वे जानते हैं कि जहाज के हिस्से एक-दूसरे पर कैसे निर्भर हैं। यदि इंजन विफल होता है, तो स्पेल स्वचालित रूप से सही क्रम में ईंधन, वायरिंग और कूलिंग सिस्टम की जांच करता है, जिससे संदिग्धों की सूची तुरंत कम हो जाती है।

बड़ा प्रयोग: एक सिम्युलेटेड क्रैश

यह देखने के लिए कि क्या यह स्मार्ट डिटेक्टिव वास्तव में काम करता है, लेखक ने केवल अनुमान नहीं लगाया; उन्होंने एक नियंत्रित सिमुलेशन चलाया। उन्होंने माइक्रोसॉफ्ट फैब्रिक और पावर बीआई के वातावरण का एक नकली संस्करण बनाया और जानबूझकर इसे चार विशिष्ट तरीकों से खराब किया:

• डेटा रिफ्रेश फेल्योर (डेटा रिफ्रेश विफलता): जैसे ईंधन टैंक भरने की कोशिश करना लेकिन पंप जाम हो गया हो।
• क्वेरी परफॉरमेंस रिग्रेशन (क्वेरी प्रदर्शन में गिरावट): जैसे नेविगेशन कंप्यूटर स्लो मोशन में फंस गया हो।
• सिमेंटिक मॉडल इनकंसिस्टेंसी (सिमेंटिक मॉडल विसंगति): जैसे मानचित्र में गलत निर्देशांक (कोऑर्डिनेट्स) हों।
• कैपेसिटी थ्रॉटलिंग इवेंट्स (क्षमता थ्रॉटलिंग घटना): जैसे इंजन ओवरहीट हो रहा हो क्योंकि बहुत सारे लोग एक साथ इसका उपयोग करने की कोशिश कर रहे हैं।

प्रत्येक "क्रैश" के लिए, लेखक ने दो टीमों की तुलना की:

• टीम मैनुअल: इंजीनियर जो पुराने टॉर्च और नोटपैड वाले तरीके का उपयोग कर रहे थे।
• टीम इंटेलिजेंट: इंजीनियर जो जादुई मंत्रों की किताब के साथ नए स्मार्ट डिटेक्टिव सिस्टम का उपयोग कर रहे थे।

परिणाम: गति और बुद्धिमत्ता

सिमुलेशन ने कुछ बहुत स्पष्ट अंतर दिखाए। स्मार्ट डिटेक्टिव सिस्टम न केवल थोड़ा बेहतर था; यह काफी बेहतर था।

• असली अपराधी को ढूंढना:
  जब जहाज खराब हुआ, तो टीम मैनुअल ने डेटा रिफ्रेश फेल्योर के लिए केवल 71.2%, धीमी क्वेरी के लिए 68.9%, मैप एरर के लिए 73.5%, और ओवरहीटिंग के लिए 65.7% बार सही मूल कारण पकड़ा।
  हालांकि, टीम इंटेलिजेंट ने क्रमशः 92.5%, 90.3%, 94.1%, और 91.8% बार सही मूल कारण को सटीक रूप से पहचाना। वे इंजन के गलत हिस्से पर दोष मढ़ने की संभावना बहुत कम रखते थे।

• ठीक करने का समय:
  अंतरिक्ष यात्रा में समय ही पैसा (और विश्वास) है। टीम मैनुअल को ईंधन पंप के जाम होने का कारण पता लगाने में औसतन 47.8 मिनट, धीमी नेविगेशन के लिए 52.1 मिनट, मैप एरर के लिए 39.6 मिनट, और ओवरहीटिंग इंजन के लिए पूरे 58.9 मिनट लगे।
  टीम इंटेलिजेंट ने ईंधन पंप के रहस्य को मात्र 18.4 मिनट में, धीमी नेविगेशन को 21.7 मिनट में, मैप एरर को 15.2 मिनट में, और ओवरहीटिंग को 23.5 मिनट में हल कर दिया! उन्होंने निदान (डायग्नोसिस) के समय को आधे से भी अधिक कम कर दिया!

• कम अनुमान लगाना:
  टीम मैनुअल को ईंधन पंप की समस्या खोजने के लिए औसतन 18.6 अलग-अलग जांच (क्वेरी) करनी पड़ी। टीम इंटेलिजेंट को केवल 6.2 जांच की आवश्यकता थी। उन्होंने गलत जगहों पर समय बर्बाद नहीं किया।

इसका क्या अर्थ है (और क्या नहीं)

पेपर सुझाव देता है कि इस स्मार्ट, कनेक्टेड दृष्टिकोण का उपयोग करके, हम संकट के दौरान व्यक्तिगत विशेषज्ञों पर अंदाज़ा लगाने के लिए निर्भर रहना बंद कर सकते हैं। इसके बजाय, हम एक ऐसी प्रणाली का उपयोग कर सकते है जो स्वचालित रूप से कड़ियों को जोड़ती है और सीधे समस्या की ओर इशारा करती है। यह पूरी प्रक्रिया को अधिक विश्वसनीय और कम तनावपूर्ण बनाता है।

हालाँकि, कुछ महत्वपूर्ण बातें ध्यान में रखनी चाहिए:

• यह एक सिमुलेशन है: ये परिणाम एक सावधानीपूर्वक नियंत्रित, सिम्युलेटेड वातावरण से आए हैं। पेपर यह दावा नहीं करता है कि इसे अभी तक लाखों वास्तविक उपयोगकर्ताओं के साथ एक वास्तविक, लाइव स्पेसशिप पर टेस्ट किया गया है। लेखक सुझाव देते हैं कि हालांकि परिणाम बेहतरीन दिखते हैं, लेकिन वास्तविक दुनिया में इसका परीक्षण करना अगला कदम है।
• यह एक डिटेक्टिव है, रिपेयरमैन नहीं: यह प्रणाली समस्या को ढूंढने और यह बताने में बहुत अच्छी है कि वह क्या है। यह अभी तक इंजन को स्वचालित रूप से ठीक (रेमेडिएशन) नहीं करती है। यह एक शानदार मार्गदर्शक है, लेकिन आपको रिंच घुमाने के लिए अभी भी एक मैकेनिक की आवश्यकता होगी।
• यह हर चीज़ के लिए जादू नहीं है: यह प्रणाली पैटर्न और टाइमिंग खोजने पर निर्भर करती है। यदि कोई समस्या बहुत सूक्ष्म है या बहुत अजीब तरीके से, देरी से होती है जो पैटर्न में फिट नहीं बैठती, तो सिस्टम एकदम सटीक नहीं हो सकता है।

संक्षेप में, पेपर दिखाता है कि माइक्रोसॉफ्ट फैब्रिक और पावर बीआई जैसे जटिल डेटा प्लेटफार्मों के लिए, "टॉर्च और अनुमान" पद्धति को "स्मार्ट, कनेक्टेड डिटेक्टिव" पद्धति से बदलने का मतलब है कि हम समस्याओं को तेज़ी से, अधिक सटीकता से और कम तनाव के साथ ढूंढ सकते हैं। यह हमारे डेटा जहाजों को सुचारू रूप से चलाने की दिशा में एक आशाजनक कदम है।