Dynamic Sampling for Telemetry in Microservices: A Reinforcement Learning and Entropy-Based Approach
यह शोध पत्र RADAR को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (Reinforcement Learning) और एंट्रॉपी-आधारित एजेंट है जो महत्वपूर्ण अवलोकन क्षमता (observability) और डेटा गुणवत्ता को बनाए रखते हुए संसाधन खपत को नाटकीय रूप से कम करने के लिए माइक्रोसर्विसेज टेलीमेट्री सैंपलिंग को गतिशील रूप से अनुकूलित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सॉफ़्टवेयर अक्सर एक एकल, विशाल प्रोग्राम के रूप में नहीं, बल्कि एक नेटवर्क के माध्यम से एक-दूसरे से बात करने वाली छोटी, स्वतंत्र सेवाओं के झुंड के रूप में जीवित रहता है। यह दृष्टिकोण, जिसे माइक्रोसर्विसेज (microservices) के रूप में जाना जाता है, कंपनियों को अपने अनुप्रयोगों के हिस्सों को तेज़ी से अपडेट करने और आवश्यकतानुसार उन्हें बढ़ाने या घटाने की अनुमति देता है। हालाँकि, यह लचीलापन एक छिपी हुई लागत के साथ आता है: जब चीजें गलत होती हैं, तो सिस्टम के भीतर क्या हो रहा है, यह देखना अविश्वसनीय रूपм कठिन हो जाता है। इसे हल करने के लिए, इंजीनियर 'डिस्ट्रीब्यूटेड ट्रेसिंग' (distributed tracing) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि एक ग्राहक वेबसाइट पर ऑर्डर दे रहा है; वह एक एकल अनुरोध एक दर्जन विभिन्न सेवाओं के माध्यम से गुजर सकता है, जैसे इन्वेंट्री की जांच करना, टैक्स की गणना करना और भुगतान को प्रोसेस करना। डिस्ट्रीब्यूटेड ट्रेसिंग उस अनुरोध का शुरुआत से अंत तक पीछा करती है, जिससे उसकी यात्रा का एक विस्तृत मानचित्र तैयार होता है। यह मानचित्र बग्स को खोजने और प्रदर्शन संबंधी समस्याओं को समझने के लिए आवश्यक है, लेकिन यह भारी मात्रा में डेटा भी उत्पन्न करता है। यदि कोई सिस्टम लाखों अनुरोधों को प्रोसेस करता है, तो प्रत्येक सिंगल ट्रेस को एकत्र करना नेटवर्क को थका देगा, कंप्यूटिंग शक्ति की भारी मात्रा का उपभोग करेगा, और स्टोरेज ड्राइव को एक अस्थिर दर पर भर देगा।
इसलिए, चुनौती यह है कि नियमित, सफल परिचालनों के शोर में डूबने के बजाय पर्याप्त डेटा कैसे एकत्र किया जाए। पारंपरिक तरीके अक्सर सरल नियमों पर निर्भर करते हैं, जैसे कि हर सौ में से केवल एक अनुरोध को रिकॉर्ड करना, या रिकॉर्ड करना शुरू करने के लिए किसी त्रुटि (error) के होने तक प्रतीक्षा करना। ये दृष्टिकोण अक्सर बहुत कठोर होते हैं; वे दुर्लभ लेकिन महत्वपूर्ण विफलताओं को मिस कर सकते हैं, या वे बिना किसी नई जानकारी के सामान्य ट्रैफिक को रिकॉर्ड करने में संसाधनों को बर्बाद कर सकते हैं। ब्राजील के फेडरल यूनिवर्सिटी ऑफ रियो ग्रांडे डो सुल के शोधकर्ताओं ने इस दुविधा को संभालने का एक नया तरीका विकसित किया है। उन्होंने RADAR नामक एक प्रणाली बनाई है, जो इस डेटा के लिए एक बुद्धिमान, स्व-समायोजन करने वाले फिल्टर के रूप में कार्य करती है। निश्चित नियमों का उपयोग करने के बजाय, RADAR यह सीखता है कि कौन से ट्रेसेस (traces) रखने योग्य हैं, इसके लिए यह लगातार विभिन्न संयोजनों में सैंपलिंग नियमों का परीक्षण करता है और उनके परिणामों का अवलोकन करता है।
RADAR के पीछे का मूल विचार डेटा संग्रह को एक सीखने की प्रक्रिया के रूप में मानना है। यह प्रणाली 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) नामक एक विधि का उपयोग करती है, जहाँ एक कंप्यूटर एजेंट निर्णय लेता है, परिणाम देखता है, और बेहतर परिणाम प्राप्त करने के लिए अपनी रणनीति को समायोजित करता है। इस मामले में, एजेंट का लक्ष्य रखे जाने वाले डेटा की "सूचनात्मक मूल्य" (information value) को अधिकतम करना और संग्रहीत किए जाने वाले डेटा की मात्रा को न्यूनतम करना है। सूचनात्मक मूल्य को मापने के लिए, शोधकर्ताओं ने सूचना सिद्धांत (information theory) से एक अवधारणा का उपयोग किया जिसे 'एंट्रॉपी' (entropy) कहा जाता है। सरल शब्दों में, एंट्रॉपी यह मापती है कि डेटा का एक सेट कितना विविध या अप्रत्याशित है। ट्रेसेस का एक संग्रह जो सभी समान हैं, उसमें एंट्रॉपी कम होती है और मूल्य भी कम होता है, क्योंकि वे आपको कुछ भी नया नहीं बताते। एक संग्रह जिसमें कई अलग-अलग, दुर्लभ और असामान्य पथ शामिल हैं, उसमें उच्च एंट्रॉpi और उच्च मूल्य होता है, क्योंकि वह सिस्टम के जटिल व्यवहारों और संभावित विफलताओं को प्रकट करता है। RADAR इस विविधता के माप को एक 'रिवॉर्ड सिग्नल' के रूप में उपयोग करता है। जब एजेंट नियमों का एक ऐसा सेट चुनता है जो बहुत अधिक डेटा एकत्र किए बिना विविध व्यवहारों की एक विस्तृत श्रृंखला को कैप्चर करता है, तो उसे उच्च रिवॉर्ड मिलता है और वह उस विकल्प को दोहराना सीख जाता है।
इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने कंप्यूटरों के एक क्लस्टर पर चल रहे एक सिम्युलेटेड ऑनलाइन स्टोर बनाया, जो एक वास्तविक दुनिया के एप्लिकेशन के जटिल वातावरण की नकल करता है। उन्होंने विभिन्न प्रकार के ट्रैफिक पेश किए, जिसमें सामान्य ब्राउजिंग और त्रुटियों या असामान्य व्यवहार को ट्रिगर करने के लिए डिज़ाइन किए गए विशिष्ट परिदृश्य शामिल थे। फिर उन्होंने RADAR एजेंट को कई घंटों तक चलने दिया, जिससे उसे विभिन्न नियमों के साथ प्रयोग करने का अवसर मिला। कुछ नियमों ने धीमी रिक्वेस्ट को कैप्चर करने पर ध्यान केंद्रित किया, कुछ ने त्रुटियों पर, और कुछ ने उच्च-मूल्य की खरीदारी जैसे विशिष्ट व्यावसायिक आयोजनों पर। एजेंट इन नियमों के बीच स्विच करता रहा, और एकत्र किए गए ट्रेसेस की संख्या और उनकी विविधता का अवलोकन करता रहा। समय के साथ, एजेंट ने सही संतुलन खोजने का कौशल सीख लिया। उसने खोजा कि सिस्टम को समझने के लिए उसे हर एक अनुरोध को रिकॉर्ड करने की आवश्यकता नहीं है। इसके बजाय, सबसे विविध और सूचनात्मक पथों पर ध्यान केंद्रित करके, वह सिस्टम के स्वास्थ्य की स्पष्ट तस्वीर बनाए रखते हुए डेटा की मात्रा को भारी रूप से कम कर सकता था।
प्रयोग के परिणाम आश्चर्यजनक थे। एक ऐसे सिस्टम की तुलना में जो हर एक ट्रेस को रिकॉर्ड करता था, RADAR ने नेटवर्क पर भेजे जाने वाले डेटा की मात्रा को 97.4 प्रतिशत तक कम कर दिया। इसने उस डेटा को प्रोसेस करने के लिए आवश्यक कंप्यूटिंग शक्ति को भी 99.0 प्रतिशत तक कम कर दिया। ये बचत महत्वपूर्ण हैं क्योंकि इसका अर्थ है कि सिस्टम बहुत सस्ता और तेज़ चल सकता है। फिर भी, शोधकर्ता इस बात को लेकर सतर्क थे कि यह दक्षता महत्वपूर्ण जानकारी को मिस करने की कीमत पर न आए। उन्होंने यह सुनिश्चित करने के लिए RADAR द्वारा एकत्र किए गए डेटा की तुलना पूर्ण डेटासेट से की कि क्या इसने दुर्लभ और महत्वपूर्ण घटनाओं को पकड़ा है। उन्होंने पाया कि RADAR ने लगभग 85.6 प्रतिशत दुर्लभ ट्रेस पैटर्न—वे अनूठे, एक बार होने वाली घटनाएँ जो अक्सर गंभीर समस्या की शुरुआत का संकेत देती हैं—को बरकरार रखा। इसके अलावा, रखे गए डेटा की औसत विविधता लगभग 25 प्रतिशत बढ़ गई, जिसका अर्थ है कि बचा हुआ डेटा एक यादृच्छिक नमूने (random sample) की तुलना में निदान के लिए बहुत अधिक उपयोगी था।
यह दृष्टिकोण स्थिर, मानव-निर्धारित नियमों से गतिशील, स्वायत्त प्रबंधन की ओर एक बदलाव का प्रतिनिधित्व करता है। पारंपरिक प्रणालियों में इंजीनियरों को यह तय करने के लिए मैन्युअल रूप से नियमों को लागू करना पड़ता है, जो एक कठिन कार्य है क्योंकि सिस्टम बदलता और बढ़ता है। इसके विपरीत, RADAR वर्तमान में सिस्टम की स्थिति के अनुसार निरंतर अनुकूलित होता है। इसे पहले से यह बताने की आवश्यकता नहीं है कि त्रुटि कैसी दिखती है; यह बस यह पहचानना सीख जाता है कि एक विविध सेट के व्यवहारों का संग्रह एक दोहराव वाले व्यवहार की तुलना में अधिक मूल्यवान है। यह प्रणाली पूरी तरह से आधुनिक सॉफ़्टवेयर इंजीनियरों द्वारा उपयोग किए जाने वाले मानक उपकरणों के भीतर काम करती है, जिससे यह एप्लिकेशन कोड में बिना किसी आक्रामक बदलाव के मौजूदा बुनियादी ढांचे के साथ संगत हो जाती है।
यह अध्ययन प्रदर्शित करता है कि जटिल प्रणालियों की निगरानी का बोझ बढ़ाए बिना यह संभव है कि क्या गलत हो रहा है, इसे देखने की क्षमता को बरकरार रखा जाए। डेटा संग्रह प्रक्रिया को निर्देशित करने के लिए विविधता के गणितीय माप का उपयोग करके, शोधकर्ताओं ने दिखाया कि एक बुद्धिमान एजेंट शोर को फ़िल्टर कर सकता है और वास्तविक संकेत (signal) को रख सकता है। हालांकि प्रयोग एक नियंत्रित वातावरण में किया गया था, लेकिन इसके परिणाम क्लाउड-आधारित अनुप्रयोगों के बढ़ते प्रबंधन के लिए एक व्यवहार्य मार्ग का सुझाव देते हैं। यह कार्य इस बात पर प्रकाश डालता है कि सिस्टम की निगरानी का भविष्य अधिक डेटा एकत्र करने में नहीं, बल्कि स्मार्ट डेटा एकत्र करने में है, जो उन एजेंटों द्वारा निर्देशित हो जो वास्तविक समय में सूचना के मूल्य को समझते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।