Predictive and Adaptive Resource Scheduling for Kubernetes–Ceph Hyperconverged Infrastructure on Proxmox VE
यह शोध पत्र एक भविष्य कहनेवाला (predictive), अनुकूलन योग्य (adaptive) शेड्यूलिंग मॉडल प्रस्तावित और मूल्यांकित करता है जो संसाधन संघर्ष और I/O विलंबता को महत्वपूर्ण रूप से कम करने के लिए वर्कलोड पूर्वानुमान को Ceph-जागरूक स्टोरेज निर्णयों के साथ एकीकृत करता है, जो Proxmox VE पर चलने वाले Kubernetes–Ceph हाइपरकन्वर्ज्ड इंफ्रास्ट्रक्चर में डिफ़ॉल्ट Kubernetes शेड्यूलर की तुलना में बेहतर लोड बैलेंसिंग और प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक हलचल भरे शहर की कल्पना करें जहाँ सड़कें, बिजली ग्रिड और जल आपूर्ति सभी एक ही पड़ोस के भीतर रहते हैं। आधुनिक कंप्यूटिंग की दुनिया में, इसे "हाइपरकनवर्ज्ड इंफ्रास्ट्रक्चर" (hyperconverged infrastructure) कहा जाता है। सर्वर (कंप्यूटिंग), हार्ड ड्राइव (स्टोरेज) और नेटवर्क केबलों के लिए अलग-अलग इमारतों के बजाय, सब कुछ एक ही भौतिक मशीनों पर कसकर पैक किया गया है। यह कुशल है और जगह बचाता है, लेकिन यह एक पेचीदा ट्रैफिक समस्या पैदा करता है। यदि एक विशाल डिलीवरी ट्रक (डेटा-भारी प्रोग्राम) एक ऐसी सड़क पर चलने की कोशिश करता है जहाँ एक निर्माण दल (स्टोरेज कार्य) ठीक उसके बगल में काम कर रहा हो, तो सब कुछ फंस जाता है।
इस डिजिटल शहर को प्रबंधित करने के लिए, हम कुबेरनेट्स (Kubernetes) नामक एक प्रणाली का उपयोग करते हैं। कुबेरनेट्स को शहर के ट्रैफिक कंट्रोलर के रूप में समझें। इसका काम यह तय करना है कि किस इमारत (सर्वर) को कौन सा नया डिलीवरी ट्रक (सॉफ्टवेयर प्रोग्राम, या "पॉड") मिलेगा। हालाँकि, मानक ट्रैफिक कंट्रोलर थोड़ा पुराना ख्यालात का है। यह केवल इस बात पर नज़र रखता है कि अभी क्या हो रहा है। यह देखता है कि एक इमारत खाली है और कहता है, "बहुत बढ़िया, ट्रक को वहाँ भेज दो!" इसे इस बात का एहसास नहीं होता कि उस इमारत का बिजली ग्रिड पहले से ही संघर्ष कर रहा है क्योंकि पास में एक निर्माण परियोजना चल रही है, या वह ट्रक जल्द ही एक ऐसा भार लेकर आने वाला है जो पाँच मिनट में ट्रैफिक जाम लगा देगा। यह प्रतिक्रियात्मक (reactive) शैली अक्सर कुछ इमारतों को बहुत अधिक काम के बोझ तले दबने देती है जबकि अन्य खाली बैठी रहती हैं, और "सड़कें" (डेटा स्टोरेज) जाम हो जाती हैं, जिससे सब कुछ धीमा हो जाता है।
इस पहेली को सुलझाने के लिए उज्बेकिस्तान और रोमानिया के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने निर्णय लिया। उन्होंने पूछा: क्या होगा यदि हमारा ट्रैफिक कंट्रोलर भविष्य में झाँक सके? क्या होगा यदि वह ट्रैफिक जाम होने से पहले ही भविष्यवाणी कर सके कि वे कहाँ होंगे और उसी के अनुसार ट्रकों को स्थानांतरित कर सके? अपने शोध पत्र में, उन्होंने एक स्मार्ट, "भविष्यवाणी करने वाला और अनुकूलन योग्य" (predictive and adaptive) सिस्टम बनाया जो न केवल वर्तमान पर प्रतिक्रिया देता है बल्कि तत्काल भविष्य की योजना भी बनाता है। एक सरल भविष्यवाणी उपकरण को एक नए प्लेसमेंट तरीके के साथ जोड़कर, वे अपने परीक्षण शहर में अराजकता को सुचारू बनाने में सफल रहे, यह साबित करते हुए कि कभी-कभी, थोड़ी सी दूरदर्शिता एक अत्यंत जटिल मस्तिष्क से बेहतर होती है।
समस्या: प्रतिक्रियात्मक ट्रैफिक कंट्रोलर
डिजिटल दुनिया में, शोधकर्ताओं ने तीन मुख्य उपकरणों का उपयोग करके एक "हाइपरकनवर्ज्ड" टेस्टबेड तैयार किया: प्रोक्समॉक्स वीई (Proxmox VE - वह आधार जो सर्वरों को थामे रखता है), सेफ (Ceph - स्टोरेज सिस्टम जो एक विशाल साझा हार्ड ड्राइव की तरह कार्य करता है), और कुबेरनेट्स (ट्रैफिक कंट्रोलर)।
एक मानक सेटअप में, कुबेरनेट्स सुरक्षित खेलता है। यह तब तक प्रतीक्षा करता है जब तक कि कोई सर्वर किसी प्रोग्राम को चला नहीं रहा होता, यह देखता है कि कितना CPU (मस्तिष्क शक्ति) और मेमोरी (अल्पकालिक स्मृति) उपयोग किया जा रहा है, और फिर तय करता है कि अगला प्रोग्राम कहाँ रखना है। यह एक ट्रैफिक पुलिसकर्मी की तरह है जो केवल सड़क पर वर्तमान में चल रही कारों को देखता है। यदि कोई सर्वर खाली दिखता है, तो पुलिसकर्मी वहाँ एक नई कार भेज देता है। लेकिन एक हाइपरकनवर्ज्ड सिस्टम में, "कार" को उसी सर्वर पर मौजूद "स्टोरेज" (हार्ड ड्राइव) तक पहुँचने की आवश्यकता हो सकती है। यदि कंट्रोलर को यह नहीं पता कि सर्वर का स्टोरेज पहले से ही व्यस्त है, तो नई कार फंस जाएगी, जिससे देरी होगी।
शोधकर्ताओं ने पाया कि यह "प्रतिक्रियात्मक" दृष्टिकोण तीन बड़ी मुश्किलें पैदा करता है:
- संसाधन संघर्ष (Resource Contention): एक ही समय में एक ही CPU या स्टोरेज के लिए बहुत सारे प्रोग्रामों का आपस में लड़ना।
- लोड असंतुलन (Load Imbalance): कुछ सर्वर पसीने से तर-बतर हैं (95% क्षमता पर चल रहे हैं) जबकि अन्य सो रहे हैं (40% क्षमता पर)।
- स्टोरेज लेटेंसी (Storage Latency): डेटा को पढ़ने या लिखने में लगने वाला समय बढ़ जाता है क्योंकि स्टोरेज सिस्टम अत्यधिक व्यस्त हो जाता है।
समाधान: एक क्रिस्टल बॉल और एक लचीला मानचित्र
टीम ने एक नया मॉडल प्रस्तावित किया जो क्रिस्टल बॉल और एक लचीले मानचित्र वाले ट्रैफिक कंट्रोलर की तरह कार्य करता है। उनके सिस्टम के चार मुख्य भाग एक लूप में मिलकर काम करते हैं:
- क्रिस्टल बॉल (भविष्यवाणी): केवल वर्तमान क्षण को देखने के बजाय, सिस्टम "एक्सपोनेंशियलली वेटेड मूविंग एवरेज" (EWMA) नामक एक गणितीय ट्रिक का उपयोग करता है। इसे एक मौसम पूर्वानुमानकर्ता के रूप में समझें जो यह अनुमान लगाने के लिए पिछले कुछ दिनों की बारिश को देखता है कि क्या आपको कल छाते की आवश्यकता होगी। यह भविष्यवाणी करता है कि अगले कुछ मिनटों में एक प्रोग्राम को कितने CPU और स्टोरेज की आवश्यकता होगी। उन्होंने पाया कि इस "पूर्वानुमान" के लिए एक विशिष्ट सेटिंग सबसे अच्छी थी, जिसने CPU आवश्यकताओं की भविष्यवाणी लगभग 8.4% त्रुटि, मेमोरी की 5.1% त्रुटि और स्टोरेज आवश्यकताओं की 12.3% त्रुटि के साथ की।
- लचीला मानचित्र (अनुकूलन योग्य शेड्यूलिंग): एक बार जब सिस्टम जान जाता है कि क्या आने वाला है, तो वह प्रोग्राम को पहले खाली सर्वर पर नहीं डाल देता। यह प्रत्येक सर्वर के लिए "अनुमानित लोड" की गणना करता है। यह पूछता है, "यदि मैं इस प्रोग्राम को यहाँ रखता हूँ, तो क्या पाँच मिनट में सर्वर ओवरलोड हो जाएगा?" यदि उत्तर हाँ है, तो यह उस सर्वर को छोड़ देता है और एक बेहतर स्थान ढूँढ लेता है।
- स्टोरेज-जागरूक निर्णय (Storage-Aware Decision): यही असली सफलता है। सिस्टम केवल CPU को नहीं देखता; यह सेफ (Ceph) स्टोरेज के स्वास्थ्य (OSD या स्टोरेज डेमन्स) की भी जाँच करता है। यदि किसी सर्वर का स्टोरेज ड्राइव व्यस्त है, तो सिस्टम जानता है कि भारी डेटा वाले प्रोग्रामों को कहीं और भेजना है, भले ही CPU खाली दिख रहा हो।
- गतिशील समायोजन (Dynamic Adjustment): यदि किसी प्रोग्राम को उम्मीद से अधिक शक्ति की आवश्यकता होती है, तो सिस्टम बिना क्रैश हुए या रीस्टार्ट हुए इसकी सीमाओं को स्वचालित रूप से समायोजित कर सकता है, जिससे प्रवाह सुचारू बना रहता है।
प्रयोग: एक तीन-शहर परीक्षण
यह देखने के लिए कि क्या यह काम करता है, शोधकर्ताओं ने तीन भौतिक कंप्यूटरों (नोड्स) का उपयोग करके एक वास्तविक, छोटे पैमाने का शहर बनाया। प्रत्येक नोड में एक शक्तिशाली प्रोसेसर, 32 GB RAM और दो तेज़ NVMe SSDs (सुपर-फास्ट हार्ड ड्राइव) थे। उन्होंने इस शहर को विभिन्न प्रकार के ट्रैफिक से भरा:
- CPU-भारी ट्रक: वे प्रोग्राम जो केवल गणना करते हैं (जैसे stress-ng)।
- स्टोरेज-भारी ट्रक: वे प्रोग्राम जो भारी मात्रा में डेटा पढ़ते और लिखते हैं (जैसे fio)।
- मिश्रित ट्रैफिक: डेटाबेस और वेब ऐप्स जो सब कुछ थोड़ा-थोड़ा करते हैं (जैसे YCSB)।
उन्होंने 30 मिनट के लिए दो परिदृश्यों को साथ-साथ चलाया:
- परिदृश्य A (पुराना तरीका): बिना भविष्यवाणी वाला मानक कुबेरनेट्स।
- परिदृश्य B (नया तरीका): उनका भविष्य बताने वाला, अनुकूलन योग्य मॉडल।
परिणाम: सुचारू सड़कें, तेज़ डिलीवरी
परिणाम नए मॉडल के लिए एक स्पष्ट जीत थे, और आंकड़े सुधार की एक जीवंत कहानी बताते हैं।
1. लोड को संतुलित करना:
पुराने तरीके में, ट्रैफिक बहुत असमान था। एक सर्वर दबाव के नीचे चिल्ला रहा था, जो 95.64% क्षमता पर चल रहा था, जबकि दूसरा मुश्किल से 39.73% पर काम कर रहा था। "असंतुलन" (सबसे व्यस्त और सबसे शांत सर्वर के बीच का अंतर) एक अराजक 53.29% था।
नए मॉडल के साथ, ट्रैफिक पूरी तरह से सुचारू हो गया। सबसे व्यस्त सर्वर घटकर 67.41% रह गया, और सबसे शांत सर्वर 56.33% पर जाग उठा। असंतुलन गिरकर केवल 10.98% रह गया। यह अराजकता में 79.4% की कमी है। नया सिस्टम सभी सर्वरों को 54% से 68% के एक सख्त, सुखी बैंड में रखता है, जिसका अर्थ है कि न तो कोई अत्यधिक काम कर रहा है और न ही कोई खाली बैठा है।
2. स्टोरेज की गति बढ़ाना:
चूंकि नया सिस्टम जानता था कि स्टोरेज कहाँ व्यस्त है, इसलिए इसने सड़कों को जाम होने से बचाया। स्टोरेज परिवर्तनों को लागू करने में लगने वाला औसत समय (लेटेंसी) 1.11 ms से घटकर 1.00 ms हो गया। हालांकि यह सुनने में बहुत मामूली अंतर लग सकता है, लेकिन डेटा की दुनिया में, इसका मतलब है कि सिस्टम अधिक सुसंगत और विश्वसनीय है। "सबसे खराब स्थिति" (95वां पर्सेंटाइल) का विलंब भी 1.15 ms से सुधरकर 1.00 ms हो गया, जो दर्शाता है कि सिस्टम ने भारी ट्रैफिक को बहुत बेहतर तरीके से संभाला।
3. कोई अतिरिक्त लागत नहीं:
शोधकर्ताओं ने इस बात पर ध्यान दिया कि उन्हें पूरे शहर को फिर से बनाने या महंगे, जटिल AI दिमागों का उपयोग करने की आवश्यकता नहीं थी। उन्होंने मानक उपकरणों (कुबेरनेट्स और प्रोमेथियस API) और एक सरल भविष्यवाणी पद्धति का उपयोग किया। उन्होंने साबित किया कि शानदार परिणाम प्राप्त करने के लिए आपको अत्यधिक जटिल एल्गोरिदम की आवश्यकता नहीं है; आपको बस कंप्यूटिंग और स्टोरेज के बीच के बिंदुओं को जोड़ना है।
निष्कर्ष: जटिलता के ऊपर एकीकरण
इस शोध पत्र का सबसे रोमांचक हिस्सा यह नहीं है कि यह काम कर गया, बल्कि यह है कि यह क्यों काम कर गया। शोधकर्ता तर्क देते हैं कि समस्या यह नहीं थी कि पुराना ट्रैफिक कंट्रोलर बहुत मूर्ख था; समस्या यह थी कि वह समस्या को केवल एक आयाम में देख रहा था। उसने CPU को देखा लेकिन स्टोरेज को अनदेखा कर दिया।
केवल "पूर्वानुमान" और "स्टोरेज जागरूकता" की एक परत जोड़कर, उन्होंने भारी लाभ प्राप्त किया। उन्होंने दिखाया कि आर्किटेक्चरल इंटीग्रेशन (कंप्यूटिंग और स्टोरेज को एक-दूसरे से बात करने में सक्षम बनाना) केवल एल्गोरिदम को अधिक जटिल बनाने से अधिक शक्तिशाली है। एक सरल, हल्का भविष्यवाणी उपकरण, जब स्मार्ट प्लेसमेंट के साथ जोड़ा जाता है, तो हाइपरकनवर्ज्ड सिस्टम की सबसे बड़ी बाधाओं को ठीक कर सकता है।
अंत में, यह शोध पत्र सुझाव देता है कि कुशल कंप्यूटिंग का भविष्य अनिवार्य रूप से बड़े, स्मार्ट मस्तिष्क बनाने के बारे में नहीं है, बल्कि यह सुनिश्चित करने के बारे में है कि सिस्टम के विभिन्न हिस्से एक साथ हाथ थामकर और आगे देखते हुए चलें। ट्रैफिक कंट्रोलर को जीनियस होने की आवश्यकता नहीं है; उसे बस यह जानने की आवश्यकता है कि कोने पर क्या आने वाला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।