Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
यह शोध पत्र पारंपरिक सिंगल-टेनेंट बैच सिस्टम की सीमाओं को दूर करने के लिए एचपी क्रे एक्स (HPE Cray EX) सुपरकंप्यूटर इसांबार्ड-एआई (Isambard-AI) पर कुबेरनेट्स (Kubernetes) की तैनाती का मूल्यांकन करता है, ताकि विश्वसनीय चिकित्सा अनुसंधान परिवेशों और गोपनीय एआई मॉडल होस्टिंग के लिए लचीले, मल्टी-टेनेंट उपयोग के मामलों को सक्षम किया जा सके, और साथ ही ऐसे उच्च-प्रदर्शन वाले प्लेटफार्मों पर कुबेरनेट्स-एज़-ए-सर्विस (Kubernetes-as-a-Service) को उत्पादन के स्तर पर लाने के लिए चुनौतियों और भविष्य के चरणों को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ सुपरकंप्यूटर विशाल, उच्च-गति वाले रेलवे स्टेशनों की तरह हैं। दशकों से, इन स्टेशनों को एक विशिष्ट प्रकार के यात्री के लिए डिज़ाइन किया गया है: "बैच" यात्री। ये डेटा के विशाल, घनी आबादी वाले समूह हैं जो एक साथ आते हैं, पूरी यात्रा के लिए एक ही समर्पित डिब्बे में बैठते हैं, और तभी निकलते हैं जब पूरा ट्रेन का सफर समाप्त हो जाता है। यह प्रणाली पारंपरिक विज्ञान के लिए पूरी तरह से काम करती है, लेकिन दुनिया बदल रही है। अब, हमारे पास एक नए प्रकार के यात्री हैं: "क्लाउड-नेयटिव" यात्री। ये डेटा के लचीले, व्यक्तिगत कंटेनर हैं जो तुरंत ट्रेनों में चढ़ना और उतरना चाहते हैं, अजनबियों के साथ सुरक्षित रूप से डिब्बे साझा करना चाहते हैं, और AI चैटबॉट्स या सुरक्षित मेडिकल डेटाबेस जैसे जटिल, इंटरैक्टिव ऐप्स चलाना चाहते हैं।
समस्या यह है कि पुराने रेलवे स्टेशन (पारंपरिक सुपरकंप्यूटर) इसके लिए नहीं बने थे। वे भारी माल ढोने में तो बेहतरीन हैं, लेकिन एक हलचल भरे, मल्टी-टेनेंट स्टेशन को प्रबंधित करने में बहुत खराब हैं जहाँ हर किसी को अपना सुरक्षित स्थान चाहिए। यहाँ कुबर्नेटेस (Kubernetes) का प्रवेश होता है। कुबर्नेटेस को एक परम ट्रैफिक कंट्रोलर के रूप में सोचें जो इन कंटेनरीकृत यात्रियों के लिए है। यह वह सॉफ्टवेयर है जो सुनिश्चित करता है कि हर किसी को सीट मिले, सही लोग दूसरों के बैग में झाँक न सकें, और स्टेशन सुचारू रूप से चलता रहे, भले ही एक साथ हजारों अलग-अलग ऐप्स चल रहे हों। लेकिन इस लचीले ट्रैफिक कंट्रोलर को एक कठोर, उच्च-गति वाले सुपरकंप्यूटर पर स्थापित करना एक भाप इंजन के अंदर आधुनिक सबवे टिकटिंग सिस्टम लगाने जैसा है; इसे पूरे सिस्टम को क्रैश किए बिना काम करने के योग्य बनाने के लिए गंभीर इंजीनियरिंग जादू की आवश्यकता होती है।
यह शोध पत्र बताता है कि कैसे इंजीनियरों की एक टीम ने उस आधुनिक ट्रैफिक कंट्रोलर को सफलतापूर्वक दुनिया के सबसे उन्नत सुपरकंप कंप्यूटरों में से एक, जिसे 'इसाम्बार्ड-एआई' (Isambard-AI) कहा जाता है, पर स्थापित किया। उन्होंने इसे केवल काम करने लायक ही नहीं बनाया; उन्होंने इसे दो बहुत ही अलग, लेकिन बहुत महत्वपूर्ण कार्यों के साथ परखा। पहले, उन्होंने एक "ट्रस्टेड रिसर्च एनवायरनमेंट" (विश्वसनीय अनुसंधान वातावरण) बनाया, जो एक अत्यंत सुरक्षित कांच के कमरे की तरह है जहाँ वैज्ञानिक संवेदनशील चिकित्सा डेटा को देख सकते हैं बिना उसे चुराए या लीक किए। दूसरा, उन्होंने AI मॉडल के लिए एक "सैंडबॉक्स" तैयार किया, जिससे कई शोधकर्ता एक साथ शक्तिशाली AI मस्तिष्क चला सकें और परीक्षण कर सकें, बिना एक-दूसरे के काम में बाधा डाले।
टीम ने पाया कि उनका नया सिस्टम अविश्वसनीय रूप से अच्छा काम करता है। उन्होंने साबित किया कि आप सुपरकंप्यूटर को धीमा किए बिना इन लचीली, मल्टी-टेनेंट सेवाओं को चला सकते हैं। वास्तव में, जब उन्होंने कंप्यूटरों को जोड़ने वाले नेटवर्क की गति का परीक्षण किया, तो उन्होंने पाया कि इस सुरक्षा परत को जोड़ने से केवल एक मामूली, लगभग अदृश्य देरी हुई—लगभग 0.89 माइक्रोसेकंड। इसे समझने के लिए, यह एक पलक झपकने से भी कम समय है, कंप्यूटर के लिए भी। उन्होंने यह भी दिखाया कि उनका सेटअप विशाल AI मॉडल को संभाल सकता है, उन्हें कई कंप्यूटरों पर चला सकता है और उन्हें सुरक्षित रख सकता है।
हालाँकि, यह यात्रा बिना बाधाओं के नहीं थी। टीम ने एक महत्वपूर्ण हार्डवेयर बाधा की खोज की: अंतर्निहित नेटवर्क कार्ड्स (कैसिनी NICs) में कितने सुरक्षित "सर्विस आईडी" जारी किए जा सकते हैं, इसकी एक सख्त सीमा है। क्योंकि वर्तमान में सिस्टम प्रत्येक एकल कंटेनर को एक अद्वितीय आईडी आवंटित करता है, इसलिए स्टेशन के पास इन आईडी के खत्म होने का जोखिम है, जिससे यदि बहुत अधिक उपयोगकर्ता एक साथ जुड़ने का प्रयास करते हैं, तो सिस्टम रुक सकता है। इसके अलावा, उन्होंने अपने वर्तमान सेटअप में एक बड़ी सुरक्षा खामी की पहचान की: उच्च-गति वाले नेटवर्क तक पहुँचने के लिए, सुरक्षित "कांच के कमरों" को वर्तमान में "प्रिविलेज्ड" (विशेषाधिकार प्राप्त) कुंजियों के साथ बनाया जाना पड़ता है। इसका मतलब यह है कि सुरक्षा गार्ड वास्तव में यात्रियों को स्टेशन की मास्टर चाबियाँ दे रहे हैं, जो उस अलगाव को कमजोर करता है जिसे बनाने के लिए इस सिस्टम को डिज़ाइन किया गया था।
हालाँकि वे स्वीकार करते हैं कि सेटअप करना अभी भी थोड़ा जटिल है और इन हार्डवेयर सीमाओं और सुरक्षा अंतराल को ठीक करने के लिए भविष्य में और सुधार की आवश्यकता है, लेकिन उन्होंने यह प्रदर्शित किया है कि क्लाउड के लचीलेपन को एक सुपरकंप्यूटर की कच्ची शक्ति के साथ लाना संभव है। यह एक ऐसे भविष्य का द्वार खोलता है जहाँ वैज्ञानिक और AI शोधकर्ता एक ही शक्तिशाली मशीनों पर, सुरक्षित और कुशलता से, एक साथ काम कर सकते हैं, बिना हर नए प्रकार के काम के लिए पूरी तरह से नया हार्डवेयर बनाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।