OpenURMA: A Clean-Room Open Implementation of the Unified Bus Protocol
यह शोध पत्र OpenURMA को प्रस्तुत करता है, जो Huawei के Unified Bus प्रोटोकॉल का पहला क्लीन-रूम ओपन-सोर्स कार्यान्वयन है, जो RTL, SystemC और gem5 सिमुलेशन के माध्यम से यह प्रदर्शित करता है कि प्रति-एप्लिकेशन स्टेट को ट्रांसपोर्ट स्टेट से अलग करने से पारंपरिक RoCEv2 बेसलाइन की तुलना में 64-बाइट रिमोट फेच लेटेंसी 4.37x कम हो जाती है और थ्रूपुट 2.80x बढ़ जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "OpenURMA: द यूनिफाइड बस प्रोटोकॉल का एक क्लीन-रूम ओपन इम्प्लीमेंटेशन" के पेपर की सरल भाषा और रोज़मर्रा के उदाहरणों के साथ व्याख्या दी गई है।
बड़ी समस्या: "पेरिफेरल" (Peripheral) की बाधा
एक आधुनिक डेटासेंटर की कल्पना एक विशाल ऑफिस बिल्डिंग के रूप में करें जहाँ हज़ारों कर्मचारी (एप्लीकेशन्स) एक-दूसरे से तुरंत बात करने की ज़रूरत रखते हैं।
वर्तमान में, उनके बात करने का मानक तरीका कुछ ऐसा है:
- पेरिफेरल की समस्या: नेटवर्क कार्ड (NIC) को एक पेरिफेरल डिवाइस की तरह माना जाता है, जैसे कि कंप्यूटर में लगा हुआ प्रिंटर या माउस। यह मुख्य मस्तिष्क (CPU) के "बाहर" स्थित होता है।
- क्यू (Queue) सिस्टम: संदेश भेजने के लिए, एक कर्मचारी को एक नोट (एक "वर्क रिक्वेस्ट") लिखना होता है, उसे नेटवर्क कार्ड के मेलबॉक्स ("डोरबेल") तक ले जाना होता है और इंतज़ार करना होता है। फिर नेटवर्क कार्ड उस नोट को उठाता है, उसे प्रोसेस करता है, और मेलबॉक्स में वापस एक "डन" (काम पूरा हुआ) का नोट लिख देता है।
- ट्रैफिक जाम: क्योंकि नेटवर्क कार्ड "बाहर" है, इसलिए हर एक नोट को भेजा जाने और कन्फर्म होने के लिए चार बार एक व्यस्त हाईवे (PCIe बस) को पार करना पड़ता है।
- मेमोरी संकट: नेटवर्क कार्ड को उन कर्मचारियों के हर एक जोड़े के लिए एक व्यक्तिगत फाइल फोल्डर रखना पड़ता है जो आपस में बात कर रहे हैं। यदि आपके पास 1,000 कर्मचारी हैं जो 1,000 अन्य लोगों से बात कर रहे हैं, तो कार्ड को 10 लाख फोल्डर्स की आवश्यकता होगी। उसके पास डेस्क स्पेस (ऑन-चिप मेमोरी) खत्म हो जाता है और उसे फाइलों को लेने के लिए बेसमेंट में रखे फाइलिंग कैबिनेट (होस्ट RAM) तक दौड़ना पड़ता है। इससे सब कुछ बहुत धीमा हो जाता है।
परिणाम: भले ही इंटरनेट केबल ( "तार") अविश्वसनीय रूप से तेज़ हों, लेकिन पूरा सिस्टम ट्रैफिक में फंसा रहता है क्योंकि नेटवर्क कार्ड कैसे जुड़ा है और कैसे व्यवस्थित है, इस वजह से।
समाधान: हुआवेई का यूनिफाइड बस (UB)
हुआवेई ने इस समस्या को ठीक करने के लिए यूनिफाइड बस (UB) (उनके एसेंड 950 चिप में) नामक एक नया डिज़ाइन प्रस्तावित किया। उन्होंने केवल पुराने सिस्टम को पैच नहीं किया; उन्होंने सड़क के नियम ही बदल दिए।
1. ऑफिस को बिल्डिंग के अंदर ले जाना
नेटवर्क कार्ड को बिल्डिंग के बाहर एक पेरिफेरल के रूप में रखने के बजाय, UB नेटवर्क कंट्रोलर को बिल्डिंग के अंदर मुख्य गलियारे (ऑन-चिप बस) पर रखता है।
- उपमा: अब लॉबी में जाकर पत्र पोस्ट करने के बजाय, आप अपने बगल में खड़े एक सहकर्मी को सीधे हाथ में पत्र दे सकते हैं। आपको हाईवे को चार बार पार करने की ज़रूरत नहीं है; आप बस एक कदम लेते हैं।
2. फाइलिंग सिस्टम को विभाजित करना
पुराना सिस्टम आपस में बात करने वाले हर जोड़े के लिए एक विशाल फोल्डर रखता था। UB इसे विभाजित करता है:
- जेटी (Jetty): आपकी बातचीत के पक्ष के लिए एक छोटा कार्ड।
- टीपी चैनल (TP Channel): दूसरे व्यक्ति के पक्ष के लिए एक साझा कार्ड।
- उपमा: हर जोड़ी के लिए एक अद्वितीय फोल्डर रखने के बजाय (जिससे आकार विस्फोट की तरह बढ़ता है), आपको बस अपने लिए एक कार्ड और जिससे आप बात कर रहे हैं उसके लिए एक साझा कार्ड की आवश्यकता होती है। फोल्डर्स की कुल संख्या विस्फोट की तरह बढ़ने के बजाय धीरे-धीरे (एडिटिवली) बढ़ती है। यह नेटवर्क कार्ड के डेस्क स्पेस को ओवरफ्लो होने से रोकता है।
3. "लोड/स्टोर" (Load/Store) शॉर्टकट
चूंकि कंट्रोलर अब बिल्डिंग के अंदर है, इसलिए CPU मानक निर्देशों (जैसे प्रोग्राम में वेरिएबल पढ़ने के लिए LOAD या STORE) का उपयोग करके सीधे इससे बात कर सकता है।
- उपमा: आपको फॉर्म भरने, मेलबॉक्स तक जाने और रसीद के लिए इंतज़ार करने की ज़रूरत नहीं है। आप बस जो डेटा चाहते हैं उसे तुरंत प्राप्त कर सकते हैं।
4. वैकल्पिक नियम (ऑप्ट-इन ऑर्डरिंग)
पुराना सिस्टम सख्त नियमों को लागू करता था: "आपको संदेश बिल्कुल उसी क्रम में प्राप्त करने चाहिए जिस क्रम में वे भेजे गए थे, चाहे कुछ भी हो।" यह धीमा और अनावश्यक है।
- उपमा: UB कहता है, "हम संदेशों को जितनी जल्दी हो सके उतनी तेज़ी से डिलीवर कर सकते हैं। यदि आपको वास्तव में उन्हें क्रम में चाहिए, तो बस हाथ उठाएं और हम उन्हें छाँटने के लिए धीमे हो जाएंगे। यदि आपको इसकी परवाह नहीं है, तो हम उन्हें जैसे ही वे आते हैं, आपके इनबॉक्स में डाल देंगे।" यह उन सभी के लिए समय बचाता है जिन्हें सख्त क्रम की आवश्यकता नहीं है।
OpenURMA ने क्या किया
हुआवेई का चिप मौजूद है, लेकिन यह एक "ब्लैक बॉक्स" है। कोई नहीं देख सकता कि यह अंदर से कैसे काम करता है, इसे माप नहीं सकता, या इस पर निर्माण नहीं कर सकता।
OpenURMA इस नए सिस्टम का पहला ओपन-सोर्स, क्लीन-रूम इम्प्लीमेंटेशन है।
- "क्लीन-रूम" का अर्थ है कि उन्होंने बिना हुआवेई के गुप्त कोड को देखे, केवल सार्वजनिक नियम पुस्तिका (स्पेसिफिकेशन) का उपयोग करके इसे शून्य से बनाया है।
- उन्होंने परीक्षण के लिए तीन संस्करण बनाए:
- RTL: हार्डवेयर चिप्स के लिए वास्तविक ब्लूप्रिंट (FPGA बोर्ड पर टेस्ट किया गया)।
- SystemC: नेटवर्क का एक अत्यंत विस्तृत कंप्यूटर सिमुलेशन।
- gem5: एक पूर्ण कंप्यूटर सिमुलेशन जो एक वास्तविक ऑपरेटिंग सिस्टम चला रहा है।
उन्होंने यह सुनिश्चित करने के लिए कि मुकाबला निष्पक्ष हो, अपने नए सिस्टम (OpenURMA) की तुलना पुराने मानक (RoCEv2) से करने के लिए बिल्कुल उन्हीं टूल्स का उपयोग किया।
परिणाम: कितना तेज़?
पेपर बड़े सुधारों का दावा करता है, विशेष रूप से छोटे, तेज़ ऑपरेशन्स (जैसे डेटा का एक छोटा टुकड़ा प्राप्त करना) के लिए:
- गति: मानक डेटा फेच के लिए नया सिस्टम पुराने सिस्टम (लगभग 2,186 नैनोसेकंड) की तुलना में 4.37 गुना तेज़ (लगभग 500 नैनोसेकंड) है।
- थ्रूपुट (Throughput): यह प्रति सेकंड 2.8 गुना अधिक डेटा को संभाल सकता है।
- दक्षता: यह चिप पर बहुत कम जगह (टेस्ट बोर्ड पर उपलब्ध स्थान का केवल लगभग 14%) का उपयोग करता है।
- स्केलेबिलिटी (Scalability): जैसे-जैसे आप उपयोगकर्ताओं को जोड़ते हैं (1 से 1,024 तक), पुराना सिस्टम अपने डेस्क स्पेस खत्म होने के कारण तेजी से धीमा हो जाता है। नया सिस्टम तेज़ और स्थिर रहता है क्योंकि इसकी फाइलिंग प्रणाली कुशल है।
यह क्यों मायने रखता है (पेपर के अनुसार)
पेपर का तर्क है कि आधुनिक AI और बिग डेटा वर्कलोड के लिए डेटासेंटर में कंप्यूटरों को जोड़ने का वर्तमान तरीका (नेटवर्क कार्ड को एक पेरिफेरल के रूप में मानना) मौलिक रूप से टूटा हुआ है।
- "कोहेरेंट" (Coherent) विकल्प: अन्य तकनीकें (जैसे CXL या NVLink) हैं जो मेमोरी को "साझा" और "कोहेरेंट" दिखाने की कोशिश करती हैं। हालाँकि, पेपर का तर्क है कि जब आप उन्हें बड़े क्लस्टर्स (कई सर्वर रैक) तक स्केल करने की कोशिश करते हैं, तो ये तकनीकें विफल हो जाती हैं क्योंकि उन्हें बहुत अधिक स्टेट ट्रैकिंग की आवश्यकता होती है और वे नेटवर्क त्रुटियों को अच्छी तरह से नहीं संभाल पाती हैं।
- UB का लाभ: UB स्वीकार करता है कि नेटवर्क परफेक्ट नहीं है और यह पूरे बिल्डिंग में "परफेक्ट कोहेरेंस" थोपने की कोशिश नहीं करता है। इसके बजाय, यह एप्लीकेशन को केवल ज़रूरत पड़ने पर क्रम प्रबंधित करने के उपकरण देता है, जिससे यह अन्य प्रणालियों में देखे गए प्रदर्शन पतन के बिना हजारों सर्वरों तक स्केल करने में सक्षम होता है।
सारांश
पुराने सिस्टम को एक पोस्ट ऑफिस के रूप में सोचें जहाँ आपको हर एक पत्र के लिए काउंटर तक जाना पड़ता है, एक फॉर्म भरना पड़ता है, लाइन में लगना पड़ता है और रसीद प्राप्त करने के लिए इंतज़ार करना पड़ता है।
नए OpenURMA सिस्टम को एक निजी मैसेंजर के रूप में सोचें जो आपके ठीक बगल में बैठा है, जानता है कि आप किससे बात कर रहे हैं, और बिना किसी कागजी कार्रवाई के तुरंत आपके हाथ में पत्र दे सकता है, जब तक कि आप विशेष रूप से रसीद के लिए न कहें।
पेपर साबित करता है कि इस नए तरीके से नेटवर्क को व्यवस्थित करना केवल एक सिद्धांत नहीं है, बल्कि एक काम करने वाला, ओपन डिज़ाइन है जो आज हम जो उपयोग कर रहे हैं उससे काफी तेज़ और अधिक स्केलेबल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।