P-MOSS: Scheduling Main-Memory Indexes Over NUMA Servers Using Next Token Prediction
P-MOSS एक सीखा हुआ स्थानिक शेड्यूलिंग फ्रेमवर्क है जो लो-लेवल हार्डवेयर स्टैटिस्टिक्स के आधार पर NUMA सर्वर्स पर क्वेरी निष्पादन और डेटा प्लेसमेंट को अनुकूलित करने के लिए नेक्स्ट टोकन प्रेडिक्शन और डिसीजन ट्रांसफॉर्मर का लाभ उठाता है, जिससे पारंपरिक शेड्यूलिंग विधियों की तुलना में B+-Tree इंडेक्स के लिए क्वेरी थ्रूपुट में 6 गुना तक सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-स्पीड लाइब्रेरी (डेटाबेस) के मैनेजर हैं जो एक भविष्यवादी शहर (NUMA सर्वर) के भीतर बनी है। यह शहर केवल एक बड़ा खुला स्थान नहीं है; यह कई अलग-अलग मोहल्लों (NUMA नोड्स) में विभाजित है, जिनमें से प्रत्येक का अपना स्थानीय लाइब्रेरी शाखा (कोर्स/Cores) है।
अतीत में, ये मोहल्ले एक समान थे। लेकिन आज, शहर जटिल हो गया है। कुछ मोहल्ले सुपर-फास्ट हाईवे से जुड़े हैं, जबकि कुछ अन्य धीमी, घुमावदार ग्रामीण सड़कों से जुड़े हैं। यदि आप किसी लाइब्रेरियन को दूर के मोहल्ले से किताब लाने के लिए भेजते हैं, तो वे यात्रा करने में कीमती समय बर्बाद करते हैं। यदि आप उन्हें ऐसे मोहल्ले में भेजते हैं जो पहले से ही भीड़भाड़ वाला है, तो वे ट्रैफिक में फंस जाते हैं।
यही वह समस्या है जिसे P-MOSS हल करता है।
समस्या: डिनर टेबल पर "गलत सीट"
अपने कंप्यूटर के प्रोसेसर को सैकड़ों सीटों (कोर्स) वाली एक विशाल डिनर टेबल के रूप में सोचें। डेटा (किताबें) मेज के चारों ओर प्लेटों में बिखरा हुआ है।
- पुराना तरीका: ऑपरेटिंग सिस्टम (होस्ट) बस कहता है, "कहीं भी बैठ जाओ!" या "एक समान रूप से फैल जाओ!" उसे इस बात की परवाह नहीं है कि आपके बगल में बैठे व्यक्ति के पास वह किताब है जिसकी आपको आवश्यकता है, या मेज के दूसरी ओर बैठा व्यक्ति आपके दृश्य को रोक रहा है।
- परिणाम: लाइब्रेरियन किताबें पढ़ने के बजाय मोहल्लों के बीच चलने में अधिक समय बिताते हैं। लाइब्रेरी धीमी हो जाती है।
समाधान: P-MOSS (स्मार्ट लाइब्रेरियन)
P-MOSS एक नया, AI-संचालित मैनेजर है जो यह सीखता है कि चलने के समय को कम करने के लिए हर एक लाइब्रेरियन को कहाँ बिठाना है और हर एक किताब को कहाँ रखना है। यह केवल अनुमान नहीं लगाता; यह शहर के ट्रैफिक पैटर्न से सीखता है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "नेक्स्ट टोकन" ट्रिक (भविष्यवाणी करना)
पेपर P-MOSS की तुलना लार्ज लैंग्वेज मॉडल्स (LLMs) से करता है, जैसे कि वे जो आपके लिए टेक्स्ट लिखते हैं।
- LLMs कैसे काम करते हैं: वे एक वाक्य पढ़ते हैं और अगले शब्द की भविष्यवाणी करते हैं। यदि वाक्य है "बिल्ली चटाई पर बैठी है...", तो मॉडल "बैठी है" की भविष्यवाणी करता है।
- P-MOSS कैसे काम करता है: शब्दों के बजाय, P-MOSS निर्णयों के एक क्रम को देखता है। यह पूछता है: "मैंने मोहल्ला A, B और C में किताबें रखी हैं। अभी के ट्रैफिक को देखते हुए, मुझे अगले किताबों के बैच के लिए कौन सा कोर (सीट) आवंटित करना चाहिए?"
- यह शेड्यूलिंग निर्णय को एक वाक्य की तरह मानता है, जो परफेक्ट शेड्यूल को पूरा करने के लिए "अगले शब्द" (सबसे अच्छी सीट) की भविष्यवाणी करता है।
2. "ब्लैक बॉक्स" रिपोर्टर्स (हार्डवेयर PMU)
P-MOSS को कैसे पता चलता है कि ट्रैफिक कैसा है? यह लाइब्रेरियन (सॉफ्टवेयर) से सर्वे भरने के लिए नहीं कहता। ऐसा करने से वे धीमे हो जाएंगे।
- इसके बजाय, P-MOSS सीधे हार्डवेयर पर छोटे, अदृश्य कैमरे (परफॉरमेंस मॉनिटरिंग यूनिट्स या PMUs) स्थापित करता है।
- ये कैमरे शहर के "इंजन" को देखते हैं: मेमोरी कितनी तेजी से चल रही है, कितनी बार किसी लाइब्रेरियन को रुकना पड़ा क्योंकि कैश खाली था, और अंतर-मोहल्ला सड़कों पर कितना ट्रैफिक है।
- P-MOSS इन कच्चे, लो-लेवल आंकड़ों का उपयोग यह समझने के लिए करता है कि हार्डवेयर का "मिजाज" क्या है, बिना काम में बाधा डाले।
3. दो-चरणीय प्रशिक्षण (स्कूल और इंटर्नशिप)
P-MOSS लाइब्रेरी खुलने के दौरान परीक्षण और त्रुटि (trial-and-error) से नहीं सीखता (जो अराजक होगा)। यह दो चरणों में सीखता है:
- चरण 1: प्री-ट्रेनिंग (क्लासरूम): P-Mống को कई अलग-अलग प्रकार के शहरों (Intel, AMD, NVIDIA सर्वर) और कई अलग-अलग प्रकार के समूहों (रीड-हैवी, राइट-हैवी वर्कलोड) से प्राप्त ट्रैफिक रिपोर्ट का एक विशाल डेटासेट दिया जाता है। यह सामान्य नियम सीखता है: "ओह, जब 'रीड-हैवी' भीड़ होती है, तो हमें किताबों को एक साथ रखना चाहिए। जब 'राइट-हैवी' होती है, तो हमें उन्हें फैला देना चाहिए।"
- चरण 2: फाइन-ट्यूनिंग (इंटर्नशिप): एक बार जब P-MOSS के पास सामान्य नियम आ जाते हैं, तो यह आज जिस विशिष्ट शहर में काम कर रहा है, उसे देखता है। यह वर्तमान ट्रैफिक के कुछ त्वरित अवलोकनों को लेता है और अपने सामान्य नियमों को इस विशिष्ट मोहल्ले के अनुकूल बनाने के लिए समायोजित करता है।
परिणाम: एक तेज़ लाइब्रेरी
पेपर ने एक मानक लाइब्रेरी इंडेक्स (एक B+-Tree) पर कई प्रकार के सर्वरों में P-MOSS का परीक्षण किया।
- जीत: P-MOSS ने आज के ऑपरेटिंग सिस्टमों द्वारा उपयोग की जाने वाली मानक विधियों की तुलना में लाइब्रेरी को 6 गुना तक तेज़ बना दिया।
- जादू: इसने केवल एक प्रकार के कंप्यूटर पर काम नहीं किया। यह Intel, AMD और यहाँ तक कि NVIDIA सर्वर पर भी काम कर पाया, और प्रत्येक मशीन के अद्वितीय "आकार" के अनुसार अपनी रणनीति को अनुकूलित किया।
सारांश
P-MOSS कंप्यूटर की मेमोरी के लिए एक सुपर-इंटेलिजेंट ट्रैफिक कंट्रोलर की तरह है। डेटा को कहाँ रखना है, इसका अनुमान लगाने के बजाय, यह AI चैटबॉट्स (नेक्स्ट वर्ड प्रेडिक्शन) से ली गई तकनीक का उपयोग करके डेटा और प्रोसेसर के लिए बैठने की आदर्श व्यवस्था का पता लगाता है। यह हार्डवेयर के अपने "कैमरों" (PMU) से सीखता है ताकि यह सुनिश्चित हो सके कि डेटा का हर हिस्सा ठीक उसी प्रोसेसर के पास बैठा है जिसकी उसे आवश्यकता है, जिससे एक ऐसी लाइब्रेरी मिलती है जो अविश्वसनीय रूप से तेज़ चलती है, चाहे आप किसी भी प्रकार का कंप्यूटर उपयोग कर रहे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।