Overcoming Orchestration Bottlenecks at Exascale: A Decentralized, Policy-Driven Approach for Sim-AI Ensembles
यह शोधपत्र एन्सेंबललांचर (EnsembleLauncher) को प्रस्तुत करता है, जो एक विकेंद्रीकृत, नीति-संचालित वर्कफ़्लो ऑर्केस्ट्रेटर है जो आठ मिलियन कार्यों तक सफलतापूर्वक स्केल करके और विषम सिमुलेशन-एआई एन्सेंबल्स के लिए लचीली शेड्यूलिंग को सक्षम करते हुए, ऑरोरा (Aurora) जैसे एक्सास्केल सिस्टम पर ऑर्केस्ट्रेशन बाधाओं को दूर करता है और अत्याधुनिक उपकरणों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक फिल्म सेट के निर्देशक हैं। आपके पास लाखों छोटे, पलक झपकते ही होने वाले कार्य हैं (जैसे कि कैमरा फ्लैश) और कुछ बहुत बड़े, धीरे चलने वाले कार्य हैं (जैसे कि एक विशाल महल के सेट को हिलाना)। अतीत में, इन सभी अभिनेताओं और प्रॉप्स को एक शहर जितने बड़े सुपरकंप्यूटर (जैसे कि ऑरोरा सुपरकंप्यूटर) पर प्रबंधित करने की कोशिश करना एक दुःस्वप्न था। काम बांटने वाला "प्रबंधक" (मैनेजर) अनुरोधों की भारी संख्या से इतना अभिभूत हो जाता था कि पूरी प्रोडक्शन प्रक्रिया ही रुक जाती थी।
यह पेपर एक नया तरीका पेश करता है जिससे इस शो को चलाया जा सके, जिसे EnsembleLauncher कहा जाता है। एक एकल बॉस द्वारा हर एक कार्यकर्ता से बात करने के बजाय, EnsembleLauncher एक फ्रैक्टल ट्री ऑफ मैनेजर्स (fractal tree of managers) बनाता है। इसे एक विशाल कॉर्पोरेट सीढ़ी की तरह समझें जहाँ CEO सीधे इंटर्न को कॉल नहीं करता; CEO वीपी (VP) को कॉल करता है, वीपी मैनेजरों को कॉल करता है, और मैनेजर इंटर्न को कॉल करते हैं। यह "रिकर्सिव हायरार्की" (recursive hierarchy) सुनिश्चित करती है कि शीर्ष बॉस कभी भी बहुत अधिक फोन कॉल्स से परेशान न हो।
बड़ी खोज: यह सॉफ्टवेयर के बारे में नहीं, आकार के बारे में है
लेखकों ने यह समझने के लिए कि अन्य उपकरण क्यों विफल हो रहे थे, एक दिलचस्प प्रयोग चलाया। उन्होंने दो बहुत अलग सॉफ्टवेयर टूल्स (Dask और Parsl) को लिया और उन्हें एक ही "फ्लैट" प्रबंधन शैली (जहाँ हर कोई बॉस से बात करता है) का उपयोग करने के लिए मजबूर किया। दोनों टूल्स एक ही समय में क्रैश होकर विफल हो गए।
फिर, उन्होंने उन्हीं टूल्स को एक "हाइरार्किकल" (hierarchical) आकार (ट्री स्ट्रक्चर) दिया। अचानक, वे बहुत बेहतर तरीके से काम करने लगे।
- निष्कर्ष: पेपर यह सिद्ध करता है कि प्रबंधन टीम का आकार (topology) सबसे महत्वपूर्ण चीज़ है, न कि उपयोग किया जाने वाला विशिष्ट सॉफ्टवेयर कोड। यदि आपके पास एक फ्लैट संरचना है, तो बेहतरीन सॉफ्टवेयर भी दम तोड़ देगा। यदि आपके पास एक ट्री स्ट्रक्चर है, तो अलग-अलग सॉफ्टवेयर भी स्केल कर सकते हैं।
- प्रमाण: ऑरोरा सुपरकंप्यूटर पर, उन्होंने इस नए सिस्टम को 8,192 नोड्स (जो परीक्षण के लिए उन्हें दी गई अधिकतम सीमा थी) तक स्केल किया और 8 मिलियन सीरियल टास्क चलाए। यह सिस्टम वर्तमान में उपलब्ध सर्वश्रेष्ठ टूल्स की तुलना में चार गुना से अधिक तेज़ था।
पुराना तरीका क्यों विफल हुआ: "ट्रैफिक जाम"
यह समझने के लिए कि पुराना तरीका क्यों विफल हुआ, कल्पना करें कि एक हाईवे के बीच में एक अकेला ट्रैफिक पुलिस खड़ा है जो लाखों कारों को निर्देशित करने की कोशिश कर रहा है।
- फ्लैट समस्या: पुराने "फ्लैट" सिस्टम में, प्रत्येक कार्य को चलने के लिए अनुमति मांगने के लिए केंद्रीय शेड्यूलर से संपर्क करना पड़ता था। 128 नोड्स पर, पेपर ने मापा कि 0.1 सेकंड के छोटे कार्यों के लिए, कार्यकर्ताओं ने वास्तव में काम करने के बजाय बॉस से बात करने की लाइन में लगने में 27.6 सेकंड बिताए। कार्यकर्ता खाली बैठे अपने फोन को घूर रहे थे, क्योंकि बॉस बहुत व्यस्त था।
- ट्री समाधान: EnsembleLauncher स्थानीय प्रबंधकों को छोटी-मोटी बातचीत संभालने देता है। कार्यकर्ता केवल अपने स्थानीय प्रबंधक से बात करते हैं, जो केवल अगले स्तर पर बात करता है। इसने उन छोटे कार्यों के लिए प्रतीक्षा समय को 27.6 सेकंड से घटाकर केवल 1.9 सेकंड कर दिया।
"स्मार्ट" शेड्यूलर: कोई एक नियम सबके लिए नहीं
पेपर यह भी तर्क देता है कि आप सभी कार्यों को प्रबंधित करने के लिए केवल एक नियम का उपयोग नहीं कर सकते। कभी-कभी आपको सबसे बड़े काम पहले करने की आवश्यकता होती है; कभी-कभी सबसे तेज़।
- प्रयोग: उन्होंने विभिन्न आकारों और समय (कुछ 0.1 सेकंड के थे, दूसरों को 1,500 सेकंड से अधिक लगा) के मिश्रित कार्यों के लिए अलग-अलग "नियमों" का परीक्षण किया।
- परिणाम: उन्होंने पाया कि उच्च भिन्नता वाले कार्यों के लिए (कुछ बहुत तेज़, कुछ बहुत धीमे), सही नियम चुनना बहुत मायने रखता है। केवल आगमन के क्रम (FIFO) में कार्य करने की तुलना में "लार्गेस्ट फर्स्ट" (Largest First) या "लॉन्गेस्ट फर्स्ट" (Longest First) नियम का उपयोग करने से कुल समय में काफी कमी आई।
- लचीलापन: EnsembleLauncher वैज्ञानिकों को अपने कस्टम नियम प्लग करने की सुविधा देता है। एक वास्तविक वैज्ञानिक वर्कफ़्लो (जिसे MOFA कहा जाता है) की नकल करने वाले एक परीक्षण में, एक "स्मार्ट" नियम ने जो कार्यों को कम व्यस्त टीम की ओर भेजा, उसने एक कठोर नियम की तुलना में काम दोगुनी तेज़ी से पूरा किया जो सभी छोटे कार्यों को कंप्यूटर के एक विशिष्ट कोने में धकेल देता था।
वे क्या हल नहीं कर पाए (अभी तक)
पेपर स्पष्ट रूप से बताता है कि उन्होंने क्या ठीक नहीं किया है।
- "स्ट्रैगलर" (Straggler) की समस्या: यदि पेड़ की एक शाखा एक धीमे काम में फंस जाती है, तो सिस्टम उस काम को चुराकर किसी तेज़ शाखा को आसानी से नहीं दे सकता। उन्होंने इसे भविष्य के कार्य के रूप में सुझाया है।
- "वन-नोड" (One-Node) क्रैश: यदि एक मैनेजर नोड विफल हो जाता है, तो वर्तमान में सिस्टम को पेड़ के नीचे की पूरी शाखा को फिर से शुरू करना पड़ता है, न कि केवल उस एक टूटे हुए हिस्से को। वे स्वीकार करते हैं कि यह एक सीमा है।
- स्केल की सीमा: हालांकि उन्होंने 8,192 नोड्स तक परीक्षण किया, पेपर नोट करता है कि यह केवल उस मशीन की सीमा थी जिसका वे उपयोग कर रहे थे, न कि आवश्यक रूप से उनके सॉफ्टवेयर की सीमा। उन्हें संदेह है कि यह और भी ऊपर जा सकता है, लेकिन उन्होंने अभी तक इसे मापा नहीं है।
निचोड़
पेपर दिखाता है कि भविष्य के विशाल, मिश्रित वर्कफ़्लो चलाने के लिए (जहाँ AI और सुपर-सिमुलेशन एक साथ चलते हैं), हमें सिंगल-बॉस सिस्टम का उपयोग करना बंद करना होगा। प्रबंधकों के एक गहरे, रिकर्सिव ट्री का निर्माण करके और वैज्ञानिकों को अपने स्वयं के शेड्यूलिंग नियम चुनने की अनुमति देकर, हम सुपरकंप्यूटर के कार्यकर्ताओं को व्यस्त रख सकते हैं और प्रोडक्शन को आगे बढ़ा सकते हैं। यह केवल एक नया टूल नहीं है; यह लाखों के डिजिटल dearm (सेना) को व्यवस्थित करने के तरीके के बारे में सोचने का एक नया तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।