Extending WRSS to Rust, Julia, Haskell, and Python Under Irregular Parallel Workloads

जब इंजीनियर बड़ी समस्याओं को हल करने के लिए सॉफ्टवेयर बनाते हैं, तो वे अक्सर काम को छोटे टुकड़ों में तोड़ देते हैं और उन्हें एक साथ कई प्रोसेसरों को सौंप देते हैं, इस उम्मीद में कि काम तेजी से पूरा हो जाएगा। यह रणनीति, जिसे समानांतर कंप्यूटिंग (parallel computing) कहा जाता है, तब बहुत खूबसूरती से काम करती है जब काम पूरी तरह से समान हो, जैसे ताश की गड्डी को छाँटना जहाँ हर ढेर में ताशों की संख्या समान होती है। इन व्यवस्थित स्थितियों में, शोधकर्ताओं ने एक तरीका विकसित किया है जिससे ठीक-ठीक मापा जा सके कि गति कहाँ रुक जाती है, वह बिंदु जहाँ अधिक कार्यकर्ता जोड़ने से कोई लाभ नहीं होता। वर्कलोड-रनटाइम स्केलिंग सिग्नेचर (Workload–Runtime Scaling Signature) नामक यह माप उपकरण, कई प्रोग्रामिंग भाषाओं के प्रदर्शन की सीमाओं को सफलतापूर्वक मैप करने में सफल रहा है जब कार्य अनुमानित और एकसमान होते हैं। हालाँकि, वास्तविक दुनिया शायद ही कभी इतनी व्यवस्थित होती है। कई वैज्ञानिक और व्यावसायिक अनुप्रयोगों में अव्यवस्थित, अनियमित डेटा शामिल होता है जहाँ कुछ कार्यकर्ताओं को काम का पहाड़ मिल जाता है जबकि अन्य को लगभग कुछ भी नहीं मिलता, जिससे एक छिपा हुआ अड़चन (bottleneck) पैदा होता है जिसे मानक उपकरण नहीं देख पाते।

एक शोधकर्ता ने यह परीक्षण करने के लिए हाथ में लिया कि क्या उनका मौजूदा माप उपकरण इस अराजकता को संभाल सकता है। उन्होंने उस ढांचे को लिया जो साफ-सुथरे, नियमित कार्यों के लिए काम करता था और इसे चार कठिन, अनियमित कार्यों पर लागू किया: जटिल नेटवर्क के माध्यम से खोजना, गहरे निर्णय वृक्षों (decision trees) में नेविगेट करना, स्पार्स मैट्रिसेस (sparse matrices) का गुणा करना, और अंतरिक्ष में घूमते कणों का अनुकरण करना। उन्होंने इन कार्यों को चार बहुत अलग प्रोग्रामिंग भाषाओं—रस्ट (Rust), जूलिया (Julia), हैस्केल (Haskell) और पायथन (Python)—का उपयोग करके एक शक्तिशाली कंप्यूटर सिस्टम पर चलाया। लक्ष्य यह देखना था कि क्या पुराना तरीका अभी भी यह बता सकता है कि रुकावटें कहाँ होती हैं जब काम का वितरण अप्रत्याशित होता है और डेटा पर निर्भर करता है।

शोधकर्ता ने पाया कि मूल उपकरण में एक महत्वपूर्ण कड़ी गायब थी। पुराने तरीके में, गणना में लगने वाले पूरे समय को एक ही श्रेणी में डाल दिया गया था। लेकिन इन अनियमित कार्यों में, सबसे धीमे कार्यकर्ता को औसत कार्यकर्ता की तुलना में काफी अधिक काम करना पड़ता था, केवल इसलिए क्योंकि डेटा ने उन्हें ऐसा करने के लिए मजबूर किया था। शोधकर्ता को समझ आया कि काम के इस असमान प्रसार के कारण होने वाला अतिरिक्त बोझ, गणना की कुल मात्रा से अलग एक विशिष्ट समस्या थी। उन्होंने डेटा को देखने का एक नया तरीका प्रस्तावित किया, जिसमें गणना के समय को दो भागों में विभाजित किया गया: वह औसत कार्य जो सभी करते हैं, और वह अतिरिक्त, अनुचित कार्य जो सबसे धीमे कार्यकर्ता पर डाला जाता है। इस नए, चार-भाग वाले दृष्टिकोण ने प्रकट किया कि पुराना तीन-भाग वाला दृष्टिकोण अक्सर इस बारे में झूठ बोल रहा था कि वास्तविक अड़चन कहाँ है।

जब शोधकर्ता ने अपने परीक्षणों पर इस नए, अधिक विस्तृत दृष्टिकोण को लागू किया, तो परिणाम नाटकीय रूप से बदल गए। जटिल नेटवर्क के माध्यम से खोजने या घने समूहों में कणों के अनुकरण जैसे कार्यों के लिए, पुराने तरीके ने दावा किया कि कंप्यूटर अभी भी गणना की भारी मात्रा द्वारा सीमित थे। इसने सुझाव दिया कि अधिक कार्यकर्ता जोड़ने से मदद मिलती रहेगी। हालाँकि, नए तरीके ने दिखाया कि वास्तविक समस्या स्वयं असंतुलन थी। कई मामलों में, सबसे धीमे कार्यकर्ता पर पड़ने वाला अतिरिक्त कार्य इतना बड़ा था कि उसने इस तथ्य को ढक लिया कि सिस्टम पहले से ही प्रतीक्षा और समन्वय के कारण एक दीवार से टकरा रहा था। उदाहरण के लिए, चार मिलियन बिंदुओं वाले एक नेटवर्क के एक परीक्षण में, नए तरीके ने दिखाया कि असंतुलन ने कुल समय का 34 प्रतिशत तक हिस्सा लिया था, एक ऐसा कारक जिसे पुराने तरीके ने सामान्य गणना संख्याओं के भीतर छिपा दिया था।

दृष्टिकोण में इस बदलाव ने शोधकर्ता की इस समझ को बदल दिया कि कार्यकर्ताओं को कब जोड़ना बंद करना है। पुराने दृष्टिकोण में, एक प्रोग्राम सोलह कार्यकर्ताओं तक अच्छी तरह से स्केल होता हुआ प्रतीत हो सकता है। नए दृष्टिकोण में, वही प्रोग्राम यह दिखा सकता है कि लाभ केवल चार या आठ कार्यकर्ताओं पर ही रुक गया क्योंकि असंतुलन ही प्रमुख समस्या बन गया था। अध्ययन में पाया गया कि यह नया डायग्नोस्टिक अनियमित वर्कलोड के लिए आवश्यक था, लेकिन नियमित कार्यों के लिए अनावश्यक था, जहाँ काम स्वाभाविक रूप से संतुलित होता है। शोधकर्ता ने निष्कर्ष निकाला कि औसत कार्य को अनुचित अतिरिक्त कार्य से अलग किए बिना, प्रदर्शन अध्ययन इंजीनियरों को उनके सॉफ्टवेयर को अनुकूलित (optimize) करने के बारे में व्यवस्थित रूप से गुमराह कर सकते हैं।

अध्ययन ने यह भी उजागर किया कि विभिन्न प्रोग्रामिंग भाषाएँ इस अव्यवस्था को कैसे संभालती हैं। रस्ट (Rust) नामक भाषा, जो मेमोरी को बहुत सख्ती से प्रबंधित करती है, ने काम को संतुलित रखने की सबसे अच्छी क्षमता दिखाई, जिसमें अनुचित अतिरिक्त समय सबसे कम था। पायथन (Python), जो कार्यों को चलाने के लिए एक अलग दृष्टिकोण का उपयोग करता है, ने सबसे बड़ा असंतमान दिखाया, संभवतः इसलिए क्योंकि इसकी कार्य विभाजन की विधि सूक्ष्म-स्तरीय अनियमितताओं को संभालने के लिए बहुत मोटी (coarse) थी। जूलिया और हैस्केल इनके बीच में थे, जिसमें जूलिया ने विशिष्ट डेटा के आधार पर कुछ परिवर्तनशीलता दिखाई। ये निष्कर्ष बताते हैं कि अनियमित कार्यों के लिए, भाषा का चयन केवल कच्ची गति के बारे में नहीं है, बल्कि इस बारे में है कि वह भाषा अपने कार्यकर्ताओं के बीच असमान भार को कितनी अच्छी तरह वितरित कर सकती है।

अंततः, यह शोध आधुनिक कंप्यूटिंग की जटिलताओं को समझने के लिए एक स्पष्ट मानचित्र प्रदान करता है। यह प्रदर्शित करता है कि जब काम अनियमित होता है, तो पुराने नियम लागू नहीं होते। केवल औसत प्रयास को सबसे धीमे कार्यकर्ता पर डाले गए अतिरिक्त बोझ से अलग करके, इंजीनियर अंततः अपने सिस्टम की वास्तविक सीमाओं को देख सकते हैं। यह स्पष्टता उन्हें यह निर्णय लेने में बेहतर सक्षम बनाती है कि कब अधिक शक्ति जोड़नी है और कब भार को संतुलित करने पर ध्यान केंद्रित करना है, जिससे यह सुनिश्चित होता है कि उनका सॉफ्टवेयर वास्तविक दुनिया के डेटा की अराजकता में भी यथासंभव कुशलता से प्रदर्शन करे।