SecBCache: Evaluating Banked Interleaved Word-Granularity Sector Cache for gather/scatter Operations on Sparse Data

आधुनिक कंप्यूटर अक्सर इस बात से नहीं रुकते कि वे कितनी तेज़ी से गणना कर सकते हैं, बल्कि इस बात से कि वे डेटा को कितनी तेज़ी से स्थानांतरित कर सकते हैं। हाई-परफॉर्मेंस कंप्यूटिंग की दुनिया में, जहाँ मशीनें बीमारियों के प्रसार का मानचित्रण करने, सोशल नेटवर्क का विश्लेषण करने या जलवायु परिवर्तन का अनुकरण करने जैसे जटिल समस्याओं का समाधान करती हैं, सबसे सामान्य कार्य संख्याओं की गणना करना नहीं बल्कि उन्हें मेमोरी से प्राप्त करना है। यह विशेष रूप से "स्पार्स" (sparse) डेटा के मामले में सच है, जो एक ऐसा शब्द है जो उस जानकारी का वर्णन करता है जहाँ अधिकांश संभावित स्थान खाली होता है। एक विशाल स्प्रेडशीट की कल्पना करें जहाँ केवल कुछ बिखरे हुए सेल में संख्याएँ हैं, जबकि बाकी खाली हैं। जब एक कंप्यूटर इन बिखरी हुई संख्याओं को पढ़ने की कोशिश करता है, तो उसे अक्सर मेमोरी सिस्टम में अप्रत्याशित तरीकों से इधर-उधर कूदना पड़ता है, जिसे 'इनडायरेक्ट एक्सेस' (indirect access) कहा जाता है। क्योंकि ये छलांगें रैंडम होती हैं, कंप्यूटर आसानी से यह अनुमान नहीं लगा पाता कि आगे किस डेटा की आवश्यकता होगी, जिससे स्टोरेज से प्रोसेसर तक सूचना को स्थानांतरित करने का कार्य एक प्रमुख बाधा बन जाता है जो पूरे सिस्टम को धीमा कर देता है और ऊर्जा बर्बाद करता है।

यह समझने के लिए कि यह कठिन क्यों है, एक को यह देखना चाहिए कि कंप्यूटर वर्तमान में डेटा को कैसे संग्रहीत करते हैं। मानक कंप्यूटर मेमोरी निश्चित आकार के ब्लॉकों में व्यवस्थित होती है, बिल्कुल एक ऐसी लाइब्रेरी की तरह जो केवल तभी पूरी किताबें उधार देती है जब पाठक को केवल एक पन्ने की आवश्यकता हो। जब कंप्यूटर किसी विशिष्ट डेटा के टुकड़े का अनुरोध करता है, तो मेमोरी सिस्टम एक पूरा ब्लॉक निकाल लेता है, जिसे 'कैश लाइन' (cache line) कहा जाता है, जो आमतौर पर साठ-चार बाइट्स का होता है। यदि कंप्यूटर को उस ब्लॉक से केवल एक या दो संख्याओं की आवश्यकता है, तो शेष डेटा भी निकाला जाता है और अनावश्यक रूप से संग्रहीत किया जाता है, जिससे बिजली की खपत होती है और डेटा पथ अवरुद्ध हो जाते हैं। यह अक्षमता "स्पार्स" वर्कलोड के लिए एक गंभीर समस्या बन जाती है, जहाँ कंप्यूटर को एक एकल गणना करने के लिए मेमोरी के विभिन्न हिस्सों से दर्जनों असंबंधित नंबरों को इकट्ठा करने की आवश्यकता हो सकती है। ऐसे परिदृश्यों में, कंप्यूटर वास्तविक काम करने के बजाय बेकार डेटा को स्थानांतरित करने में अधिक समय बिताता है।

न्यू मैक्सिको स्टेट यूनिवर्सिटी, लॉरेंस बर्कले नेशनल लैबोरेटरी और फ्लोरिडा इंटरनेशनल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस समस्या को संभालने का एक नया तरीका प्रस्तावित किया है, जिसे SecBCache कहा जाता है। उनका कार्य एक विशिष्ट प्रकार के कंप्यूटर आर्किटेक्चर पर केंद्रित है जिसका उपयोग वैज्ञानिक सिमुलेशन और मशीन लर्निंग के लिए किया जाता है, जहाँ डेटा को अक्सर बिखरे हुए, अनियमित पैटर्न में एक्सेस किया जाता है। शोधकर्ताओं ने एक विशेष मेमोरी घटक डिजाइन किया है जो डेटा को प्राप्त करने और संग्रहीत करने के नियमों को बदल देता है। डेटा का एक बड़ा, निश्चित ब्लॉक लेने के बजाय, उनका डिज़ाइन कंप्यूटर को केवल उन छोटे, विशिष्ट सूचना के टुकड़ों को प्राप्त करने और संग्रहीत करने की अनुमति देता है जिनकी उसे वास्तव में आवश्यकता होती है। उन्होंने इस विचार का परीक्षण एक आधुनिक प्रोसेसर के विस्तृत कंप्यूटर सिमुलेशन का उपयोग करके किया, जो ग्राफ विश्लेषण और मैट्रिक्स गुणन (matrix multiplication) में उपयोग किए जाने वाले वास्तविक दुनिया के डेटासेट पर चल रहा था। परिणामों ने दिखाया कि यह नया दृष्टिकोण इस बात को काफी कम कर सकता है कि कंप्यूटर अपनी मेमोरी में कितना डेटा लिखता है, इन कार्यों को चलाने के लिए आवश्यक ऊर्जा को कम करता है, और संभावित रूप से सूचना तक पहुँचने के समय को तेज कर सकता है, और यह सब प्रोग्रामिंग भाषाओं या कंप्यूटर द्वारा समझे जाने वाले मौलिक निर्देशों में बदलाव किए बिना संभव है।

शोधकर्ताओं के नवाचार का मूल इस बात में निहित है कि उन्होंने मेमोरी स्टोरेज को कैसे पुनर्गठित किया। उन्होंने मानक बड़े मेमोरी ब्लॉकों को छोटे, आठ-बाइट के टुकड़ों में तोड़ दिया, जिन्हें वे 'सबसेक्टर्स' (subsectors) कहते हैं। एक पारंपरिक प्रणाली में, यदि कंप्यूटर को एक ब्लॉक से एक संख्या की आवश्यकता है, तो उसे पूरा ब्लॉक लोड करना ही होगा। SecBCache सिस्टम में, मेमोरी को आठ अलग-अलग खंडों, या 'बैंकों' में विभाजित किया गया है जिन्हें एक साथ एक्सेस किया जा सकता है। जब कंप्यूटर को बिखरे हुए नंबरों की सूची एकत्र करने की आवश्यकता होती है, तो वह एक ही समय में इन विभिन्न बैंकों को अनुरोध भेज सकता है, जिससे केवल आवश्यक आठ-बाइट के टुकड़ों को प्राप्त किया जा सकता है। यह एक ऐसी लाइब्रेरी के समान है जो आपको पूरी किताब देने के बजाय, आपके पास आठ अलग-अलग क्लर्क रखती है जो एक ही क्षण में अलग-अलग किताबों से आपका आवश्यक पन्ना निकाल सकते हैं। यह डिज़ाइन कंप्यूटर को अनावश्यक डेटा प्राप्त करने की बर्बादी से बचने की अनुमति देता है जबकि एक मानक मेमोरी सिस्टम की गति और संगठन को बनाए रखता है।

यह देखने के लिए कि क्या यह विचार व्यवहार में काम करेगा, शोधकर्ताओं ने gem5 नामक एक टूल का उपयोग करके एक वर्चुअल कंप्यूटर प्रोसेसर बनाया, जो हार्डवेयर के व्यवहार को बहुत विस्तृत स्तर पर सिम्युलेट करता है। उन्होंने इस वर्चुअल कंप्यूटर को दो सामान्य प्रकार के वैज्ञानिक कार्यों को चलाने के लिए प्रोग्राम किया: 'ब्रेड्थ-फर्स्ट सर्च' (breadth-first search), जो सोशल मीडिया कनेक्शन या सड़क मानचित्रों जैसे नेटवर्क को खोजने की एक विधि है, और 'स्पार्स मैट्रिक्स मल्टीप्लिकेशन' (sparse matrix multiplication), जो भौतिकी और इंजीनियरिंग में उपयोग की जाने वाली एक गणना है जिसमें संख्याओं के बड़े ग्रिड शामिल होते हैं जहाँ अधिकांश प्रविष्टियाँ शून्य होती हैं। उन्होंने इन कार्यों को ईमेल नेटवर्क से लेकर पावर ग्रिड मॉडल तक सोलह विभिन्न वास्तविक दुनिया के डेटासेट का उपयोग करके टेस्ट किया। प्रत्येक कार्य के लिए, उन्होंने अपने नए SecBCache डिज़ाइन के प्रदर्शन की तुलना एक मानक, पारंपरिक मेमोरी कैश से की जो पारंपरिक बड़े ब्लॉकों का उपयोग करता है।

सिमुलेशन ने दक्षता में एक चौंकाने वाला अंतर दिखाया। एक मानक प्रणाली में, कंप्यूटर अक्सर डेटा का एक पूर्ण ब्लॉक प्राप्त करता था लेकिन अंततः उसका आधे से भी कम उपयोग कर पाता था, और कुछ मामलों में, केवल अठारह प्रतिशत का ही उपयोग होता था। इसका मतलब है कि उपयोगी डेटा के प्रत्येक टुकड़े को प्राप्त करने के लिए, सिस्टम कई बेकार डेटा के टुकड़ों को स्थानांतरित करने में ऊर्जा और बैंडविड्थ बर्बाद कर रहा था। SecBCache डिज़ाइन ने आवश्यक आठ-बाइट के टुकड़ों को ही प्राप्त करके इस बर्बादी को समाप्त कर दिया। ग्राफ खोज कार्यों के लिए, नए डिज़ाइन ने मेमोरी स्टोरेज में लिखे जाने वाले डेटा की मात्रा को मध्य मान (median) के रूप में साठ-तीन प्रतिशत तक कम कर दिया। मैट्रिक्स गुणन कार्यों के लिए, यह कमी और भी नाटकीय थी, जिसमें डेटा लेखन में अस्सी प्रतिशत की कमी देखी गई। इसका अर्थ है कि परीक्षण किए गए कई डेटासेट्स के लिए, नया सिस्टम उस डेटा का केवल एक अंश लिखता था जो पुराना सिस्टम लिखता था, जिससे कंप्यूटर को धीमा करने वाले आंतरिक ट्रैफ़िक में भारी कटौती हुई।

केवल स्थान बचाने के अलावा, शोधकर्ताओं ने यह भी देखा कि इस डिज़ाइन ने मेमोरी एक्सेस की गति को कैसे प्रभावित किया। चूंकि नया सिस्टम एक साथ कई बैंकों को एक्सेस कर सकता है, इसलिए इसमें समानांतर (parallel) में कई अनुरोधों को सेवा देने की क्षमता है। हालांकि, शोधकर्ताओं ने नोट किया कि वास्तविक गति इस बात पर निर्भर करती है कि डेटा कैसे वितरित है। उन्होंने डेटा एक्सेस करने में लगने वाले समय का अनुमान लगाने के लिए एक गणितीय मॉडल बनाया, जिसमें एक सर्वोत्तम स्थिति (best-case scenario) जहाँ सब कुछ सही चलता है और एक सबसे खराब स्थिति (worst-case scenario) जहाँ अनुरोध एक ही बैंक के लिए प्रतीक्षा करते हैं, दोनों की गणना की गई। रूढ़िवादी, सबसे खराब स्थिति के अनुमानों के तहत, मॉडल ने भविष्यवाणी की कि नया सिस्टम ग्राफ खोज कार्यों के लिए मेमोरी एक्सेस विलंब को छब्बीस प्रतिशत और मैट्रिक्स गुणन के लिए पचास प्रतिशत तक कम कर देगा। ये संख्याएँ मेमोरी सिस्टम द्वारा लगने वाले समय को दर्शाती हैं, न कि पूरे प्रोग्राम को पूरा करने में लगने वाले कुल समय को, लेकिन वे इस बात का संकेत देती हैं कि प्रोसेसर को आवश्यक डेटा प्राप्त करने में कितनी तेजी आएगी।

शोधकर्ताओं ने ऐसे सिस्टम को बनाने की भौतिक लागत का भी परीक्षण किया। उन्होंने कंप्यूटर के मेमोरी पदानुक्रम (hierarchy) के कुल क्षेत्र का कितना हिस्सा घेरेगा, इसका अनुमान लगाने के लिए एक मानक उद्योग उपकरण का उपयोग किया। उन्होंने पाया कि इन छोटे, बँके हुए टुकड़ों के प्रबंधन के लिए आवश्यक अतिरिक्त हार्डवेयर कंप्यूटर की मेमोरी पदानुक्रम के कुल क्षेत्रफल का अधिकतम 2.46 प्रतिशत ही घेरेगा। यह एक बहुत छोटा पदचिह्न (footprint) है, जो सुझाव देता है कि इस डिज़ाइन को आधुनिक प्रोसेसर में महत्वपूर्ण स्थान लिए बिना जोड़ा जा सकता है। इसके अलावा, चूंकि नया सिस्टम मेमोरी एरेज़ में बहुत कम डेटा लिखता है, इसलिए यह कम ऊर्जा भी खर्च करता है। सिमुलेशन ने दिखाया कि प्रत्येक परीक्षण किए गए डेटासेट के लिए डायनेमिक ऊर्जा का उपयोग कम हुआ, जिसमें डेटा जितना अधिक 'स्पार्स' था, कमी उतनी ही अधिक (कुछ प्रतिशत से लेकर अस्सी प्रतिशत से अधिक तक) थी।

इस कार्य का सबसे महत्वपूर्ण पहलू यह है कि इसके लिए प्रोग्रामरों को अपना कोड फिर से लिखने या कंप्यूटर को निर्देश देने के नए तरीके सीखने की आवश्यकता नहीं है। शोधकर्ताओं ने SecBCache को मौजूदा निर्देशों के साथ काम करने के लिए डिज़ाइन किया है जिनका उपयोग कंप्यूटर पहले से ही डेटा इकट्ठा करने और बिखेरने (gather and scatter) के लिए करता है। आधुनिक प्रोसेसर में, विशिष्ट कमांड होते हैं जो एक ही निर्देश को गैर-निरंतर (non-contiguous) डेटा के कई टुकड़ों को लोड करने की अनुमति देते हैं। नया मेमोरी सिस्टम इन मौजूदा कमांडों को अधिक कुशल बनाता है क्योंकि यह सुनिश्चित करता है कि केवल आवश्यक डेटा ही स्थानांतरित किया जाए। एकमात्र परिवर्तन एक सरल सॉफ्टवेयर मार्कर होगा जो कंप्यूटर को बताएगा कि मेमोरी के कौन से हिस्से इस प्रकार के बिखरे हुए डेटा में हैं, जिससे हार्डवेयर स्वचालित रूप से उन अनुरोधों को नए सिस्टम की ओर मोड़ सकेगा। यह दृष्टिकोण जटिल नए प्रोग्रामिंग मॉडल या विशेष हार्डवेयर एक्सेलेरेटर की आवश्यकता को समाप्त करता है जो अक्सर व्यापक उद्योग द्वारा अपनाए जाने में विफल रहते हैं।

अध्ययन ने यह भी रेखांकित किया कि यह दृष्टिकोण कहाँ उतना प्रभावी नहीं होगा। उन मामलों में जहाँ एक्सेस किया जाने वाला डेटा बहुत सघन (dense) और अनुमानित होता है, जैसे कि जब कंप्यूटर संख्याओं की एक लंबी सूची पढ़ता है जो एक-दूसरे के ठीक बगल में होती है, तो बड़े ब्लॉकों को प्राप्त करने वाली पारंपरिक प्रणाली बहुत अच्छी तरह से काम करती है। इन विशिष्ट परिदृश्यों में, नया सिस्टम कभी-कभी थोड़ा खराब प्रदर्शन करता है क्योंकि इसे प्रत्येक टुकड़े को व्यक्तिगत रूप से प्राप्त करना पड़ता है, जिससे बड़े ब्लॉक के साथ मिलने वाले "मुफ्त" डेटा का लाभ खो जाता है। हालांकि, शोधकर्ताओं ने जोर देकर कहा कि उनका डिज़ाइन विशेष रूप से उन बढ़ते वर्ग की समस्याओं के लिए लक्षित है जिनमें स्पारस, अनियमित डेटा एक्सेस शामिल है, जो आर्टिफिशियल इंटेलिजेंस और बिग डेटा एनालिटिक्स जैसे क्षेत्रों में तेजी से आम हो रहे हैं। इन अनुप्रयोगों के लिए, केवल वही प्राप्त करने की क्षमता जो आवश्यक है, एक साथ सब कुछ प्राप्त करने के लाभों से कहीं अधिक महत्वपूर्ण है।

शोधकर्ता इस बात को लेकर भी सावधान थे कि उन्होंने सीधे क्या मापा और क्या अनुमान लगाया। डेटा लेखन में कमी और ऊर्जा बचत को मेमोरी सिस्टम के सिमुलेशन से सीधे मापा गया था। हालाँकि, मेमोरी एक्सेस की गति में सुधार को एक गणितीय मॉडल से प्राप्त किया गया था, जिसने अनुमान लगाया कि यदि सिस्टम एक साथ कई अनुरोधों को संभाल सकता है तो यह कैसा व्यवहार करेगा। जबकि सिमुलेशन ने दिखाया कि हार्डवेयर अनुरोधों को संभाल सकता है, मॉडल ने संभावित देरी की एक सीमा प्रदान की कि कितनी बार अलग-अलग बैंक एक साथ मांगे जाएंगे। शोधकर्ताओं ने उल्लेख किया कि ये 'मॉडल किए गए विलंब' (modeled delays) हैं और अंतिम एप्लिकेशन के लिए गारंटीकृत स्पीडअप नहीं हैं, लेकिन वे इस बात का मजबूत संकेत देते हैं कि मेमोरी सबसिस्टम बाधा (bottleneck) कम होगा।

कंप्यूटर विज्ञान के व्यापक संदर्भ में, यह कार्य इस बात को संबोधित करता है कि कंप्यूटिंग कैसे विकसित हो रही है। जैसे-जैसे मशीनें सरल, रैखिक गणनाओं से हटकर जटिल, डेटा-संचालित कार्यों की ओर बढ़ रही हैं, मेमोरी के काम करने के पुराने अनुमान कम प्रासंगिक होते जा रहे हैं। यह विचार कि कंप्यूटर को हमेशा एक बड़ा डेटा ब्लॉक प्राप्त करना चाहिए, उस युग की विरासत है जब डेटा सघन और अनुमानित था। SecBCache डिज़ाइन एक ऐसे भविष्य की झलक देता है जहाँ मेमोरी सिस्टम अधिक लचीला होगा, जो आधुनिक एल्गोरिदम की अनियमित आवश्यकताओं के अनुकूल होने में सक्षम होगा। यह सिद्ध करके कि एक ऐसा मेमोरी सिस्टम बनाना संभव है जो अत्यधिक कुशल और मौजूदा सॉफ़्टवेयर के साथ संगत है, शोधकर्ताओं ने अगली पीढ़ी के वैज्ञानिक और विश्लेणात्मक उपकरणों के प्रदर्शन को बेहतर बनाने के लिए एक व्यावहारिक मार्ग प्रदान किया है।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि कोई भी एक समाधान हर कंप्यूटिंग समस्या के लिए उपयुक्त नहीं है, लेकिन स्पार्स, इनडायरेक्ट डेटा एक्सेस को संभालने की विशिष्ट चुनौती को एक लक्षित आर्किटेक्चरल परिवर्तन के साथ हल किया जा सकता है। शोधकर्ताओं ने प्रदर्शित किया कि मेमोरी को छोटे, स्वतंत्र रूप से एक्सेस किए जाने वाले टुकड़ों में तोड़कर और उन्हें इस तरह व्यवस्थित करके कि समानांतर एक्सेस संभव हो सके, ऊर्जा और बैंडविड्थ की बर्बादी को काफी हद तक कम किया जा सकता है। यह दृष्टिकोण इस बात की मांग नहीं करता कि हम कंप्यूटर को कैसे प्रोग्राम करते हैं, बल्कि यह हार्डवेयर के डेटा को संभालने के तरीके में एक विकास है। जैसे-जैसे बड़े, जटिल डेटासेट्स को प्रोसेस करने की मांग बढ़ रही है, SecBCache जैसे डिज़ाइन कंप्यूटरों को तेज़ और ऊर्जा-कुशल बनाए रखने के लिए आवश्यक हो सकते हैं, यह सुनिश्चित करते हुए कि डेटा को स्थानांतरित करने की बाधा गणनाओं की क्षमता को पीछे न छोड़ दे।