Authenticated Data Structures for Dynamic Workloads

डिजिटल दुनिया में, विश्वास अक्सर एक सरल वादे पर टिका होता है: कि किसी रिकॉर्ड के साथ छेड़छाड़ नहीं की गई है। इस वादे को निभाने के लिए, सिस्टम एक विशेष प्रकार के डिजिटल फिंगरप्रिंट का उपयोग करते हैं जिसे 'कमिटमेंट' (commitment) कहा जाता है। कल्पना कीजिए कि एक विशाल पुस्तकालय है जहाँ हर किताब डेटा का एक हिस्सा है, और लाइब्रेरियन के पास पूरे संग्रह का सारांश देने वाला एक छोटा सा नोट है। यदि आप यह सिद्ध करना चाहते हैं कि पुस्तकालय में एक विशिष्ट पुस्तक मौजूद है, तो आपको पूरी इमारत दिखाने की आवश्यकता नहीं है; आपको बस अपने उस पुस्तक से उस एकल नोट तक ले जाने वाले संकेतों का एक छोटा सा मार्ग दिखाना होगा। यह प्रणाली एक 'प्रमाणित डेटा संरचना' (authenticated data structure) के रूप में जानी जाती है। यह ब्लॉकचेन जैसी आधुनिक तकनीकों की रीढ़ है, जहाँ लाखों लेनदेन को बिना पूरी दुनिया का इतिहास डाउनलोड किए, तेजी से और सुरक्षित रूप से सत्यापित किया जाना आवश्यक है।

हालाँकि, वास्तविक जीवन शायद ही कभी पूरी तरह से संतुलित होता है। किसी भी बड़े सिस्टम में, कुछ वस्तुओं की लगातार जाँच की जाती है जबकि अन्य को वर्षों तक अनदेखा कर दिया जाता है। पारंपरिक डिजिटल पुस्तकालय प्रत्येक वस्तु के साथ समान व्यवहार करते हैं, जिससे सिस्टम को एक लोकप्रिय वस्तु को खोजने के लिए भी उतना ही लंबा और घुमावदार रास्ता तय करना पड़ता है जितना कि एक विस्मृत वस्तु के लिए। यह अक्षमता एक बाधा उत्पन्न करती है, जो पूरे नेटवर्क को धीमा कर देती है और ऊर्जा को बर्बाद करती है। शोधकर्ताओं के सामने लंबे समय से यह प्रश्न रहा है कि क्या ये डिजिटल संरचनाएं उपयोग के प्राकृतिक लय के अनुकूल हो सकती हैं, जिससे वे उन चीजों के लिए तेज़ हो सकें जिनकी वास्तव में आवश्यकता है, बिना सुरक्षा के नियमों को तोड़े या हर बार पैटर्न बदलने पर पूर्ण पुनर्निर्माण की आवश्यकता के बिना।

शोधकर्ताओं की एक टीम ने एक नया समाधान पेश किया है जिसे 'हफमैन-मर्कल ट्री' (Huffman-Merkle Tree) कहा जाता है, जो इन बदलते वर्कलोड को उल्लेखनीय दक्षता के साथ संभालने के लिए डिज़ाइन किया गया है। डेटा को एक एकल, कठोर संरचना में डालने के बजाय, उन्होंने डेटा को उपयोग की आवृत्ति के आधार पर दो अलग-अलग क्षेत्रों में विभाजित कर दिया है। सबसे अधिक एक्सेस किए जाने वाले आइटम, यानी "हॉट" (hot) डेटा, उन्हें एक विशेष, सघन व्यवस्था में स्थानांतरित कर दिया जाता है जहाँ वे शीर्ष के करीब होते हैं, जिससे उन तक पहुँचना आसान हो जाता है। कम लोकप्रिय "कोल्ड" (cold) आइटम एक मानक, व्यवस्थित संरचना में रहते हैं। यह पृथक्करण सिस्टम को सबसे सामान्य कार्यों के लिए अपने प्रदर्शन को अनुकूलित करने की अनुमति देता है, जबकि दुर्लभ वस्तुओं के प्रबंधन की लागत को कम रखता है।

इस दृष्टिकोण की प्रतिभा इस बात में निहित है कि यह इन क्षेत्रों के बीच डेटा के संचलन को कैसे प्रबंधित करता है। अतीत में, नए उपयोग पैटर्न के अनुकूल होने के लिए अक्सर पूरी संरचना को गिराकर उसे शून्य से फिर से बनाना पड़ता था, जो एक धीमी और महंगी प्रक्रिया थी। नया सिस्टम उपयोग के ट्रैकिंग के एक चतुर तरीके का उपयोग करके इस समस्या से बचता है। यह प्रत्येक डेटा के टुकड़े के लिए एक सटीक, भारी रिकॉर्ड बनाए रखने के बजाय, एक हल्का, अनुमानित काउंट (count) रखता है। जब सिस्टम को लगता है कि कोई आइटम "हॉट" ज़ोन में जाने के लिए पर्याप्त लोकप्रिय हो गया है, तो वह तुरंत पूरी लाइब्रेरी को पुनर्गठित नहीं करता है। इसके बजाय, वह परिवर्तनों के एक बैच के संचित होने का इंतजार करता है और फिर लेआउट को समायोजित करने के लिए छोटे, लक्षित बदलाव (swaps) करता है। इसका अर्थ है कि सिस्टम निरंतर पुनर्निर्माण के भारी बोझ के बिना बदलती आदतों के अनुकूल हो सकता है।

अपने विचार का परीक्षण करने के लिए, शोधकर्ताओं ने अपने नए सिस्टम को प्रमुख ब्लॉकचेन नेटवर्क द्वारा उपयोग किए जाने वाले वर्तमान मानकों के विरुद्ध चलाया, जिसमें लाखों वास्तविक लेनदेन से प्राप्त वास्तविक दुनिया का डेटा प्रोसेस किया गया। उन्होंने दो महत्वपूर्ण चीजों को मापा: सिस्टम को अपडेट करने के लिए कितनी गणनात्मक कार्य (computational work) की आवश्यकता थी, और एक एकल आइटम को सत्यापित करने के लिए सदस्यता का प्रमाण (proof of membership) कितना बड़ा होना चाहिए। परिणाम चौंकाने वाले थे। नए सिस्टम को अपडेट करने के लिए काफी कम कार्य की आवश्यकता थी, जिसने मौजूदा अग्रणी पद्धति की तुलना में लगभग ढाई गुना कम गणनात्मक चरणों का उपयोग किया। साथ ही, सबसे सामान्य वस्तुओं को सत्यापित करने के लिए आवश्यक प्रमाण बहुत छोटे हो गए, जो वर्तमान मानक की तुलना में लगभग आधे रह गए। आकार और कार्य में यह कमी सीधे उन नेटवर्कों के लिए तेज़ गति और कम लागत में परिवर्तित होती है जो इन संरचनाओं पर निर्भर हैं।

शोधकर्ताओं ने यह भी पता लगाया कि किसी आइटम को कोल्ड ज़ोन से हॉट ज़ोन में ले जाने का निर्णय लेने के लिए विभिन्न रणनीतियाँ क्या हो सकती हैं। उन्होंने पाया कि एक विधि जो हाल की गतिविधि पर ध्यान केंद्रित करती है, यानी पिछले कुछ हज़ार ब्लॉक लेनदेन में जो हुआ है उसे देखती है, सबसे अच्छा प्रदर्शन करती है। यह दृष्टिकोण सिस्टम को उपयोगकर्ता व्यवहार में अचानक आए बदलावों, जैसे कि किसी विशिष्ट डिजिटल संपत्ति के लिए गतिविधि में उछाल, के प्रति तेजी से प्रतिक्रिया करने की अनुमति देता है, जबकि पुराने, अप्रासंगिक डेटा को अनदेखा करता है। एक अन्य रणनीति जिसने उपयोग के संपूर्ण इतिहास को देखा, वह अधिक स्थिर लेकिन अनुकूलन में धीमी थी। एक तीसरी, अधिक जटिल विधि जिसने फीडबैक के आधार पर अपने स्वयं के नियमों को स्वचालित रूप से समायोजित करने का प्रयास किया, उसमें संभावना दिखी लेकिन उसे प्रबंधित करने के लिए अधिक गणनात्मक प्रयास की आवश्यकता थी। अध्ययन बताता है कि सर्वोत्तम दृष्टिकोण नेटवर्क की विशिष्ट आवश्यकताओं पर निर्भर करता है, लेकिन हॉट और कोल्ड डेटा को अलग करने का मूल डिज़ाइन वास्तविक दुनिया के उपयोग की गतिशील प्रकृति को संभालने का एक शक्तिशाली तरीका साबित हुआ।

डेटा की सुरक्षा को उसके लेआउट के अनुकूलन से अलग करके, यह नई संरचना डेटा की अखंडता से समझौता किए बिना डिजिटल लेजर्स को अधिक कुशल बनाने का एक तरीका प्रदान करती है। यह स्वीकार करता है कि एक जीवित प्रणाली में, कुछ चीजें दूसरों से अधिक महत्वपूर्ण होती हैं, और उन्हें प्रबंधित करने के लिए हम जिन उपकरणों का उपयोग करते हैं, उन्हें उस वास्तविकता को प्रतिबिंबित करना चाहिए। निष्कर्ष बताते हैं कि डेटा को उसके उपयोग के अनुसार व्यवस्थित करके, न कि उसे एक समान आकार में forcing करके, हम प्रदर्शन में महत्वपूर्ण लाभ प्राप्त कर सकते हैं। यह कोई सैद्धांतिक अभ्यास नहीं है; यह एक व्यावहारिक सुधार है जिसे वर्तमान में उपयोग किए जा रहे सबसे बड़े और सबसे जटिल डेटा सेट के विरुद्ध मापा गया है, जो दर्शाता है कि एक स्मार्ट व्यवस्था हमारे डिजिटल बुनियादी ढांचे के कामकाज में एक गहरा अंतर ला सकती है।