Asynchronous Verifiable Information Dispersal with Low Space and Communication Complexity

आधुनिक दुनिया को शक्ति प्रदान करने वाले विशाल, अदृश्य बुनियादी ढांचे में, डेटा लगातार कंप्यूटरों के नेटवर्क में लिखा, संग्रहीत और पुनः प्राप्त किया जाता है। इन प्रणालियों को इतना मजबूत होना चाहिए कि यदि व्यक्तिगत मशीनें विफल हो जाएं, क्रैश हो जाएं, या दुर्भावनापूर्ण तत्वों द्वारा समझौता किया जाए, तो भी जानकारी सुरक्षित रहे। इसे प्राप्त करने के लिए, इंजीनियर अक्सर एक एकल फ़ाइल को कई टुकड़ों में तोड़ देते हैं और उन्हें विभिन्न स्थानों पर बिखेर देते हैं, जिसे 'सूचना प्रकीर्णन' (information dispersal) नामक तकनीक कहा जाता है। यह सुनिश्चित करता है कि यदि कुछ हिस्से खो जाते हैं, तो शेष अंशों से मूल फ़ाइल को फिर से बनाया जा सकता है। हालाँकि, इस सुरक्षा की लागत को संतुलित करना एक निरंतर चुनौती रही है। डेटा को सुरक्षित रूप से संग्रहीत करने के लिए आमतौर पर अतिरिक्त प्रतियां रखनी पड़ती हैं, जो स्थान का उपभोग करती हैं, जबकि टूटे हुए हिस्सों को ठीक करने या उपयोग के लिए उसे पुनः प्राप्त करने के लिए उस डेटा को इधर-उधर ले जाने में महत्वपूर्ण बैंडविड्थ खर्च होती है। वर्षों से, डेटा को सुरक्षित रूप से संग्रहीत करने के सबसे कुशल तरीके मरम्मत के लिए धीमे और महंगे थे, जबकि टूटे हुए नोड्स को ठीक करने के सबसे तेज़ तरीके स्टोरेज स्पेस के मामले में बेहद बर्बादी करने वाले थे।

शोधकर्ताओं थॉमस लोचर और इवोन-ऐन पिग्नोलेट ने इस व्यापार-संतुलन (trade-off) को तोड़ने वाला एक नया तरीका विकसित किया है, जो एक ऐसा तरीका प्रदान करता है जिससे डेटा को इन सभी आयामों में एक साथ कुशलतापूर्वक संग्रहीत, फैलाया और पुनर्प्राप्त किया जा सके। उनका कार्य एक विशिष्ट प्रकार की प्रणाली पर केंद्रित है जिसे 'एसिंक्रोनस वेरीफिएबल इंफॉर्मेशन डिसपर्सल' (asynchronous verifiable information dispersal) कहा जाता है, जहाँ कंप्यूटरों को सही ढंग से कार्य करने के लिए संदेशों के सटीक समय पर सहमत होने की आवश्यकता नहीं होती है, फिर भी वे अपने पास मौजूद डेटा की वैधता और निरंतरता को सत्यापित कर सकते हैं। टीम ने एक नवीन प्रोटोकॉल पेश किया जो डेटा को ग्रिड जैसी संरचना में व्यवस्थित करता है, जिससे नोड्स को पूरी फ़ाइलों को डाउनलोड किए बिना लापता टुकड़ों को पुनर्गठित करने के लिए पर्याप्त जानकारी साझा करने की अनुमति मिलती है। यह दृष्टिकोण उस डेटा की मात्रा को काफी कम कर देता है जिसे संग्रहीत करना पड़ता है और एक विफल कंप्यूटर को ठीक करने के लिए आवश्यक बैंडविड्थ को भी कम करता है, और साथ ही अनुरोध किए जाने पर जानकारी प्राप्त करने के लिए आवश्यक गति को भी बनाए रखता है।

इस नए सिस्टम का मुख्य आधार यह है कि डेटा को बाहर भेजने से पहले कैसे व्यवस्थित किया जाता है। सूचना को टुकड़ों की एक साधारण सूची के रूप में मानने के बजाय, शोधकर्ता इसे एक द्वि-आयामी मैट्रिक्स, या पंक्तियों और स्तंभों के ग्रिड में एनकोड करते हैं। कल्पना कीजिए कि डेटा एक बड़ी स्प्रेडशीट है जहाँ प्रत्येक सेल में मूल फ़ाइल का एक छोटा सा हिस्सा है। सिस्टम फिर इस ग्रिड के खाली सेल्स को भरने के लिए एक गणितीय प्रक्रिया लागू करता है, जिससे रेडंडेंसी (अतिरेक) का एक जाल बन जाता है। नेटवर्क में प्रत्येक कंप्यूटर को इस ग्रिड से एक विशिष्ट पंक्ति और एक विशिष्ट स्तंभ सौंपा जाता है। वह केवल उस पंक्ति और स्तंभ से संबंधित डेटा, और डेटा के सही होने की पुष्टि करने वाला एक छोटा सा क्रिप्टोग्राफिक प्रमाण संग्रहीत करता है। यह संरचना इसकी दक्षता की कुंजी है। क्योंकि प्रत्येक कंप्यूटर दूसरे कंप्यूटर की पंक्ति और स्तंभ का एक हिस्सा रखता है, वे एक-दूसरे की मदद कर सकते हैं यदि कोई मशीन विफल हो जाती है, बिना किसी केंद्रीय प्राधिकरण से संपर्क किए या पूरा डेटासेट डाउनलोड किए।

जब डेटा का एक नया हिस्सा संग्रहीत किया जाना होता है, तो प्रक्रिया क्लाइंट द्वारा नेटवर्क को प्रारंभिक ग्रिड जानकारी भेजने के साथ शुरू होती है। शोधकर्ताओं ने एक चतुर 'हैंडशेक मैकेनिज्म' डिज़ाइन किया है ताकि यह सुनिश्चित हो सके कि यह तेजी से और बैंडविड्थ बर्बाद किए बिना हो सके। क्लाइंट आवश्यक डेटा प्रत्येक कंप्यूटर को भेजता है और पुष्टि का इंतजार करता है कि डेटा प्राप्त कर लिया गया है। यदि कोई कंप्यूटर प्रतिक्रिया देने में विफल रहता है, तो क्लाइंट पूरे फ़ाइल को सभी को फिर से भेजने के बजाय, केवल उन विशिष्ट कंप्यूटरों को एक छोटा, लक्षित अपडेट भेजता है जिन्हें उनकी आवश्यकता है। नेटवर्क के अन्य कंप्यूटर, जिनके पास अपने स्वयं के स्टोरेज में लापता डेटा का एक अंश मौजूद है, फिर उन संघर्षरत नोड्स को वे विशिष्ट हिस्से फॉरवर्ड करते हैं। यह सहकारी कदम यह सुनिश्चित करता है कि नेटवर्क पिछले तरीकों की तुलना में बहुत कम कुल डेटा मूवमेंट के साथ स्टोरेज प्रक्रिया को पूरा कर सके, जो अक्सर यह सुनिश्चित करने के लिए पूरा डेटासेट कई बार भेजते थे कि हर किसी के पास एक प्रति हो।

डेटा को पुनः प्राप्त करना भी उतना ही सुव्यवस्थित है। जब कोई उपयोगकर्ता फ़ाइल पढ़ना चाहता है, तो वे अपनी पंक्ति का डेटा प्राप्त करने के लिए पर्याप्त संख्या में कंप्यूटरों से पूछते हैं। ग्रिड को जिस तरह से बनाया गया था, उसके कारण, उपयोगकर्ता केवल उन पंक्तियों से मूल फ़ाइल को पुनर्गठित कर सकता है, बिना नेटवर्क के प्रत्येक नोड से संपर्क किए। सिस्टम संग्रहीत अंशों के साथ मौजूद क्रिप्टोग्राफिक प्रमाणों का उपयोग करके डेटा की अखंडता को सत्यापित करता है, यह सुनिश्चित करते हुए कि कोई भ्रष्ट या दुर्लेยิ่ง जानकारी वापस न मिले। डेटा प्राप्त करने की यह प्रक्रिया मौजूदा सर्वोत्तम तरीकों जितनी ही कुशल है, जिसका अर्थ है कि अन्य सुधारों को प्राप्त करने के लिए डेटा पढ़ने की गति से समझौता नहीं किया गया है।

शायद सबसे महत्वपूर्ण प्रगति यह है कि यह सिस्टम एक कंप्यूटर के विफल होने पर मरम्मत कैसे करता है। पुराने सिस्टमों में, एक टूटे हुए नोड को बदलने के लिए अक्सर नए मशीन को अपना शेयर बनाने के लिए नेटवर्क से पूरा डेटासेट डाउनलोड करने की आवश्यकता होती थी, जो बड़ी फ़ाइलों के लिए कई दिनों तक चल सकता था और भारी मात्रा में बैंडविड्थ खर्च करता था। इस नए प्रोटोकॉल में, एक प्रतिस्थापन नोड को अपने विशिष्ट पंक्ति और स्तंभ डेटा को पुनः प्राप्त करने के लिए केवल कुछ अन्य कंप्यूटरों से संपर्क करने की आवश्यकता होती है। ये पड़ोसी केवल वे छोटे हिस्से भेजते हैं जो ग्रिड में नए नोड की स्थिति के साथ प्रतिच्छेद (intersect) करते हैं। नया नोड फिर इन अंशों का उपयोग करके अपने पूर्ण स्टोरेज शेयर को गणितीय रूप से पुनर्गठित करता है। यह मरम्मत के दौरान स्थानांतरित डेटा की मात्रा को काफी कम कर देता है, जिससे यह बड़े पैमाने पर, वास्तविक दुनिया के अनुप्रयोगों के लिए व्यवहार्य हो जाता है जहाँ नोड्स अक्सर नेटवर्क में शामिल होते और छोड़ते हैं।

शोधकर्ताओं ने अपने प्रोटोकॉल का मौजूदा मानकों के विरुद्ध विश्लेषण किया और पाया कि यह सभी क्षेत्रों में लगातार उनसे बेहतर प्रदर्शन करता है। एक सौ कंप्यूटरों के नेटवर्क के लिए एक गीगाबाइट की फ़ाइल संग्रहीत करते समय, उनकी विधि के लिए प्रत्येक नोड को केवल तीस मेगाबाइट संग्रहीत करने की आवश्यकता होती है, जबकि एक अग्रणी विकल्प के लिए पैंतालीस मेगाबाइट की आवश्यकता होती है। एक एकल फ़ाइल के लिए यह अंतर छोटा लग सकता है, लेकिन जब इसे वैश्विक नेटवर्क में पेटाबाइट्स के डेटा तक बढ़ाया जाता है, तो यह कुल भंडारण आवश्यकताओं में डेढ़ पेटाबाइट की कमी के रूप में परिवर्तित हो जाता है। इसी तरह, जब एक नोड विफल होता है, तो नए सिस्टम को मरम्मत के लिए प्रतिस्थापन को पचहत्तर टेराबाइट डेटा डाउनलोड करने की तुलना में केवल पैंतालीस टेराबाइट डेटा डाउनलोड करने की आवश्यकता होती है। यह तीस टेराबाइट ट्रैफ़िक बचाता है, जो पूर्ण नेटवर्क क्षमता पर मरम्मत के लिए आवश्यक लगभग तीन दिनों के ट्रैफ़िक को दर्शाता है जो अब आवश्यक नहीं है।

टीम ने अपने प्रोटोकॉल का एक रूपांतर भी खोजा जो उपयोगकर्ताओं को उनकी विशिष्ट आवश्यकताओं के आधार पर सिस्टम को ट्यून करने की अनुमति देता है। एक एकल पैरामीटर को समायोजित करके, ऑपरेटर मरम्मत और पुनर्प्राप्ति के लिए उच्च बैंडविड्थ आवश्यकताओं की कीमत पर, स्टोरेज स्पेस के उपयोग को और भी कम करने के लिए चुन सकते हैं। यह लचीलापन प्रोटोकॉल को विविध परिदृश्यों के लिए उपयुक्त बनाता है, जैसे कि विकेंद्रीकृत आर्काइव्स जो दीर्घकालिक भंडारण दक्षता को प्राथमिकता देते हैं, या उच्च-प्रदर्शन वाली प्रणालियाँ जिन्हें तीव्र डेटा एक्सेस की आवश्यकता होती है। यह कार्य प्रदर्शित करता है कि यह संभव है कि वितरित भंडारण प्रणालियों को डिजाइन किया जाए जो न केवल एक क्षेत्र में सैद्धांतिक रूप से इष्टतम हों, बल्कि डेटा के संपूर्ण जीवन चक्र में—लिखने के क्षण से लेकर मरम्मत या पुनर्प्राप्ति के क्षण तक—व्यावहारिक रूप से कुशल भी हों।

यह शोध वितरित भंडारण प्र而言ों की अगली पीढ़ी के लिए एक ठोस मार्ग प्रदान करता है, जो उन बाधाओं को संबोधित करता है जिन्होंने उनकी स्केलेबिलिटी को सीमित किया है। यह सिद्ध करके कि कम स्टोरेज ओवरहेड, लिखने के लिए कम संचार लागत और कुशल नोड रिकवरी एक साथ अस्तित्व में रह सकते हैं, लेखकों ने मजबूत, विकेंद्रीकृत डेटा नेटवर्क की तैनाती के लिए एक प्रमुख बाधा को हटा दिया है। परिणाम केवल सैद्धांतिक नहीं हैं; अध्ययन में प्राप्त विशिष्ट स्थिरांक (constants) परिचालन लागतों और नेटवर्क क्षमता में प्रत्यक्ष रूप से बचत में परिवर्तित होते हैं। जैसे-जैसे विकेंद्रीकृत आर्काइव्स और ब्लॉकचेन समाधान जैसे सिस्टम बढ़ते जा रहे हैं, ऐसे प्रोटोकॉल जो विश्वसनीयता से समझौता किए बिना डेटा को कुशलतापूर्वक प्रबंधित कर सकते हैं, अत्यंत आवश्यक होते जाएंगे, और यह नया तरीका उस भविष्य के लिए एक संतुलित, उच्च-प्रदर्शन आधार प्रदान करता है।