Walrus: An Efficient Decentralized Storage Network
वॉलरस (Walrus) एक नवीन विकेंद्रीकृत ब्लॉब स्टोरेज सिस्टम है जो रेडस्टफ (RedStuff) को पेश करके रेप्लिकेशन ओवरहेड, रिकवरी दक्षता और सुरक्षा के बीच के समझौते को हल करता है, जो कम-ओवरहेड वाले सेल्फ-हीलिंग और एसिंक्रोनस स्टोरेज चुनौतियों को सक्षम करने वाला एक द्वि-आयामी इरेज़र कोडिंग प्रोटोकॉल है, साथ ही नोड चर्न (node churn) को संभालने के लिए एक मजबूत मल्टी-स्टेज इपोक चेंज मैकेनिज्म भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही कीमती, विशाल डिजिटल फोटो एल्बम (एक "ब्लब") है जिसे आप इस तरह स्टोर करना चाहते हैं कि कोई भी इसे कभी खो न सके, डिलीट न कर सके या सेंसर न कर सके। आप इसे इंटरनेट पर स्टोर करना चाहते हैं, लेकिन आप गूगल या अमेज़न जैसी किसी एक कंपनी पर भरोसा नहीं करना चाहते। आप अजनबियों के एक वैश्विक नेटवर्क पर भरोसा करना चाहते हैं।
यह समस्या है जिसे Walrus हल करता है।
यहाँ बताया गया है कि Walrus कैसे काम करता है, इसे कुछ सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
समस्या: "बहुत सारी कॉपियाँ" बनाम "बहुत नाजुक" का द्वंद्व
Walrus से पहले, विकेंद्रीकृत स्टोरेज (decentralized storage) के पास दो बुरे विकल्प थे:
- "फोटोकॉपी मशीन" वाला दृष्टिकोण (Replication):
कल्पना कीजिए कि आपके पास एक दुर्लभ किताब है। उसे सुरक्षित रखने के लिए, आप उसकी 100 फोटोकॉपी बनाते हैं और 100 अलग-अलग लोगों को एक-एक प्रति देते हैं।
- फायदे: यदि एक व्यक्ति अपनी प्रति खो देता है, तो आपके पास 99 अन्य प्रतियां बची रहती हैं। यह बहुत सुरक्षित है।
- नुकसान: यह अविश्वसनीय रूप से महंगा और बर्बादी भरा है। आप एक ही किताब को 100 बार स्टोर कर रहे हैं। यदि आप किताब को अपडेट करना चाहते हैं, तो आपको सभी 100 लोगों को नई प्रति डाक से भेजनी होगी।
- "पहेली के टुकड़ों" वाला दृष्टिकोण (Erasure Coding):
कल्पना कीजिए कि आपने किताब को 100 पहेली के टुकड़ों (puzzle pieces) में काट दिया है। आप प्रत्येक टुकड़े को 100 अलग-अलग लोगों को दे देते हैं। किताब को पढ़ने के लिए, आपको केवल उन 34 टुकड़ों की आवश्यकता है।
- फायदे: आप किताब को केवल एक बार स्टोर करते हैं (बंटकर)। यह सस्ता है।
- नुकसान: यदि एक व्यक्ति अपना टुकड़ा खो देता है, तो शेष 99 लोगों को एक नए व्यक्ति को नया टुकड़ा बनाने के लिए अपने सभी टुकड़े भेजने होंगे। यदि आपके पास 100 लोग हैं, तो यह ट्रैफिक जाम की तरह हो जाएगा। यदि लोग आते-जाते रहते हैं (जो इंटरनेट पर होता रहता है), तो यह सिस्टम रुक जाएगा।
समाधान: Walrus और "Red Stuff"
Walrus एक नई प्रणाली पेश करता है जिसे Red Stuff कहा जाता है। इसे एक "सुपर-स्मार्ट" तरीके के रूप में सोचें जिससे आप अपनी किताब को काटते हैं, जो फोटोकॉपी की सुरक्षा और पहेली के टुकड़ों की दक्षता को जोड़ता है।
1. 2D ग्रिड (द "रुबिक्स क्यूब" ट्रिक)
किताब को केवल टुकड़ों की एक एकल रेखा (1D) में काटने के बजाय, Walrus इसे एक ग्रिड में काटता है, जैसे कि एक रुबिक्स क्यूब या स्प्रेडशीट।
- यह किताब को पंक्तियों (rows) और स्तंभों (columns) में काटता है।
- प्रत्येक व्यक्ति को एक विशिष्ट पंक्ति (Row) और एक विशिष्ट स्तंभ (Column) मिलता है।
यह जादू क्यों है?
यदि व्यक्ति A अपना टुकड़ा खो देता है, तो उसे पूरी किताब के लिए सभी से पूछने की आवश्यकता नहीं है। उसे बस उन लोगों से पूछना है जिनके पास उसकी पंक्ति और स्तंभ के प्रतिच्छेदन (intersecting) वाले टुकड़े हैं।
- उपमा: कल्पना कीजिए कि आपने क्रॉसवर्ड पहेली का एक विशिष्ट वर्ग खो दिया है। पूरी पहेली को भेजने के लिए सभी से पूछने के बजाय, आप बस उस विशिष्ट पंक्ति और स्तंभ में अक्षरों को रखने वाले लोगों से पूछते हैं। वे पूरे बुक को भेजे बिना उस लापता वर्ग को भरने में आपकी मदद कर सकते हैं।
यह सिस्टम को तुरंत स्वयं को ठीक (heal) करने की अनुमति देता है। यदि एक नोड (स्टोरेज कंप्यूटर) ऑफलाइन हो जाता है, तो नेटवर्क पूरी फ़ाइल भेजने के बजाय केवल लापता टुकड़े के अनुपात में डेटा का उपयोग करके उसे ठीक कर सकता है।
2. "समिति" और "हैंडओवर" (The Committee and the Handover)
इंटरनेट अराजक है। लोग आते-जाते रहते हैं (इसे "churn" कहा जाता है)।
- पुराना तरीका: जब लोगों का एक नया समूह कार्यभार संभालता है, तो पुराने समूह को सब कुछ ट्रांसफर करना पड़ता है। यदि पुराना समूह धीमा या दुर्भावनापूर्ण है, तो पूरा सिस्टम फ्रीज हो जाता है।
- Walrus का तरीका: Walrus "Epochs" (जैसे स्कूल टर्म्स) का उपयोग करता है। जब स्टोरेज नोड्स की एक नई समिति कार्यभार संभालती है, तो वे पुराने समूह के सारा डेटा ट्रांसफर करने के पूरा होने का इंतजार नहीं करती हैं।
- नए राइट्स (writes) तुरंत नई समिति के पास जाते हैं।
- पुराने रीड्स (reads) अभी भी पुराने समूह के पास जा सकते हैं।
- दोनों समितियां कुछ समय के लिए ओवरलैप होती हैं, जिससे यह सुनिश्चित होता है कि कोई भी अपने डेटा तक पहुंच न खो दे। यह एक रिले रेस की तरह है जहां दौड़ने वाले बिना रुके बैटन (baton) को सुचारू रूप से पास करते हैं।
3. "नोटरी" (The Blockchain)
Walrus अपना खुद का ब्लॉकचेन शून्य से नहीं बनाता है। यह एक तेज़, मौजूदा ब्लॉकचेन (Sui) का उपयोग एक "नोटरी" के रूप में करता है।
- जब आप एक फ़ाइल अपलोड करते हैं, तो नोटरी फ़ाइल को स्टोर नहीं करती है। यह केवल एक रसीद (डिजिटल सिग्नेचर) स्टोर करती है जो कहती है, "हाँ, नेटवर्क ने इस फ़ाइल को स्टोर करने के लिए सहमति दी है।"
- यह भारी काम (वास्तविक फ़ाइल स्टोरेज) को निर्णय लेने (ब्लॉकचेन) से अलग रखता है, जिससे यह अविश्वसनीय रूप से तेज़ हो जाता है।
Walrus एक बड़ी बात क्यों है?
पेपर अपने दो प्रसिद्ध प्रतिस्पर्धियों: Filecoin और Arweave के साथ Walrus की तुलना करता है।
- Filecoin एक धीमे, भारी ट्रक की तरह है। आपकी फ़ाइल स्टोर होने की पुष्टि करने के लिए इसे घंटों लग जाते हैं क्योंकि इसे जटिल गणितीय प्रमाण (math proofs) करने होते हैं।
- Arweave एक तेज़ ट्रेन की तरह है, लेकिन यह सुनिश्चित करने के लिए हर स्टेशन पर रुकती है कि हर किसी के पास फ़ाइल की एक प्रति है। यह लिखने में तेज़ है, लेकिन यह महंगा है क्योंकि यह बहुत अधिक कॉपियाँ स्टोर करता है।
- Walrus एक हाई-स्पीड ड्रोन नेटवर्क की तरह है।
- गति: आप सेकंडों में (बड़ी फ़ाइलों के लिए भी) फ़ाइलें अपलोड और डाउनलोड कर सकते हैं, घंटों में नहीं।
- दक्षता: यह आपके डेटा की केवल लगभग 4.5 कॉपियाँ ही स्टोर करता है (100 के बजाय), जिससे बहुत सारा पैसा और स्पेस बचता है।
- लचीलापन (Resilience): यदि नेटवर्क का 1/3 हिस्सा ऑफलाइन हो जाता है या धोखाधड़ी करने की कोशिश करता है, तो भी आपका डेटा सुरक्षित और रिकवर करने योग्य रहता है।
वास्तविक दुनिया का परीक्षण
लेखकों ने इसे केवल कागज़ पर नहीं लिखा; उन्होंने इसे बनाया है।
- वे 2024 के अंत से एक वास्तविक नेटवर्क चला रहे हैं।
- वे वर्तमान में 530 टेराबाइट डेटा (जो लगभग 10 करोड़ फोटो के बराबर है) स्टोर कर रहे हैं।
- उन्होंने साबित किया है कि आप डेटा को इधर-उधर ले जा सकते हैं, स्टोरेज नोड्स को बदल सकते हैं, और खोए हुए टुकड़ों को रिकवर कर सकते हैं, बिना सिस्टम को कभी डाउन किए।
सारांश
Walrus एक विकेंद्रीकृत स्टोरेज नेटवर्क है जो आपके डेटा को कुशलतापूर्वक स्टोर करने के लिए एक चतुर "2D ग्रिड" ट्रिक का उपयोग करता है। यह एक ऐसी पहेली की तरह है जहाँ हर टुकड़ा अपने पड़ोसियों से बात करना जानता है ताकि यदि कोई टुकड़ा खो जाए तो वह खुद को ठीक कर सके। यह इसे सस्ता, तेज़ और अटूट बनाता है, जिससे उन बड़ी समस्याओं का समाधान होता है जिन्होंने वर्षों से विकेंद्रीकृत स्टोरेज को पीछे धकेल रखा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।