ERIS: Enhancing Privacy and Scalability in Federated Learning via Federated Shard Aggregation
ERIS एक नवीन फेडरेटेड लर्निंग फ्रेमवर्क है जो 'फेडरेटेड शार्ड एग्रीगेशन' को पेश करके अरबों-पैरामीटर वाले मॉडल्स के लिए गोपनीयता और स्केलेबिलिटी को बढ़ाता है ताकि क्लाइंट-साइड अपडेट्स को कई एग्रीगेटर्स के बीच वितरित किया जा सके, जिससे केंद्रीय बाधाओं को समाप्त किया जा सके और सूचना रिसाव को सीमित किया जा सके, जबकि भारी क्रिप्टोग्राफी पर निर्भर किए बिना अभिसरण (convergence) और मॉडल उपयोगिता को बनाए रखा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप और आपके दोस्तों का एक समूह मिलकर एक विशाल, सुपर-स्मार्ट रोबोट दिमाग बनाना चाहते हैं। समस्या यह है कि हर किसी के पास अपने व्यक्तिगत अनुभवों (डेटा) की एक गुप्त डायरी है जिसे वे गोपनीयता कानूनों या व्यक्तिगत भरोसे के कारण साझा नहीं कर सकते।
फेडरेटेड लर्निंग (Federated Learning) यह विचार है कि आप बिना किसी को उनकी डायरी सौंपे इस रोबोट दिमाग को प्रशिक्षित कर सकते हैं। इसके बजाय, हर कोई अपने कंप्यूटर पर दिमाग का एक छोटा हिस्सा प्रशिक्षित करता है और केवल "सीखी गई सीख" (गणितीय अपडेट) एक केंद्रीय शिक्षक को भेजता है। शिक्षक इन सीखों को जोड़कर रोबोट को बेहतर बनाता है।
लेकिन, यह पेपर बताता है कि इस वर्तमान पद्धति में दो बड़ी समस्याएं हैं:
- द बॉटलनेक (The Bottleneck): यदि आपके पास लाखों दोस्त हैं, तो केंद्रीय शिक्षक सभी सीखों को इकट्ठा करने और छांटने में अभिभूत हो जाता है। यह एक पोस्ट ऑफिस में लाखों पत्रों को छांटने की कोशिश करने वाले एक व्यक्ति की तरह है; इसमें बहुत समय लगता है।
- प्राइवेसी लीक (The Privacy Leak): भले ही आप अपनी डायरी नहीं भेज रहे हैं, लेकिन "सीखी गई सीख" को कभी-कभी एक चालाक हैकर द्वारा रिवर्स-इंजीनियर किया जा सकता है ताकि आपकी डायरी में क्या था, इसका अनुमान लगाया जा सके।
लेखक ERIS नामक एक नई प्रणाली पेश करते हैं, जिसे इन दोनों समस्याओं को एक साथ हल करने के लिए डिज़ाइन किया गया है, बिना रोबोट के दिमाग को कम स्मार्ट बनाए। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. "जिग्सॉ पज़ल" रणनीति (Federated Shard Aggregation)
पुराने सिस्टम में, हर कोई अपनी पूरी सीख एक केंद्रीय शिक्षक को भेजता है। ERIS में, सिस्टम फेडरेटेड शार्ड एग्रीगेशन (FSA) नामक तकनीक का उपयोग करता है।
कल्पना कीजिए कि हर सीख एक विशाल, जटिल जिग्सॉ पज़ल (जटिला पहेली) है।
- पुराना तरीका: हर कोई अपना पूरा पज़ल एक व्यक्ति को भेजता है। वह व्यक्ति सब कुछ देख लेता है।
- ERIS का तरीका: भेजने से पहले, हर कोई अपने पज़ल को 50 अलग-अलग, गैर-अतिव्यापी टुकड़ों (शार्ड्स) में काट देता है।
- व्यक्ति A अपना टुकड़ा 1 शिक्षक 1 को भेजता है, टुकड़ा 2 शिक्षक 2 को, टुकड़ा 3 शिक्षक 3 को, और इसी तरह।
- शिक्षक 1 केवल सभी से टुकड़ा 1 देखता है। शिक्षक 2 केवल टुकड़ा 2 देखता है।
- जादू: क्योंकि टुकड़ों को एक विशिष्ट, समन्वित तरीके से काटा गया है, शिक्षक अभी भी उन टुकड़ों को जोड़कर ठीक वही अंतिम चित्र बना सकते हैं जो पुराने सिस्टम में था। रोबोट का दिमाग उतना ही अच्छा सीखता है।
- प्राइवेसी की जीत: कोई भी एकल शिक्षक कभी भी पूरा पज़ल नहीं देख पाता है। यदि कोई हैकर शिक्षक 1 को हैक करता है, तो उन्हें केवल जानकारी का एक छोटा, बेकार टुकड़ा मिलता है, पूरी गुप्त जानकारी नहीं।
2. "कंप्रेस्ड पोस्टकार्ड" (The Compressed Postcard)
पज़ल के टुकड़ों के साथ भी, 50 अलग-अलग शिक्षकों को 50 टुकड़े भेजना अभी भी बहुत अधिक मेल भेजने जैसा हो सकता है। इसे तेज़ बनाने के लिए, ERIS एक दूसरा स्तर जोड़ता है जिसे डिस्ट्रीब्यूटेड शिफ्टेड कम्प्रेशन (DSC) कहा जाता है।
इसे एक पूरी किताब के बजाय पोस्टकार्ड पर अपनी सीख लिखने के रूप में सोचें।
- पज़ल काटने से पहले, सिस्टम सबसे महत्वपूर्ण हिस्सों का सारांश निकालता है और अनावश्यक चीजों को हटा देता है (कम्प्रेशन)।
- यह एक "शिफ्ट" ट्रिक (एक गुप्त कोड की तरह) का भी उपयोग करता है ताकि यह सुनिश्चित हो सके कि भले ही जानकारी को हटा दिया गया हो, फिर भी जब शिक्षक उन्हें वापस जोड़ते हैं तो गणित पूरी तरह से सही रहता है।
- यह "मेल" (डेटा ट्रांसमिशन) को बहुत छोटा बना देता है, जिससे पूरी प्रक्रिया काफी तेज़ हो जाती है।
3. परिणाम: एक तेज़, सुरक्षित और स्मार्ट सिस्टम
पेपर का दावा है कि इन दोनों विचारों को जोड़कर, ERIS तीन चीजें हासिल करता है जो आमतौर पर एक-दूसरे के खिलाफ लड़ती हैं:
- प्राइवेसी (Privacy): चूंकि कोई भी एकल पर्यवेक्षक पूरी तस्वीर नहीं देख पाता है, इसलिए हैकर्स के लिए डेटा चुराना या यह अनुमान लगाना बहुत कठिन है कि लोग किस पर प्रशिक्षण दे रहे हैं। पेपर गणितीय रूप से सिद्ध करता है कि जितने अधिक "शिक्षक" (एग्रीगेटर्स) होंगे, यह उतना ही सुरक्षित होगा।
- स्केलेबिलिटी (Scalability): क्योंकि काम को एक के बजाय कई शिक्षकों के बीच विभाजित किया गया है, इसलिए सिस्टम जाम नहीं होता है। यह बड़े भाषा मॉडलों (LLMs) में उपयोग किए जाने वाले विशाल मॉडलों को भी बिना धीमा हुए संभाल सकता है।
- यूटिलिटी/उपयोगिता (Utility - स्मार्टनेस): यह सबसे महत्वपूर्ण हिस्सा है। आमतौर पर, जब आप चीजों को निजी या तेज़ बनाने की कोशिश करते हैं, तो रोबोट का दिमाग "मूर्ख" (कम सटीक) हो जाता है। ERIS का दावा है कि यह पहला ऐसा सिस्टम है जो मूल, बिना संशोधित संस्करण की तरह ही स्मार्ट दिमाग बनाए रखता है, जबकि यह निजी और तेज़ भी है।
निचोड़ (The Bottom Line)
लेखकों ने बिल्लियों और कुत्तों की छवियों को पहचानने से लेकर मानव भाषा को समझने तक विभिन्न कार्यों पर ERIS का परीक्षण किया। उन्होंने पाया कि:
- यह मानक पद्धति जितना ही सटीक था।
- हैकर्स के लिए डेटा चुराना या लोगों के प्रशिक्षण डेटा का अनुमान लगाना बहुत कठिन था।
- इसे चलाना बहुत तेज़ था, विशेष रूप से विशाल मॉडलों के साथ काम करते समय।
संक्षेप में, ERis एक समूह परियोजना को व्यवस्थित करने का एक नया तरीका है जहाँ हर कोई अपने काम को छोटे, गुप्त टुकड़ों में विभाजित करता है, उन्हें अलग-अलग टीम लीडरों को भेजता है, और अंत में उन्हें पूरी तरह से पुनर्गठित करता है—यह सुनिश्चित करते हुए कि कोई भी एक व्यक्ति पूरी तस्वीर नहीं देख पाता है, लेकिन अंतिम परिणाम एकदम सटीक होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।