Sovereign-Mohawk: Machine-Checked Hierarchical Byzantine Resilience and Probabilistic Composition for Federated Learning
यह शोधपत्र सोवरेन-मोहॉक (Sovereign-Mohawk) प्रस्तुत करता है, जो एक औपचारिक रूप से सत्यापित पदानुक्रमित फेडरेटेड लर्निंग आर्किटेक्चर है जो नियत बायज़ेंटाइन लचीलेपन (deterministic Byzantine resilience) की धारणा को गलत सिद्ध करता है, मशीन-चेक्ड चेर्नोफ़ बाउंड्स (Chernoff bounds) का उपयोग करके एक संभाव्य मरम्मत (probabilistic repair) का प्रस्ताव करता है, और एक सुरक्षित, उच्च-प्रदर्शन प्रणाली को लागू करता है जो ज़ीरो-नॉलेज प्रूफ और डिफरेंशियल प्राइवेसी के साथ महत्वपूर्ण प्रतिकूल परिस्थितियों में भी सटीकता बनाए रखता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, मशीन लर्निंग मॉडल अक्सर बहुत बड़े होते हैं और डेटा इतना संवेदनशील होता है कि उसे एक केंद्रीय स्थान पर एकत्र नहीं किया जा सकता। इसके बजाय, फेडरेटेड लर्निंग नामक एक तकनीक हजारों उपकरणों, जैसे स्मार्टफोन से लेकर औद्योगिक सेंसरों तक, को एक साझा बुद्धिमत्ता (इंटेलिजेंस) को प्रशिक्षित करने की अनुमति देती है, बिना कभी अपने निजी डेटा को केंद्रीय सर्वर पर भेजे। प्रत्येक उपकरण अपने स्थानीय सूचना से सीखता है और मॉडल का केवल एक छोटा, अपडेट किया हुआ हिस्सा वापस भेजता है जिसे संयोजित किया जा सके। यह दृष्टिकोण एक ऐसे भविष्य का वादा करता है जहाँ व्यक्तिगत गोपनीयता से समझौता किए बिना आर्टिफिशियल इंटेलिजेंस में सुधार होगा। हालाँकि, यह विकेंद्रीकृत प्रणाली एक महत्वपूर्ण भेद्यता का सामना करती है: "बाइज़ेंटाइन" (Byzantine) समस्या। इस संदर्भ में, एक बाइज़ेंटाइन विफलता तब होती है जब नेटवर्क के कुछ प्रतिभागी दुर्भावनापूर्ण कार्य करते हैं या खराबी का शिकार होते हैं, और ऐसे दूषित अपडेट भेजते हैं जो पूरे मॉडल को विषाक्त (पॉइज़न) करने के लिए डिज़ाइन किए गए होते हैं। यदि इन बुरे तत्वों में से कुछ भी अपने दूषित डेटा को अंतिम गणना में शामिल कर लेते हैं, तो पूरी प्रणाली विफल हो सकती है।
लाखों उपकरणों के विशाल पैमाने को प्रबंधित करने के लिए, इंजीनियर अक्सर इन प्रतिभागियों को एक पदानुक्रम (हायरार्की) में व्यवस्थित करते हैं, जैसे शाखाओं और पत्तियों वाला एक पेड़। विचार यह है कि यदि उपकरणों का प्रत्येक स्थानीय समूह डेटा ऊपर भेजने से पहले अपने स्वयं के सदस्यों की जांच कर ले, तो पूरा नेटवर्क सुरक्षित रहना चाहिए। यह एक सुखद धारणा है: यदि प्रत्येक स्थानीय पर्यवेक्षक अपना काम करता है, तो वैश्विक नेता ठीक रहेगा। लेकिन यह धारणा, जिसे इन प्रणालियों के डिज़ाइन में लंबे समय से निर्विवाद माना जाता रहा है, खतरनाक रूप से त्रुटिपूर्ण साबित होती है। रयान विलियम्स का एक नया अध्ययन, जिसका शीर्षक "सोवरेन-मोहॉक" (Sovereign-Mohawk) है, इस छिपी हुई कमजोरी को उजागर करता है और एक गणितीय रूप से सिद्ध समाधान प्रदान करता है जो अनुमान को निश्चितता से बदल देता है।
शोधकर्ताओं ने इस सामान्य विश्वास का परीक्षण करके शुरुआत की कि क्या स्थानीय सुरक्षा गारंटी वैश्विक सुरक्षा प्रदान करती है। उन्होंने एक दो-स्तरीय पदानुक्रम का एक औपचारिक गणितीय मॉडल बनाया, जहाँ उपकरणों के समूह अपने अपडेट क्षेत्रीय पर्यवेक्षकों को भेजते हैं, जो फिर एक सारांश वैश्विक नेता को भेजते हैं। अपने मॉडल में, उन्होंने एक ऐसी स्थिति बनाई जहाँ प्रत्येक क्षेत्रीय पर्यवेक्षक ने नियमों का पूरी तरह से पालन किया। प्रत्येक स्थानीय समूह में ईमानदार उपकरणों का बहुमत था, और स्थानीय फिल्टरों ने अपने छोटे घेरों के भीतर स्पष्ट रूप से बुरे तत्वों को सफलतापूर्वक रोक दिया। फिर भी, जब शोधकर्ताओं ने व्यापक परिप्रेक्ष्य में देखा, तो उन्होंने पाया कि वैश्विक नेटवर्क वास्तव में बुरे तत्वों द्वारा नियंत्रित था। दुर्भावनापूर्ण उपकरणों को इतनी सावधानी से रखने के बाद कि वे हर स्थानीय समूह में पहचान की दहलीज से ठीक नीचे रहें, वे एक ऐसी स्थिति बनाने में सफल रहे जहाँ कुल नेटवर्क का साठ प्रतिशत हमलावरों के नियंत्रण में था। स्थानीय गार्ड अपना काम कर रहे थे, लेकिन पूरी प्रणाली ध्वस्त हो गई थी। यह किसी संभावित विफलता का सिमुलेशन नहीं था; यह एक मशीन-चेक्ड प्रमाण था कि सोचने का पुराना तरीका काम ही नहीं करता है।
इस पुरानी पद्धति को गलत सिद्ध करने के बाद, टीम को स्थानीय प्रसंस्करण की दक्षता को छोड़े बिना पदानुक्रम को ठीक करने की आवश्यकता थी। उन्हें एहसास हुआ कि समस्या इसलिए उत्पन्न हुई क्योंकि उपकरणों का स्थान अनुमानित था। यदि एक हमलावर जानता है कि किन उपकरणों को एक साथ समूहबद्ध किया जाएगा, तो वह अपने दुर्भावनापूर्ण नोड्स को दरारों से फिसलने के लिए व्यवस्थित कर सकता है। इसे हल करने के लिए, शोधकर्ताओं ने एक रैंडम असाइनमेंट (यादृच्छिक असाइनमेंट) की विधि पेश की। उपकरणों को निश्चित समूहों में रहने देने के बजाय, उन्होंने उन्हें सख्त गणितीय गारंटी के साथ एक प्रक्रिया के माध्यम से समितियों में मिलाने का प्रस्ताव दिया, जो टोपी से नाम निकालने की प्रक्रिया के समान है। उन्होंने सिद्ध किया कि यदि उपकरणों को इन समितियों में यादृच्छिक रूप से सौंपा जाता है, तो एक दुर्भावनापूर्ण समूह के स्थानीय फिल्टर को तोड़ने के लिए पर्याप्त बुरे तत्वों को केंद्रित करने की संभावना इतनी कम हो जाती है कि वह प्रभावी रूप से शून्य है। उन्होंने इसे एक कंप्यूटर सिस्टम का उपयोग करके सत्यापित किया जो गणितीय प्रमाणों की जाँच करने के लिए डिज़ाइन किया गया है, जिससे यह दिखाया गया कि पचास हजार उपकरणों वाली एक समिति और कुल जनसंख्या में बड़ी संख्या में बुरे तत्वों के बावजूद, विफलता की संभावना ब्रह्मांड में मौजूद परमाणुओं की संख्या से भी अधिक शून्य वाले एक विशाल अंक में एक से भी कम है।
यह सैद्धांतिक सफलता केवल एक अमूर्त विचार तक सीमित नहीं रही। शोधकर्ताओं ने यह प्रदर्शित करने के लिए एक कामकाजी सॉफ्टवेयर सिस्टम बनाया कि उनकी नई विधि वास्तविक दुनिया में कैसे चल सकती है। उन्होंने 'गो' (Go) नामक भाषा में लिखा गया एक हाई-स्पीड इंजन बनाया, जो हजारों सिम्युलेटेड उपकरणों के बीच डेटा के प्रवाह को प्रबंधित करता था। इस सिस्टम में गोपनीयता और सुरक्षा सुनिश्चित करने के लिए कई सुरक्षा परतें शामिल थीं। इसने व्यक्तिगत उपयोगकर्ताओं की निजी जानकारी को रिवर्स-इंजीनियर होने से बचाने के लिए डेटा अपडेट में एक विशिष्ट प्रकार का गणितीय शोर (नॉइज़) जोड़ा। इसने उन्नत क्रिप्टोग्राफिक उपकरणों का भी उपयोग किया ताकि यह प्रमाणित किया जा सके कि भेजा गया डेटा वैध है, बिना डेटा को प्रकट किए, और इसमें भविष्य के क्वांटलेट कंप्यूटरों के हमलों का सामना करने के लिए डिज़ाइन किए गए नए एन्क्रिप्शन तरीकों का उपयोग किया गया।
टीम ने इस सिस्टम का परीक्षण एक नियंत्रित वातावरण में किया जो एक विशाल नेटवर्क की नकल करता था, जिसमें एक एकल भौतिक कंप्यूटर पर पंद्रह सौ आभासी (वर्चुअल) उपकरणों तक चलाया गया। उन्होंने सिस्टम को आक्रामक हमलों के अधीन किया, जहाँ पंद्रह प्रतिशत उपकरण सक्रिय रूप से सीखने की प्रक्रिया को बाधित करने की कोशिश कर रहे थे। इस तीव्र दबाव के बावजूद, सिस्टम अडिग रहा। मॉडल ने सीखना और सुधारना जारी रखा, और प्रशिक्षण के सौ राउंड के बाद 86.4 प्रतिशत की सटीकता तक पहुँच गया। यह एक पूर्ण, बिना हमले वाले सिस्टम (जिसने 88.2 प्रतिशत प्राप्त किया) की तुलना में बहुत मामूली गिरावट थी। इस सुरक्षा की लागत आश्चर्यजनक रूप से कम थी। प्रमाणों की जाँच करने और उपकरणों को मिलाने में लगने वाला अतिरिक्त समय प्रत्येक प्रशिक्षण दौर के कुल समय में केवल लगभग पैंतीस मिलीसेकंड जोड़ता था, एक ऐसा विलंब जिसे माइक्रोसेकंड में मापा जाता है।
यह कार्य इस बारे में हमारे सोचने के तरीके में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है कि बड़े पैमाने पर कृत्रिम बुद्धिमत्ता को कैसे सुरक्षित किया जाए। यह क्षेत्र को स्थानीय जाँच के वैश्विक स्तर तक बढ़ने की आशावादी धारणाओं पर निर्भर रहने के बजाय, कठोर, मशीन-वेरिफाइड गारंटी के आधार की ओर ले जाता है। यह सिद्ध करके कि पुराना पदानुक्रमित मॉडल टूटा हुआ था और नेटवर्क को व्यवस्थित करने का एक नया, संभाव्य (प्रोबेबिलिस्टिक) तरीका प्रदान करके, शोधकर्ताओं ने दिखाया है कि ऐसी प्रणालियाँ बनाना संभव है जो कुशल भी हैं और दृढ़ हमलावरों के विरुद्ध सुरक्षित भी। "सोवरेन-मोहॉक" सिस्टम एक ऐसे भविष्य के लिए ब्लूप्रिंट के रूप में खड़ा है जहाँ लाखों उपकरण सुरक्षित रूप से सहयोग कर सकते हैं, यह जानते हुए कि उनकी सामूहिक बुद्धिमत्ता आशा पर नहीं, बल्कि उस गणित पर संरक्षित है जिसे उसके सबसे सूक्ष्म विवरण तक जाँचा गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।