💻 computer science

Giskard : Byzantine Robust and Confidential Aggregation for Large-Scale Decentralized Learning

गिस्कार्ड (Giskard) बड़े पैमाने पर विकेंद्रीकृत शिक्षण के लिए एक स्केलेबल प्रोटोकॉल है जो प्रतिभागियों को सुरक्षित, समन्वय-वार अनुमानित माध्यिका एकत्रीकरण (coordinate-wise approximate median aggregation) करने के लिए समितियों के एक वृक्ष (tree of committees) में व्यवस्थित करके कम संचार जटिलता के साथ डेटा गोपनीयता और बायज़ेंटाइन मजबूती (Byzantine robustness) को एक साथ सुनिश्चित करता है।

मूल लेखक: Ousmane Touat, César Sabater, Mohamed Maouche, Sonia Ben Mokhtar

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ousmane Touat, César Sabater, Mohamed Maouche, Sonia Ben Mokhtar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि लोगों का एक विशाल समूह मिलकर एक बहुत बड़ी पहेली को हल करने की कोशिश कर रहा है। प्रत्येक व्यक्ति के पास पहेली का एक अनूठा हिस्सा (उनका निजी डेटा) है और वे अंतिम चित्र (एक मशीन लर्निंग मॉडल) बनाने में मदद करना चाहते हैं, लेकिन वे कभी भी किसी को अपना हिस्सा नहीं दिखाना चाहते। यह विकेंद्रीकृत शिक्षण (decentralized learning) की दुनिया है।

हालाँकि, इसमें दो बड़ी समस्याएँ हैं:

धोखेबाज साज़िशकर्ता (Byzantine Faults): समूह के कुछ लोग जानबूझकर पहेली को बिगाड़ने की कोशिश कर सकते हैं। वे अंतिम चित्र को खराब करने के लिए नकली टुकड़े या उनके बदले हुए संस्करण जमा कर सकते हैं।
रहस्य के रक्षक (Confidentiality): बाकी सभी लोग अपने पहेली के टुकड़ों को छिपाना चाहते हैं। यदि वे अपने टुकड़े साझा करते हैं, तो साज़िशकर्ता (या जिज्ञासु पड़ोसी) उनके जीवन के निजी विवरणों का पता लगा सकते हैं।

आमतौर पर, आपको एक चुनना पड़ता है: या तो आप साज़िशकर्ताओं को पकड़ने के लिए सबके टुकड़ों की जाँच करते हैं (जो रहस्यों को उजागर करता है), या आप रहस्यों को छिपाने के लिए टुकड़ों को छुपाते हैं (जिससे साज़िशकर्ताओं को पकड़ना कठिन हो जाता है)।

गिस्करड (Giskard) से मिलिए: "समितियों का वृक्ष" समाधान

यह शोध पत्र गिस्करड नामक एक चतुर नए तरीके को पेश करता है जो इन दोनों समस्याओं को एक साथ हल करता है, भले ही समूह एक मिलियन लोगों तक बढ़ जाए। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. पुराने तरीकों के साथ समस्या

कल्पना कीजिए कि यदि समूह ने इस तरह से पहेली को हल करने की कोशिश की कि हर कोई एक विशाल घेरे में खड़ा होकर एक-दूसरे को अपने उत्तर चिल्लाकर बताए।

"ऑल-टू-ऑल" (All-to-All) विधि: हर कोई हर किसी से बात करता है। यदि 1,000 लोग हैं, तो दस लाख बातचीत होंगी। यदि दस लाख लोग हैं, तो नेटवर्क क्रैश हो जाएगा। यह बहुत शोर भरा और धीमा है।
"एक बड़ी समिति" (One Big Committee) विधि: समूह 100 लोगों की एक छोटी टीम चुनता है जो सारा जाँच और गणना करती है। जबकि यह बाकी समूह के लिए तेज़ है, वे 100 लोग काम के बोझ से दब जाते हैं। यदि समूह बढ़कर दस लाख हो जाता है, तो वह छोटी टीम अभी भी सारा भारी काम कर रही होती है, और वे काम के बोझ से कुचल जाते हैं।

2. गिस्करड समाधान: एक पदानुक्रमित वृक्ष (Hierarchical Tree)

गिस्करड खेल बदल देता है और लोगों को छोटी समितियों के एक वृक्ष में व्यवस्थित करता है।

पत्तियाँ (लोग): लोगों को छोटी टीमों (समितियों) में समूहबद्ध करने के बजाय, जिनमें लगभग 50-100 लोग होते हैं।
शाखाएँ (समितियाँ): ये छोटी टीमें आपस में बात करती हैं, फिर उनकी "पैरेंट" टीमें अपने "पैरेंट" से बात करती हैं, और यह सिलसिला ऊपर की ओर पेड़ के शीर्ष तक चलता है।
जड़ (शीर्ष समिति): सबसे ऊपर, एक अंतिम छोटी टीम निर्णय लेती है।

जादुई ट्रिक: "गुप्त गिनती" का खेल
गिस्करड "औसत" निकालने की कोशिश नहीं करता है (जिसे धोखा देना आसान है) या सबके नंबरों को क्रम में नहीं लगाता (जिसे गुप्त रूप से करना कठिन है)। इसके बजाय, यह एक "संख्या का अनुमान लगाओ" खेल खेलता है जो एक गुप्त बाइनरी सर्च का उपयोग करता है।

पिवट (The Pivot): समूह एक मध्य संख्या (एक "पिवट") चुनता है।
गुप्त वोट: हर कोई अपने स्वयं के नंबर को देखता है और पूछता है, "क्या मेरा नंबर पिवट से छोटा है?" वे "हाँ" या "नहीं" जोर से नहीं बोलते। इसके बजाय, वे उत्तर को कागज पर लिखते हैं, उसे फाड़ देते हैं, और कागज के टुकड़े अपनी छोटी समिति को सौंप देते हैं।
समिति की गिनती: छोटी समिति गणित के जादू (जिसे सिक्योर मल्टी-पार्टी कम्प्यूटेशन कहा जाता है) का उपयोग करके उन टुकड़ों को वापस जोड़ती है और यह गिनती करती है कि उनके पास कितने "हाँ" वोट हैं। उन्हें यह नहीं पता होता कि किसने "हाँ" कहा, बस यह पता होता है कि कितने लोगों ने "हाँ" कहा।
जिम्मेदारी सौंपना: समिति अपनी गिनती को पेड़ के ऊपर भेजती है। अगला स्तर अपने बच्चों से प्राप्त काउंट को जोड़ता है, और इसी तरह, जब तक कि शीर्ष समिति को पूरे समूह के "हाँ" वोटों की कुल संख्या का पता नहीं चल जाता।
अपडेट: कुल गणना के आधार पर, समूह को पता चलता है कि "असली उत्तर" पिवट से अधिक है या कम। वे एक नया पिवट चुनते हैं और खेल को दोहराते हैं।

3. यह क्यों एक गेम-चेंजर है

यह गुप्त है: क्योंकि गणित "फटे हुए" कागजों (सीक्रेट शेयरिंग) पर किया जाता है, इसलिए कोई भी अकेला व्यक्ति या छोटा समूह किसी के मूल नंबर को पुनर्गठित नहीं कर सकता। साज़िशकर्ता डेटा देख नहीं सकते।
यह मजबूत है: भले ही एक छोटी समिति के कुछ लोग साज़िशकर्ता हों जो गिनती के बारे में झूठ बोलने की कोशिश कर रहे हों, गणित यह सुनिश्चित करता है कि जब तक समिति का बहुमत ईमानदार है, तब तक अंतिम गणना सही रहती है। सिस्टम को इस तरह डिज़ाइन किया गया है कि साज़िशकर्ता "संख्या का अनुमान लगाओ" वाले खेल को धोखा नहीं दे सकते।
यह तेज़ है (स्केलेबल): यह सबसे बड़ी जीत है। पुराने "एक बड़ी समिति" वाले तरीके में, यदि आप लोगों की संख्या दोगुनी करते हैं, तो समिति के लिए काम का बोझ बहुत अधिक बढ़ जाता है। गिस्करड में, क्योंकि काम को पेड़ में विभाजित किया गया है, लोगों की संख्या बढ़ाने से किसी भी व्यक्ति के काम पर बहुत कम प्रभाव पड़ता है।
- पेपर का दावा: गिस्करड प्रत्येक व्यक्ति के लिए संचार लागत को इतना कम कर देता है कि यह दस लाख प्रतिभागियों को कुशलतापूर्वक संभाल सकता है। अपने निकटतम प्रतिस्पर्धी की तुलना में, गिस्करड डेटा की मात्रा को 1,775 गुना कम कर देता है जब नेटवर्क बहुत बड़ा होता है।

4. परिणाम

लेखकों ने एक मिलियन सिम्युलेटेड प्रतिभागियों के साथ गिस्करड का परीक्षण किया।

गति: यह पिछले तरीकों की तुलना में बहुत अधिक कुशल है। जहाँ अन्य तरीकों को दस लाख लोगों के साथ पूरा होने में वर्षों लग सकते हैं, वहीं गिस्करड सैद्धांतिक रूप से एक उचित समय (इंटरनेट की गति के आधार पर मिनटों से घंटों में) में पूरा हो सकता है।
सटीकता: यहाँ तक कि समूह के 25% साज़िशकर्ताओं के होने के बावजूद जो मॉडल को बर्बाद करने की कोशिश कर रहे थे, गिस्करड ने एक उच्च-गुणवत्ता वाला मॉडल बनाया, जो उन मानक तरीकों के समान प्रदर्शन करता है जो गोपनीयता की रक्षा नहीं करते हैं।

संक्षेप में:
गिस्करड एक विशाल, गुप्त, एंटी-साबोटेज वोटिंग सिस्टम आयोजित करने जैसा है। सभी को अपने वोट चिल्लाने (धीमा और असुरक्षित) के बजाय या एक छोटी टीम को सारा काम करने (काम के बोझ से दबे हुए) के बजाय, यह छोटी टीमों का एक पेड़ बनाता है जो शाखाओं के माध्यम से गुप्त गणनाओं को ऊपर भेजती है। यह दस लाख लोगों को एक साथ सीखने, अपने रहस्यों को सुरक्षित रखने और साज़िशकर्ताओं को पार्टी खराब करने से रोकने की अनुमति देता है, और यह सब बिना नेटवर्क के बोझ तले दबे।

तकनीकी सारांश: Giskard

समस्या विवरण

विकेंद्रीकृत शिक्षण (Decentralized learning), केंद्रीकृत प्रशिक्षण (centralized training) के मुकाबले एक गोपनीयता-संरक्षित विकल्प प्रदान करता है, जिससे प्रतिभागी एक विश्वसनीय केंद्रीय ऑर्केस्ट्रेटर के बिना पीयर-टू-पीयर इंटरैक्ट कर सकते हैं। हालाँकि, ये प्रणालियाँ दो साथ-साथ चलने वाली, अक्सर परस्पर विरोधी चुनौतियों का सामना करती हैं:

बाइज़ेंटाइन मजबूती (Byzantine Robustness): दुर्भावनापूर्ण या दोषपूर्ण नोड्स मनमाने, हेरफेर किए गए मॉडल अपडेट (मॉडल पॉइजनिंग) सबमिट कर सकते हैं ताकि ग्लोबल मॉडल को भ्रष्ट किया जा सके। इन हमलों से बचाव के लिए आमतौर पर आउटलेर्स (outliers) को फ़िल्टर करने के लिए व्यक्तिगत योगदानों के निरीक्षण और तुलना की आवश्यकता होती है (जैसे कि कोऑर्डिनेट-वाइज मीडियन या ट्रिम्ड मीन्स का उपयोग करके)।
गोपनीयता (Confidentiality): प्रतिभागियों को अपने स्थानीय डेटा और मॉडल अपडेट को निजी रखना चाहिए। क्रिप्टोग्राफिक तकनीकें जैसे कि सिक्योर मल्टी-पार्टी कम्प्यूटेशन (MPC), इन अपडेट्स को छिपा देती हैं, लेकिन मानक रोबस्ट एग्रीगेशन फंक्शन (जो सॉर्टिंग और तुलना पर निर्भर करते हैं) को एन्क्रिप्टेड रूप में लागू करना अत्यधिक महंगा होता है।

मौजूदा समाधान इन मुद्दों को अलग-अलग से हल करते हैं या उन्हें MPC के साथ इस तरह जोड़ते हैं जो स्केल नहीं कर पाते। पूर्ववर्ती विकेंद्रीकृत MPC दृष्टिकोण अक्सर ऑल-टू-ऑल (all-to-all) संचार पर निर्भर करते हैं या गणना को एक एकल छोटे कमिटी (committee) को सौंप देते हैं, जिसके परिणामस्वरूप नेटवर्क के आकार के साथ प्रति-नोड संचार जटिलता रैखिक या उससे अधिक ( $O(n)$ या $O(n \log^2 n)$ ) बढ़ जाती है। यह बड़े पैमाने पर तैनाती (जैसे, $n \ge 10^4$ ) के लिए एक मौलिक स्केलेबिलिटी बाधा उत्पन्न करता है।

कार्यप्रणाली: Giskard प्रोटोकॉल

Giskard एक प्रोटोकॉल है जिसे पूरी तरह से विकेंद्रीकृत सेटिंग में सब-लीनियर (sub-linear) संचार जटिलता के साथ बाइज़ेंटाइन मजबूती और गोपनीयता प्राप्त करने के लिए डिज़ाइन किया गया है। यह एक स्टैटिक, कम्प्यूटेशनल रूप से सीमित एडवर्सरी मॉडल के तहत काम करता है जहाँ $f < n/4$ पक्ष भ्रष्ट हो सकते हैं।

मुख्य तकनीकी अंतर्दर्दृष्टि

मीडियन के लिए बाइनरी सर्च: जेनेरिक सॉर्टिंग सर्किट्स (जो MPC में महंगे होते हैं) को लागू करने के बजाय, Giskard कोऑर्डिनेट-वाइज मीडियन गणना को वैल्यू डोमेन पर एक सुरक्षित बाइनरी सर्च के रूप में पुनर्गठित करता है। प्रोटोकॉल बार-बार $[Left, Right]$ रेंज को तब तक संकुचित करता है जब तक कि वह एक पिवट (pivot) $p_t$ से कम इनपुट्स की गिनती करता है। यह समस्या को सुरक्षित काउंटिंग ऑपरेशन्स के एक अनुक्रम में बदल देता है।
हाइरार्किकल कमेटी ट्री (Hierarchical Committee Tree): कंप्यूटेशनल लोड को वितरित करने के लिए, Giskard $n$ $n$ पक्षों को समितियों के एक $k$ $k$ -ary ट्री में व्यवस्थित करता है, जिसमें प्रत्येक का आकार $m = O(\log n)$ $m = O (lo g n)$ है।
- लीव्स (लेवल 0): व्यक्तिगत पक्ष अपने स्थानीय वेक्टर्स की वर्तमान पिवट के साथ तुलना करते हैं और अपने असाइन किए गए बेस कमिटीज़ को बिट वेक्टर्स के सिक्योर-शेयर करते हैं।
- बेस कमिटीज़ (लेवल 1): साझा किए गए बिट्स के डोमेन को डिग्री-2 प्रूफ का उपयोग करके वैलिडेट करती हैं, शेयर्स को एग्रीगेट करती हैं, और आंशिक योगों (partial sums) को ऊपर की ओर पुनः साझा करती हैं।
- इंटरमीडिएट कमिटीज़ (लेवल्स 2 से $L-1$ ): चाइल्ड कमिटीज़ से शेयर्स प्राप्त करती हैं, सत्यापन योग्य री-शेयरिंग (verifiable resharing) करती हैं, और ऊपर की ओर एग्रीगेट करती हैं।
- रूट कमिटी (लेवल $L$ ): स्पष्ट रूप (in the clear) में ग्लोबल काउंट को पुनर्गठित करती है, पिवट को अपडेट करती है, और अगले इटरेशन के लिए ट्री में नीचे की ओर नया पिवट ब्रॉडकास्ट करती है।
क्रिप्टोग्राफिक प्रिमिटिव्स: प्रोटोकॉल दुर्भावनापूर्ण विरोधियों के विरुद्ध सुरक्षा सुनिश्चित करने के लिए BGW स्कीम (Asharov और Lindell) पर आधारित वेरीफिएबल सीक्रेट शेयरिंग (VSS) का उपयोग करता है। यह शेयरिंग, मल्टीप्लिकेशन और री-शेयरिंग के लिए सब-प्रोटोकॉल का उपयोग करता है, जो यूनिवर्सल कम्पोजेबल (UC) सुरक्षित होने के रूप में सिद्ध हैं।

सुरक्षा और मजबूती के आश्वासन

गोपनीयता: व्यक्तिगत इनपुट और मध्यवर्ती काउंट छिपे रहते हैं; केवल अंतिम एग्रीगेट काउंट (जिसका उपयोग पिवट को अपडेट करने के लिए किया जाता है) ही प्रकट किया जाता है।
बाइज़ेंटाइन मजबूती: प्रोटोकॉल $n/4$ बाइज़ेंटाइन पक्षों को सहन कर सकता है। यह $(f, \kappa)$ -बाइज़ेंटाइन मजबूती मानदंड को पूरा करता है, यह सुनिश्चित करता है कि आउटपुट ईमानदार अपडेट्स के औसत के करीब रहे, जो कोऑर्डिनेट-वाइज मीडियन की मजबूती सीमा से मेल खाता है।
सत्यता (Correctness): बाइनरी सर्च एक परिशुद्धता (precision) $q$ के भीतर $N_{iter} = \lceil \log_2(2u/q) \rceil$ इटरेशन के बाद मीडियन तक अभिसरित (converge) होता है।

मुख्य योगदान

नया प्रोटोकॉल: लाखों पक्षों तक स्केल करने में सक्षम एक रोबस्ट और कॉन्फिडेंशियल डिसेंट्रलाइज्ड लर्निंग प्रोटोकॉल, Giskard का प्रस्ताव।
सैद्धांतिक सुरक्षा: एक औपचारिक प्रमाण कि Giskard हाइब्रिड मॉडल में UC-सुरक्षित है, जो मानक क्रिप्टोग्राफिक धारणाओं और इसके सब-प्रोटोकॉल (BA, VSS, आदि) की सुरक्षा पर निर्भर करता है।
कम्युनिकेशन कॉम्प्लेक्सिटी विश्लेषण: यह प्रदर्शन कि Giskard की वर्स्ट-केस प्रति-पक्ष संचार जटिलता $n$ में पॉलिस्टैर्गोस्मिक (polylogarithmic) है ( $O(d \cdot N_{iter} \cdot \log^3 n)$ ), जो A2A ( $O(d \cdot n^2)$ ) या A2C ( $O(d \cdot n \log^2 n)$ ) जैसे प्रतिस्पर्धियों की तुलना में एक महत्वपूर्ण सुधार है।
प्रायोगिक सत्यापन: $n=10^6$ तक के नेटवर्क साइज के साथ MNIST और CIFAR-10 डेटासेट्स पर व्यापक मूल्यांकन।

प्रायोगिक परिणाम

लेखकों ने Giskard का मूल्यांकन दो बेसलाइन टोपोलॉजी के विरुद्ध किया: ऑल-टू-ऑल (A2A) और ऑल-टू-कमिटी (A2C)।

स्केलेबिलिटी (संचार लागत):
- 10% बाइज़ेंटाइन अंश के साथ $n=10^6$ पर, Giskard A2C की तुलना में लगभग 1,775 गुना कम प्रति-पक्ष संचार करता है और A2A की तुलना में कई गुना कम संचार करता है।
- जबकि A2C लोड को एक एकल कमिटी पर केंद्रित करता है (जो बड़े पैमाने पर बैंडविड्थ सीमाओं के कारण अव्यवहारिक बनाता है), Giskard लोड को ट्री में वितरित करता है, जिससे $n=10^6$ के लिए भी प्रति-पक्ष लागत प्रबंधनीय रहती है।
- बड़े पैमाने पर A2C और A2A के लिए अनुमानित वॉल-क्लॉक टाइम व्यावहारिक सीमाओं (दिनों से वर्षों तक) से अधिक है, जबकि Giskard मिनटों से घंटों के भीतर रहता है।
मॉडल यूटिलिटी (मजबूती):
- नॉन-i.i.d. डेटा पर चार मॉडल पॉइजनिंग हमलों (Label Flipping, Sign Flipping, IPM, ALIE) के तहत, Giskard के बाइनरी-सर्च मीडियन ने स्टेट-ऑफ-द-आर्ट क्लियरटेक्स्ट रोबस्ट एग्रीगेटर्स (Trimmed Mean, Median) के समान टेस्ट एक्यूरेसी हासिल की।
- MNIST पर, एक्यूरेसी गैप 0.4% से कम था। CIFAR-10 पर, गैप आम तौर पर 1.5% से कम था, जो बारीक परिशुद्धता (finer precision) की आवश्यकता वाले अत्यधिक अनुकूलित हमलों के लिए थोड़ा अधिक (2.7% तक) था।
- प्रयोगों ने बाइनरी सर्च इटरेशन ( $N_{iter}$ ) की संख्या के लिए एक तीक्ष्ण थ्रेशोल्ड की पहचान की; $\approx 10$ से अधिक इटरेशन बढ़ाने से कोई महत्वपूर्ण मजबूती लाभ नहीं हुआ, बल्कि संचार लागत रैखिक रूप से बढ़ गई।

महत्व और दावे

पेपर का दावा है कि Giskard विकेंद्रीकृत शिक्षण में स्केलेबिलिटी और सुरक्षा के बीच के अंतर को पाटता है। एक हाइरार्किकल कमेटी स्ट्रक्चर और मीडियन के विशेष बाइनरी-सर्च फॉर्मूलेशन को जोड़कर, Giskard प्राप्त करता है:

सब-लीनियर संचार: यह पूरी तरह से विकेंद्रीकृत सेटिंग में बाइज़ेंटाइन-रोबस्ट, कॉन्फिडेंशियल एग्रीगेशन के लिए पॉलिस्टैर्गोस्मिक प्रति-पक्ष संचार प्राप्त करने वाला पहला प्रोटोकॉल है।
औपचारिक गारंटी: ह्यूरिस्टिक (heuristic) दृष्टिकोणों के विपरीत, Giskard UC-सुरक्षा प्रमाण और औपचारिक मजबूती सीमाएं प्रदान करता है।
व्यावहारिकता: प्रायोगिक परिणाम दर्शाते हैं कि प्रोटोकॉल एक मिलियन प्रतिभागियों तक के बड़े पैमाने पर तैनाती के लिए व्यवहार्य है, जहाँ पिछले MPC-आधारित समाधान कम्प्यूटेशनल और संचार की दृष्टि से अव्यवहार्य होंगे।

लेखक निष्कर्ष निकालते हैं कि हालांकि प्रोटोकॉल इटरेशन काउंट और परिशुद्धता के बीच एक ट्रेड-ऑफ पेश करता है, प्रस्तावित सिस्टम प्रभावी रूप से गोपनीयता, मजबूती और स्केलेबिलिटी को संतुलित करता है, जिससे बड़े पैमाने पर सुरक्षित विकेंद्रीकृत शिक्षण व्यावहारिक बनता है। लागतों को और कम करने के लिए क्रिप्टोग्राफिक धारणाओं पर आधारित कम्प्यूटेशनल वेरिएंट्स का पता लगाने के लिए भविष्य के कार्य का सुझाव दिया गया है।