🤖 machine learning

SketchGuard: Scaling Byzantine-Robust Decentralized Federated Learning via Sketch-Based Screening

स्केचगार्ड (SketchGuard) विकेंद्रीकृत फेडरेटेड लर्निंग के लिए एक स्केलेबल फ्रेमवर्क है जो पूर्ण मॉडल वेक्टर्स को साझा करने से पहले बाइजेंटाइन पड़ोसियों की पहचान करने और उन्हें फ़िल्टर करने के लिए लो-डायमेंशनल काउंट स्केचेस (low-dimensional Count Sketches) का उपयोग करके संचार ओवरहेड और कम्प्यूटेशनल लागत को काफी कम करता है, जबकि अत्याधुनिक मजबूती और अभिसरण (convergence) गारंटी बनाए रखता है।

मूल लेखक: Murtaza Rangwala, Farag Azzedin, Richard O. Sinnott, Rajkumar Buyya

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Murtaza Rangwala, Farag Azzedin, Richard O. Sinnott, Rajkumar Buyya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "SketchGuard: Scaling Byzantine-Robust Decentralized Federated Learning via Sketch-Based Screening" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक पड़ोस की पॉटलक पार्टी जो गलत हो गई

कल्पना कीजिए कि एक पड़ोस है जहाँ हर कोई मिलकर एक बेहतरीन व्यंजन बनाना चाहता है, लेकिन वे अपने गुप्त नुस्खे या सामग्री किसी केंद्रीय शेफ के साथ साझा नहीं कर सकते। इसके बजाय, वे सब एक घेरे में खड़े होते हैं, एक-दूसरे के व्यंजनों को चखते हैं, और तय करते हैं कि अगले दौर के लिए किसकी रेसिपी की नकल करनी है। यह Decentralized Federated Learning (DFL) है।

समस्या क्या है? कुछ पड़ोसी साज़िशकर्ता (Byzantine attackers) हैं। वे जानबूझकर ऐसा व्यंजन ला सकते हैं जिसका स्वाद बहुत खराब हो, या वे सबको एक ऐसा व्यंजन बनाने के लिए धोखा दे सकते हैं जो दिखने में तो सामान्य हो लेकिन उसमें कोई छिपा हुआ ज़हर (backdoor) हो।

इन्हें रोकने के लिए, ईमानदार पड़ोसियों को हर उस व्यंजन को चखना पड़ता है जो घेरे में लाया गया है, ताकि यह देख सकें कि वह उनके अपने व्यंजन के "काफी करीब" है या नहीं। अगर किसी व्यंजन का स्वाद अजीब है, तो वे उसे खारिज कर देते हैं।

बॉटलनेक (रुकावट):
वर्तमान प्रणालियों में, किसी व्यंजन को चखने के लिए, आपको उस पूरे विशाल सूप के आने तक इंतज़ार करना पड़ता है। भले ही आपको यह तय करने के लिए केवल एक चम्मच की ज़रूरत हो कि वह खराब है, आपको पूरे 50 गैलन सूप के आने का इंतज़ार करना होगा। यदि 100 पड़ोसी 50-गैलन के बर्तन लाते हैं, तो यह बहुत अधिक इंतज़ार और ट्रैफ़िक पैदा करता है, भले ही आप उनमें से 90 को फेंक दें।

समाधान: "स्केच" मेनू

लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे SketchGuard कहा जाता है। पूरे सूप के इंतज़ार करने के बजाय, पड़ोसी पहले अपने व्यंजन का एक छोटा, संकुचित (compressed) स्केच (एक सारांश) भेजते हैं।

एक Count Sketch को एक "फ्लेवर प्रोफाइल कार्ड" की तरह समझें। यह आपको सामग्री का सटीक नुस्खा या वजन नहीं बताता; यह बस आपके अपने व्यंजन से उस व्यंजन की सामान्य "फ्लेवर दूरी" (flavor distance) का एक त्वरित, गणितीय रूप से सटीक स्नैपशॉट देता है।

SketchGuard कैसे काम करता है (4-चरणों का नृत्य):

कुकिंग (खाना बनाना): हर कोई अपना खुद का व्यंजन बनाता है (अपना स्थानीय मॉडल ट्रेन करता है)।
स्केच एक्सचेंज: पूरा बर्तन भेजने के बजाय, हर कोई अपने पड़ोसियों को अपना छोटा "फ्लेवर कार्ड" (स्केच) भेजता है। यह तेज़ और सस्ता है।
स्क्रीनिंग (छँटाई): आप कार्ड देखते हैं। यदि किसी पड़ोसी का कार्ड कहता है कि उनका व्यंजन आपके व्यंजन से बहुत अलग है, तो आप उन्हें साज़िशकर्ता के रूपв रूप में चिह्नित करते हैं। आप अभी उनका पूरा बर्तन नहीं मांगते हैं।
सिलेक्टिव फेच (चुनिंदा रूप से प्राप्त करना): आप केवल उन पड़ोसियों से पूरा, विशाल बर्तन मांगते हैं जिनके कार्ड अच्छे दिख रहे थे।
- महत्वपूर्ण सुरक्षा जाँच: जब पूरा बर्तन आता है, तो आप तुरंत फ्लेवर कार्ड को दोबारा चेक करते हैं ताकि यह सुनिश्चित हो सके कि व्यक्ति ने कार्ड को अप्रूव होने के बाद सूप को किसी और चीज़ से बदल तो नहीं दिया।

यह गेम-चेंजर क्यों है

1. "बैंडविड्थ" बचाना (संचार/Communication)
पुराने तरीके में, यदि आपके 100 पड़ोसी हैं, तो आप 100 पूरे बर्तन डाउनलोड करते हैं, भले ही उनमें से 80 खराब हों।
SketchGuard में, आप 100 छोटे कार्ड डाउनलोड करते हैं। यदि 80 खराब हैं, तो आप उन्हें तुरंत फेंक देते हैं। आप केवल उन 20 अच्छे पड़ोसियों के लिए पूरे बर्तन डाउनलोड करते हैं।

परिणाम: जब बहुत सारे बुरे तत्व (bad actors) होते हैं, तो यह डेटा ट्रैफ़िक में 50% से 70% तक की बचत करता है। यह वैसा ही है जैसे केवल उन मेहमानों के लिए पूरा भोजन ऑर्डर करना जिन्हें आप वास्तव में पसंद करते हैं, बजाय इसके कि सभी के लिए ऑर्डर करें और फिर खराब वाले वापस भेज दें।

2. समय बचाना (कंप्यूटेशन/Computation)
क्योंकि आपको बुरे पड़ोसियों के डेटा को प्रोसेस नहीं करना पड़ता, इसलिए आपका कंप्यूटर बहुत तेज़ी से काम करता है। पेपर दिखाता है कि यह भीड़भाड़ वाले, अव्यवस्थित नेटवर्क में कंप्यूटेशन समय को 82% तक कम कर सकता है।

3. यह अभी भी सुरक्षित है (मजबूती/Robustness)
आप शायद चिंता करेंगे: "क्या एक छोटा सा फ्लेवर कार्ड साज़िशकर्ता को पकड़ने के लिए काफी सटीक है?"
पेपर गणितीय रूप से सिद्ध करता है कि ये स्केच व्यंजनों के बीच की "दूरी" को बनाए रखने में अविश्वसनीय रूप से अच्छे हैं। यदि कोई व्यंजन वास्तविक दुनिया में दूर है, तो उसका स्केच भी दूर होगा।

प्रमाण: सिस्टम इतना सटीक है कि यह पुराने, धीमे तरीकों के समान ही प्रदर्शन करता है। स्केच का उपयोग करने से उत्पन्न "त्रुटि" (error) इतनी कम है (प्रदर्शन में 0.5% से कम का अंतर) कि यह व्यावहारिक रूपв रूप से अदृश्य है।

लैब में परिणाम

शोधकर्ताओं ने इसे तीन अलग-अलग "पड़ोसों" (डेटासेट: हस्तलिखित अंक, सेलिब्रिटी चेहरे, और ट्विटर सेंटिमेंट) और विभिन्न नेटवर्क आकारों (रिंग्स, रैंडम वेब्स, पूरी तरह से जुड़े समूह) पर टेस्ट किया।

उन्होंने चार प्रकार के "साज़िशकर्ताओं" को पेश किया:

द ड्रिफ्टर (The Drifter): समूह को गलत दिशा में धकेलने की कोशिश करता है।
द नॉइज़ मेकर (The Noise Maker): मिश्रण में रैंडम कचरा डालता है।
द क्लस्टर (The Cluster): साज़िशकर्ताओं का एक समूह जो फ़िल्टर को धोखा देने के लिए आपस में सहमत होने का नाटक करता है।
द बैकडोर (The Backdoor): व्यंजन में एक गुप्त ट्रिगर छिपाने की कोशिश करता है।

परिणाम: SketchGuard ने इन सभी हमलों को मौजूदा सर्वोत्तम तरीकों के समान ही रोका, लेकिन इसने यह काम बहुत तेज़ी से और बहुत कम डेटा ट्रांसफर के साथ किया। यहाँ तक कि जब उन्होंने डेटा को 13,000 से 1 के अनुपात में कंप्रेस किया (स्केच को बहुत छोटा बना दिया), तब भी सिस्टम सुरक्षित और प्रभावी रहा।

सारांश

SketchGuard एक क्लब के बाउंसर की तरह है जो वीआईपी रूम (फुल मॉडल एक्सचेंज) में जाने से पहले आईडी फोटो (स्केच) की जाँच करता है।

पुराना तरीका: किसी की पूरी आईडी, वॉलेट और इतिहास की जाँच करना। (धीमा, महंगा, बर्बादी भरा)।
SketchGuard: पहले फोटो देखें। यदि फोटो नकली लगती है, तो उन्हें तुरंत रोक दें। केवल अच्छे लोगों को ही अपना पूरा आईडी दिखाने के लिए अंदर आने दें।

यह विकेंद्रीकृत एआई (decentralized AI) को भारी मात्रा में डेटा ट्रैफ़िक के बिना बड़े नेटवर्क तक स्केल करने में सक्षम बनाता है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन जाता है।

यहाँ शोध पत्र "SketchGuard: Sketch-Based Screening के माध्यम से Byzantine-Robust Decentralized Federated Learning को स्केल करना" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिसेन्ट्रलाइज्ड फेडरेटेड लर्निंग (DFL) क्लाइंट्स को एक केंद्रीय सर्वर के बिना सहयोगात्मक रूप से मॉडल प्रशिक्षित करने की अनुमति देता है, जिससे गोपनीयता और दोष-सहनशीलता (fault tolerance) बढ़ती है। हालाँकि, DFL Byzantine हमलों के प्रति अत्यधिक संवेदनशील है, जहाँ दुर्भावनापूर्ण नोड्स प्रशिक्षण को बाधित करने के लिए 'पॉइजन्ड अपडेट' (poisoned updates) सबमिट करते हैं।

मुख्य बाधा (The Core Bottleneck):
मौजूदा Byzantine-रोबस्ट रक्षा प्रणालियाँ (जैसे BALANCE, SCCLIP, UBAR) लोकल-कंसिस्टेंसी फ़िल्टरिंग पर निर्भर करती हैं। किसी पड़ोसी पर भरोसा करने का निर्णय लेने के लिए, एक क्लाइंट को:

पड़ोसी का पूर्ण, उच्च-आयामी मॉडल वेक्टर ( $d$ आयाम) प्राप्त करना होता है।
पूर्ण वेक्टर और अपने स्वयं के मॉडल के बीच की दूरी की गणना करनी होती है।
इस दूरी के आधार पर फ़िल्टर करना होता है।

अक्षमता (The Inefficiency):
यह दृष्टिकोण प्रति राउंड $O(d \cdot |N_i|)$ का संचार लागत (communication cost) वहन करता है (जहाँ $|N_i|$ पड़ोसियों की संख्या है), चाहे कितने भी पड़ोसियों को अंततः अस्वीकार कर दिया जाए। बड़े पैमाने के नेटवर्क या बड़े मॉडल्स (जैसे 60M पैरामीटर्स) के साथ, यह प्री-फ़िल्टरिंग संचार एक मौलिक बाधा बन जाता है, जिससे उन दुर्भावनापूर्ण अपडेट्स पर बैंडविड्थ बर्बाद होती है जिन्हें ट्रांसमिशन के तुरंत बाद हटा दिया जाता है।

2. कार्यप्रणाली: SketchGuard

लेखक SketchGuard का प्रस्ताव करते हैं, जो Count Sketch डेटा स्ट्रक्चर्स का उपयोग करके फिल्टरिंग को एग्रीगेशन से अलग (decouple) करता है।

मुख्य तंत्र (Core Mechanism)

पूर्ण मॉडल के आदान-प्रदान के बजाय, SketchGuard दो चरणों में कार्य करता है:

स्केच एक्सचेंज (चरण 2):
- क्लाइंट्स अपने $d$ -आयामी मॉडल अपडेट को एक कम-आयामी Count Sketch में कंप्रेस करते हैं जिसका आकार $k$ है (जहाँ $k \ll d$ )।
- पड़ोसी केवल इन स्केच का आदान-प्रदान करते हैं ( $O(k \cdot |N_i|)$ लागत)।
- क्लाइंट्स स्केच डोमेन में दूरियों की गणना करते हैं ताकि "स्वीकृत" पड़ोसियों की पहचान की जा सके।
चयनात्मक पूर्ण-मॉडल फेच (चरण 4):
- पूर्ण मॉडल वेक्टर्स केवल उन्हीं पड़ोसियों से फेच किए जाते हैं जो स्केच-आधारित फ़िल्टर में पास हुए हैं।
- सत्यापन (Verification): एग्रीगेशन से पहले, क्लाइंट प्राप्त पूर्ण मॉडल का स्केच पुन: गणना करता है ताकि यह सुनिश्चित हो सके कि यह चरण 2 में भेजे गए स्केच से मेल खाता है। यह एडवर्सरी (adversary) को चरण 2 में एक 'बेनाइन' (benign) स्केच भेजने और बाद में एक 'मैलेशियस' (malicious) पूर्ण मॉडल भेजने से रोकता है।

सैद्धांतिक आधार (Theoretical Foundation)

यह विधि Count Sketch के डिस्टेंस प्रिजर्वेशन (Distance Preservation) गुण (Lemma II.1) पर आधारित है। किसी भी दो वेक्टर्स $u, v$ के लिए, उच्च संभावना के साथ:
$(1-\epsilon)\|u-v\|^2 \leq \|CS(u) - CS(v)\|^2 \leq (1+\epsilon)\|u-v\|^2$
यह सुनिश्चित करता है कि यदि कोई पड़ोसी पूर्ण स्पेस में दूर है, तो वे स्केच स्पेस में भी दूर होने की संभावना रखते हैं, जिससे फ़िल्टर उन्हें उच्च विश्वास के साथ अस्वीकार कर सकता है।

3. प्रमुख योगदान (Key Contributions)

एल्गोरिद्मिक नवाचार: SketchGuard प्रति-राउंड संचार जटिलता को $O(d|N_i|)$ से घटाकर $O(k|N_i| + d|S_i|)$ कर देता है, जहाँ $|S_i|$ स्वीकृत पड़ोसियों का सेट है। यह अस्वीकृत (Byzantine) पड़ोसियों के ट्रांसमिशन के लिए लगने वाली लागत को समाप्त करता है।
सैद्धांतिक गारंटी:
- लेखक स्ट्रॉन्गली कॉन्वेक्स (strongly convex) और नॉन-कॉन्वेक्स (non-convex) दोनों सेटिंग्स के लिए अभिसरण (convergence) को सिद्ध करते हैं।
- वे प्रदर्शित करते हैं कि स्केच-आधारित फ़िल्टरिंग, पूर्ण-प्रिसिजन फ़िल्टरिंग से प्रभावी थ्रेशोल्ड में अधिकतम $\sqrt{(1+\epsilon)/(1-\epsilon)}$ के कारक से विचलित होती है।
- अभिसरण दरें (convergence rates) इस नियंत्रित कारक तक इष्टतम दरों से मेल खाती हैं, जो यह सिद्ध करती है कि कंप्रेशन मौलिक रूप से मजबूती (robustness) को नहीं तोड़ता है।
सुरक्षा विश्लेषण: दो-चरणीय डिज़ाइन और स्केच सत्यापन उस अटैक सरफेस को बंद करता है जहाँ एक Byzantine नोड एक बेनाइन स्केच भेज सकता है लेकिन एक मैलेशियस पूर्ण मॉडल भेज सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन तीन गैर-IID बेंचमार्क (FEMNIST, CelebA, Sent140), पांच नेटवर्क टोपोलॉजी, और चार प्रकार के हमलों (Directed Deviation, Gaussian, Krum, Backdoor) में किया गया।

मजबूती (Robustness):
- SketchGuard टेस्ट एरर रेट (TER) के मामले में स्टेट-ऑफ-द-आर्ट (BALANCE) के बराबर प्रदर्शन करता है।
- BALANCE की तुलना में TER में माध्य पूर्ण विचलन (mean absolute deviation) $\leq 0.5$ प्रतिशत अंक है।
- यह तब भी मजबूत रहता है जब 80% पड़ोसी Byzantine होते हैं।
- मजबूती 7:1 से 13,000:1 के कंप्रेशन रेश्यो के बीच स्थिर रहती है।
दक्षता लाभ (Efficiency Gains):
- संचार (Communication): प्रतिकूल परिस्थितियों में (50–70% रिजेक्शन रेट), SketchGuard पूर्ण-प्रिसिजन बेसलाइन्स की तुलना में 50–70% कुल संचार बचत प्राप्त करता है। अनुकूल (benign) स्थितियों में, ओवरहेड नगण्य है (<0.02%)।
- गणना (Computation): यह उच्च-डिग्री नेटवर्क (जैसे 299 पड़ोसी) में कंप्यूटेशन समय को 82% तक कम कर देता है क्योंकि स्क्रीनिंग स्टेप $O(d)$ के बजाय $O(k)$ है।
- स्केलेबिलिटी (Scalability): जबकि बेसलाइन्स मॉडल के आकार और नेटवर्क डिग्री के साथ रैखिक (linearly) रूप से स्केल करते हैं, SketchGuard मॉडल के आकार के साथ उप-रैखिक (sub-linearly) स्केल करता है और स्क्रीनिंग चरण के लिए नेटवर्क कनेक्टिविटी के संबंध में लगभग स्थिर रहता है।

5. महत्व और प्रभाव (Significance and Impact)

स्केलेबिलिटी बाधा का समाधान: SketchGuard उस महत्वपूर्ण सीमा को संबोधित करता है जो बड़े पैमाने के, बैंडविड्थ-सीमित वातावरण (जैसे IoT, मोबाइल एज) में Byzantine-रोबस्ट DFL की तैनाती को रोकती है। यह मजबूती को उन बड़े मॉडल्स (60M+ पैरामीटर्स) के लिए व्यवहार्य बनाता है जहाँ पिछले तरीके अव्यवहारिक थे।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क एक "रैपर" (wrapper) के रूप में कार्य करता है जिसे किसी भी समानता-आधारित (similarity-based) Byzantine डिफेंस (जैसे UBAR, SCCLIP) पर लागू किया जा सकता है जो यूक्लिडियन दूरी (Euclidean distances) पर निर्भर करता है, न कि केवल प्रयोगों में उपयोग किए गए विशिष्ट एग्रीगेशन नियम पर।
सैद्धांतिक कठोरता: यह विकेंद्रीकृत सेटिंग्स में स्केच-आधारित फ़िल्टरिंग के लिए पहला औपचारिक अभिसरण विश्लेषण (convergence analysis) प्रदान करता है, जो कंप्रेशन और मजबूती के बीच के ट्रेड-ऑफ को मापता है।

संक्षेप में, SketchGuard रैंडमाइज्ड स्केचिंग का लाभ उठाकर महंगे डेटा ट्रांसमिशन से पहले दुर्भावनापूर्ण नोड्स को फ़िल्टर करके, Byzantine-रोबस्ट DFL को एक सैद्धांतिक रूप से सुदृढ़ लेकिन संचार-भारी अवधारणा से एक स्केलेबल, व्यावहारिक समाधान में बदल देता है।