💻 computer science

FLRSP: Privacy-Preserving Federated Learning Using Randomly Selected Model Parameters

यह शोध पत्र FLRSP का प्रस्ताव करता है, जो एक गोपनीयता-संरक्षित फेडरेटेड लर्निंग विधि है जो वैश्विक अपडेट के लिए मॉडल मापदंडों को यादृच्छिक रूप से चुनता है, जिससे प्रदर्शन से समझौता किए बिना उच्च इमेज क्लासिफिकेशन सटीकता और हमलों के विरुद्ध मजबूती प्राप्त होती है।

मूल लेखक: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "ग्रुप प्रोजेक्ट" की समस्या

कल्पना कीजिए कि छात्रों का एक समूह (क्लाइंट्स) एक सुपर-स्मार्ट रोबोट (एक डीप न्यूरल नेटवर्क) बनाना चाहता है जो तस्वीरों को पहचान सके। उनके पास अपने स्वयं के निजी फोटो एल्बम (संवेदनशील डेटा) हैं जिन्हें वे किसी के साथ भी साझा नहीं करना चाहते, यहाँ तक कि शिक्षक (सेंट्रल सर्वर) के साथ भी नहीं।

फेडरेटेड लर्निंग (FL) में, अपने फोटो शिक्षक को भेजने के बजाय, छात्र केवल "उन्होंने जो सीखा उसके नोट्स" (मॉडल अपडेट/ग्रेडिएंट्स) शिक्षक को भेजते हैं। शिक्षक इन नोट्स को मिलाकर रोबोट को बेहतर बनाता है, और फिर बेहतर रोबोट छात्रों को वापस भेज देता है।

समस्या: भले ही वे फोटो नहीं भेज रहे हैं, लेकिन एक चालाक हैकर (या एक जिज्ञासु सहपाठी) कभी-कभी उन "नोट्स" को देख सकता है और मूल फोटो को गणितीय रूप से रिवर्स-इंजीनियर कर सकता है। यह एक शेफ की खरीदारी की सूची को देखकर उसके गुप्त पारिवारिक नुस्खे या यहाँ तक कि बर्तन में मौजूद सामग्री का सटीक अनुमान लगाने जैसा है।

समाधान: FLRSP (द "रैंडम श्रेडर")

लेखकों ने FLRSP (रैंडमली सिलेक्टेड मॉडल पैरामीटर्स का उपयोग करके फेडरेटेड लर्निंग) नामक एक नई विधि प्रस्तावित की है।

FLRSP को छात्रों के नोट्स के लिए एक रैंडम श्रेडर (Random Shredder) के रूप में सोचें।

पुराना तरीका: प्रत्येक छात्र अपने नोट्स का पूरा सेट शिक्षक को भेजता है। यदि कोई हैकर इसे बीच में रोक लेता है, तो उसके पास पूरी तस्वीर होती है और वह मूल फोटो को फिर से बना सकता है।
FLRSP का तरीका: अपने नोट्स भेजने से पहले, छात्र एक रैंडम कैंची लेते हैं और नोट्स के एक रैंडम चयन को काट देते हैं (या जीरो कर देते हैं)।
- यदि एक छात्र अपने नोट्स का 20% छिपाने का निर्णय लेता है ( $R=0.2$ ), तो वह 80% भेजता है।
- यदि वे अपने नोट्स का 80% छिपाने का निर्णय लेते हैं ( $R=0.8$ ), तो वे केवल 20% भेजते हैं।
- महत्वपूर्ण बात: प्रत्येक छात्र नोट्स के अलग-अलग हिस्से काटता है, और वे हर बार नोट भेजते समय उन हिस्सों को बदलते रहते हैं जिन्हें वे छिपाते हैं।

यह कैसे काम करता है (उपमा)

कल्पना कीजिए कि "नोट्स" एक विशाल जिग्सॉ पहेली (jigsaw puzzle) हैं जो रोबोट के दिमाग का प्रतिनिधित्व करते हैं।

स्टैंडर्ड फेडरेटेड लर्निंग: आप शिक्षक को पूरा पहेली भेजते हैं। एक हैकर टुकड़ों को देख सकता है और पता लगा सकता है कि बॉक्स पर क्या चित्र था।
FLRSP: आप पहेली भेजते हैं, लेकिन आपने उसके 50% टुकड़े निकाल दिए हैं और उनकी जगह खाली सफेद वर्ग रख दिए हैं।
- शिक्षक का काम: शिक्षक को 5 अलग-अलग छात्रों से पहेलियाँ मिलती हैं। छात्र A का ऊपर-बाएँ कोने वाला हिस्सा गायब है; छात्र B का नीचे-दाएँ कोने वाला हिस्सा गायब है; छात्र C का बीच का हिस्सा गायब है। जब शिक्षक उन्हें मिलाता है, तो एक छात्र के गायब हिस्सों को दूसरे छात्र के हिस्सों द्वारा भर दिया जाता है। शिक्षक अभी भी एक पूर्ण, काम करने वाला रोबोट बना सकता है!
- हैकर का काम: हैकर एक छात्र के "श्रेड किए हुए" नोट्स से केवल एक फोटो को फिर से बनाने की कोशिश करता है। क्योंकि इतने सारे हिस्से गायब हैं (और खाली जगहों से बदल दिए गए हैं), हैकर का गणित टूट जाता है। वे अब फोटो में चेहरा नहीं देख सकते; यह केवल शोर (static noise) जैसा दिखता है।

शोध में क्या पाया गया

शोधकर्ताओं ने इस विचार का परीक्षण दो प्रकार के "रोबोट्स" (AI मॉडल्स) पर किया:

ViT (विज़न ट्रांसफार्मर): एक आधुनिक, हाई-टेक रोबोट।
ResNet34: एक क्लासिक, भरोसेमंद रोबोट।

उन्होंने दो प्रकार के हैकर्स के खिलाफ इसका परीक्षण किया:

"APRIL" हैकर: आधुनिक रोबोट (ViT) को तोड़ने में विशेषज्ञ।
"एडवर्सरियल ऑप्टिमाइज़ेशन" हैकर: एक जनरलिस्ट जो क्लासिक रोबोट्स से इमेज को फिर से बनाने की कोशिश करता है।

परिणाम:

सटीकता (Accuracy): रोबोट ने लगभग पूरी तरह से सीखा। भले ही छात्रों ने बहुत सारे नोट्स छिपा दिए हों (80% तक), शिक्षक अभी भी एक ऐसा रोबोट प्रशिक्षित कर सकता था जो तस्वीरों को पहचानने में मानक पद्धति जितना ही अच्छा था।
गोपनीयता (Privacy): हैकर्स विफल रहे। जब उन्होंने "श्रेड किए हुए" नोट्स से तस्वीरों को फिर से बनाने की कोशिश की, तो छवियां धुंधली, अपरि पहचान योग्य मलबे के रूप में आईं। "स्ट्रक्चरल सिमिलरिटी" (कि नकली फोटो असली फोटो से कितनी मिलती-जुलती थी) शून्य के करीब गिर गई।
तुलना: अन्य विधियों (जैसे नोट्स में "नॉइज़" जोड़ना, जिसे डिफरेंशियल प्राइवेसी कहा जाता है) ने डेटा को छिपाने के लिए रोबोट को कम बुद्धिमान (कम सटीकता) बना दिया। FLRSP ने रोबोट को स्मार्ट बनाए रखा और इसे सुरक्षित भी बनाया।

यह क्यों विशेष है

यह सबके लिए काम करता है: पिछली "श्रेडिंग" विधियाँ केवल आधुनिक रोबोट (ViT) के लिए काम करती थीं। FLRSP आधुनिक और क्लासिक दोनों रोबोटों के लिए काम करता है।
यह डायनेमिक है: "फ्रोजन वेट्स" जैसी विधियों के विपरीत, जो नोट्स के कुछ हिस्सों को स्थायी रूप से छिपा देती हैं, FLRSP हर बार यह बदल देता है कि कौन से हिस्से छिपाए जाने हैं। यह सुनिश्चित करता है कि अंततः शिक्षक को पहेली का हर एक टुकड़ा देखने को मिलता है, बस एक समय में किसी एक छात्र से सब कुछ नहीं मिलता।

संक्षेप में

FLRSP एक चतुर तरकीब है जहाँ ग्रुप प्रोजेक्ट में छात्र अपना होमवर्क देने से पहले उसके कुछ हिस्सों को रैंडमली छिपा देते हैं। शिक्षक अभी भी पूरी क्लास को ग्रेड दे सकता है और अंतिम प्रोजेक्ट को बेहतर बना सकता है क्योंकि एक छात्र के गायब हिस्सों को दूसरों द्वारा कवर किया जाता है। लेकिन एक जासूस जो केवल एक छात्र का होमवर्क चुराने की कोशिश करता है, उसे कुछ नहीं मिलता सिवाय खाली पन्नों के, जिससे गुप्त रेसिपी चुराना असंभव हो जाता है।

तकनीकी सारांश: FLRSP – यादृच्छिक रूप से चयनित मॉडल मापदंडों का उपयोग करके गोपनीयता-संरक्षण वाला फेडरेटेड लर्निंग

1. समस्या विवरण

उच्च गुणवत्ता वाले डीप न्यूरल नेटवर्क (DNNs) को प्रशिक्षित करने के लिए आमतौर पर विशाल मात्रा में डेटा की आवश्यकता होती है, जिसमें अक्सर संवेदनशील या व्यक्तिगत जानकारी शामिल होती है। जबकि फेडरेटेड लर्निंग (FL) कई क्लाइंट्स को कच्चा डेटा साझा किए बिना एक मॉडल को सहयोगात्मक रूप से प्रशिक्षित करने की अनुमति देता है, यह गोपनीयता हमलों के प्रति संवेदनशील बना रहता है। विशेष रूप से, हमलावर विजन ट्रांसफॉर्मर (ViT) के लिए अटेंशन प्राइवेसी लीकेज (APRIL) हमले और कनवल्शनल न्यूरल नेटवर्क (CNN) के लिए एडवरसैरियल ऑप्टिमाइज़ेशन हमलों जैसी तकनीकों का उपयोग करके साझा किए गए मॉडल अपडेट (ग्रेडिएंट या वेट्स) से मूल प्रशिक्षण डेटा को पुनर्गठित कर सकते हैं।

मौजूदा सुरक्षा वृद्धि विधियों को महत्वपूर्ण सीमाएं हैं:

डिफरेंशियल प्राइवेसी (DP): हमलों का विरोध करने के लिए अपडेट में शोर (noise) जोड़ता है लेकिन अनिवार्य रूप से मॉडल की सटीकता को कम करता है।
फिक्स्ड-पोजीशन विधियाँ: पोजीशनल एम्बेडिंग अपडेट को शून्य करने के माध्यम से ViT के लिए प्रभावी हैं, लेकिन वे तब विफल हो जाती हैं जब मॉडल को स्क्रैच से प्रशिक्षित किया जाता है (क्योंकि सभी परतों को अपडेट करने की आवश्यकता होती है) और वे CNN पर लागू नहीं होती हैं।
पिछले रैंडम सिलेक्शन कॉन्सेप्ट्स: यादृच्छिक रूप से चयनित ग्रेडिएंट्स पर पिछला कार्य ViT आर्किटेक्चर और फेडरेटेड स्टोकेस्टिक ग्रेडिएंट डिसेंट (FedSGD) एल्गोरिदम तक ही सीमित था।

मुख्य चुनौती एक ऐसा गोपनीयता-संरक्षित FL तरीका विकसित करना है जो विभिन्न आर्किटेक्चर (ViT और CNN) और एल्गोरिदम (FedSGD और FedAvg) में अत्याधुनिक इमेज रेस्टोरेशन हमलों के खिलाफ मजबूत हो, बिना वर्गीकरण सटीकता (classification accuracy) से समझौता किए।

2. कार्यप्रणाली: FLRSP

लेखक फेडरेटेड लर्निंग यूजिंग रैंडमली सिलेक्टेड मॉडल पैरामीटर्स (FLRSP) का प्रस्ताव करते हैं। इस फ्रेमवर्क में, प्रत्येक क्लाइंट सर्वर के साथ साझा करने के लिए मॉडल मापदंडों (FedSGD में ग्रेडिएंट या FedAvg में वेट्स) का एक उपसमूह (subset) यादृच्छिक रूप से चुनता है, जबकि अनसेलेक्टेड मापदंडों को शून्य मानों से बदल देता है।

मुख्य तंत्र

यादृच्छिक चयन (Random Selection): ट्रांसमिशन से पहले, प्रत्येक क्लाइंट मॉडल मापदंडों $\theta_{n,k,i}^l$ $θ_{n, k, i}^{l}$ (या वेट्स $W_{n,k,i}^m$ $W_{n, k, i}^{m}$ ) पर एक बाइनरी रैंडम सीक्वेंस $B_{n,k,i}^l \in \{0, 1\}$ $B_{n, k, i}^{l} \in {0, 1}$ लागू करता है।
- यदि $B=1$ , तो मापदंड साझा किया जाता है।
- यदि $B=0$ , तो मापदंड को शून्य पर सेट किया जाता है।
- शून्य होने की प्रायिकता को $R$ द्वारा दर्शाया गया है।
सर्वर एग्रीगेशन: केंद्रीय सर्वर प्राप्त अपडेट को एकत्रित करता है। महत्वपूर्ण रूप से, एग्रीगेशन फॉर्मूला रैंडम चयन द्वारा पेश की गई स्पर्सिटी (sparsity) को ध्यान में रखता है। FedSGD के लिए, ग्लोबल मॉडल अपडेट $w_{k,i}^{l+1}$ की गणना इस प्रकार की जाती है:
$w_{k,i}^{l+1} = w_{k,i}^l - \eta \frac{\sum_{n=1}^N \bar{\theta}_{n,k,i}^l}{\sum_{n=1}^N B_{n,k,i}^l}$
(यदि हर (denominator) शून्य है, तो मापदंड अपरिवर्तित रहता है)। यह सुनिश्चित करता है कि ग्लोबल मॉडल केवल गैर-शून्य ग्रेडिएंट्स का उपयोग करके अपडेट होता है, जो प्रभावी रूप से भाग लेने वाले मापदंडों की संख्या के आधार पर लर्निंग रेट को सामान्य (normalize) करता है।
डायनेमिक सीक्वेंस: "फ्रोजन वेट्स" दृष्टिकोणों के विपरीत, जहाँ विशिष्ट परतों को स्थायी रूप से बाहर रखा जाता है, FLRSP प्रत्येक एपोक (FedAvg में) या प्रत्येक बैच (FedSGD में) के लिए अलग-अलग रैंडम सीक्वेंस का उपयोग करता है। यह सुनिश्चित करता है कि समय के साथ सभी मापदंडों को अंततः अपडेट किया जाए, जिससे स्थायी सूचना हानि को रोका जा सके।

सैद्धांतिक आधार

पेपर एक कन्वर्जेंस विश्लेषण प्रदान करता है जो दिखाता है कि FLRSP मानक FL के समान स्थिर कन्वर्जेंस गुण बनाए रखता है। प्रभावी लर्निंग रेट को कारक $(1 - RN) $द्वारा समायोजित किया जाता है, जहाँ$ N$ क्लाइंट्स की संख्या है। चूंकि लर्निंग रेट सकारात्मक रहता है, इसलिए यह विधि गणितीय रूप से अभिसरण (converge) करने के लिए सिद्ध है।

3. प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

नया FL तरीका: स्थानीय सर्वरों पर गणना किए गए ग्लोबल मॉडल मापदंडों को यादृच्छिक रूप से चुनकर हमलावरों से बचाव करने का एक नया दृष्टिकोण, जो ViT और CNN दोनों आर्किटेक्चर के लिए लागू है।
सामान्यीकरण (Generalization): रैंडम सिलेक्शन कॉन्सेप्ट का विस्तार (जो पहले ViT और FedSGD तक सीमित था) FedAvg और ResNet आर्किटेक्चर को शामिल करने के लिए किया गया है।
अनुभवजन्य सत्यापन (Empirical Verification): व्यापक प्रयोग जो यह प्रदर्शित करते हैं कि FLRSP हमलों के खिलाफ मजबूती और वर्गीकरण सटीकता दोनों के मामले में अत्याधुनिक तरीकों (विशेष रूप से डिफरेंशियल प्राइवेसी और फिक्स्ड-पोजीशन विधियों) से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

CIFAR-10 डेटासेट का उपयोग करके ViT (vit_small_patch16_224) और ResNet34 पर FedSGD और FedAvg प्रोटोकॉल के तहत प्रयोग किए गए।

वर्गीकरण सटीकता

ViT: FLRSP ने फाइन-ट्यून्ड प्री-ट्रेंड मॉडल्स और स्क्रैच से प्रशिक्षित मॉडल्स दोनों के लिए मानक FL के समान सटीकता बनाए रखी। इसके विपरीत, फिक्स्ड-पोजीशन विधि स्क्रैच से प्रशिक्षण के दौरान महत्वपूर्ण सटीकता गिरावट का सामना करती है क्योंकि यह पोजीशनल एम्बेडिंग लेयर को अपडेट करने से रोकती है।
ResNet: FLRSP ने विभिन्न $R$ मानों (0.2, 0.5, 0.8) के लिए उच्च सटीकता प्राप्त की। जबकि डिफरेंशियल प्राइवेसी (DP) ने प्राइवेसी तीव्रता ( $\epsilon$ ) बढ़ने के साथ सटीकता में गिरावट दिखाई, FLRSP ने बेसलाइन के करीब प्रदर्शन बनाए रखा।
Non-I.I.D. डेटा: विषम डेटा वितरण (डिरिचलेट वितरण, $\alpha=0.1$ ) के तहत, FLRSP ने DP की तुलना में उच्च सटीकता बनाए रखी।

हमलों के खिलाफ मजबूती

अध्ययन ने मूल और पुनर्गठित छवियों के बीच स्ट्रक्चरल सिमिलैरिटी इंडेक्स मेजर (SSIM) का उपयोग करके दो अत्याधुनिक हमलों के विरुद्ध प्रतिरोध का मूल्यांकन किया:

APRIL (ViT): स्टैंडर्ड FL पूर्ण दृश्य पुनर्निर्माण (visual reconstruction) की अनुमति देता है। FLRSP (यहाँ तक कि $R=0.2$ के साथ भी) पुनर्निर्माण को प्रभावी ढंग से रोकता है, जो फिक्स्ड-पोजीशन विधि के समकक्ष मजबूती प्राप्त करता है।
एडवरसैरियल ऑप्टिमाइज़ेशन (CNN): स्टैंडर्ड FL और DP (कम $\epsilon$ के साथ भी) महत्वपूर्ण इमेज रेस्टोरेशन की अनुमति देते हैं (SSIM मान अक्सर > 0.6)। FLRSP SSIM मानों को नाटकीय रूप से कम कर देता है (अक्सर < 0.1), जिससे दृश्य पुनर्निर्माण लगभग असंभव हो जाता है।
तुलना: FL-RSP ने वर्गीकरण सटीकता को उच्च बनाए रखते हुए DP की तुलना में लगातार कम SSIM मान (बेहतर प्राइवेसी का संकेत) प्राप्त किया।

5. महत्व और दावे

पेपर का दावा है कि FLRSP फेडरेटेड लर्निंग में गोपनीयता और उपयोगिता (utility) के बीच के ट्रेड-ऑफ को सफलतापूर्वक संबोधित करता है। मापदंडों को यादृच्छिक रूप से चुनकर, यह विधि ग्रेडिएंट-आधारित इमेज रेस्टोरेशन हमलों (विशेष रूप से एडवरसैरियल ऑप्टिमाइज़ेशन में कोसाइन सिमिलैरिटी को तोड़कर और APRIL में क्लोज्ड-फॉर्म समीकरणों को बाधित करके) के लिए आवश्यक गणितीय समीकरणों को बाधित करती है।

लेखक इस बात पर जोर देते हैं कि FLRSP एक सामान्य समाधान है जो किसी भी मॉडल (ViT और ResNet सहित) और एल्गोरिदम (FedSGD और FedAvg) पर लागू किया जा सकता है। पिछले तरीकों के विपरीत जो या तो सटीकता को कम करते हैं (DP) या आर्किटेक्चर-विशिष्ट होते हैं (Fixed-Position), FL-RSP एक मजबूत रक्षा तंत्र प्रदान करता है जो मॉडल के प्रदर्शन को सुरक्षित रखता है। अध्ययन निष्कर्ष निकालता है कि FLRSP व्यावहारिक फेडरेटेड लर्निंग परिदृश्यों के लिए एक व्यवहार्य, प्रभावी सुरक्षा वृद्धि विधि है।