Federated Learning Architecture: Data Privacy and System Security Approaches

तकनीकी सारांश: होमोमोर्फिक एन्क्रिप्शन और डिफरेंशियल प्राइवेसी के साथ फेडरेटेड लर्निंग आर्किटेक्चर

समस्या विवरण
जबकि फेडरेटेड लर्निंग (FL) डेटा को केंद्रीकृत किए बिना मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए एक प्रतिमान (paradigm) प्रदान करता है, यह सुरक्षा और गोपनीयता के खतरों के प्रति संवेदनशील बना रहता है। विशेष रूप से, क्लाइंट्स और केंद्रीय सर्वर के बीच प्रसारित मॉडल अपडेट को मॉडल इन्फरेंस या डेटा पुनर्निर्माण हमलों (data reconstruction attacks) को करने के लिए इंटरसेप्ट किया जा सकता है, जिससे स्थानीय डेटासेट के बारे में संवेदनशील जानकारी लीक होने की संभावना रहती है। इसके अलावा, केंद्रीय सर्वर स्वयं एक सिंगल पॉइंट ऑफ फेलियर (single point of failure) प्रस्तुत करता है। मौजूदा दृष्टिकोण अक्सर उच्च मॉडल सटीकता की आवश्यकता और उच्च कम्प्यूटेशनल दक्षता के बीच संतुलन बनाने में संघर्ष करते हैं, विशेष रूप से स्वास्थ्य सेवा और वित्त जैसे संवेदनशील क्षेत्रों में।

कार्यप्रणाली
यह अध्ययन एक हाइब्रिड FL आर्किटेक्चर का प्रस्ताव करता है जो प्रशिक्षण प्रक्रिया को सुरक्षित करने के लिए होमोमोरफिक एन्क्रिप्शन (HE) और डिफरेंशियल प्राइवेसी (DP) को एकीकृत करता है।

• आर्किटेक्चर और एन्क्रिप्शन: सिस्टम CKKS (Cheon-Kim-Kim-Song) होमोमोर्फिक एन्क्रिप्शन स्कीम का उपयोग करता है। CKKS को इसकी फ्लोटिंग-पॉइंट नंबरों पर अनुमानित गणना (approximate computations) करने की क्षमता के लिए चुना गया था, जो न्यूरल नेटवर्क संचालन के लिए आवश्यक है। इस वर्कफ़्लो में, क्लाइंट्स अपने डेटा पर स्थानीय प्रशिक्षण (local training) करते हैं। प्लेनटेक्स्ट वेट्स (plaintext weights) भेजने के बजाय, क्लाइंट्स ट्रांसमिशन से पहले CKKS का उपयोग करके अपने मॉडल अपडेट को एन्क्रिप्ट करते हैं। केंद्रीय सर्वर फेडरेटेड एवरेजिंग (FedAvg) एल्गोरिदम का उपयोग करके इन एन्क्रिप्टेड अपडेट्स को एकत्रित करता है। परिणामी एग्रीगेटेड परिणाम को ग्लोबल मॉडल को अपडेट करने के लिए डिक्रिप्ट किया जाता है, जिससे यह सुनिश्चित होता है कि सर्वर कभी भी प्लेनटेक्स्ट मॉडल पैरामीटर्स तक नहीं पहुँच पाता है।

• डिफरेंशियल प्राइवेसी: मॉडल अपडेट से व्यक्तिगत जानकारी निकालने को रोकने के लिए, यह अध्ययन स्थानीय प्रशिक्षण चरण के दौरान DP तंत्र का उपयोग करता है। PrivacyEngine लाइब्रेरी का उपयोग करके, ग्रेडिएंट्स में रैंडम नॉइज़ (random noise) जोड़ा जाता है। सिस्टम $(\epsilon, \delta)$-डिफरेंशियल प्राइवेसी बाधाओं के तहत कार्य करता है, जिसमें विशिष्ट पैरामीटर $\sigma=5.0$ (नॉइज़ मल्टीप्लायर), मैक्स ग्रेडिएंट नॉर्म $0.5$, और$\delta=10^{-5}$ निर्धारित किए गए हैं।

• प्रायोगिक सेटअप: प्रस्तावित आर्किटेक्चर का मूल्यांकन तीन अलग-अलग डेटासेट्स पर किया गया:

  1. फ्रामिंगहैम हार्ट स्टडी (Framingham Heart Study): कार्डियोवैस्कुलर रोग भविष्यवाणी के लिए (4,240 नमूने)।
  2. पिमा इंडियंस डायबिटीज (Pima Indians Diabetes - PID): डायबिटीज भविष्यवाणी के लिए (768 नमूने)।
  3. बैंक मार्केटिंग (Bank Marketing): ग्राहक सदस्यता भविष्यवाणी के लिए (41,188 नमूने)।

  प्रयोगों ने 3, 5 और 10 क्लाइंट्स की संख्या के साथ एक विकेंद्रीकृत वातावरण का अनुकरण (simulate) किया। एक मल्टी-लेयर आर्टिफिशियल न्यूरल नेटवर्क (ANN) जिसमें तीन फुली कनेक्टेड लेयर्स (हिडन लेयर्स में 256 और 128 न्यूरॉन्स) थीं, को 10 ग्लोबल राउंड के लिए प्रति राउंड 5 लोकल एपॉक्स (epochs) पर प्रशिक्षित किया गया।

प्रमुख योगदान

1. एकीकृत सुरक्षा ढांचा: यह पेपर एक कार्यात्मक FL सिस्टम प्रदर्शित करता है जो सुरक्षित ट्रांसमिशन के लिए CKKS-आधारित होमोमोर्फिक एन्क्रिप्शन और स्थानीय ग्रेडिएंट सुरक्षा के लिए DP को एक साथ लागू करता है।
2. प्राइवेसी-एक्यूरेसी ट्रेड-ऑफ का अनुभवजन्य विश्लेषण: अध्ययन इस बात का विस्तृत विश्लेषण प्रदान करता है कि क्लाइंट्स की संख्या बढ़ाने और प्रशिक्षण की अवधि (राउंड की संख्या) का प्राइवेसी बजट ($\epsilon$) पर क्या प्रभाव पड़ता है। यह देखता है कि जैसे-जैसे क्लाइंट्स की संख्या बढ़ती है या डेटासेट का आकार घटता है, प्रति क्लाइंट नॉइज़ जोड़ने की आवश्यकता के कारण प्राइवेसी बजट अधिक तेजी से समाप्त होता है।
3. प्रदर्शन मूल्यांकन: यह शोध विभिन्न डेटा वितरणों और क्लाइंट काउंट के माध्यम से मॉडल प्रदर्शन (सटीकता, प्रिसिजन, रिकॉल, F1-स्कोर) पर इन सुरक्षा उपायों के प्रभाव को मापता है।

प्रायोगिक परिणाम

• प्राइवेसी बजट ($\epsilon$): अध्ययन ने क्लाइंट्स की संख्या और प्राइवेसी बजट के बीच एक सीधा संबंध पाया। उदाहरण के लिए, बैंक डेटासेट में, क्लाइंट्स को 3 से बढ़ाकर 10 करने से राउंड 10 पर $\epsilon$ का मान लगभग दोगुना (0.3566 से 0.6785) हो गया। इसी तरह, छोटे डेटासेट्स (जैसे PID) ने समान क्लाइंट कॉन्फ़िगरेशन के तहत बड़े डेटासेट्स (जैसे Bank) की तुलना में उच्च $\epsilon$ मान प्रदर्शित किए, जो इंगित करता है कि डेटा विषमता (heterogeneity) और सैंपल साइज प्राइवेसी खपत को महत्वपूर्ण रूप से प्रभावित करते हैं।
• मॉडल सटीकता: DP के एकीकरण के परिणामस्वरूप नॉन-प्राइवेट बेसलाइन्स की तुलना में मॉडल की सटीकता में एक मापने योग्य, हालांकि मामूली, कमी देखी गई।
  • बैंक डेटासेट: उच्चतम मजबूती दिखाई, DP (3 क्लाइंट्स) के साथ 81.85% सटीकता प्राप्त की, जबकि बिना DP के 86.20% थी।
  • PID डेटासेट: अधिक स्पष्ट गिरावट देखी गई, DP (3 क्लाइंट्स) के साथ 72.00% सटीकता बनाम बिना DP के 75.00%।
  • फ्रामिंगहैम डेटासेट: DP (3 क्लाइंट्स) के साथ 69.92% सटीकता प्राप्त की, जबकि बिना DP के 71.47% थी।
• ट्रेड-ऑफ पर निष्कर्ष: परिणाम पुष्टि करते हैं कि हालांकि प्राइवेसी-प्रिजर्विंग तकनीकें प्रदर्शन लागत (performance cost) पेश करती हैं, फिर भी सिस्टम सार्थक सटीकता स्तर बनाए रखता है, विशेष रूप से बैंक मार्केटिंग जैसे बड़े डेटासेट्स में।

महत्व और दावे
लेखक दावा करते हैं कि यह आर्किटेक्चर केंद्रीकृत डेटा संग्रह पर निर्भर किए बिना स्वास्थ्य सेवा और वित्त जैसे संवेदनशील क्षेत्रों में सुरक्षित, प्राइवेसी-प्रिजर्विंग AI को तैनात करने की व्यवहार्यता को प्रदर्शित करता है। अध्ययन निष्कर्ष निकालता है कि जबकि डेटा विषमता और क्लाइंट्स की संख्या मॉडल प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करती है, DP पैरामीटर्स के सावधानीपूर्वक चयन और बड़े डेटासेट्स के उपयोग जैसी रणनीतियाँ दक्षता हानि को कम कर सकती हैं।

पेपर अपनी सीमाओं को विनम्रतापूर्वक स्वीकार करता है, यह नोट करते हुए कि प्रयोग एक सिम्युलेटेड वातावरण में कम क्लाइंट्स (3, 5, 10) और अपेक्षाकृत बड़े स्थानीय डेटासेट्स के साथ आयोजित किए गए थे। लेखक कहते हैं कि वास्तविक दुनिया के परिदृश्यों में, जहाँ हजारों क्लाइंट्स और स्पार्स (sparse) स्थानीय डेटा होता है, प्रदर्शन में गिरावट की आशंका है। फलस्वरूप, यह पेपर अपने निष्कर्षों को एक आधारभूत कदम के रूप में प्रस्तुत करता है, यह सुझाव देते हुए कि बड़े पैमाने पर अनुप्रयोगों में प्राइवेसी-प्रिजर्विंग FL की क्षमता को पूरी तरह से साकार करने के लिए भविष्य के कार्यों को स्केलेबिलिटी, संचार दक्षता और उन्नत एग्रीगेशन एल्गोरिदम को संबोधित करना होगा।