🤖 AI

An Adaptive Differentially Private Federated Learning Framework

यह शोध पत्र एक अनुकूली विभेदक रूप से निजी (differentially private) फेडरेटेड लर्निंग फ्रेमवर्क प्रस्तावित करता है जो क्लाइंट-साइड आयामी न्यूनीकरण (dimensionality reduction), सर्वर-साइड अनुकूली ग्रेडिएंट क्लिपिंग और बाधा-जागरूक सुदृढ़ एकत्रीकरण को एकीकृत करके विषम और गोपनीयता-प्रतिबंधित परिवेशों में अभिसरण स्थिरता (convergence stability) और मॉडल प्रदर्शन को बढ़ाता है।

मूल लेखक: Jin Wang, Hui Ma, Yajun Zhang, Xinjun Pei, Ming Yan, Fei Xing, Yikun Chen

प्रकाशित 2026-07-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jin Wang, Hui Ma, Yajun Zhang, Xinjun Pei, Ming Yan, Fei Xing, Yikun Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक विशाल जिग्सॉ पज़ल (jigsaw puzzle) हल करने की कोशिश कर रहा है, लेकिन उनके पास एक बहुत ही सख्त नियम है: कोई भी अपने वास्तविक पज़ल के टुकड़ों को किसी और को दिखाने की अनुमति नहीं है। वे केवल एक धुंधला सा रेखाचित्र (sketch) भेज सकते हैं कि उन्हें लगता है कि तस्वीर कैसी दिखनी चाहिए। यह फेडरेटेड लर्निंग (Federated Learning) की दुनिया है, जहाँ कंप्यूटर (क्लाइंट्स) अपने निजी डेटा को साझा किए बिना एक साझा AI मॉडल को प्रशिक्षित करते हैं।

लेकिन इसमें एक पेच है: कभी-कभी पज़ल के टुकड़े अलग-अलग आकार के होते हैं (डेटा अव्यवस्थित और असमान है), और गोपनीयता बनाए रखने का नियम (डिफरेंशियल प्राइवेसी/Differential Privacy) रेखाचित्रों में 'स्टैटिक नॉइज़' (static noise) की एक परत जोड़ देता है। अतीत में, इसे ठीक करने की कोशिश करना एक टूटे हुए डायल वाले रेडियो को ट्यून करने जैसा था। यदि आप सिग्नल सुनने के लिए वॉल्यूम बहुत अधिक बढ़ाते, तो शोर (static) बढ़ जाता; यदि आप इसे बहुत कम करते, तो आपको कुछ सुनाई ही नहीं देता।

जिन शोधकर्ताओं ने इस शोध पत्र को लिखा है, उनका नेतृत्व जिन वांग और हुई मा ने किया, उन्होंने इस रेडियो को ठीक करने के लिए FedDimDP नामक एक नई प्रणाली बनाई। उन्होंने केवल एक बटन नहीं घुमाया; उन्होंने तीन चतुर युक्तियों के साथ पूरी ट्रांसमिशन प्रक्रिया को फिर से डिजाइन किया।

1. "स्केच आर्टिस्ट" वाली ट्रिक (लोकल डायमेंशनलिटी रिडक्शन)

आमतौर पर, जब एक कंप्यूटर अपने पज़ल समाधान को भेजने की कोशिश करता है, तो वह एक विशाल, विस्तृत और कभी-कभी अराजक रिपोर्ट भेजता है। यदि डेटा अव्यवस्थित है (जो अक्सर होता है), तो यह रिपोर्ट बहुत बड़ी और शोर भरी हो जाती है। जब गोपनीयता का नियम अपना "स्टैटिक" जोड़ता है, तो यह शोर बढ़ जाता है, जिससे अंतिम तस्वीर धुंधली हो जाती है।

FedDimDP एक लाइटवेट लोकल डायमेंशनलिटी रिडक्शन मॉड्यूल (Lightweight Local Dimensionality Reduction Module) पेश करता है। इसे प्रत्येक दोस्त के घर पर एक स्मार्ट स्केच आर्टिस्ट की तरह समझें। रिपोर्ट भेजने से पहले, कलाकार जल्दी से ड्राइंग को सरल बनाता है, अनावश्यक और बिखरी हुई रेखाओं को हटा देता है और केवल आवश्यक आकृतियों को रखता है।

परिणाम: समूह लीडर को भेजा जाने वाला "स्केच" अधिक साफ और सुव्यवस्थित होता है। क्योंकि रिपोर्ट सरल है, इसलिए प्राइवेसी का "स्टैटिक" इसे उतना प्रभावित नहीं कर पाता। यह एक धुंधले वॉटरकलर के बजाय एक स्पष्ट, हाई-कॉन्ट्रास्ट ड्राइंग भेजने जैसा है।

2. "डायनामिक वॉल्यूम नॉब" (एडेप्टिव क्लिपिंग)

पुराने तरीके में, समूह लीडर एक निश्चित नियम (fixed rule) का उपयोग करता था कि एक दोस्त की रिपोर्ट कितनी तेज़ हो सकती है। यदि किसी दोस्त की रिपोर्ट बहुत बड़ी होती, तो उसे काट (clip) दिया जाता। यदि वह बहुत छोटी होती, तो वह शोर में दब जाती। समस्या क्या थी? रिपोर्ट का आकार पज़ल के टुकड़ों की अव्यवस्था के आधार पर लगातार बदलता रहता है। एक निश्चित नियम का मतलब था कि कुछ दोस्तों को चुप करा दिया गया (महत्वपूर्ण जानकारी खो गई) जबकि अन्य बहुत तेज़ थे (समूह को बाधित कर दिया)।

FedDimDP एक एडेप्टिव ग्रेडिएंट क्लिपिंग (Adaptive Gradient Clipping) रणनीति का उपयोग करता है। एक निश्चित नियम के बजाय, समूह लीडर सभी की हालिया रिपोर्टों के "वॉल्यूम" को सुनता है और गतिशील रूप से सीमा (limit) को समायोजित करता है।

परिणाम: यदि सभी फुसफुसा रहे हैं, तो सीमा कम हो जाती है ताकि फुसफुसाहट खो न जाए। यदि कोई चिल्ला रहा है क्योंकि उसका पज़ल का टुकड़ा अजीब है, तो सीमा बढ़ जाती है ताकि उसकी आवाज़ दबे नहीं। यह सिग्नल को स्पष्ट रखता है बिना "प्राइवेसी बजट" को बर्बाद किए।

3. "स्मार्ट वोट" (कन्स्ट्रेंट-अवेयर रोबस्ट एग्रीगेशन)

अंत में, जब समूह लीडर सभी रेखाचित्रों को मिलाकर एक मास्टर तस्वीर बनाने की कोशिश करता है, तो वे केवल एक साधारण औसत नहीं ले सकते। एक अव्यवस्थित पज़ल में, कुछ दोस्त भ्रमित हो सकते हैं (अजीब डेटा के कारण) या उनके रेखाचित्र बहुत शोर भरे हो सकते हैं। एक साधारण औसत पूरी तस्वीर को धुंधला कर देगा।

FedDimDP एक कन्स्ट्रेंट-अवेयर रोबस्ट एग्रीगेशन (Constraint-Aware Robust Aggregation) तंत्र का उपयोग करता है। यह एक स्मार्ट वोट की तरह है। लीडर केवल सिरों की गिनती नहीं करता; वे दो चीजें देखते हैं:

क्या रेखाचित्र समझ में आया? (यूटिलिटी/उपयोगिता)
क्या रेखाचित्र सुसंगत था? (स्टेबिलिटी/स्थिरता)

यदि किसी दोस्त का रेखाचित्र डगमगा रहा है या समूह की दिशा के विरुद्ध जा रहा है, तो लीडर धीरे से उनकी वोटिंग शक्ति को कम कर देता है। यदि कोई दोस्त स्थिर और सहायक है, तो उनकी आवाज़ को बढ़ाया जाता है। यह एक शोर वाले दोस्त को पूरी तस्वीर खराब करने से रोकता है।

क्या यह काम कर गया?

टीम ने तीन अलग-अलग "पज़ल्स" (डेटासेट जिन्हें CIFAR-10, SVHN, और STL-10 कहा जाता है) पर सख्त गोपनीयता नियमों के तहत इस नई प्रणाली का परीक्षण किया। उन्होंने इसकी तुलना अन्य शीर्ष-स्तरीय प्रणालियों से की।

निष्कर्ष: इन प्रयोगों में, FedDimDP ने लगातार अन्य प्रणालियों को पछाड़ दिया। CIFAR-10 पज़ल पर, इसने अगली सबसे अच्छी विधि की तुलना में सटीकता में लगभग 6.84% का सुधार किया। SVHN पज़ल पर, इसने प्रतिस्पर्धा को 1.76% से पीछे छोड़ा।
प्रमाण: उन्होंने केवल अनुमान नहीं लगाया; उन्होंने व्यापक सिमुलेशन चलाए। जब उन्होंने अपनी तीनों ट्रिक्स (स्केच आर्टिस्ट, डायनामिक नॉब, या स्मार्ट वोट) में से किसी को भी हटाया, तो प्रदर्शन काफी गिर गया। इससे पता चलता है कि सिस्टम को अच्छी तरह से चलाने के लिए तीनों हिस्से आवश्यक हैं।

उन्होंने किसे खारिज किया

शोध पत्र स्पष्ट रूप से फिक्स्ड क्लिपिंग थ्रेशोल्ड (एक स्थिर वॉल्यूम सीमा) और नैइव एवरेजिंग (सभी रिपोर्टों का साधारण औसत लेना) के उपयोग के विरुद्ध तर्क देता है। उन्होंने पाया कि ये पुराने तरीके "ट्रेनिंग ऑसिलेशन" (मॉडल का बिना स्थिर हुए आगे-पीछे होना) और खराब प्रदर्शन का कारण बनते हैं, विशेष रूप से जब डेटा अव्यवस्थित हो और प्राइवेसी नॉइज़ जोड़ा गया हो।

हम कितने आश्वस्त हैं?

लेखक उल्लेखित तीन डेटासेट्स पर अपने प्रयोगों के आधार पर इन परिणामों के प्रति आश्वस्त हैं। वे दिखाते हैं कि उनकी विधि कन्वर्जेंस स्थिरता और वर्गीकरण प्रदर्शन में सुधार करती है। हालाँकि, किसी भी वैज्ञानिक अध्ययन की तरह, ये विशिष्ट परीक्षणों के परिणाम हैं। पेपर सुझाव देता है कि यह एक मजबूत दिशा है, लेकिन यह नोट करता है कि यह देखने के लिए और काम की आवश्यकता है कि यह विभिन्न प्रकार के कंप्यूटरों और एसिंक्रोनस अपडेट्स के साथ और अधिक जटिल, वास्तविक दुनिया की प्रणालियों को कैसे संभालता है।

संक्षेप में, FedDimDP अंधेरे में एक साथ पज़ल हल करने के लिए दोस्तों के समूह को बेहतर उपकरणों के साथ देने जैसा है: वे अपने नोट्स को सरल बनाते हैं, कमरे के अनुसार अपनी आवाज़ को समायोजित करते हैं, और बुद्धिमानी से वोट करते हैं, यह सुनिश्चित करते हुए कि अंतिम तस्वीर स्पष्ट हो, भले ही खेल के नियम सख्त हों।

तकनीकी सारांश: FedDimDP – एक अनुकूली विभेदक रूप से निजी (Differentially Private) फेडरेटेड लर्निंग फ्रेमवर्क

समस्या विवरण
फेडरेटेड लर्निंग (FL) डेटा की स्थानीयता को बनाए रखते हुए सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है, फिर भी व्यावहारिक तैनाती दो महत्वपूर्ण चुनौतियों का सामना करती है: सांख्यिकीय विषमता (Non-IID डेटा) और विभेदक गोपनीयता (Differential Privacy - DP) संबंधी बाधाएं।

Non-IID डेटा: जब स्थानीय डेटा वितरण वैश्विक जनसंख्या से विचलित होता है, तो क्लाइंट अपडेट परिमाण और दिशा में भिन्न हो जाते हैं। इससे क्लाइंट ड्रिफ्ट (client drift), पक्षपाती एकत्रीकरण (biased aggregation) और अस्थिर प्रशिक्षण गतिकी उत्पन्न होती है।
विभेदक गोपनीयता (Differential Privacy): गोपनीयता की रक्षा के लिए, मानक DP-SGD $\ell_2$ -नॉर्म ग्रेडिएंट क्लिपिंग के बाद गॉसियन शोर (Gaussian noise) इंजेक्शन का उपयोग करता है। हालांकि, निश्चित क्लिपिंग थ्रेशोल्ड समय के साथ परिवर्तनशील और क्लाइंट-निर्भर ग्रेडिएंट वितरणों के अनुकूल होने में विफल रहते हैं। इसके परिणामस्वरूप ओवर-क्लिपिंग (उपयोगी सिग्नल की हानि) या अंडर-क्लिपिंग (इंजेक्ट किए गए शोर का प्रभुत्व) होता है, जिससे प्रशिक्षण में दोलन (oscillation) और मॉडल के प्रदर्शन में गिरावट आती है।
शोध पत्र का तर्क है कि Non-IID ड्रिफ्ट और कठोर DP तंत्र का संयोजन इन मुद्दों को बढ़ा देता है, जिससे विषम सेटिंग्स में उपयोगिता (utility) में महत्वपूर्ण गिरावट आती है।

कार्यप्रणाली: FedDimDP
लेखक FedDimDP का प्रस्ताव करते हैं, जो इन संयुक्त चुनौतियों के तहत मॉडल दक्षता को बढ़ाने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है, जो तीन समन्वित मॉड्यूल के माध्यम से कार्य करता है:

हल्का स्थानीय आयामी न्यूनीकरण मॉड्यूल (Lightweight Local Dimensionality Reduction Module - LLDM):
- लक्ष्य: DP शोर इंजेक्शन से पहले मध्यवर्ती निरूपणों (intermediate representations) को नियमित करना और ग्रेडिएंट परिवर्तनशीलता को कम करना।
- तंत्र: क्लाइंट की ओर, एक सीखने योग्य चैनल-वार प्रोजेक्शन मैट्रिक्स मध्यवर्ती फीचर मैप्स की आयामीता को कम करता है ( $C \to C'$ जहाँ $C' \ll C$ )। इसके बाद, बैकप्रोपैगेशन के दौरान ग्रेडिएंट स्पर्सिफिकेशन (gradient sparsification) लागू किया जाता है, जो एक गतिशील रूप से घटते थ्रेशोल्ड $\tau_t$ से नीचे के ग्रेडिएंट घटकों को शून्य कर देता है।
- प्रभाव: यह अधिक संरचित और स्थिर ग्रेडिएंट उत्पन्न करता है, जिससे स्थानीय अनुकूलन के दौरान गोपनीयता शोर के प्रवर्धन (amplification) को कम किया जा जाता है।
अनुकूली विभेदक रूप से निजी ग्रेडिएंट क्लिपिंग (Adaptive Differentially Private Gradient Clipping - ADPC):
- लक्ष्य: अपडेट के बदलते पैमानों के अनुकूल होने के लिए क्लिपिंग थ्रेशोल्ड को गतिशील रूप से समायोजित करना, ताकि सिग्नल की हानि या शोर के प्रभुत्व से बचा जा सके।
- तंत्र: एक निश्चित थ्रेशोल्ड के बजाय, सर्वर सभी प्रतिभा लेने वाले क्लाइंट्स से मॉडल अपडेट ( $\Delta w_i$ ) के $\ell_2$ नॉर्म की गणना करता है। अगले राउंड के लिए क्लिपिंग थ्रेशोल्ड $C^{(t+1)}$ इन नॉर्म्स के मीडियन (median) के रूप में निर्धारित किया जाता है (एक न्यूनतम $C_{min}$ द्वारा सीमित)।
- प्रभाव: यह सुनिश्चित करता है कि गोपनीयता प्रतिबंध वास्तविक क्लाइंट अपडेट के पैमाने के साथ संरेखित हो, जिससे अपडेट छोटे होने पर सुरक्षा सख्त होती है और जब Non-IID ड्रिफ्ट के कारण अपडेट बड़े होते हैं, तो यह ढीला हो जाता है।
प्रतिबंध-जागरूक सुदृढ़ एकत्रीकरण (Constraint-Aware Robust Aggregation - CRA):
- लक्ष्य: अविश्वसनीय या शोर-प्रधान अपडेट को दबाना और वैश्विक अवरोही दिशा (global descent direction) को स्थिर करना।
- तंत्र:
  - नाममात्र भार (Nominal Weights): सर्वर "उपयोगिता-स्थिरता स्कोर" के आधार पर प्रारंभिक भार की गणना करता है, जो स्थानीय सत्यापन प्रदर्शन (F1-score) और अपडेट स्थिरता (norm statistics) को जोड़ता है, जिसे एक्सपोनेंशियल मूविंग एवरेज के माध्यम से स्मूथ किया जाता है।
  - एम्बिग्युटी सेट (Ambiguity Set): एक डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन दृष्टिकोण नाममात्र भार के आसपास एक एम्बिग्युटी सेट को परिभाषित करता है, जो नियंत्रित विचलन की अनुमति देता है।
  - दिशा-जागरूक पुनर्रचना (Direction-Aware Reweighting): सर्वर प्रत्येक क्लाइंट के अपडेट के नाममात्र एकत्रित दिशा से दिशात्मक विचलन की गणना करता है। इसके बाद, यह एक हल्का प्रोजेक्टेड डिसेंट (projected descent) करता है ताकि ऐसे सुदृढ़ भार खोजे जा सकें जो एम्बिग्युटी बाधाओं का सम्मान करते हुए बड़े दिशात्मक विचलन वाले क्लाइंट्स के प्रभाव को कम करें।
- प्रभाव: यह जटिल आंतरिक अनुकूलन लूप की आवश्यकता के बिना अस्थिर अपडेट को कम भार देता है, जिससे DP शोर और Non-IID ड्रिफ्ट दोनों के विरुद्ध वैश्विक एकत्रीकरण स्थिर होता है।

प्रमुख योगदान
शोध पत्र अपने योगदान को निम्नानुसार सारांशित करता है:

अनुकूली DP तंत्र: ऐतिहासिक अपडेट-नॉर्म सांख्यिकी द्वारा कैलिब्रेटेड एक क्लिपिंग रणनीति, जो विषम स्थितियों में उपयोगिता-गोपनीयता ट्रेड-ऑफ में सुधार करती है और अनुकूलन को स्थिर करती है।
प्रतिबंध-जागरूक सुदृढ़ एकत्रीकरण: इमेज क्लासिफिकेशन के लिए एक नवीन एकत्रीकरण तंत्र जो शोर-प्रधान अपडेट को दबाने और Non-IID ड्रिफ्ट को कम करने के लिए दिशा सुधार के साथ उपयोगिता/स्थिरता-जागरूक पुनर्रचना को एकीकृत करता है।
प्रायोगिक सत्यापन: निरंतर अभिसरण स्थिरता (convergence stability) और वर्गीकरण प्रदर्शन में अत्याधुनिक बेसलाइन्स पर निरंतर सुधार प्रदर्शित करने वाला व्यापक मूल्यांकन।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन CIFAR-10, SVHN, और STL-10 डेटासेट्स पर Non-IID पार्टिशन (Dirichlet-आधारित लेबल स्क्यू) के तहत $\epsilon=8$ के गोपनीयता बजट के साथ किया गया।

प्रदर्शन: FedDimDP ने सभी डेटासेट्स पर उच्चतम सटीकता और F1 स्कोर प्राप्त किया।
- CIFAR-10: 81.1% सटीकता (सर्वश्रेष्ठ बेसलाइन, DP-FedSAM के 74.2% के मुकाबले)।
- SVHN: 89.7% सटीकता (FedACG के 88.0% के मुकाबले)।
- STL-10: 65.2% सटीकता (DP-ACDN के 62.3% के मुकाबले)।
एब्लेशन अध्ययन (Ablation Studies): तीनों मुख्य घटकों (LLDM, ADPC, या CRA) में से किसी को भी हटाने से प्रदर्शन में गिरावट आई। रूबस्ट एकत्रीकरण को हटाने (w/o-CRA) से CIFAR-10 और STL-10 पर सबसे बड़ी गिरावट हुई, जबकि LLDM को हटाने से SVHN पर सबसे अधिक प्रभाव पड़ा, जो तीनों मॉड्यूल की पूरक प्रकृति की पुष्टि करता है।

महत्व और दावे
शोध पत्र का दावा है कि FedDim_DP सफलतापूर्वक विभेदक गोपनीयता और डेटा विषमता के मिलन से होने वाली अस्थिरता को संबोधित करता है। ग्रेडिएंट क्लिपिंग, शोर इंजेक्शन और सर्वर-साइड एकत्रीकरण को स्पष्ट रूप से जोड़कर, फ्रेमवर्क एक "अनुकूल उपयोगिता-स्थिरता ट्रेड-ऑफ" प्राप्त करता है। लेखक तर्क देते हैं कि उनका दृष्टिकोण निश्चित-थ्रेशोल्ड DP-FL सिस्टम में अंतर्निहित "प्रशिक्षण दोलन" और "घटे हुए मॉडल प्रदर्शन" को संभालने का एक सिद्धांतिक तरीका प्रदान करता है, विशेष रूप से संसाधन-बाधित एज परिदृश्यों में जहाँ डेटा Non-IID है। यह कार्य सुझाव देता है कि जब वास्तविक, विषम तैनाती में सख्त गोपनीयता गारंटी लागू की जाती है, तो अनुकूल तंत्र मॉडल उपयोगिता बनाए रखने के लिए आवश्यक हैं।