🤖 machine learning

Convergent Differential Privacy Analysis for General Federated Learning

यह शोध पत्र $f$ -DP विश्लेषण और शिफ्टेड इंटरपोलेशन तकनीकों का उपयोग करके फेडरेटेड लर्निंग विद डिफरेंशियल प्राइवेसी (Federated Learning with Differential Privacy) में मौजूदा ढीले और विचलित प्राइवेसी बाउंड्स की सीमाओं को संबोधित करता है, जिससे यह सिद्ध होता है कि Noisy-FedAvg एक टाइट कन्वर्जेंट प्राइवेसी बाउंड प्राप्त करता है जबकि Noisy-FedProx एक स्थिर कॉन्स्टेंट लोअर बाउंड बनाए रखता है, जिससे दीर्घकालिक FL-DP प्रशिक्षण की विश्वसनीयता के लिए एक ठोस सैद्धांतिक आधार स्थापित होता है।

मूल लेखक: Yan Sun, Qixin Zhang, Li Shen, Dacheng Tao

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yan Sun, Qixin Zhang, Li Shen, Dacheng Tao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Convergent Differential Privacy Analysis for General Federated Learning" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: "गुप्त रेसिपी" की समस्या

कल्पना कीजिए कि शेफों (क्लाइंट्स) का एक समूह दुनिया का सबसे अच्छा सूप (एक ग्लोबल AI मॉडल) बनाना चाहता है, लेकिन वे एक-दूसरे को या मुख्य शेफ (सर्वर) को अपनी पारिवारिक गुप्त रेसिपी (निजी डेटा) कभी नहीं बताना चाहते।

Federated Learning (FL) वह तरीका है जहाँ शेफ अपने स्वयं के किचन में अपना सूप पकाते हैं और मुख्य शेफ को केवल एक चम्मच 'स्वाद' (मॉडल अपडेट्स) भेजते हैं, जिसे मुख्य शेफ सभी के साथ मिलाकर बनाता है।
समस्या: भले ही वे रेसिपी न भेजें, लेकिन एक चतुर जासूस (अटैकर) उस चम्मच के स्वाद से गुप्त सामग्रियों का पता लगाने की कोशिश कर सकता है।
समाधान (Differential Privacy - DP): जासूस को रोकने के लिए, शेफ भेजने से पहले अपने चम्मच में थोड़ा सा "शोर" (noise) (जैसे कि रैंडम नमक या काली मिर्च का एक चुटकी) मिला देते हैं। यह यह बताना असंभव बना देता है कि मूल रेसिपी में वास्तव में क्या था।

पुराना विश्वास: "शोर हमेशा बढ़ता रहना चाहिए"

लंबे समय तक शोधकर्ताओं का यह मानना था कि यदि शेफ बहुत लंबे समय तक (प्रशिक्षण के कई राउंड के दौरान) खाना बनाते रहे और चम्मच भेजते रहे, तो "प्राइवेसी" (गोपनीयता) अंततः टूट जाएगी।

उपमा: कल्पना कीजिए कि आप भीड़ में एक फुसफुसाहट को छिपाने की कोशिश कर रहे हैं। यदि आप एक बार फुसफुसाते हैं, तो उसे सुनना कठिन है। लेकिन यदि आप लगातार 1,000 बार फुसफुसाते हैं, तो जासूस अंततः पूरा वाक्य समझ सकता है।

पुरानी थ्योरी: 1,000 राउंड तक सुरक्षित रहने के लिए, आपको हर एक राउंड में अधिक से अधिक शोर जोड़ना होगा, जिससे अंततः सूप इतना नमकीन हो जाएगा कि वह खाने लायक ही नहीं रहेगा।
परिणाम: इससे एक डरावना निष्कर्ष निकला: आप लंबे समय तक एक अच्छा मॉडल ट्रेन नहीं कर सकते और उसे निजी भी रख सकते। आपको या तो एक अच्छा सूप चुनना होगा या एक सुरक्षित सूप।

नई खोज: "प्राइवेसी स्पंज" (The Privacy Sponge)

यह पेपर उस पुराने विश्वास को चुनौती देता है। लेखक (Sun, Zhang, Shen, और Tao) कहते हैं: "वास्तव में, प्राइवेसी सुरक्षित रहती है, भले ही हम लंबे समय तक ट्रेनिंग करते रहें, जब तक कि हम सही मात्रा में शोर का उपयोग करें।"

वे इसे "Convergent Privacy" कहते हैं।

उपमा: प्राइवेसी सुरक्षा को एक ऐसे लीक होते बाल्टी के रूप में न देखें जिसे भरा रखने के लिए अधिक पानी (शोर) की आवश्यकता हो, बल्कि इसे एक स्पंज के रूप में देखें।

पुराने दृष्टिकोण में, स्पंज बड़ा और बड़ा होता जा रहा था, और अंततः छलक रहा था।
इस नए दृष्टिकोण में, स्पंज का एक अधिकतम आकार होता है। आप चाहे कितनी भी देर तक ट्रेनिंग करें, "प्राइवेसी लीकेज" स्पंज को एक निश्चित स्तर तक भरता है और फिर रुक जाता है। यह कन्वर्ज (converge) हो जाता है। यह अनंत तक बढ़ता नहीं रहता।

उन्होंने इसे कैसे सिद्ध किया (The "Shifted Interpolation" ट्रिक)

इसे सिद्ध करने के लिए, लेखकों ने Shifted Interpolation नामक एक चतुर गणितीय उपकरण का उपयोग किया।

उपमा: कल्पना कीजिए कि दो समानांतर ब्रह्मांड हैं।

ब्रह्मांड A: शेफ एक विशिष्ट सामग्री (Dataset A) के साथ एक गुप्त रेसिपी का उपयोग करते हैं।
ब्रह्मांड B: शेफ उसी रेसिपी का उपयोग करते हैं लेकिन एक सामग्री को दूसरी सामग्री से बदल देते हैं (Dataset B)।

लक्ष्य यह देखना है कि क्या एक ऑब्जर्वर अंतिम सूप का स्वाद लेकर यह बता सकता है कि वह किस ब्रह्मांड में है।

पुराना तरीका: शोधकर्ता ब्रह्मांड A और B के बीच के अंतर को चरण-दर-चरण ट्रैक करने की कोशिश करते थे। उन्होंने पाया कि अंतर बढ़ता जा रहा था, जिससे संकेत मिलता कि जासूस अंततः जीत जाएगा।
नया तरीका (Shifted Interpolation): लेखकों ने ब्रह्मांड A और ब्रह्मांड B के बीच एक "पुल" या "स्लाइडिंग स्केल" बनाया। दोनों चरम स्थितियों को सीधे देखने के बजाय, उन्होंने उन्हें जोड़ने वाले एक सुचारू पथ (smooth path) को देखा।
- उन्होंने महसूस किया कि हालांकि अंतर कुछ समय के लिए बढ़ता है, लेकिन हर चरण में जोड़ा गया "शोर" एक डैम्पर (damper) की तरह काम करता है।
- अंततः, शोर बढ़ते हुए अंतर को दबा देता है। दोनों ब्रह्मांडों के बीच का "गैप" चौड़ा होना बंद हो जाता है और एक स्थिर, सुरक्षित दूरी पर सेट हो जाता है।

वे दो विधियाँ जिनका उन्होंने परीक्षण किया

उन्होंने सूप मिलाने के दो लोकप्रिय तरीकों का परीक्षण किया:

Noisy-FedAvg (द स्टैंडर्ड मिक्सर):
- शेफ खाना पकाते हैं, शोर मिलाते हैं, और भेजते हैं।
- निष्कर्ष: शोर की एक स्थिर मात्रा (समय के साथ बढ़ता हुआ नहीं) के साथ भी, प्राइवेसी हमेशा सुरक्षित रहती है। "लीकेज" एक सीमा (ceiling) पर पहुँच जाता है और रुक जाता है।
Noisy-FedProx (द स्टेबलाइज्ड मिक्सर):
- यह विधि एक विशेष "एंकर" (proximal term) जोड़ती है ताकि शेफ समूह के औसत से बहुत दूर न भटकें।
- निष्कर्ष: यह विधि और भी बेहतर है। "एंकर" प्राइवेसी को बहुत तेज़ी से एक बहुत ही स्थिर, निम्न स्तर पर सेट करने में मदद करता है। यह एक सुरक्षा जाल (safety net) की तरह है जो प्राइवेसी लीकेज को बहुत अधिक होने से पहले ही पकड़ लेता है।

यह क्यों मायने रखता है (बिना तकनीकी शब्दों के)

यह अच्छी खबर है: लंबे प्रशिक्षण सत्रों के दौरान गोपनीयता की रक्षा के लिए आपको भारी मात्रा में शोर जोड़ने की आवश्यकता नहीं है। आप शोर के स्तर को स्थिर रख सकते हैं, और आपका मॉडल फिर भी निजी रहेगा।
यह एक गलत धारणा को ठीक करता है: यह साबित करता है कि डरावना विचार ("प्राइवेसी समय के साथ कमजोर होती है") एक ढीले, अत्यधिक सतर्क गणितीय अनुमान पर आधारित था, वास्तविकता पर नहीं।
ट्रेड-ऑफ (Trade-off): पेपर दिखाता है कि थोड़ा सा "रेगुलराइजेशन" (जैसे FedProx में एंकर) का उपयोग करके, आप एक विन-विन (win-win) स्थिति प्राप्त कर सकते हैं: मॉडल अच्छी तरह सीखता है (optimization) और निजी भी रहता है (privacy), बिना शोर को बढ़ाने की आवश्यकता के।

एक वाक्य में सारांश

यह पेपर सिद्ध करता है कि फेडरेटेड लर्निंग में, प्राइवेसी लंबे समय तक ट्रेनिंग करने से कमजोर नहीं होती; सही गणितीय सेटअप के साथ, प्राइवेसी सुरक्षा स्वाभाविक रूप से एक सुरक्षित, स्थिर क्षेत्र में स्थिर हो जाती है जिसके लिए कभी भी बढ़ते हुए शोर की आवश्यकता नहीं होती।

तकनीकी सारांश: सामान्य फेडेरेटेड लर्निंग के लिए कन्वर्जेंट डिफरेंशियल प्राइवेसी विश्लेषण

1. समस्या विवरण (Problem Statement)

फेडेरेटेड लर्निंग (FL) को डिफरेंशियल प्राइवेसी (DP) के साथ जोड़ना बड़े पैमाने पर निजी क्लाइंट डेटा पर मॉडल को प्रशिक्षित करने के लिए एक प्रतिमान (paradigm) प्रदान करता है, जिससे सीधे डेटा रिसाव (data leakage) को रोका जा सके। हालाँकि, FL-DP फ्रेमवर्क के मौजूदा सैद्धांतिक विश्लेषण मुख्य रूप से कंपोजिशन थ्योरम (जैसे, $(\epsilon, \delta)$ -DP या Rényi-DP) पर अत्यधिक निर्भर हैं। ये पारंपरिक दृष्टिकोण आमतौर पर ऐसे प्राइवेसी बाउंड्स (privacy bounds) देते हैं जो संचार राउंड $T$ के बढ़ने के साथ विचलित (diverge/loose) होते जाते हैं।

यह विचलन एक विरोधाभासी और अनुभवजन्य रूप से unsupported निष्कर्ष देता है: कि लंबे समय तक प्रशिक्षण के दौरान निरंतर-स्तर के नॉइजी पर्टर्बेशन (noisy perturbations) के तहत FL-DP फ्रेमवर्क अंततः अपनी सभी गोपनीयता सुरक्षा क्षमताओं को खो सकते हैं। यह एक महत्वपूर्ण विसंगति पैदा करता है—सैद्धांतिक भविष्यवाणियों (जो अनिवार्य गोपनीयता विफलता का सुझाव देती हैं) और प्रायोगिक परिणामों (जो अक्सर स्थिर गोपनीयता दिखाते हैं) के बीच। मुख्य चुनौती गैर-कॉन्वेक्स ऑब्जेक्टिव्स (non-convex objectives) और विषम स्थानीय अपडेट्स (heterogeneous local updates) वाले FL मेथड्स की गोपनीयता का विश्लेषण करने में निहित है, जहाँ मल्टी-स्टेप लोकल ट्रेनिंग पक्षपाती मॉडल (biased models) पेश करती है जो मानक सेंसिटिविटी विश्लेषण को जटिल बनाती है।

2. कार्यप्रणाली (Methodology)

लेखक $f$ -डिफरेंशियल प्राइवेसी ( $f$ -DP) पर आधारित एक व्यापक विश्लेषण प्रस्तावित करते हैं, विशेष रूप से गॉसियन डिफरेंशियल प्राइवेसी (GDP) का उपयोग करते हुए, जो हाइपोथेसिस टेस्टिंग में टाइप I और टाइप II त्रुटियों के बीच ट्रेड-ऑफ के माध्यम से गोपनीयता की एक सूचना-सैद्धांतिक रूप से लॉसलेस (lossless) परिभाषा प्रदान करता है।

मुख्य पद्धतिगत घटक शामिल हैं:

शिफ्टेड इंटरपोलेशन तकनीक (Shifted Interpolation Technique): इटरेशन द्वारा मानक प्राइवेसी एम्प्लीफिकेशन से जुड़े ढीले बाउंड्स से बचने के लिए, पेपर एक शिफ्टेड इंटरपोलेशन सीक्वेंस को अपनाता है। दो आसन्न (adjacent) डेटासेट्स पर ग्लोबल मॉडल्स के $T$ राउंड्स के प्रत्यक्ष संबंध का विश्लेषण करने के बजाय, लेखक एक सहायक अनुक्रम $\tilde{w}_t$ को परिभाषित करते हैं जो दो आसन्न डेटासेट्स के ट्रेजेक्टरीज के बीच इंटरपोलेट करता है। यह एक विशिष्ट अंतराल $[t_0, T]$ पर एक कड़ा (tighter) प्राइवेसी एम्प्लीफिकेशन विश्लेषण करने की अनुमति देता है।
ग्लोबल सेंसिटिविटी का अपघटन (Decomposition of Global Sensitivity): ग्लोबल सेंसिटिविटी टर्म $\|\phi(w_t) - \phi'(\tilde{w}_t)\|$ $∥ ϕ (w_{t}) - ϕ^{'} (\tilde{w}_{t}) ∥$ को दो घटकों में विभाजित किया गया है:
1. डेटा सेंसिटिविटी (Data Sensitivity): एक ही इनिशियलाइजेशन से अलग-अलग डेटासेट्स पर प्रशिक्षण से होने वाली त्रुटि।
2. मॉडल सेंसिटिविटी (Model Sensitivity): अलग-अलग इनिशियलाइजेशन से एक ही डेटासेट पर प्रशिक्षण से होने वाली त्रुटि।
  लेखक दोनों Noisy-FedAvg और Noisy-FedProx एल्गोरिदम के तहत इन सेंसिटिविटीज के लिए विशिष्ट बाउंड्स निकालते हैं।
इंटरपोलेशन गुणांकों का अनुकूलन (Optimization of Interpolation Coefficients): प्राइवेसी बाउंड को इंटरपोलेशन गुणांकों $\lambda_t$ और एक शुरुआती राउंड $t_0$ पर एक मिनिमाइजेशन समस्या के रूप में तैयार किया गया है। अभिसरण (convergence) सुनिश्चित करने के लिए, लेखक $t_0 = 0$ सेट करके समस्या को रिलैक्स करते हैं, जिससे प्रारंभिक स्थिरता अंतराल (initial stability gap) के कारण होने वाला विचलन समाप्त हो जाता है और संचित (accumulated) सेंसिटिविटी पर एक कड़ा बाउंड बना रहता है।
लर्निंग रेट रणनीतियाँ (Learning Rate Strategies): विश्लेषण में चार अलग-अलग लर्निंग रेट डिके (decay) रणनीतियों को कवर किया गया है: कांस्टेंट (constant), साइक्लिकली डिकेइंग (cyclically decaying), स्टेज-वाइज डिकेइंग (stage-wise decaying), और इटरेटिवली डिकेइंग (iteratively decaying)।

3. मुख्य योगदान (Key Contributions)

यह पेपर गैर-कॉन्वेक्स और स्मूथ ऑब्जेक्टिव्स के तहत सामान्य FL-DP मेथड्स के लिए पहला कन्वर्जेंट प्राइवेसी विश्लेषण प्रदान करता है। विशिष्ट योगदान हैं:

Noisy-FedAvg के लिए कन्वर्जेंट प्राइवेसी: लेखक सिद्ध करते हैं कि Noisy-FedAvg की वर्स्ट-केस प्राइवेसी संचार राउंड $T$ के संबंध में विचलित नहीं होती है। वे चार अलग-अलग लर्निंग रेट डिके रणनीतियों के लिए टाइट कन्वर्जेंट बाउंड्स प्रदान करते हैं। यह इस लंबे समय से चली आ रही धारणा को चुनौती देता है कि प्रशिक्षण की अवधि के साथ प्राइवेसी बजट को अनिश्चित काल तक बढ़ना चाहिए।
Noisy-FedProx के लिए स्थिर प्राइवेसी: प्रॉक्सिमल टर्म का विश्लेषण करके, लेखक दिखाते हैं कि वर्स्ट प्राइवेसी एक सामान्य कांस्टेंट लोअर बाउंड पर अभिसरित होती है। वे दिखाते हैं कि प्रॉक्सिमल गुणांक $\alpha$ एक रेगुलराइज़र के रूप में कार्य करता है जो प्राइवेसी को लोकल ट्रेनिंग अंतराल $K$ से अलग (decouple) कर सकता है, बशर्ते $\alpha > L$ हो (जहाँ $L$ स्मूथनेस कांस्टेंट है)।
फ्रेमवर्क एग्नोस्टिसिज्म (Framework Agnosticism): व्युत्पन्न $f$ -DP बाउंड्स को अन्य मानक फ्रेमवर्क्स, जिसमें $(\epsilon, \delta)$ -DP और Rényi-DP शामिल हैं, में लॉसलेस तरीके से बदला जा सकता है, जो मौजूदा FL-DP सिस्टम के लिए सूक्ष्म समझ प्रदान करता है।
विसंगति का सैद्धांतिक समाधान: विश्लेषण विसंगति को हल करता है, यह प्रदर्शित करते हुए कि निरंतर स्तर का शोर (constant-level noise) FL में कन्वर्जेंट प्राइवेसी गारंटी बनाए रखने के लिए पर्याप्त है।

4. परिणाम (Results)

सैद्धांतिक निष्कर्षों को पेपर की तालिका 1 और तालिका 3 में संक्षेपित किया गया है:

Noisy-FedAvg:
- कांस्टेंट लर्निंग रेट के तहत, प्राइवेसी बाउंड $K$ , $m$ (क्लाइंट स्केल), और $\sigma$ (नॉइज़) पर निर्भर मान पर अभिसरित होता है, लेकिन $T \to \infty$ होने पर भी सीमित (bounded) रहता है।
- स्टेज-वाइज और इटरेटिवली डिकेइंग लर्निंग रेट के तहत, प्राइवेसी बाउंड $\sqrt{2 - 1/T}$ के समान एक रूप में अभिसरित होता है, जो अभिसरण सुनिश्चित करता है।
- बाउंड्स पिछले कार्यों की तुलना में अधिक टाइट हैं, जिन्हें अक्सर शोर वेरिएंस $\sigma^2$ को $T$ या $TK$ के साथ स्केल करने की आवश्यकता होती थी।
Noisy-FedXprox:
- प्राइवेसी बाउंड $T$ और $K$ से स्वतंत्र एक कांस्टेंट लोअर बाउंड पर अभिसरित होता है।
- बाउंड $\sqrt{\alpha}$ के व्युत्क्रमानुपाती (inversely proportional) है, जो यह दर्शाता है कि एक बड़ा प्रॉक्सिमल गुणांक $\alpha$ शोर बढ़ाने की आवश्यकता के बिना प्राइवेसी में काफी सुधार (सेंसिटिविटी कम) करता है।
प्रायोगिक सत्यापन (Empirical Validation):
- LeNet-5 और ResNet-18 के साथ MNIST और CIFAR-10 पर प्रयोग पुष्टि करते हैं कि प्रशिक्षण के दौरान ग्लोबल सेंसिटिविटी स्थिर हो जाती है, चाहे $T$ या $K$ कुछ भी हो।
- सेंसिटिविटी अध्ययन दिखाते हैं कि क्लाइंट्स की संख्या ( $m$ ) बढ़ाने से सेंसिटिविटी कम होती है ( $O(1/\sqrt{m})$ ), जबकि लोकल अंतराल $K$ अभिसरण दर को प्रभावित करता है लेकिन एसिम्प्टोटिक बाउंड को नहीं।
- मेंबरशिप इंफरेंस और ग्रेडिएंट इन्वर्जन हमलों से पुष्टि होती है कि हमला सफलता दर (attack success rate) निरंतर शोर के तहत 100% के करीब जाने के बजाय स्थिर हो जाती है, जो कन्वर्जेंट प्राइवेसी थ्योरी को मान्य करती है।

5. महत्व (Significance)

पेपर का दावा है कि यह FL-DP फ्रेमवर्क्स में प्राइवेसी की विश्वसनीयता के लिए एक ठोस सैद्धांतिक आधार स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक गलतफहमियों को सुधारना: यह इस निष्कर्ष को खारिज करता है कि निरंतर शोर के तहत लंबे समय तक प्रशिक्षण के दौरान FL-DP अनिवार्य रूप से गोपनीयता सुरक्षा खो देता है, जो सिद्धांत को अनुभवजन्य अवलोकनों के साथ संरेखित करता है।
दीर्घकालिक प्रशिक्षण को सक्षम बनाना: कन्वर्जेंट बाउंड्स को सिद्ध करके, यह कार्य सुझाव देता है कि FL सिस्टम बिना शोर की तीव्रता में अनबाउंड वृद्धि की आवश्यकता के लंबे समय तक संचालित हो सकते हैं, जो अन्यथा मॉडल उपयोगिता (utility) को कम कर देगा।
ऑप्टिमाइजेशन-प्राइवेसी ट्रेड-ऑफ: Noisy-FedProx का विश्लेषण बताता है कि लोकल रेगुलराइजेशन (प्रॉक्सिमल टर्म) एक "विन-विन" समाधान प्राप्त करने के लिए एक तंत्र के रूप में कार्य कर सकता है, जो ऑप्टिमाइजेशन स्थिरता और प्राइवेसी गारंटी दोनों में एक साथ सुधार करता है।
डिज़ाइन मार्गदर्शन: परिणाम FL सिस्टम डिजाइन करने के लिए व्यावहारिक अंतर्दृष्टि प्रदान करते हैं, जैसे कि उपयोगिता से समझौता किए बिना प्राइवेसी को अधिकतम करने के लिए क्लाइंट स्केल के लाभ और लर्निंग रेट डिके एवं प्रॉक्सिमल गुणांकों का रणनीतिक चयन।

लेखक निष्कर्ष निकालते हैं कि उनका कार्य एक महत्वपूर्ण सैद्धांतिक अंतर को भरता है, यह प्रदर्शित करते हुए कि FL में उचित रूप से संरचित स्थानीय और वैश्विक इंटरैक्शन लर्निंग फ्रेमवर्क से मौलिक रूप से समझौता किए बिना कठोर गोपनीयता आश्वासन बनाए रख सकते हैं।