📊 statistics

Modulated learning for private and distributed regression with just a single sample per client device

यह शोध पत्र एक मॉड्यूलेटेड लर्निंग फ्रेमवर्क प्रस्तावित करता है जो प्रत्येक डिवाइस पर केवल एक डेटा सैंपल होने पर भी, ट्रांसफ़ॉर्म किए गए स्थानीय निरूपणों (लोकल रिप्रेजेंटेशन) में कैलिब्रेटेड शोर (नॉइज़) इंजेक्ट करके निष्पक्ष वैश्विक ग्रेडिएंट अपडेट उत्पन्न करने के माध्यम से गोपनीयता-संरक्षित वितरित प्रतिगमन (डिस्ट्रिब्यूटेड रिग्रेशन) को सक्षम बनाता है, जो अत्यधिक डेटा-दुर्लभ परिदृश्यों में पारंपरिक फेडरेटेड लर्निंग की सीमाओं को दूर करता है।

मूल लेखक: Praneeth Vepakomma, Amirhossein Reisizadeh, Samuel Horváth, Munther Dahleh

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Praneeth Vepakomma, Amirhossein Reisizadeh, Samuel Horváth, Munther Dahleh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल वैश्विक पहेली की कल्पना करें जहाँ हर कोई ठीक एक अकेला टुकड़ा थामे हुए है। लक्ष्य उस चित्र (एक प्रेडिक्टिव मॉडल) को जोड़ना है, बिना किसी को अपना टुकड़ा केंद्रीय आयोजक या एक-दूसरे को दिखाए।

यह उस चुनौती का समाधान है जिसे यह शोध पत्र संबोधित करता है: हम हजारों उपकरणों से कैसे सीख सकते हैं जब प्रत्येक उपकरण के पास केवल एक छोटा सा डेटा पॉइंट होता है, और हमें उस डेटा को पूरी तरह से निजी रखना होता है?

यहाँ समस्या और शोध पत्र के समाधान का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों (analogies) के माध्यम से समझाया गया है।

समस्या: "एक-टुकड़ा" दुविधा (The "One-Piece" Dilemma)

मानक "फेडरेटेड लर्निंग" (जहाँ फोन डेटा भेजे बिना मिलकर सीखते हैं) में, प्रत्येक फोन के पास आमतौर पर सीखने के लिए फोटो या संदेशों की एक पूरी लाइब्रेरी होती है। वह चित्र के बारे में एक स्मार्ट अनुमान लगा सकता है और सर्वर को वह अनुमान भेज सकता है।

लेकिन इस शोध पत्र के परिदृश्य में, एक फिटनेस ट्रैकर की कल्पना करें जिसने आज केवल एक एकल कदम रिकॉर्ड किया है, या एक स्वास्थ्य ऐप जो केवल एक हृदय गति जानता है।

समस्या: यदि आप केवल एक डेटा पॉइंट से सीखने की कोशिश करते हैं, तो आपका "अनुमान" शुद्ध शोर (noise) होगा। यह एक एकल बादल के आधार पर मौसम का अनुमान लगाने जैसा है।
गोपनीयता का जाल (The Privacy Trap): गोपनीयता की रक्षा के लिए, हम आमतौर पर डेटा में "स्टैटिक" (शोर/noise) जोड़ते हैं। लेकिन यदि आपके पास पहले से ही एक एकल डेटा पॉइंट से एक बहुत छोटा, शोर वाला सिग्नल है, तो और अधिक शोर जोड़ने से वह बेकार हो जाता है। सिग्नल पूरी तरह से गायब हो जाता है।

समाधान: "कोसाइन मास्क" और "जादुई डिकोडर" (The "Cosine Mask" and the "Magic Decoder")

लेखक मॉड्यूलेटेड लर्निंग (Modulated Learning) नामक एक चतुर तकनीक का प्रस्ताव करते हैं। कच्चा डेटा (या उसका शोर वाला संस्करण) भेजने के बजाय, क्लाइंट डेटा को भेजने से पहले उसे एक गुप्त कोड में बदल देता है।

इसे इस प्रकार समझें:

क्लाइंट की ओर से (मास्किंग):
कल्पना करें कि आपके पास एक गुप्त संख्या (आपका डेटा) है। उसे सीधे लिखने के बजाय, आप उसे एक विशेष मशीन के माध्यम से गुजारते हैं।
- मशीन आपके नंबर को थोड़ा छोटा कर देती है।
- फिर, यह एक पहिया घुमाती है (एक रैंडम कोण) और आपके नंबर में एक "कोसाइन वेव" (cosine wave) जोड़ देती है। यह वेव एक मास्क (मुखौटा) के रूप में कार्य करती है। यह नंबर को इस तरह से उलझा देती है कि यदि कोई इसे देख ले, तो वे मूल नंबर का पता नहीं लगा पाएंगे।
- अंत में, पूर्ण गोपनीयता सुनिश्चित करने के लिए मशीन थोड़ा सा "स्टैटिक" (गौसियन शोर/Gaussian noise) जोड़ देती है।
- परिणाम एक उलझा हुआ, शोर वाला वेक्टर है जो किसी भी ऐसे व्यक्ति के लिए निरर्थक (gibberish) दिखता है जिसके पास चाबी नहीं है।
सर्वर की ओर से (डिकोडर):
सर्वर इन उलझे हुए वेक्टर्स को हजारों की संख्या में प्राप्त करता है। व्यक्तिगत रूप से, वे बेकार हैं। लेकिन सर्वर जानता है कि उन्हें उलझाने के लिए किस नुस्खे (recipe) का उपयोग किया गया था (मॉड्यूलेशन दिशा और रैंडम कोण)।
- सर्वर एक मास्टर शेफ की तरह कार्य करता है जो जानता है कि सामग्रियों को ठीक कैसे मिलाया गया था।
- इन हजारों उलझे हुए वेक्टर्स का औसत निकालकर, सर्वर "रैंडमनेस" (घूमते हुए पहिये और स्टैटिक) को खत्म कर देता है।
- सर्वर फिर एक गणितीय "अनडू" (undo) बटन लागू करता है (एक पोस्ट-प्रोसेसिंग स्टेप) ताकि मास्क और स्टैटिक को हटाया जा सके।
- परिणाम: सर्वर ग्रेडिएंट (वह दिशा जिसमें मॉडल को आगे बढ़ना चाहिए) का एक सटीक, निष्पक्ष अनुमान प्राप्त करता है, जैसे कि उसने सीधे सभी कच्चे डेटा को देखा हो, भले ही उसने एक भी कच्चा डेटा पॉइंट न देखा हो।

यह क्यों विशेष है

यह एक टुकड़े के साथ काम करता है: अन्य विधियों के विपरीत जो डेटा की कमी होने पर विफल हो जाती हैं, यह विधि विशेष रूप से "प्रति क्लाइंट एक सैंपल" वाले परिदृश्य के लिए डिज़ाइन की गई है।
यह निजी है: उलझाव (scrambling) यह सुनिश्चित करता है कि यदि कोई हैकर संदेश को बीच में ही पकड़ भी ले, तो भी वे मूल डेटा पॉइंट का पुनर्निर्माण नहीं कर सकते। शोध पत्र गणितीय रूप से सिद्ध करता है कि "पुनर्निर्माण त्रुटि" (हैकर के लिए मूल डेटा का अनुमान लगाना कितना कठिन है) बहुत अधिक है।
यह कुशल है: शोध पत्र दो तरीके दिखाता है:
1. इटरेटिव (Iterative): सर्वर और क्लाइंट मॉडल को परिष्कृत करने के लिए कई बार आपस में बात करते हैं (जैसे एक समूह चर्चा)।
2. वन-शॉट (One-Shot): क्लाइंट अपना उलझा हुआ डेटा एक बार भेजते हैं, और सर्वर तुरंत पहेली को हल कर देता है (जैसे सभी उत्तरों के साथ एक एकल ईमेल)।

"मल्टी-वेक्टर" अपग्रेड

शोध पत्र एक "प्रो" संस्करण का भी सुझाव देता है। डेटा को उलझाने के लिए केवल एक घूमने वाले पहिये (एक दिशा) का उपयोग करने के बजाय, सर्वर क्लाइंट्स को कई घूमने वाले पहिये (कई ऑर्थोगोनल वेक्टर्स) देता है।

उदाहरण: कल्पना करें कि एक कमरे में गुप्त चीज़ छिपाना। एक दीवार का उपयोग करके उसे छिपाना ठीक है। लेकिन यदि आप उसे फर्श, छत और चारों दीवारों का उपयोग करके एक साथ छिपाते हैं, तो उसे ढूंढना बहुत कठिन हो जाता है।
लाभ: यह गोपनीयता की रक्षा के लिए आवश्यक "स्टैटिक" की मात्रा को कम करता है, जिससे अंतिम मॉडल अधिक सटीक बनता है।

निचोड़ (The Bottom Line)

यह शोध पत्र उन उपकरणों से सीखने का एक नया तरीका पेश करता है जिनके पास लगभग कोई डेटा नहीं है। एक चतुर गणितीय "मास्क" (कोसाइन मॉड्यूलेशन) और सर्वर पर एक "डिकोडर" का उपयोग करके, यह एक वैश्विक मॉडल को सटीक और निजी रूप से प्रशिक्षित करने की अनुमति देता है, भले ही प्रत्येक प्रतिभागी केवल एक एकल, छोटा डेटा पॉइंट योगदान दे रहा हो। यह एक ऐसी स्थिति को, जो पहले असंभव थी (एक शोर वाले, निजी बिंदु से सीखना), एक व्यवहार्य और सुरक्षित वास्तविकता में बदल देता है।

तकनीकी सारांश: एक प्रति क्लाइंट एक नमूने के साथ निजी और वितरित प्रतिगमन (Regression) के लिए मॉड्यूलेटेड लर्निंग

समस्या विवरण

यह कार्य मानक फेडरेटेड लर्निंग (FL) और डिफरेंशियल प्राइवेट (DP) लर्निंग प्रतिमानों (paradigms) की एक महत्वपूर्ण सीमा को संबोधित करता है: यह धारणा कि क्लाइंट उपकरणों के पास सार्थक ग्रेडिएंट अपडेट कंप्यूट करने के लिए पर्याप्त बड़े स्थानीय डेटासेट हैं। कई वास्तविक दुनिया के परिदृश्यों में—जैसे फिटनेस ट्रैकर, बॉडी-वर्न सेंसर और दैनिक इवेंट मॉनिटर—क्लाइंट के पास केवल एक डेटा नमूना (या बहुत कम नमूने) हो सकते हैं।

इस "एक-प्रति-क्लाइंट-एक-नमूना" (one-sample-per-client) शासन में, मानक DP-SGD आधारित FL विफल हो जाता है क्योंकि:

अविश्वसनीय स्थानीय अपडेट: एक एकल बिंदु पर गणना किया गया स्थानीय ग्रेडिएंट मॉडल गुणांकों (coefficients) का अनुमान लगाने के लिए अत्यधिक शोर वाला और अविश्वसनीय होता है, विशेष रूप से प्रशिक्षण के शुरुआती दौरों में।
प्राइवेसी नॉइज़ एम्प्लीफिकेशन: डिफरेंशियल प्राइवेसी को संतुष्ट करने के लिए इंजेक्ट किया गया शोर इन पहले से ही कमजोर स्थानीय अपडेट्स की उपयोगिता को और अधिक खराब कर देता है, जिससे वैश्विक मॉडल का अभिसरण (convergence) अप्रभावी हो जाता है।

यह शोध प्रश्न पूछता है: क्या हम उपयोगी, डिफरेंशियल प्राइवेट डिस्ट्रिब्यूटेड लर्निंग को सक्षम कर सकते हैं जब प्रत्येक क्लाइंट केवल एक उदाहरण डेटा पॉइंट योगदान देता है?

कार्यप्रणाली (Methodology)

लेखक एक मॉड्यूलेटेड लर्निंग (Modulated Learning) फ्रेमवर्क प्रस्तावित करते हैं। क्लाइंट्स द्वारा मॉडल गुणांक भेजने (जैसा कि मानक FL में होता है) या कच्चे ग्रेडिएंट्स भेजने के बजाय, क्लाइंट अपने एकल डेटा नमूने का एक निजी रूप से रूपांतरित प्रतिनिधित्व (privately transformed representation) प्रसारित करते हैं। सर्वर फिर इन चरों (representations) को एकत्रित करता है ताकि एक अनबायस्ड (unbiased) अनुमान प्राप्त किया जा सके जो केंद्रीकृत ग्रेडिएंट के समान हो।

मुख्य तंत्र: कोसाइन-मॉड्यूलेटेड ट्रांसफॉर्मेशन (Cosine-Modulated Transformation)

यह प्रोटोकॉल राउंड में संचालित होता है। प्रत्येक राउंड $t$ में, सर्वर एक वैश्विक मॉडल $\beta_t$ बनाए रखता है और एक मॉड्यूलेशन दिशा $v_t$ (जो $\beta_t$ के लंबवत/orthogonal है) चुनता है।

1. क्लाइंट-साइड प्रोसेसिंग:
एक निजी नमूने $(x_i, y_i)$ के लिए, क्लाइंट निम्नलिखित चरणों को निष्पादित करता है:

मॉड्यूलेशन (Modulation): क्लाइंट एक रैंडम फेज $\phi_i \sim \text{Unif}[0, 2\pi]$ का नमूना लेता है और एक मॉड्यूलेटेड फीचर वेक्टर कंप्यूट करता है:
$g_i = (1 - \alpha)x_i + \lambda \cos(\omega \langle x_i, v_t \rangle + \phi_i) v_t$
यहाँ $\alpha, \lambda, \omega$ हाइपरपैरामीटर्स हैं। टर्म $(1-\alpha)x_i$ सिग्नल को सुरक्षित रखता है, जबकि कोसाइन टर्म एक संकुचक (contractive), गोपनीयता-संरक्षित व्यवधान (perturbation) पेश करता है।
नॉइज़ इंजेक्शन (Noise Injection): $(\epsilon, \delta)$ -लोकल डिफरेंशियल प्राइवेसी (LDP) सुनिश्चित करने के लिए, क्लाइंट गाऊसी शोर (Gaussian noise) $\xi_i \sim \mathcal{N}(0, \sigma_{DP}^2 I)$ जोड़ता है:
$\tilde{g}_i = g_i + \xi_i$
ट्रांसमिशन (Transmission): क्लाइंट सर्वर को $(\tilde{g}_i, y_i)$ जोड़ी भेजता है। ध्यान दें कि इस विशिष्ट सेटअप में $y_i$ को सार्वजनिक/गैर-संवेदनशील माना जाता है, जबकि $x_i$ निजी इनपुट है।

2. सर्वर-साइड एग्रीगेशन और डी-बायसिंग (De-biasing):
सर्वर प्राप्त किए गए $\{(\tilde{g}_i, y_i)\}_{i=1}^K$ को प्राप्त करता है और मॉड्यूलेशन और शोर द्वारा उत्पन्न बायस (bias) को हटाने के लिए बीजगणितीय सुधार करता है:

कोवेरिएंस एस्टीमेशन (Covariance Estimation): सर्वर प्राप्त फीचर्स का एम्पिरिकल कोवेरिएंस कंप्यूट करता है और ज्ञात बायस टर्म्स (मॉड्यूलेशन वेरिएंस और नॉइज़ वेरिएंस) को घटाता है:
$\hat{\Sigma}_x = \frac{1}{(1-\alpha)^2} \left( \frac{1}{K}\sum \tilde{g}_i \tilde{g}_i^\top - \frac{\lambda^2}{2} v_t v_t^\top - \sigma_{DP}^2 I \right)$
थ्योरम 3.1 और कोरोलरी 3.2 सिद्ध करते हैं कि $\hat{\Sigma}_x$ वास्तविक डेटा कोवेरिएंस $\Sigma_x = \frac{1}{K}\sum x_i x_i^\top$ का एक अनबायस्ड एस्टीमेटर है।
ग्रेडिएंट रिकवरी (Gradient Recovery): सर्वर एक अनबायस्ड ग्रेडिएंट एस्टीमेटर $G$ बनाता है:
$G = \hat{\Sigma}_x \beta_t - \frac{1}{1-\alpha} \frac{1}{K} \sum y_i \tilde{g}_i$
यह $G$ अपेक्षा (expectation) में $\nabla L(\beta_t)$ के बराबर है, जो गैर-निजी केंद्रीकृत ग्रेडिएंट से मेल खाता है।

वेरिएंट्स (Variants)

मल्टी-वेक्टर मॉड्यूलेशन (Multi-Vector Modulation): लिप्सचिट्ज स्थिरांक (Lipschitz constant) को कम करने के लिए (और इस प्रकार आवश्यक शोर $\sigma_{DP}$ को कम करने के लिए), लेखक विधि को $m$ ऑर्थोनॉर्मल वेक्टर्स का उपयोग करने के लिए सामान्यीकृत करते हैं। यह सेंसिटिविटी बाउंड को $|1-\alpha| + \lambda\omega$ से घटाकर $|1-\alpha| + \frac{\lambda\omega}{\sqrt{m}}$ कर देता है।
नॉन-इटरेटिव (वन-शॉट) एस्टीमेटर: पेपर में एक क्लोज्ड-फॉर्म मोमेंट एस्टीमेटर भी निकाला गया है जो एक ही चरण में $\beta$ के लिए समाधान करता है, जिससे इटरेटिव विधियों के प्राइवेसी कंपोजिशन खर्चों से बचा जा सकता है।

मुख्य योगदान (Key Contributions)

एकल नमूनों से अनबायस्ड ग्रेडिएंट एस्टीमेशन: यह पेपर प्रदर्शित करता है कि एक विशिष्ट कोसाइन-मॉड्यूलेटेड मैप के माध्यम से डेटा को रूपांतरित करके और पोस्ट-प्रोसेसिंग डी-बायसिंग लागू करके, एक सर्वर अनबायस्ड ग्रेडिएंट एस्टीमेट प्राप्त कर सकता है, भले ही क्लाइंट्स के पास केवल एक नमूना हो।
प्राइवेसी-यूटिलिटी ट्रेड-ऑफ ऑप्टिमाइजेशन:
- विधि एक क्रैमर-राओ लोअर बाउंड (Cramér-Rao lower bound) स्थापित करती है, जो यह सिद्ध करती है कि मॉड्यूलेशन पैरामीटर्स ( $\lambda, \omega$ ) केवल गाऊसी शोर द्वारा प्रदान की गई सुरक्षा के अलावा निजी इनपुट $x_i$ के पुनर्निर्माण (reconstruction) की कठिनाई को सक्रिय रूप से बढ़ाते हैं।
- मल्टी-वेक्टर वेरिएंट को दिखाया गया है कि यह $\sqrt{m}$ के कारक से आवश्यक शोर वेरिएंस को कम करता है, जिससे एक निश्चित प्राइवेसी बजट के लिए उपयोगिता (utility) में सुधार होता है।
सैद्धांतिक गारंटी (Theoretical Guarantees):
- अनबायस्डनेस (Unbiasedness): यह कठोर प्रमाण कि सर्वर का एस्टीमेटर अनबायस्ड है।
- अभिसरण (Convergence): पेपर एस्टीमेटर की एसिम्प्टोटिक नॉर्मलिटी (asymptotic normality) स्थापित करता है और वेरिएंस बाउंड्स निकालता है, जो प्रोजेक्टेड स्टोकेस्टिक ग्रेडिएंट डिसेंट के अभिसरण दरों को दर्शाता है।
- प्राइवेसी अकाउंटिंग: विधि ज़ीरो-कंसन्ट्रेटेड डिफरेंशियल प्राइवेसी (zCDP) अकाउंटिंग का उपयोग करती है, जो अनुक्रमिक राउंड के लिए मानक $(\epsilon, \delta)$ -DP की तुलना में टाइट कंपोजिशन बाउंड्स प्रदान करती है।
पुनर्निर्माण लोअर बाउंड्स (Reconstruction Lower Bounds): लेखक किसी भी अनबायस्ड अटैकर द्वारा $x_i$ को पुनर्निर्मित करने के मीन स्क्वेर्ड एरर (MSE) पर एक सैद्धांतिक निचली सीमा (lower bound) निकालते हैं, जो प्रोटोकॉल पैरामीटर्स के संदर्भ में सीधे प्राइवेसी सुरक्षा को मापता है।

प्रायोगिक परिणाम (Experimental Results)

लेखकों ने पांच वास्तविक दुनिया के रिग्रेशन डेटासेट्स (जैसे CO2 उत्सर्जन, फेयरनेस इन मैरिज ड्यूरेशन, मोड चॉइस) पर दृष्टिकोण का मूल्यांकन किया, जहाँ प्रत्येक प्रशिक्षण उदाहरण को एक अलग क्लाइंट माना गया था।

तुलना: प्रस्तावित मॉड्यूलेटेड इटरेटिव और मॉड्यूलेटेड वन-शॉट एस्टीमेटर्स की तुलना ट्यून किए गए DP-SGD FedAvg बेसलाइन से की गई।
निष्कर्ष:
- उच्च प्राइवेसी (कम $\epsilon$ ): मॉड्यूलेटेड वन-शॉट एस्टीमेटर, इटरेटिव विधियों की तुलना में बेहतर प्रदर्शन करता है। क्योंकि यह एक एकल निजी रिलीज पर निर्भर करता है, यह संचयी प्राइवेसी लॉस (कंपोजिशन) से बचता है जो इटरेटिव DP-SGD में निहित है, जिससे यह अत्यंत सख्त प्राइवेसी बजट होने पर अधिक मजबूत बनता है।
- मध्यम/कम प्राइवेसी (उच्च $\epsilon$ ): मॉड्यूलेटेड इटरेटिव एस्टीमेटर अधिक राउंड के साथ लगातार सुधार करता है और अधिकांश कार्यों पर वन-शॉट विधि और DP-SGD बेसलाइन से बेहतर प्रदर्शन करता है।
- बेसलाइन प्रदर्शन: DP-SGD इस शासन में काफी संघर्ष करता है क्योंकि प्रति राउंड एक एकल नमूने को सुरक्षित करने के लिए आवश्यक शोर, कई राउंड के दौरान कंपोजिशन के कारण सिग्नल को दबा देता है।

महत्व और दावे (Significance and Claims)

यह पेपर एक ऐसे विशिष्ट शासन (regime) को हल करने का दावा करता जहाँ मानक फेडरेटेड लर्निंग लागू करने में असमर्थ है: कठोर गोपनीयता बाधाओं के तहत अत्यंत सीमित डेटा (एक नमूना) वाले उपकरणों से सीखना।

पैराडाइम शिफ्ट: पारंपरिक प्राइवेट FL के विपरीत जो मॉडल अपडेट (ग्रेडिएंट्स/वेट्स) साझा करता है, यह दृष्टिकोण प्राइवेज़्ड डेटा रिप्रेजेंटेशन साझा करता है। यह बदलाव सर्वर को वैश्विक सांख्यिकीय सुधार (statistical corrections) करने की अनुमति देता जो तब असंभव होते जब क्लाइंट केवल शोर वाले स्थानीय ग्रेडिएंट भेजते।
व्यावहारिकता: यह विधि उन उपकरणों को सटीक रिग्रेशन मॉडल सीखने में सक्षम बनाती है जिनके पास न्यूनतम डेटा है, बिना व्यक्तिगत गोपनीयता से समझौता किए या बड़े स्थानीय डेटासेट की आवश्यकता के।
सैद्धांतिक कठोरता: कार्य एक पूर्ण सैद्धांतिक ढांचा प्रदान करता है जिसमें अनबायस्डनेस प्रूफ, वेरिएंस विश्लेषण, अभिसरण गारंटी और पुनर्निर्माण लोअर बाउंड शामिल हैं, जो यह स्थापित करता है कि यह विधि केवल ह्यूरिस्टिक नहीं बल्कि सांख्यिकीय रूप से सुदृढ़ है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण इसे उन परिदृश्यों में तैनात करना संभव बनाता जिन्हें पहले डेटा की कमी और गोपनीयता आवश्यकताओं के कारण असंभव माना जाता था।