🤖 machine learning

Federated and differentially private estimation of KL divergence

यह शोध पत्र FedPriKL प्रस्तुत करता है, जो फेडरेटेड सेटिंग्स में KL डाइवर्जेंस (divergence) का अनुमान लगाने के लिए एक नवीन डिफरेंशियल प्राइवेट विधि है, जो मौजूदा बेसलाइनों की तुलना में संचार ओवरहेड को कम करते हुए सीमित संवेदनशीलता के साथ निष्पक्ष, निम्न-विचलन सटीकता प्राप्त करती है।

मूल लेखक: Sayan Biswas, Graham Cormode, Carsten Maple, Mary Scott

प्रकाशित 2026-08-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sayan Biswas, Graham Cormode, Carsten Maple, Mary Scott

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

डेटा की आधुनिक दुनिया में, जानकारी अक्सर स्मार्टफोन से लेकर पहनने योग्य स्वास्थ्य ट्रैकर जैसे लाखों व्यक्तिगत उपकरणों में बिखरी होती है। यह बिखराव दुनिया के बारे में सीखने का एक शक्तिशाली तरीका बनाता है, जिसमें सभी के डेटा को एक केंद्रीय तिजोरी में एकत्र करने की आवश्यकता नहीं होती है। फेडरेटेड लर्निंग (federated learning) के रूप में जानी जाने वाली यह पद्धति एक केंद्रीय प्रणाली को अपने स्थानीय डेटा पर गणना करने के लिए उपकरणों से पूछकर और फिर केवल परिणामों को साझा करके मॉडल बनाने की अनुमति देती है। हालाँकि, एक महत्वपूर्ण चुनौती बनी हुई है: हम यह कैसे जान सकते हैं कि उपयोग किया जा रहा डेटा समय के साथ बदल रहा है या नहीं? यदि ऐप का उपयोग करने वाले लोगों का व्यवहार बदलता है, तो पुराने डेटा पर बने मॉडल गलत या अप्रासंगिक हो सकते हैं। इसे ठीक करने के लिए, विश्लेषकों को वर्तमान डेटा और एक ज्ञात मानक के बीच के अंतर को मापने की आवश्यकता होती है, जो कि एक ऐसा कार्य है जिसके लिए आमतौर पर कच्चे डेटा (raw data) को देखना आवश्यक होता है। लेकिन एक ऐसी दुनिया में जहाँ गोपनीयता सर्वोपरि है, कच्चे डेटा को प्रकट करना अक्सर असंभव होता है। इसका समाधान इस बात की आवश्यकता है कि व्यक्तिगत विवरणों को उजागर किए बिना गणितीय रूप से इस अंतर को मापने का एक तरीका खोजा जाए।

EPFL, ऑक्सफोर्ड विश्वविद्यालय, वारविक विश्वविद्यालय और इन्फेक्शियस डिजीज डेटा ऑब्जर्वेटरी के शोधकर्ताओं ने इस सटीक समस्या को हल करने के लिए 'FedPriKL' नामक एक नई विधि विकसित की है। उनका कार्य डेटा के दो सेटों की तुलना करने के लिए उपयोग किए जाने वाले एक विशिष्ट गणितीय माप पर केंद्रित है, जो एक उपकरण है जो हमें बताता है कि सूचना का एक समूह संदर्भ बिंदु से कितना दूर हट गया है। इस परिदृश्य में, संदर्भ बिंदु एक सार्वजनिक मानक है जिस पर सभी सहमत होते हैं, जबकि दूसरा समूह उपयोगकर्ताओं के उपकरणों पर रखे गए निजी, संवेदनशील डेटा का है। लक्ष्य यह गणना करना है कि इन दो समूहों के बीच की दूरी कितनी है, बिना केंद्रीय सर्वर द्वारा व्यक्तिगत रिकॉर्ड देखे। शोधकर्ताओं ने एक प्रोटोकॉल बनाया है जो एक केंद्रीय समन्वयक को कुछ चुनिगत, यादृच्छिक (random) उपकरणों से यह जाँचने के लिए पूछने की अनुमति देता है कि उनके स्थानीय डेटा में कुछ विशिष्ट आइटम कितनी बार आते हैं। ये उपकरण फिर केवल उन विशिष्ट मदों की गणना वापस भेजते हैं, जिन्हें सुरक्षित रूप से संयोजित किया जाता है। यह सुनिश्चित करने के लिए कि इन गणनाओं को भी किसी एक व्यक्ति तक न पहुँचा जा सके, सिस्टम अंतिम परिणाम में सावधानीपूर्वक गणना की गई गणितीय 'नॉइज़' (noise) जोड़ता है।

टीम ने पाया कि उनकी विधि उच्च स्तर की सटीकता के साथ काम करती है और साथ ही सख्त गोपनीयता गारंटी भी बनाए रखती है। उन्होंने गणितीय रूप से सिद्ध किया कि उनका दृष्टिकोण एक निष्पक्ष अनुमान (unbiased estimate) प्रदान करता है, जिसका अर्थ है कि परिणाम औसतन सही है, और गोपनीयता की रक्षा के लिए आवश्यक नॉइज़ की मात्रा इतनी कम है कि वह डेटा की उपयोगिता को खराब नहीं करती है। अपने प्रयोगों में, उन्होंने हस्तलिखित अंकों (handwritten digits) के एक बड़े डेटासेट का उपयोग करके सिस्टम का परीक्षण किया, जो एक वास्तविक दुनिया के परिदृश्य का अनुकरण करता है जहाँ हजारों उपयोगकर्ता डेटा में योगदान देते हैं। उन्होंने पाया कि उपकरणों की संख्या और जोड़ी जाने वाली नॉइज़ की मात्रा को सावधानीपूर्वक चुनकर, सिस्टम लगभग उतनी ही सटीक परिणाम दे सकता है जितना कि बिना किसी गोपनीयता सुरक्षा के उपयोग किया गया हो। यह पिछले तरीकों की तुलना में एक महत्वपूर्ण सुधार है जहाँ उपकरण अपना डेटा छिपाने के लिए नॉइज़ जोड़ते थे, एक ऐसी तकनीक जो अक्सर गलत परिणामों की ओर ले जाती थी। यह नई विधि प्रक्रिया के बिल्कुल अंत में, डेटा को सुरक्षित रूप से संयोजित करने के बाद, नॉइज़ जोड़ने को रखती है, जो माप की अखंडता को बनाए रखती है।

शोधकर्ताओं ने यह भी पता लगाया कि विभिन्न सेटिंग्स परिणाम को कैसे प्रभावित करती हैं। उन्होंने पाया कि सिस्टम तब भी अच्छी तरह काम करता है जब किसी भी दिए गए दौर में कुल उपयोगकर्ताओं के एक छोटे से हिस्से को भाग लेने के लिए कहा जाता है, और प्रत्येक उपयोगकर्ता को डेटा भेजने की मात्रा बहुत कम होती है, जो अक्सर एक किलोबाइट से भी कम होती है। यह इसे सीमित बैटरी और मेमोरी वाले उपकरणों के लिए व्यावहारिक बनाता है। अध्ययन ने दिखाया कि विधि डेटा में छोटे बदलावों और बड़े बदलावों के बीच सटीक रूप से अंतर कर सकती है, जो यह तय करने के लिए आवश्यक है कि कंप्यूटर मॉडल को कब अपडेट करने की आवश्यकता है। जबकि सिस्टम का वर्तमान संस्करण डेटा को सुरक्षित रूप से संयोजित करने के लिए एक विश्वसनीय मध्यवर्ती चरण (intermediate step) पर निर्भर करता है, शोधकर्ताओं ने प्रदर्शित किया कि इस चरण को मौजूदा सुरक्षित हार्डवेयर या उन्नत क्रिप्टोग्राफिक तकनीकों का उपयोग करके किया जा सकता है, जिससे यह सुनिश्चित होता है कि कोई भी एकल इकाई कच्चे डेटा को कभी नहीं देख पाती है। यह कार्य डेटा रुझानों की निगरानी करने के लिए एक ठोस मार्ग प्रदान करता है जो उपयोगकर्ता की गोपनीयता का सम्मान करता है, जिससे संगठन व्यक्तियों की गोपनीयता से समझौता किए बिना अपने मॉडल को सटीक रख सकते हैं।

तकनीकी सारांश: FedPriKL – KL डाइवर्जेंस का फेडरेटेड और डिफरेंशियल प्राइवेट अनुमान

समस्या विवरण

आधुनिक फेडरेटेड लर्निंग और एनालिटिक्स में, वितरण विचलन (distribution drift) की निगरानी करना एक महत्वपूर्ण कार्य है ताकि यह निर्धारित किया जा सके कि कब मॉडलों को पुन: प्रशिक्षण (retraining) या फाइन-ट्यूनिंग की आवश्यकता है। इसके लिए वितरित क्लाइंट्स द्वारा रखे गए अनुभवजन्य वितरण ( $P$ ) की एक निश्चित सार्वजनिक संदर्भ वितरण ( $\Pi$ ) के विरुद्ध तुलना करने की आवश्यकता होती है। हालाँकि, क्लाइंट डेटा या पूर्ण हिस्टोग्राम को सीधे साझा करना उच्च संचार लागत और गोपनीयता संबंधी बाधाओं के कारण अक्सर अव्यवहार्य होता है।

मौजूदा दृष्टिकोणों को महत्वपूर्ण बाधाओं का सामना करना पड़ता है:

गोपनीयता (Privacy): डेटा का केंद्रीकृत संग्रह उपयोगकर्ता की गोपनीयता का उल्लंघन करता है।
असंभवता के परिणाम (Impossibility Results): शिफ्ट इनवेरिएंस थ्योरम [9] यह संकेत देता है कि डोमेन आकार से छोटे स्पेस में दो अज्ञात वितरणों के बीच KL डाइवर्जेंस का अनुमान लगाना असंभव है।
संचार (Communication): बड़े डोमेन के लिए क्लाइंट्स से सर्वर तक पूर्ण हिस्टोग्राम भेजना बैंडविड्थ के अनुकूल नहीं है।
स्थानीय विक्षोभ में पूर्वाग्रह (Bias in Local Perturbation): मानक लोकल डिफरेंशियल प्राइवेसी (LDP) दृष्टिकोण, जहाँ क्लाइंट एग्रीगेशन से पहले शोर (noise) जोड़ते हैं, KL डाइवर्जेंस जैसे गैर-रेखीय कार्यों का अनुमान लगाने में महत्वपूर्ण पूर्वाग्रह पेश करते हैं, विशेष रूप से कम संभाव्यता द्रव्यमान (probability mass) को संभालने के दौरान।

यह शोध पत्र एक क्षैतिज फेडरेटेड सेटिंग में $D_{KL}(\Pi \parallel P)$ का अनुमान लगाने की समस्या को संबोधित करता है जहाँ $P$ , $n$ क्लाइंट्स के एकत्रित डेटा द्वारा परिभाषित है, और $\Pi$ एक ज्ञात सार्वजनिक बेंचमार्क है। लक्ष्य औपचारिक उदाहरण-स्तरीय (example-level) डिफरेंशियल प्राइवेसी (DP) प्राप्त करना है और साथ ही संचार ओवरहेड को न्यूनतम करना और एस्टीमेटर की सटीकता बनाए रखना है।

कार्यप्रणाली: FedPriKL

लेखक FedPriKL का प्रस्ताव करते हैं, जो एक सैंपलिंग-आधारित प्रोटोकॉल है जो अनबायस्ड (unbiased) अनुमान प्राप्त करने के लिए "ट्रस्टेड एग्रीगेटर" मॉडल का लाभ उठाता है। मुख्य तकनीकी नवाचार लाइक्लीहुड रेशियो (likelihood ratios) पर आधारित एक अनबायस्ड मोंटे कार्लो एस्टीमेटर है, जिसे सिक्योर एग्रीगेशन और कैलिब्रेटेड नॉइज़ इंजेक्शन के साथ जोड़ा गया है।

मुख्य घटक:

अनबायस्ड मोंटे कार्लो एस्टीमेटर:
पूर्ण डाइवर्जेंस की गणना करने के बजाय, यह विधि संदर्भ वितरण $\Pi$ से $m$ बिंदु $x_i$ सैंपल करती है। प्रत्येक सैंपल के लिए, प्रोटोकॉल लाइक्लीहुड रेशियो $r(x) = P(x)/\Pi(x)$ का अनुमान लगाता है।
फैक्ट IV.2 में व्युत्पन्न पहचान का उपयोग करते हुए, KL डाइवर्जेंस का अनुमान इस फलन (function) के माध्यम से लगाया जाता है:
$\Phi(r(x), \lambda) = \lambda(r(x) - 1) - \ln(r(x))$
सैंपल्स पर इस फलन का एक्सपेक्टेशन (expectation) $D_{KL}(\Pi \parallel P)$ के बराबर होता है। पैरामीटर $\lambda$ एस्टीमेटर के वेरिएंस (variance) को नियंत्रित करता है।
प्रोटोकॉल वर्कफ़्लो (एल्गोरिदम 2):

सैंपलिंग (Sampling): सर्वर क्लाइंट्स के अलग-अलग बैच ( $C_t$ ) चुनता है और $\Pi$ से बिंदु $x_{i,t}$ सैंपल करता है।
सिक्योर एग्रीगेशन (SecAgg): क्लाइंट्स अपने स्थानीय डेटासेट में सैंपल किए गए बिंदुओं की आवृत्ति (frequency) की गणना करते हैं। इन आवृत्तियों को एक सिक्योर एग्रीगेशन प्रोटोकॉल (जैसे शमीर सीक्रेट शेयरिंग) का उपयोग करके एकत्रित किया जाता है ताकि व्यक्तिगत क्लाइंट डेटा को प्रकट किए बिना वैश्विक अनुभवजन्य संभाव्यता द्रव्यमान $P(x)$ की गणना की जा सके।
ट्रस्टेड एग्रीगेटर प्रोसेसिंग: एकत्रित संभाव्यताएं एक ट्रस्टेड एग्रीगेटर को भेजी जाती हैं। एग्रीगेटर लाइक्लीहुड रेशियो $r(x)$ की गणना करता है, गैर-रेखीय रूपांतरण $\Phi$ लागू करता है, और परिणाम में कैलिब्रेटेड गॉसियन नॉइज़ ( $\eta_{\epsilon, \delta}$ ) जोड़ता है।
अंतिम अनुमान (Final Estimation): अंतिम DP अनुमान बनाने के लिए शोर युक्त रूपांतरित मानों का औसत निकाला जाता है।

गोपनीयता तंत्र (Privacy Mechanism):
बेसलाइन दृष्टिकोणों के विपरीत जहाँ क्लाइंट स्थानीय रूप से शोर जोड़ते हैं (प्री-एग्रीगेशन), FedPriKL शोर को सिक्योर एग्रीगेशन के बाद लेकिन गैर-रेखीय रूपांतरण को अंतिम रूप देने से पहले जोड़ता है। यह स्थानीय शोर में नकारात्मक मानों को क्लिप करने से उत्पन्न होने वाले पूर्वाग्रह (bias) से बचता है (जो LDP में एक सामान्य समस्या है)। एस्टीमेटर की संवेदनशीलता (sensitivity) को सीमित किया गया है (थ्योरम IV.4 और IV.5), जिससे $(\epsilon, \delta)$ -DP को संतुष्ट करने के लिए सटीक नॉइज़ कैलिब्रेशन संभव हो पाता है।
ट्रस्ट मॉडल:
प्रोटोकॉल एक ट्रस्टेड एग्रीगेटर (या TEE/SMC कार्यान्वयन) को मानता है जो केवल सैंपल किए गए बिंदुओं के सुरक्षित रूप से एकत्रित सांख्यिकी को देखता है, न कि कच्चा क्लाइंट डेटा। सर्वर "ऑनेस्ट-बट-क्यूरियस" (honest-but-curious) है और उसे केवल अंतिम शोर युक्त अनुमान प्राप्त होता है।

मुख्य योगदान

समस्या का औपचारिककरण: पेपर औपचारिक डिफरेंशियल प्राइवेसी गारंटी के साथ फेडरेटेड सेटिंग में KL डाइवर्जेंस की गणना करने की समस्या को औपचारिक रूप देता है, विशेष रूप से एक सार्वजनिक संदर्भ बनाम एक निजी अनुभवजन्य वितरण के मामले को संबोधित करता है।
FedPriKL एल्गोरिदम: लेखक $D_{KL}(\Pi \parallel P)$ के लिए पहला संचार-कुशल, सैंपलिंग-आधारित फेडरेटेड एस्टीमेटर प्रस्तुत करते हैं जो औपचारिक उदाहरण-स्तरीय DP प्रदान करता है।
सैद्धांतिक विश्लेषण:
- अनबायस्डनेस (Unbiasedness): सिद्ध किया गया कि एस्टीमेटर अनबायस्ड है (थ्योरम IV.7)।
- सेंसिटिविटी बाउंड्स: एस्टीमेटर के लिए सीमित संवेदनशीलता स्थापित की गई, जिससे इष्टतम शोर स्केल (noise scales) का व्युत्पन्न संभव हुआ (थ्योरम IV.4, IV.5)।
- वेरिएंस कैरेक्टराइजेशन: $\lambda, \epsilon$ और सैंपल साइज के फलन के रूप में एस्टीमेटर के वेरिएंस का सैद्धांतिक लक्षण वर्णन प्रदान किया, और वेरिएंस को न्यूनतम करने के लिए इष्टतम $\lambda$ निकाला (थ्योरम V.1, V.3)।
संचार दक्षता (Communication Efficiency): प्रति-क्लाइंट पेलोड डोमेन आकार से स्वतंत्र है। $2^{16}$ तत्वों के डोमेन के लिए भी, पेलोड 1 KB से कम रहता है।

प्रयोगात्मक परिणाम

लेखकों ने FEMNIST डेटासेट (लेखक द्वारा विभाजित हस्तलिखित अंक) पर FedPriKL का मूल्यांकन किया, और इसकी तुलना एक नॉन-प्राइवेट एस्टीमेटर और एक बेसलाइन LDP दृष्टिकोण (एल्गोरिदम 1) से की।

सटीकता बनाम गोपनीयता (Accuracy vs. Privacy): जब प्राइवेसी बजट $\epsilon$ मध्यम ( $0.5 \le \epsilon \le 1.0$ ) होता है, तो FedriKL नॉन-प्राइवेट एस्टीमेटर के समान सटीकता प्राप्त करता है।
बेसलाइन से श्रेष्ठता: FedriKL सटीकता और स्थिरता के मामले में बेसलाइन (लोकल परटर्बेशन) से काफी बेहतर प्रदर्शन करता है। बेसलाइन आवश्यक रूप से नकारात्मक संभाव्यता अनुमानों को क्लिप करने के कारण पूर्वाग्रह (bias) से ग्रस्त होती है।
पैरामीटर संवेदनशीलता:
- $\lambda$ : इष्टतम वेरिएंस पैरामीटर $\lambda$ अनुभवजन्य रूप से 0 के करीब पाया गया है।
- सैंपल साइज ( $m$ ): निकट-इष्टतम सटीकता प्राप्त करने के लिए नमूनों की एक छोटी संख्या ( $m=10$ ) पर्याप्त है, जिससे क्लाइंट संचार हल्का रहता है।
- बैच साइज: भाग लेने वाले क्लाइंट्स की संख्या में बदलाव अभिसरण (convergence) की दर को प्रभावित करता है लेकिन इष्टतम $\lambda$ को मौलिक रूप से नहीं बदलता है।
मजबूती (Robustness): विधि विभिन्न डाइवर्जेंस परिमाण (छोटे से बड़े KL मानों तक) में कम एब्सोल्यूट एरर बनाए रखती है।

महत्व और दावे

पेपर का दावा है कि FedPriKL पहला संचार-कुशल फेडरेटेड एस्टीमेटर है जो सार्वजनिक संदर्भ और निजी जनसंख्या के बीच KL डाइवर्जेंस की गणना करता है और औपचारिक उदाहरण-स्तरीय डिफरेंशियल प्राइवेसी प्रदान करता है।

इसका महत्व निम्नलिखित में निहित है:

ड्रिफ्ट डिटेक्शन को सक्षम बनाना: प्लेटफॉर्म्स को संवेदनशील उपयोगकर्ता डेटा को उजागर किए बिना वितरण बदलावों का पता लगाने और मॉडल पुन: प्रशिक्षण को ट्रिगर करने के लिए एक गोपनीयता-संरक्षित तंत्र प्रदान करना।
असंभवता को पार करना: अज्ञात वितरणों के स्केचिंग से संबंधित असंभवता परिणामों से बचते हुए, समस्या को एक ज्ञात सार्वजनिक संदर्भ तक सीमित करना।
उपयोगिता और गोपनीयता के बीच संतुलन: यह प्रदर्शित करता है कि एक विश्वसनीय घटक के माध्यम से पोस्ट-एग्रीगेशन चरण में नॉइज़ इंजेक्शन स्टेप को स्थानांतरित करके, सख्त गोपनीयता प्रतिबंधों के तहत उच्च उपयोगिता बनाए रखी जा सकती है, जिससे स्थानीय विक्षोभ विधियों में अंतर्निहित पूर्वाग्रह से बचा जा सके।

लेखक नोट करते हैं कि ट्रस्टेड एग्रीगेटर (या TEE/SMC) पर निर्भरता एक व्यावहारिक समझौता है जिसे सुरक्षित हार्डवेयर या मल्टी-पार्टी कंप्यूटेशन के माध्यम से निपटाया जा सकता है, और वे इस विश्वास धारणा को हटाने को भविष्य के कार्य की दिशा के रूप में पहचानते हैं।