📊 statistics

Differentially Private Nonparametric Modal Learning with Applications to Regression and Clustering

यह शोध पत्र DP-GRAMS प्रस्तुत करता है, जो डेंसिटी मोड्स (density modes) का अनुमान लगाने के लिए एक डिफरेंशियल प्राइवेट, मीन-शिफ्ट-प्रेरित एल्गोरिदम है, जो हॉल्डर स्मूथनेस (Hölder smoothness) की स्थितियों के तहत निकट-इष्टतम त्रुटि दर प्राप्त करता है और निजी रिग्रेशन एवं क्लस्टरिंग अनुप्रयोगों तक विस्तृत होता है।

मूल लेखक: Arkajyoti Bhattacharjee, Arnab Auddy

प्रकाशित 2026-08-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arkajyoti Bhattacharjee, Arnab Auddy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लोगों से भरे एक भीड़भाड़ वाले कमरे को समझने की कोशिश कर रहे हैं। यदि आप केवल "औसत" व्यक्ति के बारे में पूछते हैं, तो आपको ऐसे किसी व्यक्ति का विवरण मिल सकता है जो वास्तव में अस्तित्व में ही नहीं है—लंबा लेकिन छोटा, टोपी पहने हुए लेकिन बिना जूतों के। सांख्यिकी (statistics) में, यही कारण है कि हम औसतों के बजाय "मोड्स" (modes) की तलाश करते हैं। मोड एक स्थानीय शिखर (local peak) है, वह स्थान जहाँ भीड़ सबसे घनी होती है। यदि कमरे में अलग-अलग कोनों में बातचीत कर रहे दोस्तों के दो अलग समूह हैं, तो वहाँ दो मोड होंगे। इन शिखरों को खोजने से हमें डेटा में छिपे हुए उपसमूहों (subgroups) को देखने में मदद मिलती है, चाहे वह वीडियो में चलती हुई वस्तुओं को ट्रैक करना हो या जीन गतिविधि के आधार पर यह पता लगाना हो कि किसी रोगी को किस प्रकार का कैंसर है।

हालाँकि, इसमें एक पेंच है। इन शिखरों को खोजने के लिए, आपको कच्चे डेटा (raw data) को देखना पड़ता है, जिसमें अक्सर चिकित्सा रिकॉर्ड या बैंक विवरण जैसे संवेदनशील रहस्य होते हैं। यदि आप केवल शिखर खोजने के लिए संख्याओं को प्रोसेस करते हैं, तो आप अनजाने में यह प्रकट कर सकते हैं कि कमरे में कौन था। यहीं पर "डिफरेंशियल प्राइवेसी" (differential privacy) काम आती है। इसे एक जादुई शोर मशीन (noise machine) के रूप में सोचें। यह डेटा में बस इतना 'स्टैटिक' जोड़ देती है कि भीड़ का समग्र आकार स्पष्ट बना रहता है, लेकिन किसी एक व्यक्ति की पहचान नहीं की जा सकती। चुनौती वैज्ञानिकों के लिए यह रही है: हम भीड़ के सबसे घने हिस्सों (मोड्स) को कैसे खोजें जबकि शोर मशीन चालू रहे? यदि शोर बहुत अधिक है, तो शिखर गायब हो जाते हैं; यदि यह बहुत कम है, तो रहस्य लीक हो जाते हैं।

यह शोध पत्र, जिसका शीर्षक "डिफरेंशियल प्राइवेटी नॉनपैरामेट्रिक मोडल लर्निंग" (Differentially Private Nonparametric Modal Learning) है, इसी समस्या पर काम करता है। लेखक, अर्काज्योति भट्टाचार्जी और अर्नब ऑडिट, एक नई विधि प्रस्तावित करते हैं जिसे DP-GRAMS (Differentially Private GRadient Ascent for Mode Seeking) कहा जाता है। कल्पना कीजिए कि आप एक धुंधले जंगल में पहाड़ की चोटी खोजने की कोशिश कर रहे हैं, लेकिन आपकी आँखों पर पट्टी बंधी है। आप चोटी को देख नहीं सकते, लेकिन आप अपने पैरों के नीचे ढलान को महसूस कर सकते हैं। यदि आप ऊपर की ओर चढ़ना जारी रखते हैं, तो अंततः आप चोटी तक पहुँच ही जाएंगे। सांख्यिकी में, इसे "ग्रेडिएंट एसेंट" (gradient ascent) कहा जाता है। उनका तरीका यह करता है, लेकिन एक ट्विस्ट के साथ: वे आपके द्वारा उठाए गए हर कदम में "प्राइवेसी नॉइज़" की एक परत जोड़ देते हैं ताकि कोई भी जो आपके पथ को देख रहा है, यह न बता सके कि आप ठीक कहाँ से शुरू हुए थे या आप किन विशिष्ट पेड़ों के पास से गुजरे थे।

शोध पत्र में पाया गया कि यह विधि उल्लेखनीय रूप से अच्छी तरह काम करती है। उन्होंने गणितीय रूप से सिद्ध किया कि उनका एल्गोरिदम उच्च संभावना के साथ एक जटिल वितरण (distribution) के सभी प्रमुख शिखरों को खोज सकता है, भले ही वह व्यक्तिगत डेटा बिंदुओं की सुरक्षा कर रहा हो। उन्होंने दिखाया कि उनके अनुमानों में त्रुटि एक विशिष्ट पैटर्न का पालन करती है: जैसे-जैसे आपके पास अधिक डेटा ( $n$ ) आता है, त्रुटि कम होती जाती है, और जैसे-जैसे आप थोड़ा अधिक प्राइवेसी बजट ( $\epsilon$ ) की अनुमति देते हैं, अनुमान अधिक सटीक होते जाते हैं। उन्होंने यह भी स्थापित किया कि उनकी विधि इस कार्य को करने का लगभग सबसे अच्छा तरीका है, जिसका अर्थ है कि आप गोपनीयता के नियमों को तोड़े बिना इससे बेहतर कुछ नहीं कर सकते।

इसे सफल बनाने के लिए, उन्होंने यात्रा शुरू करने का एक चतुर तरीका ईजाद किया। पहाड़ों के बारे में अनुमान लगाने के बजाय, वे संभावित ऊंचे क्षेत्रों में शुरुआती बिंदु चुनने के लिए एक "डेंसिटी-अवेयर" (density-aware) मानचित्र का उपयोग करते हैं, लेकिन वे इसे इस तरह से करते हैं जिससे यह सुनिश्चित हो सके कि वे एक ही स्थान को दोबारा न चुनें और बहुत अधिक जानकारी भी प्रकट न करें। वे "कोरिलेटेड नॉइज़" (correlated noise) नामक तकनीक का भी उपयोग करते हैं, जो एक समूह के हाइकर्स को एक साझा, थोड़े डगमगाते हुए कंपास देने जैसा है। यदि दो हाइकर्स एक-दूसरे के करीब हैं, तो उनके कंपास एक साथ डगमगाते हैं, जिससे वे अपने प्राइवेसी बजट का बहुत जल्दी उपयोग करने से बच जाते हैं।

लेखकों ने केवल सिद्धांत तक ही सीमित नहीं रहे। उन्होंने सिंथेटिक डेटा (बनाए गए नंबर) और वास्तविक दुनिया के डेटासेट पर अपने तरीके का परीक्षण किया, जिसमें हस्तलिखित अंकों (MNIST) की छवियां और कैंसर रोगियों के जीन एक्सप्रेशन डेटा शामिल थे। इन परीक्षणों में, DP-GRAMS ने समूहों और शिखरों को सफलतापूर्वक खोजा, और जब प्राइवेसी बजट उचित था, तो इसने नॉन-प्राइवेट तरीकों के लगभग समान प्रदर्शन किया, और मौजूदा प्राइवेसी-संरक्षण विधियों की तुलना में काफी बेहतर प्रदर्शन किया। उन्होंने यह भी दिखाया कि इस विचार को रिग्रेशन (मानों की भविष्यवाणी करना) और क्लस्टरिंग (डेटा को समूहित करना) में कैसे विस्तारित किया जा सकता है, जिससे यह सिद्ध होता है कि इन "शिखरों" को खोजना जटिल, संवेदनशील डेटा को समझने के लिए एक शक्तिशाली उपकरण है, बिना व्यक्तियों की गोपनीयता से समझौता किए।

तकनीकी सारांश: रिग्रेशन और क्लस्टरिंग के अनुप्रयोगों के साथ डिफरेंशियल प्राइवेट नॉनपैरामेट्रिक मोडल लर्निंग

समस्या विवरण

घनत्व मोड (density modes)—जो कि एक संभाव्यता घनत्व फलन (probability density function) के स्थानीय मैक्सिमाइज़र होते हैं—का अनुमान लगाना सांख्यिकी की एक मौलिक समस्या है, जो जटिल, मल्टीमॉडल वितरणों के स्थानीयकृत और व्याख्यात्मक सारांश प्रदान करती है। वैश्विक सारांशों (जैसे माध्य या माध्यिका) के विपरीत, मोड विभिन्न उप-जनसंख्याओं को प्रकट करते हैं और कंप्यूटर विज़न से लेकर नॉनपैरामेट्रिक रिग्रेशन तक के अनुप्रयोगों में महत्वपूर्ण भूमिका निभाते हैं। हालाँकि, मोड को रिकवर करना स्वाभाविक रूप से गैर-नियमित (non-regular) है; घनत्व में छोटे परिवर्तन क्रिटिकल पॉइंट्स को बना या नष्ट कर सकते हैं, जिससे मोड का अनुमान स्थानीय स्मूथनेस, कर्वेचर और सेपरेशन के प्रति संवेदनशील हो जाता है।

जबकि माध्य, रिग्रेशन और क्लस्टरिंग के लिए डिफरेंशियल प्राइवेट (DP) विधियों पर महत्वपूर्ण शोध मौजूद है, प्राइवेट मोड एस्टीमेशन (private mode estimation) अभी भी काफी हद तक अनछुआ रहा है। पैचियानो एट अल. (2021) द्वारा प्रस्तावित निकटतम-पड़ोसी (nearest-neighbor) आधारित विधि जैसे मौजूदा दृष्टिकोण, सिंगल-मोड सेटिंग्स तक सीमित हैं या उनमें स्मूथनेस-आधारित अनुकूलता गारंटी का अभाव है। यह शोध पत्र $(\varepsilon, \delta)$ -डिफरेंशियल प्राइवेसी गारंटी प्रदान करते हुए संवेदनशील डेटा से कई घनत्व मोड को रिकवर करने की चुनौती को संबोधित करता है।

कार्यप्रणाली: DP-GRAMS

लेखक DP-GRAMS (डिफरेंशियल प्राइवेट जीआरैडिएंट एसेंट फॉर मोड सीकिंग) प्रस्तावित करते हैं, जो एक मल्टी-स्टेज एल्गोरिदम है जो क्लासिकल मीन-शिफ्ट प्रक्रिया को डिफरेंशियल प्राइवेट सेटिंग में अनुकूलित करता है। यह विधि लॉग-घनत्व (स्कोर फंक्शन) पर मीन-शिफ्ट और ग्रेडिएंट एसेंट के बीच समानता का लाभ उठाती है।

1. स्टेबलाइज्ड स्कोर एस्टीमेशन (Stabilized Score Estimation)

प्राइवेसी सुनिश्चित करने के लिए, एल्गोरिदम सीधे रॉ लॉग-घनति ग्रेडिएंट $\nabla \log \hat{p}(x)$ पर कार्य नहीं करता है, जो अत्यधिक चरम अवलोकनों (extreme observations) के प्रति अत्यधिक संवेदनशील हो सकता है। इसके बजाय, यह एक स्टेबलाइज्ड स्कोर एस्टीमेटर का उपयोग करता है:
$\hat{s}_{A, p_{floor}}(x) = \frac{\text{clip}_A(\nabla \hat{p}(x))}{\max\{\hat{p}(x), p_{floor}\}}$
जहाँ $\hat{p}(x)$ एक कर्नल डेन्सिटी एस्टीमेटर (KDE) है। अंश (numerator) को बाउंडिंग सेंसिटिविटी के लिए $A$ स्तर तक क्लिप किया गया है, और हर (denominator) को शून्य के करीब मानों के कारण होने वाले विभाजन को रोकने के लिए $p_{floor}$ पर फ्लोर किया गया है।

2. तीन-चरणीय पाइपलाइन

एल्गोरिदम तीन अलग-अलग चरणों में आगे बढ़ता है:

डेंसिटी-अवेयर प्राइवेट (DAP) इनिशियलाइजेशन:
मोड्स खोजने के लिए अच्छी इनिशियलाइजेशन की आवश्यकता होती है। लेखक एक पब्लिक ग्रिड से प्रारंभिक बिंदु सैंपल करने के लिए एक DAP योजना पेश करते हैं। यह स्थानीय एम्पिरिकल मास (स्थानीय घनत्व का अनुमान लगाने वाला) पर आधारित यूटिलिटी फंक्शन का उपयोग करके एक्सपोनेंशियल मैकेनिज्म का उपयोग करता है। महत्वपूर्ण रूप से, यह एक लोकल सप्रेशन रूल का उपयोग करता है: एक एंकर चुनने के बाद, सभी ग्रिड पॉइंट्स को $\rho_{init}$ त्रिज्या के भीतर कैंडिडेट सेट से हटा दिया जाता है। यह सुनिश्चित करता है कि उच्च-घनत्व वाले क्षेत्रों (मोडल बेसिन) का विविध कवरेज मिले, बिना एक ही पड़ोस को बार-बार चुनने के, जिससे $k \asymp M \log n$ ड्रॉ के साथ सभी वास्तविक मोड्स का उच्च-संभाव्यता कवरेज प्राप्त होता है।
कोरिलेटेड नॉइजी ग्रेडिएंट एसेंट (Correlated Noisy Gradient Ascent):
प्रत्येक इनिशियलाइजेशन से, एल्गोरिदम स्टेबलाइज्ड स्कोर एस्टीमेटर पर स्टोकेस्टिक ग्रेडिएंट एसेंट करता है। प्राइवेसी संतुष्ट करने के लिए:
- ग्रेडिएंट क्लिपिंग: स्कोर योगदान को क्लिप किया जाता है।
- कोरिलेटेड नॉइज़: चूंकि कई ट्रैजेक्टरीज अलग-अलग बिंदुओं से शुरू होती हैं लेकिन एक ही मोड पर अभिसरित (converge) हो सकती हैं, इसलिए प्रत्येक ट्रैजेक्टरी में स्वतंत्र शोर जोड़ने से अत्यधिक प्राइवेसी कॉस्ट आएगी। इसके बजाय, DP-GRAMS प्रत्येक इटरेशन में कोरिलेटेड गॉसियन नॉइज़ जोड़ता है। सहसंबंध संरचना वर्तमान इटरेट्स की स्थानिक निकटता पर आधारित एक एक्सपोनेंशियल कर्नल द्वारा प्रेरित होती है। यह एक ही प्राइवेसी बजट के तहत कई ट्रैजेक्टरीज के संयुक्त रिलीज की अनुमति देता है।
मर्जिंग (Merging):
अंतिम चरण आस-पास के कैंडिडेट मोड्स को मर्ज करता है जो एसेंट ट्रैजेक्टरीज से उत्पन्न होते हैं। यदि मोड्स की संख्या ज्ञात नहीं है, तो रेडियस-आधारित मर्ज का उपयोग किया जाता है; यदि ज्ञात है, तो वार्ड-लिंकेज एग्लोमेरेटिव क्लस्टरिंग लागू की जाती है। यह पोस्ट-प्रोसेसिंग स्टेप डिटर्मिनिस्टिक है और अतिरिक्त प्राइवेसी बजट का उपभोग नहीं करता है।

3. विस्तार (Extensions)

इस फ्रेमवर्क को दो डाउनस्ट्रीम कार्यों के लिए विस्तारित किया गया है:

DP-PMS: एक प्राइवेट मोडल रिग्रेशन विधि जो कंडीशनल मोड्स का अनुमान लगाने के लिए रिस्पॉन्स दिशा में अपडेट होती है।
DP-GRAMS-C: एक क्लस्टरिंग पाइपलाइन जो प्राइवेट मोडल सेंटर्स को रिलीज करती है और डेटा पॉइंट्स को डिटर्मिनिस्टिक रूप से असाइन करती है।

सैद्धांतिक योगदान

यह पेपर स्थापित करता है कि यदि वास्तविक घनत्व $\beta > 2$ स्मूथनेस पैरामीटर के साथ स्थानीय रूप से एक हॉल्डर क्लास (Hölder class) से संबंधित है, तो कठोर सांख्यिकीय और प्राइवेसी गारंटी प्राप्त होती है।

प्राइवेसी गारंटी

पूर्ण DP-GRAMS पाइपलाइन $(\varepsilon, \delta)$ -डिफरेंशियल प्राइवेसी को संतुष्ट करती है। प्राइवेसी बजट को इनिशियलाइजेशन ( $\varepsilon_{init}$ ) और एसेंट चरणों ( $\varepsilon_{modes}$ ) के बीच विभाजित किया गया है। इनिशियलाइजेशन के लिए एक्सपोनेंशियल मैकेनिज्म और एसेंट के लिए कोरिलेटेड गॉसियन मैकेनिज्म का उपयोग यह सुनिश्चित करता है कि प्राइवेसी कॉस्ट मोड्स की संख्या और इटरेशन्स के साथ कुशलतापूर्वक स्केल होती है।

एरर रेट्स और अनुकूलता (Error Rates and Optimality)

लेखक अनुमानित मोड्स के लिए मीन स्क्वेयर्ड एरर (MSE) पर ऊपरी सीमाएं (upper bounds) प्राप्त करते हैं। एरर रेट इस रूप में है:
$O\left( \left(\frac{\log n}{n}\right)^{\frac{2(\beta-1)}{d+2\beta}} \right) + O\left( \left(\frac{\text{polylog}(n, \delta)}{n^2 \varepsilon^2}\right)^{\frac{\beta-1}{d+\beta}} \right)$

पहला पद गैर-प्राइवेट सांख्यिकीय एरर को दर्शाता है, जो मोड एस्टीमेशन के लिए ज्ञात मिनिमैक्स दरों (जैसे ट्सेबाकोव, 1990) से मेल खाता है।
दूसरा पद प्राइवेसी बाधाओं के कारण होने वाली गिरावट (degradation) को कैप्चर करता है।

इसके अलावा, पेपर प्राइवेट मोड एस्टीमेशन के लिए मिनिमैक्स लोअर बाउंड्स प्राप्त करता है, जो दिखाता है कि प्रस्तावित एस्टीमेटर्स MSE में लॉगरिदमिक फैक्टर्स तक लगभग मिनिमैक्स ऑप्टिमल हैं। यह एक महत्वपूर्ण परिणाम है, क्योंकि यह प्रदर्शित करता है कि यदि घनत्व पर्याप्त रूप से स्मूथ है, तो प्राइवेसी कॉस्ट फंडामेंटली सैंपल साइज $n$ और डायमेंशन $d$ पर कन्वर्जेंस रेट की निर्भरता को नहीं बदलती है।

प्रायोगिक परिणाम

सिंथेटिक और वास्तविक दुनिया के डेटासेट पर व्यापक प्रयोग सैद्धांतिक निष्कर्षों की पुष्टि करते हैं:

सिंथेटिक डेटा: बाइवेरिएट गॉसियन मिश्रणों और हेवी-टेल्ड $t$ -मिक्सचर पर, DP-GRAMS सफलतापूर्वक कई मोड्स को रिकवर करता है। प्राइवेसी-यूटिलिटी ट्रेड-ऑफ कर्व्स दिखाते हैं कि यह विधि नॉन-प्राइवेट मीन शिफ्ट के साथ प्रतिस्पर्धी प्रदर्शन करती है, विशेष रूप से जैसे-जैसे सैंपल साइज $n$ और प्राइवेसी बजट $\varepsilon$ बढ़ता है।
मोडल रिग्रेशन: साइनुसोइडल और पीसवाइज-कांस्टेंट मिक्सचर डेटा पर, प्राइवेट मोडल रिग्रेशन (DP-PMS) उन मल्टीमॉडल कंडीशनल स्ट्रक्चर को सफलतापूर्वक ट्रैक करता है जिन्हें मीन-बेस्ड मेथड्स (जैसे LOWESS) पकड़ने में विफल रहते हैं।
क्लस्टरिंग: MNIST और कैंसर RNA-Seq डेटासेट पर, DP-GRAMS-C मध्यम प्राइवेसी बजट पर DP- $k$ -Means की तुलना में एडजस्टेड रैंड इंडेक्स (ARI) और नॉर्मलाइज्ड म्यूचुअल इंफॉर्मेशन (NMI) में बेहतर प्रदर्शन करता है। यह उच्च-आयामी रिड्यूस्ड स्पेस में क्लस्टर ज्योमेट्री को प्रभावी ढंग से संरक्षित करता है।

महत्व और दावे

यह पेपर दावा करता है कि यह डिफरेंशियल प्राइवेट नॉनपैरामेट्रिक मोड एस्टीमेशन के लिए पहला व्यापक फ्रेमवर्क प्रदान करता है जो:

मल्टीपल मोड्स को संभालता है: सिंगल मोड या निकटतम-पड़ोसी दृष्टिकोणों पर केंद्रित पिछले कार्यों के विपरीत, यह विधि अलग-अलग मोड्स के सेट को रिकवर करने के लिए डिज़ाइन किया गया है।
लगभग-अनुकूलता (Near-Optimality) प्राप्त करता है: हायर-ऑर्डर कर्नल्स का उपयोग करके और स्मूथनेस ( $\beta > 2$ ) का लाभ उठाकर, यह विधि एरर रेट्स प्राप्त करता है जो MSE में लॉगरिदमिक फैक्टर्स तक लगभग मिनिमैक्स ऑप्टिमल हैं, जो कि निकटतम-पड़ोसी एस्टीमेटर्स की सीमाओं को पार करता है जो हायर-ऑर्डर स्मूथनेस का लाभ नहीं उठा सकते।
व्यावहारिक प्राइवेसी मैकेनिज्म: DAP इनिशियलाइजेशन और कोरिलेटेड नॉइज़ मैकेनिज्म का परिचय डेटा वितरण की सूक्ष्मता (मोड्स खोजने के लिए आवश्यक) और व्यक्तिगत डेटा बिंदुओं की सुरक्षा की आवश्यकता के बीच तनाव के लिए एक व्यावहारिक समाधान प्रदान करता है।
डाउनस्ट्रीम यूटिलिटी: यह फ्रेमवर्क स्वाभाविक रूप से मोडल रिग्रेशन और क्लस्टरिंग में विस्तारित होता है, जो प्राइवेसी बाधाओं के तहत नॉनपैरामेट्रिक कार्यों के लिए एक एकीकृत दृष्टिकोण प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि मोड एस्टीमेशन की समस्या क्रिटिकल पॉइंट्स की गैर-नियमित प्रकृति के कारण चुनौतीपूर्ण है, प्रस्तावित DP-GRAMS एल्गोरिदम एक सांख्यिकीय रूप से सुदृढ़ और व्यावहारिक रूप से लागू करने योग्य समाधान प्रदान करता है जिसमें अनुकूल प्राइवेसी-यूटिलिटी ट्रेड-ऑफ है।