Statistical Properties of Nonparametric MLE under Laplace Noise

यहाँ "Statistical Properties of Nonparametric MLE under Laplace Noise" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

यह शोध पत्र स्थानीय रूप से भिन्न रूप से निजीकृत (locally differentially private - LDP) अवलोकनों से एक अज्ञात गुप्त वितरण (latent distribution) $g_0$ को पुनः प्राप्त करने की समस्या को संबोधित करता है। LDP सेटिंग में, व्यक्तिगत डेटा बिंदुओं $\theta_i$ को रिलीज़ करने से पहले एक योगात्मक लाप्लास तंत्र (additive Laplace mechanism) के माध्यम से निजीकृत किया जाता है: $X_i = \theta_i + Z_i$, जहाँ $Z_i \sim \text{Lap}(0, b)$ है। विश्लेषक केवल निजीकृत नमूनों $X_1, \dots, X_n$ को देखता है, जो गुप्त वितरण और लाप्लास कर्नेल (Laplace kernel) के अभिसरण (convolution) से प्राप्त होते हैं।

यह सेटअप एक डीकनवोल्यूशन (deconvolution) समस्या उत्पन्न करता है जहाँ लक्ष्य $g_0$ का गैर-पैरामीट्रिक (nonparametrically) अनुमान लगाना है। यहाँ पहचाना गया केंद्रीय तनाव गोपनीयता और उपयोगिता (privacy and utility) के बीच का संतुलन है: अधिक मजबूत गोपनीयता (बड़ा शोर पैमाना $b$) लाप्लास कर्नेल के व्युत्क्रम (inversion) को कम स्थिर बनाता है, जिससे गुप्त वितरण की रिकवरी जटिल हो जाती है। यह शोध पत्र इस समस्या के लिए नॉनपैरामीट्रिक मैक्सिमम लाइकलीहुड एस्टिमेटर (NPMLE) पर ध्यान केंद्रित करता है, विशेष रूप से 1-वॉसरस्टीन दूरी (1-Wasserstein distance) के तहत इसकी गणनात्मक सुगमता (computational tractability) और सांख्यिकीय अभिसरण दरों (statistical convergence rates) का विश्लेषण करता है।

कार्यप्रणाली (Methodology)

1. गणनात्मक पुनर्गठन (समर्थन न्यूनीकरण - Support Reduction)
लेखक पहले $\mathcal{P}([-a, a])$ के स्पेस पर NPMLE अनुकूलन (optimization) की अनंत-आयामी प्रकृति से निपटते हैं।

• समर्थन लक्षण वर्णन (Support Characterization): लाप्लास कर्नेल के विशिष्ट आकार (मूल बिंदु पर गैर-विभेद्य, और $(0, \infty)$ पर सख्त उत्तल और घटता हुआ) का लाभ उठाते हुए, लेखक सिद्ध करते हैं कि किसी भी NPMLE समाधान का समर्थन (support) गुप्त डोमेन $[-a, a]$ पर प्रक्षेपित अवलोकनों के सेट के भीतर ही होना चाहिए।
• परिमित-आयामी न्यूनीकरण (Finite-Dimensional Reduction): यह परिणाम अनुकूलन समस्या को सभी मिश्रण वितरणों (mixing distributions) पर खोजने के बजाय, $n$ प्रक्षेपित अवलोकनों को दिए गए मिश्रण भारों (mixture weights) पर एक सख्त उत्तल अनुकूलन में बदल देता है।
• एल्गोरिदम: इस न्यूनीकरण के आधार पर, लेखक एक एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं जो निश्चित समर्थन बिंदुओं (fixed support points) के लिए भार को पुनरावृत्ति (iteratively) से अपडेट करता है, जो कम किए गए लॉग-लाइकलीहुड के अद्वितीय वैश्विक मैक्सिमाइज़र (global maximizer) की ओर अभिसरण सुनिश्चित करता है।

2. सांख्यिकीय विश्लेषण (डीकनवोल्यूशन असमानता - Deconvolution Inequality)
अभिसरण दर का विश्लेषण करने के लिए, लेखक लाप्लास तंत्र के लिए विशेष रूप से तैयार की गई एक नई डीकनवोल्यूशन असमानता विकसित करते हैं।

• मेट्रिक (Metric): अनुमान त्रुटि को 1-वॉसरस्टीन दूरी ($W_1$) का उपयोग करके मापा जाता है, जो उपयुक्त है क्योंकि भले ही वास्तविक $g_0$ निरंतर (continuous) हो, NPMLE विविक्त (discrete) होता है।
• व्युत्क्रमण तर्क (Inversion Argument): पूर्व कार्य (विशेष रूप से [30]) की फ्रीक्वेंसी-स्प्लिटिंग रणनीति को अपनाते हुए, लेखक निजीकृत घनत्व अनुमानों की $L_1$ त्रुटि ($\|m_g - m_{g_0}\|_1$) के संदर्भ में $W_1(g, g_0)$ पर एक सीमा (bound) प्राप्त करते हैं।
• स्पष्ट निर्भरता (Explicit Dependence): व्युत्पन्न असमानता शोर पैमाने $b$ और समर्थन त्रिज्या $a$ पर स्पष्ट निर्भरता को ट्रैक करती है। इसमें एक स्मूथिंग बायस टर्म (smoothing bias term) और हाई-फ्रीक्वेंसी टर्म्स के बीच संतुलन बनाना शामिल है, जिससे एक अनुकूलित बैंडविड्थ चयन प्राप्त होता है।

3. अभिसरण दरें (Convergence Rates)
लेखक निजीकृत घनत्व के लिए हेलिंगर अभिसरण दर (Hellinger convergence rate - जिसे कॉनवेक्स-क्लास मैक्सिमम लाइकलीहुड तर्कों के माध्यम से प्राप्त किया गया है) के साथ डीकनवोल्यूशन असमानता को जोड़कर, गुप्त वितरण के लिए NPMLE की अभिसरण दर स्थापित करते हैं।

मुख्य परिणाम (Key Results)

1. बढ़ते शोर के तहत निरंतरता (Consistency under Growing Noise)
यह शोध पत्र स्थापित करता है कि NPMMLE तब भी सुसंगत (consistent) रहता है जब गोपनीयता शोर स्तर $b_n$ नमूना आकार $n$ के साथ बढ़ता है।

• पर्याप्त शर्त (Sufficient Condition): एस्टिमेटर सुसंगत है ($W_1(\hat{g}_n, g_0) \to 0$ प्रायिकता में) यदि शोर का पैमाना $n^{3/16}(\log n)^{-1/2}$ से धीमी गति से बढ़ता है।
• अभिसरण दर (Convergence Rate): स्थिर $a$ और $b$ के लिए, अभिसरण दर $O_p(n^{-3/16}\sqrt{\log n})$ है। जब $b_n$ बढ़ता है, तो दर $b_n n^{-3/16}\sqrt{\log n}$ से जुड़े पदों द्वारा संचालित होती है।

2. असंभवता परिणाम (असंभवता - Converse)
लेखक एक निचली सीमा (lower bound) प्रदान करते हैं जो उच्च शोर के तहत रिकवरी की सीमाओं को प्रदर्शित करती है।

• असंभवता क्षेत्र (Impossibility Regime): यदि शोर का पैमाना $b_n$ $\Omega(\sqrt{n})$ की दर से बढ़ता है (अर्थात, यदि गोपनीयता बजट $\epsilon_n$ $n^{-1/2}$ से तेज़ी से घटता है), तो निजीकृत नमनों पर आधारित कोई भी एस्टिमेटर बाउंडेड वितरणों के वर्ग $\mathcal{P}([-a, a])$ पर समान निरंतरता (uniform consistency) प्राप्त नहीं कर सकता है।
• यह निरंतरता के लिए पर्याप्त शर्त ($n^{3/16}$) और असंभवता के लिए आवश्यक शर्त ($n^{1/2}$) के बीच एक स्पष्ट अंतर स्थापित करता है।

3. अनुभवजन्य निष्कर्ष (Empirical Findings)
संख्यात्मक प्रयोग सैद्धांतिक स्केलिंग व्यवहारों को मान्य करते हैं:

• त्रुटि व्यवहार (Error Behavior): 1-वॉसरस्टीन त्रुटि नमूना आकार $n$ बढ़ने के साथ और गोपनीयता बजट $\epsilon$ बढ़ने के साथ घटती है।
• समर्थन का आकार (Support Size): गाऊसी मिश्रणों (Gaussian mixtures) के विपरीत, जहाँ NPMLE समर्थन का आकार $O(\log n)$ ज्ञात है, परीक्षण की गई सीमा के भीतर लाप्लास मिश्रणों के लिए अनुभवजन्य सक्रिय समर्थन आकार $n$ के साथ बहुपद (polynomially) रूप से बढ़ता है (लॉगैरिद्मिक से तेज़)।
• शोर स्केलिंग (Noise Scaling): प्रयोग पुष्टि करते हैं कि जब शोर वृद्धि घातांक $\alpha$ (जहाँ $b_n \propto n^\alpha$) $3/16$ से अधिक हो जाता है, तो अभिसरण धीमा हो जाता है, और $\alpha = 1/2$ पर, त्रुटि अब घटती नहीं है, जो असंभवता परिणाम के अनुरूप है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह लाप्लास-निजीकृत निरंतर डेटा से गुप्त वितरणों को पुनः प्राप्त करने के लिए पहला लाइकलीहुड-आधारित ढांचा प्रदान करता है, जो स्पष्ट रूप से गोपनीयता-उपयोगिता ट्रेड-ऑफ को परिभाषित करता है।

• गणनात्मक योगदान: यह सिद्ध करके कि समर्थन (support) प्रक्षेपित अवलोकन सेट तक सीमित है, यह लाप्लास शोर के तहत NPMLE की गणनात्मक जटिलता को हल करता है, जिससे कुशल EM एल्गोरिदम सक्षम होते हैं।
• सांख्यिकीय योगदान: यह 1-वॉसरस्टीन दूरी के तहत NPMLE के लिए स्पष्ट अभिसरण दर प्राप्त करता है, जो रिकवरी दर को सीधे गोपनीयता शोर पैमाने से जोड़ता है।
• सैद्धांतिक सीमाएँ: यह एक विशिष्ट शासन (regime) ($n^{3/16}$ बनाम $n^{1/2}$) की पहचान करता है जहाँ निरंतर रिकवरी संभव है बनाम असंभव है, जो स्थानीय विभेदक गोपनीयता (local differential privacy) की सांख्यिकीय लागत को उजागर करता है।

लेखक नोट करते हैं कि जबकि उनका विश्लेषण एक सुसंगत एस्टिमेटर के अस्तित्व और एक असंभवता के बीच के अंतर को पाटता है, $n^{-3/16}$ और $n^{-1/2}$ के बीच सटीक इष्टतम दर अभी भी एक खुला प्रश्न है। इसके अतिरिक्त, वे रेखांकित करते हैं कि लाप्लास शोर के तहत NPMLE समर्थन आकार का व्यवहार गाऊसी मामले से मौलिक रूप से भिन्न है, जो लाइकलीहुड फंक्शन के विशिष्ट ज्यामितीय गुणों का सुझाव देता है।