Asymptotic Optimality of the High-Dimensional Gaussian Mechanism and Improved Low-Dimensional Mechanisms for Differential Privacy

तकनीकी सारांश: उच्च-आयामी गाऊसी तंत्र की स्पर्शोन्मुख इष्टतमता और उन्नत निम्न-आयामी तंत्रों के लिए विभेदक गोपनीयता (Differential Privacy)

1. समस्या विवरण

यह शोध पत्र वास्तविक मान वाले $T$-आयामी वेक्टर प्रश्नों $Q(D) \in \mathbb{R}^T$ के विभेदक रूप से निजी (DP) प्रकटीकरण के लिए योगात्मक शोर (additive noise) तंत्रों के डिजाइन को संबोधित करता है। मानक दृष्टिकोण में एकल डेटा रिकॉर्ड की उपस्थिति या अनुपस्थिति को छिपाने के लिए प्रश्न के आउटपुट में शोर $X$ जोड़ना शामिल है ($\hat{Q} = Q + X$), जहाँ विक्षोभ (perturbation) एक $\ell_2$ संवेदनशीलता $s$ द्वारा सीमित होता है।

यद्यपि गाऊसी तंत्र ($X \sim \mathcal{N}(0, \sigma^2 I_T)$) अपनी सरलता, गोलाकार समरूपता और सुदृढ़ संयोजन गुणों के कारण प्रमुख विकल्प है, फिर भी इसकी इष्टतमता पर सवाल उठाए गए हैं। हालिया कार्य (जोसेफ एट अल., 2025) ने $\ell_2$ तंत्र (एक उच्च-आयामी लाप्लास वेरिएंट) पेश किया, जो कुछ निम्न-आयामी सेटिंग्स में गाऊसी तंत्र से बेहतर प्रदर्शन करता है। यह दो महत्वपूर्ण अनुत्तरित प्रश्न छोड़ देता है:

1. क्या $T \to \infty$ होने पर गाऊसी तंत्र स्पर्शोन्मुख रूप से इष्टतम (asymptotically optimal) है?
2. क्या ऐसे तंत्र मौजूद हैं जो निम्न-आयामी सेटिंग्स में गाऊसी और $\ell_2$ दोनों तंत्रों से बेहतर प्रदर्शन करते हैं?

2. कार्यप्रणाली

लेखक इन प्रश्नों को $(\varepsilon, \delta)$-विभेदक गोपनीयता के दृष्टिकोण से देखते हैं, जिसमें दिए गए गोपनीयता स्तर $\varepsilon$ के लिए इष्टतम $\delta$ को चरित्रित करने के लिए हॉकी-स्टिक डाइवर्जेंस (hockey-stick divergence) का उपयोग किया जाता है।

उच्च-आयामी विश्लेषण:
लेखक पहले यह स्थापित करते हैं कि गोलाकार सममित (spherically symmetric) शोर वितरणों ($X = RU$, जहाँ$R$एक रेडियल रैंडम वेरिएबल है और$U$ यूनिट स्फीयर पर यूनिफॉर्म है) पर विचार करना पर्याप्त है। वे तर्क देते हैं कि किसी भी योगात्मक शोर तंत्र को हार मेजर (Haar measure) के माध्यम से सममित किया जा सकता है जिससे सबसे खराब स्थिति वाले गोपनीयता नुकसान या माध्य वर्ग त्रुटि (MSE) में वृद्धि नहीं होती है।
वे उच्च-आयामी स्फीयर्स पर मापन के संकेंद्रण (concentration of measure) का लाभ उठाते हुए, इष्टतम $\delta$ के स्पर्शोन्मुख व्यवहार का विश्लेषण करते हैं। वे सिद्ध करते हैं कि किसी भी गोलाकार तंत्र के लिए, पर्याप्त मजबूत गोपनीयता व्यवस्था (छोटे $\delta$) के लिए, गोपनीयता हानि सामान्यीकृत रेडियल ऊर्जा $R^2/T$ पर मूल्यांकित गाऊसी गोपनीयता फलन $g(\cdot)$ के एक प्रत्याशा (expectation) की ओर अभिसरित होती है। जेन्सन जैसी असमानता (Jensen-like inequality) तर्क का उपयोग करके, वे सिद्ध करते हैं कि पर्याप्त मजबूत गोपनीयता व्यवस्थाओं (छोटे $\delta$) के लिए, गाऊसी तंत्र निश्चित गोपनीयता बजट के लिए त्रुटि को न्यूनतम करता है।

निम्न-आयामी तंत्र डिजाइन:
निम्न-आयामी सुधारों को संबोधित करने के लिए, लेखक एक नया वितरण परिवार पेश करते हैं: स्फेरिकल जनरलाइज्ड गामा (SGG) तंत्र।

• परिभाषा: रेडियल घटक $R$, जनरलाइज्ड गामा वितरण $\text{GGamma}(\alpha, \beta, p)$ का अनुसरण करता है, और दिशा $U$, $S^{T-1}$ पर यूनिफॉर्म है। यह परिवार गाऊसी ($p=2, \alpha=T-1$) और $\ell_2$-लाप्लास ($p=1, \alpha=T-1$) तंत्रों को विशेष मामलों के रूप में शामिल करता है।
• गोविधि विश्लेषण: लेखक SGG तंत्र के इष्टतम $\delta$ के लिए एक एक-आयामी समाकल प्रतिनिधित्व (integral representation) व्युत्पन्न करते हैं। यह गोपनीयता विश्लेषण को $\mathbb{R}^T$ पर उच्च-आयामी समाकलन से घटाकर रेडियल वेरिएबल $R$ पर एक सुलभ 1D समाकलन में बदल देता है।
• संख्यात्मक ऑरेकल (Numerical Oracle): वे प्रमाणित सटीकता के साथ $\delta$ की गणना करने के लिए एक $\eta$-टाइट अपर-बाउंड ऑरेकल का निर्माण करते हैं, जो संख्यात्मक समाकलन त्रुटियों और टेल ट्रंकेशन (tail truncation) को संभालता है।
• अनुकूलन (Optimization): एक लक्षित $(\varepsilon, \delta)$ बाधा के अधीन MSE को न्यूनतम करने के लिए पैरामीटर स्पेस $(\alpha, p, \beta)$ को खोजने के लिए एक एल्गोरिदम प्रस्तावित किया गया है।

संयोजन (Composition):
लेखक क्रमिक संयोजन (sequential composition) के विश्लेषण को विस्तारित करते हैं। SGG तंत्रों के लिए प्राइवेसी लॉस रैंडम वेरिएबल (PRV) को चरित्रित करके, वे प्रदर्शित करते हैं कि संयोजित गोपनीयता प्रोफाइल को सिंगल-स्टेप PRVs के कनवल्शन (convolution) के माध्यम से कुशलतापूर्वक निकाला जा सकता है, जिसे फास्ट फूरियर ट्रांसफॉर्म (FFT) का उपयोग करके लागू किया जाता है।

3. मुख्य योगदान और परिणाम

स्पर्शोन्मुख इष्टतमता (उच्च आयाम):
यह शोध पत्र प्रमेय 3.1 को सिद्ध करता है, जो यह बताता है कि जैसे-जैसे $T \to \infty$ होता है, गाऊसी तंत्र समान MSE वाले सभी योगात्मक-शोर तंत्रों में स्पर्शोन्मुख रूप से इष्टतम है (विशेष रूप से $\delta \leq \delta^\star$ के लिए जहाँ $\delta^\star$ एक $\varepsilon$ पर निर्भर स्थिरांक है)।

• परिणाम: कोई भी योगात्मक-शोर तंत्र समान त्रुटि बजट पर गाऊसी तंत्र की तुलना में कम सीमावर्ती (limiting) सबसे खराब स्थिति वाले इष्टतम $\delta$ को प्राप्त नहीं कर सकता है।
• निहितार्थ: यह उच्च-आयामी अनुप्रयोगों जैसे डीप लर्निंग (जहाँ $T$ मापदंडों की संख्या है) के लिए गाऊसी तंत्र के निरंतर उपयोग को न्यायोचित ठहराता है।

उन्नत निम्न-आयामी तंत्र:
लेखक विशिष्ट निम्न-आयामी व्यवस्थाओं की पहचान करते हैं जहाँ SGG तंत्र, गाऊसी और $\ell_2$ दोनों तंत्रों से बेहतर प्रदर्शन करते हैं।

• परिणाम: संख्यात्मक अनुकूलन के माध्यम से, वे SGG पैरामीटर पाते हैं जो $T < 20$ वाले आयामों के लिए गाऊसी या $\ell_2$ बेसलाइनों की तुलना में MSE को 15% तक कम कर देते हैं।
• सूक्ष्मता: यह सुधार एकसमान नहीं है; यह विशिष्ट निम्न-आयामी सेटिंग्स और विशिष्ट $\delta$ मानों (जो न तो अत्यंत छोटे हैं और न ही बहुत बड़े) में केंद्रित है। जैसे-जैसे $T$ बढ़ता है, यह लाभ तेजी से कम होता जाता है।

टाइट संयोजन (Tight Composition):
यह शोध पत्र SGG तंत्रों के लिए एक टाइट अकाउंटिंग फ्रेमवर्क प्रदान करता है।

• परिणाम: यह जोसेफ एट अल. (2025) द्वारा $\ell_2$ तंत्र (जो SGG का एक विशेष मामला है) के टाइट संयोजन के संबंध में पूछे गए प्रश्न का उत्तर देता है। प्रस्तावित FFT-आधारित अकाउंटेंट सटीक गणना के लिए संयोजित $(\varepsilon, \delta)$ गारंटी की अनुमति देता है।

पूर्व कार्य का सुधार:
लेखक जी एवं ली (2024) के प्रमेय 5 के प्रमाण में एक बग की पहचान करते हैं जो रैंक-1 सिंगुलर मल्टीवेरिएट गाऊसी (R1SMG) तंत्र से संबंधित है।

• निष्कर्ष: संख्यात्मक मूल्यांकन से पता चलता है कि जब R1SMG तंत्र को दावा किए गए प्रमेय के अनुसार कैलिब्रेट किया जाता है, तो यह दावा किए गए $\delta = 10^{-5}$ की तुलना में बहुत कमजोर गोपनीयता गारंटी ($\delta \approx 0.8$) प्रदान करता है। त्रुटि शोर वैक्टर्स के बीच के कोण के गलत विश्लेषण से उत्पन्न होती है।

4. महत्व और दावे

यह शोध पत्र उच्च आयामों में गाऊसी तंत्र के लिए एक निश्चित सैद्धांतिक औचित्य प्रदान करने के साथ-साथ परिमित-आयामी समस्याओं के लिए डिजाइन स्पेस का विस्तार करने का दावा करता है।

• सैद्धांतिक औचित्य: यह उच्च-आयामी सीमा में गाऊसीय इष्टतमता के प्रश्न को हल करता है, जो $\ell_2$ संवेदनशीलता के तहत योगात्मक शोर के लिए गाऊसी तंत्र को एक स्पर्शोन्मुख बेंचमार्क के रूप में पुष्टि करता है।
• व्यावहारिक उपयोगिता: यह निम्न-आयामी वेक्टर प्रश्नों (जैसे निम्न-आयामी माध्य अनुमान या विशिष्ट वेक्टर रिलीज) के लिए एक ठोस, अनुकूलित परिवार (SGG) प्रदान करता है जहाँ गैर-गाऊसी शोर महत्वपूर्ण उपयोगिता लाभ दे सकता है।
• पद्धतिगत योगदान: गोपनीयता हानि के एक-आयामी समाकल का व्युत्पन्न और उसके बाद का टाइट संयोजन फ्रेमवर्क, गोलाकार सममित तंत्रों के विश्लेषण और अंशांकन (calibration) के लिए एक सामान्य टूलकिट प्रदान करता है।

लेखक एक मध्यम रुख अपनाते हैं, यह नोट करते हुए कि निम्न-आयामी सुधार एक "अस्तित्व परिणाम" (existence result) है जो एक गैर-तुच्छ परिमित-आयामी डिजाइन स्पेस को प्रदर्शित करता है, न कि सभी आयामों और मापदंडों के लिए गाऊसी तंत्र का सार्वभौमिक प्रतिस्थापन। वे इस बात पर जोर देते हैं कि उच्च-आयामी निजी शिक्षण (जैसे DP-SGD) के लिए, गाऊसी तंत्र स्पर्शोन्मुख रूप से न्यायोचित डिफ़ॉल्ट बना हुआ है।