📊 statistics

Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition

यह शोध पत्र एडगवर्थ अकाउंटेंट (Edgeworth Accountant) को प्रस्तुत करता है, जो एक विश्लेषणात्मक विधि है जो एडगवर्थ विस्तार (Edgeworth expansion) और $f$ -डिफरेंशियल प्राइवेसी का लाभ उठाकर संयोजित तंत्रों (composed mechanisms) के लिए स्थिर कम्प्यूटेशनल लागत के साथ कुशल, गैर-अनंतकालीन (non-asymptotic), सटीक $(\epsilon, \delta)$ -डिफरेंशियल प्राइवेसी बाउंड्स की गणना करता है, जो इसे विशेष रूप से डीप लर्निंग और फेडरेटेड एनालिटिक्स के लिए प्रभावी बनाता है।

मूल लेखक: Hua Wang, Sheng Gao, Huanyu Zhang, Milan Shen, Weijie J. Su, Jiayuan Wu

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hua Wang, Sheng Gao, Huanyu Zhang, Milan Shen, Weijie J. Su, Jiayuan Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक गुप्त क्लब चला रहे हैं जहाँ आप अपने सदस्यों के बारे में चीजें सीखना चाहते हैं (जैसे कि उनका पसंदीदा आइसक्रीम फ्लेवर) लेकिन बिना यह बताए कि किसने क्या कहा। यह डिफरेंशियल प्राइवेसी (Differential Privacy - DP) की दुनिया है। यह एक जादुई ढाल की तरह है जो डेटा में थोड़ा सा "स्टैटिक" या "शोर" (noise) जोड़ देता है ताकि यदि कोई झाँकने की कोशिश करे, तो वह यह नहीं बता सके कि कोई विशिष्ट व्यक्ति उस समूह में शामिल था या नहीं।

लेकिन पेचीदा बात यह है कि आप केवल एक सवाल नहीं पूछते। आप समय के साथ हजारों सवाल पूछते हैं, या कई अलग-अलग स्रोतों से डेटा को मिलाते हैं। हर बार जब आप एक सवाल पूछते हैं, तो "स्टैटिक" थोड़ा कमजोर होता जाता है, और किसी का रहस्य पता लगाने का जोखिम थोड़ा बढ़ जाता है। इसे कंपोजिशन (Composition) कहा जाता है।

बड़ा सवाल यह है: 1,000 सवाल पूछने के बाद हमने कितनी प्राइवेसी खो दी है?

पुराने टूल्स के साथ समस्या

इस पेपर से पहले, लोगों के पास इसका उत्तर देने के दो मुख्य तरीके थे:

"रफ एस्टीमेट" (मोमेंट्स अकाउंटेंट - Moments Accountant): यह अपने बैंक बैलेंस को देखकर यह अंदाजा लगाने जैसा है कि आपने कितना पैसा खर्च किया है और कहना, "मुझे लगता है कि मैं बजट के अंदर हूँ।" यह तेज़ है, लेकिन अक्सर बहुत अधिक डरावना होता है। यह आपको बताता है, "आप शायद $1,000 खर्च कर चुके होंगे!" जबकि वास्तव में आपने केवल$ 100 खर्च किए होते हैं। यह बहुत ढीला (loose) है, इसलिए आप अत्यधिक सावधान हो जाते हैं और अपने डेटा से पर्याप्त चीजें नहीं सीख पाते।
"सटीक कैलकुलेटर" (FFT मेथड): यह आपके द्वारा खर्च किए गए हर एक पैसे को गिनने जैसा है। यह बहुत सटीक है, लेकिन अविश्वसनीय रूप से धीमा है। यदि आपके पास 1,000 लेनदेन हैं, तो संख्याओं को प्रोसेस करने में बहुत समय लगता है। यदि आपके पास लाखों लेनदेन हैं (जैसे आधुनिक AI ट्रेनिंग में), तो यह तरीका क्रैश हो जाता है या बहुत लंबा समय लेता है। यह समुद्र तट पर रेत के हर एक कण को एक-एक करके गिनने जैसा है।

नया समाधान: एडगेवर्थ अकाउंटेंट (The Edgeworth Accountant)

इस पेपर के लेखक एक नया टूल पेश करते हैं जिसे एडगेवर्थ अकाउंटेंट कहा जाता है। इसे एक स्मार्ट, हाई-स्पीड GPS के रूप में सोचें।

यह इस प्रकार काम करता है:

1. "प्राइवेसी लॉस" एक साउंड वेव (ध्वनि तरंग) है

कल्पना कीजिए कि हर बार जब आप एक सवाल पूछते हैं, तो वह प्राइवेसी लॉस की एक छोटी सी "लहर" (ripple) पैदा करता है। यदि आप 1,000 सवाल पूछते हैं, तो आपके पास 1,000 लहरें होती हैं।

पुराने तरीके इन लहरों को जोड़ने की कोशिश करते हैं या तो कुल ऊंचाई का अनुमान लगाकर (बहुत ढीला) या हर एक बूंद को मापकर (बहुत धीमा)।
एडगेवर्थ अकाउंटेंट लहरों के आकार को देखता है। वह जानता है कि जब आप कई छोटी-छोटी यादृच्छिक (random) लहरों को जोड़ते हैं, तो वे एक विशिष्ट, अनुमानित वेव पैटर्न (बेल कर्व) बनाते हैं।

2. "एडगेवर्थ एक्सपेंशन" एक सुपर-रिफाइंड टेलिस्कोप है

इन लहरों की भविष्यवाणी करने का मानक तरीका "सेंट्रल लिमिट थ्योरम" (बेसिक बेल कर्व) है। लेकिन यह नग्न आंखों से चंद्रमा को देखने जैसा है; यह ठीक है, लेकिन धुंधला है।
एडगेव를 एक्सपेंशन उस दृश्य पर एक हाई-पावर्ड टेलिस्कोप लगाने जैसा है। यह केवल चंद्रमा को नहीं देखता; यह उसके गड्ढों और पहाड़ों को भी देखता है। यह बेसिक गणित के "धुंधलेपन" को ठीक करता है।

इसका महत्व: यह उन्हें अविश्वसनीय सटीकता के साथ प्राइवेसी लॉस की गणना करने की अनुमति देता है, लेकिन यह वे ऐसा एक सरल फॉर्मूले (जैसे कैलकुलेटर) का उपयोग करके करता है, न कि रेत के हर कण को गिनकर।

3. दो मोड: "एस्टीमेटर" और "सेफ्टी नेट"

यह पेपर इस टूल के दो संस्करण प्रदान करता है:

एप्रोक्सिमेट एडगेवर्थ अकाउंटेंट (AEA): यह आपका तेज़ एस्टीमेटर (Speedy Estimator) है। यह लगभग तुरंत बहुत सटीक उत्तर देता है। यह तब एकदम सही है जब आप अपना प्रयोग डिजाइन कर रहे होते हैं और आपको जानना होता है, "क्या यह सुरक्षित है?"
एक्जेक्ट एडगेवर्थ अकाउंटेंट इंटरवल (EEAI): यह आपका सेफ्टी नेट (Safety Net) है। यह केवल एक नंबर नहीं देता; यह एक रेंज (कॉन्फिडेंस इंटरवल) देता है। यह कहता है, "प्राइवेसी लॉस निश्चित रूप से X और Y के बीच है।" यह कानूनी और सुरक्षा कारणों के लिए महत्वपूर्ण है, जिससे यह सुनिश्चित होता है कि आप गलती से भी प्राइवेसी नियमों को नहीं तोड़ते।

यह एक बड़ी बात क्यों है?

कल्पना कीजिए कि आप बीमारियों का निदान करने के लिए एक सुपर-स्मार्ट AI को प्रशिक्षित कर रहे हैं। आपको इसके लिए मरीजों के डेटा के बारे में लाखों सवाल पूछने की आवश्यकता है।

पुराना तरीका: या तो आपको प्राइवेसी लीक के डर से इतना डरना होगा कि आप AI को कुछ भी उपयोगी सीखने से रोक देंगे, या फिर आपको यह गणना करने के लिए हफ्तों इंतजार करना होगा कि क्या यह सुरक्षित है।
नया तरीका (एडगेवर्थ): आप पलक झपकते ही प्राइवेसी लागत की गणना कर सकते हैं। आपको एक सटीक नंबर मिलता है जो आपको बताता है कि आपके पास कितनी प्राइवेसी बची है। इसका मतलब है कि आप मरीजों के रहस्यों को गलती से उजागर किए बिना तेजी से बेहतर AI मॉडल प्रशिक्षित कर सकते हैं।

निचोड़ (The Bottom Line)

एडगेवर्थ अकाउंटेंट एक नया, गणितीय "सुपर-टूल" है जो डेटा वैज्ञानिकों को गति (एक कैलकुलेटर की तरह) और सटीकता (एक माइक्रोस्कोप की तरह) के साथ प्राइवेसी लॉस को ट्रैक करने की अनुमति देता है। यह उन्नत गणित का उपयोग करके प्राइवेसी लॉस के भविष्य की भविष्यवाणी करके उस पुराने सवाल को हल करता है: "मैं अपने डेटा का अधिक उपयोग किए बिना सबकी गोपनीयता कैसे बनाए रखूँ?"

यह यह जानने के बीच का अंतर है कि आप पेट्रोल की टंकी से कितनी दूर गाड़ी चला सकते हैं, और एक डैशबोर्ड के बीच का अंतर जो आपको बताता है कि आपके पास कितने मील बचे हैं, बिल्कुल इंच तक सटीक, चाहे रास्ता कितना भी ऊबड़-खाबड़ क्यों न हो।

यहाँ शोध पत्र "Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

गोपनीयता-संरक्षित डेटा विश्लेषण (जैसे, डीप लर्निंग, फेडरेटेड एनालिटिक्स) में, एल्गोरिदम अक्सर कई निजी बिल्डिंग ब्लॉक्स के संयोजन (compositions) के रूप में बनाए जाते हैं। एक महत्वपूर्ण चुनौती प्राइवेसी अकाउंटिंग (privacy accounting) है: $m$ संयोजनों के बाद समग्र गोपनीयता हानि (विशेष रूप से $(\epsilon, \delta)$ -डिफरेंशियल प्राइवेसी पैरामीटर्स) की सटीक गणना करना।

मौजूदा विधियाँ सटीकता और कम्प्यूटेशनल दक्षता के बीच एक ट्रेड-ऑफ (trade-off) का सामना करती हैं:

मोमेंट्स अकाउंटेंट (Rényi DP): कम्प्यूटेशनल रूप से कुशल ( $O(1)$ या $O(m)$ ) है लेकिन ढीले (loose), अक्सर अव्यवहारिक ऊपरी बाउंड (upper bounds) प्रदान करता है क्योंकि Rényi DP से $(\epsilon, \delta)$ -DP में रूपांतरण में जानकारी का नुकसान होता है।
FFT-आधारित संख्यात्मक विधियाँ (FFT-based Numerical Methods): सटीक, परिमित-नमूना (finite-sample) बाउंड प्रदान करती हैं लेकिन उच्च कम्प्यूटेशनल जटिलता (जैसे, $m$ के लिए बहुपद, जैसे $O(m^{2.5})$ ) और बड़े $m$ के लिए संख्यात्मक अस्थिरता (numerical instability) से ग्रस्त होती हैं (जो डीप लर्निंग में सामान्य है)।
गौसियन DP (GDP) / CLT सन्निकटन (Approximation): एक क्लोज्ड-फॉर्म समाधान प्रदान करता है, लेकिन यह केवल स्पर्शोन्मुख रूप से (asymptotically) सटीक है, इसमें कठोर परिमित-नमूना गारंटी का अभाव है।

इस शोध पत्र का लक्ष्य एक ऐसी विधि विकसित करना है जो सटीक, परिमित-नमूना $(\epsilon, \delta)$ -DP बाउंड प्रदान करे, जिसकी कम्प्यूटेशनल जटिलता रैखिक या स्थिर (linear or constant time) हो और जिसमें उच्च संख्यात्मक स्थिरता हो।

2. कार्यप्रणाली (Methodology)

प्रस्तावित एजवर्थ अकाउंटेंट (Edgeworth Accountant) प्राइवेसी लॉस के वितरण को अनुमानित करने के लिए $f$ -डिफरेंशियल प्राइवेसी ( $f$ -DP) फ्रेमवर्क और एजवर्थ एक्सपेंशन (Edgeworth expansion) का लाभ उठाता है।

मुख्य अवधारणाएँ (Core Concepts)

$f$ -DP फ्रेमवर्क: लेखक $f$ -DP का उपयोग करते हैं, जो एक परिकल्पना परीक्षण (hypothesis testing) ढांचे में टाइप I और टाइप II त्रुटियों के बीच एक ट्रेड-ऑफ फंक्शन के माध्यम से गोपनीयता को चित्रित करता है। यह $(\epsilon, \delta)$ -DP की तुलना में गोपनीयता गारंटी का एक "लॉसलेस" (lossless) प्रतिनिधित्व करने की अनुमति देता है।
प्राइवेसी-लॉस लॉग-लाइक्लीहुड रेश्यो (PLLRs): संयोजनों के मॉडल को पड़ोसी डेटासेट्स के तहत आउटपुट डिस्ट्रीब्यूशन के लॉग-लाइक्लीहुड रेश्यो को दर्शाने वाले स्वतंत्र यादृच्छिक चरों (random variables) के योग के रूप में मॉडल किया जाता है।
- मान लीजिए कि $i$ -वें तंत्र (mechanism) के लिए $X_i$ और $Y_i$ क्रमशः PLLR हैं।
- कुल गोपनीयता हानि $S_X = \sum X_i$ और $S_Y = \sum Y_i$ के संचयी वितरण फलनों (CDFs) द्वारा निर्धारित होती है।
एजवर्थ एक्सपेंशन (Edgeworth Expansion): मानक सेंट्रल लिमिट थ्योरम (CLT) (जो कि 0-ऑर्डर सन्निकटन है) के बजाय, लेखक एजवर्थ एक्सपेंशन लागू करते हैं। यह एक सीरीज़ एक्सपेंशन है जो उच्च-क्रम मोमेंट्स (cumulants) को शामिल करके नॉर्मल सन्निकटन को परिष्कृत करता है, जिससे तेज़ अभिसरण दर ( $p$ -क्रम के लिए $O(m^{-(p+1)/2})$ ) प्राप्त होती है।

दो वेरिएंट्स (Two Variants)

शोध पत्र दो विशिष्ट उपकरण प्रस्तुत करता है:

एप्रोक्सिमेट एजवर्थ अकाउंटेंट (AEA):
- PLLR के योग के CDF को अनुमानित करने के लिए एजवर्थ एक्सपेंशन का उपयोग करता है।
- $\epsilon$ और $\delta$ के बीच संबंध के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति (closed-form expression) प्रदान करता है।
- कम्प्यूटेशनल रूप से कुशल ( $m$ समान तंत्रों के लिए $O(1)$ , विषम (heterogeneous) तंत्रों के लिए $O(m)$ )।
- स्पर्शोन्मुख रूप से सुसंगत (asymptotically consistent) और व्यावहारिक $m$ के लिए अत्यधिक सटीक है।
एक्ज़ैक्ट एजवर्थ अकाउंटेंट इंटरवल (EEAI):
- प्राइवेसी लॉस के लिए कठोर परिमित-नमूना ऊपरी और निचली सीमाएँ (finite-sample upper and lower bounds) निकालता है।
- एजवर्थ एक्सपेंशन के लिए अनुकूलित बेरी-एस्मीन (Berry–Esseen) प्रकार के बाउंड का उपयोग करके अनुमान त्रुटि ( $\Delta_{m,k}$ ) को मापता है।
- एक अंतराल $[\delta^-, \delta^+]$ (या $[\epsilon^-, \epsilon^+]$ ) प्रदान करता है जो वास्तविक गोपनीयता गारंटी को सख्ती से समाहित करता है।

सबसैंपलिंग को संभालना (Handling Subsampling)

सबसैंपिंग वाले तंत्रों (जैसे, NoisySGD) के लिए, लेखक ट्रेड-ऑफ फंक्शन की जटिलता को संबोधित करते हैं (जिसमें इन्फिमम का डबल कंजुगेट शामिल है)। वे ट्रेड-ऑफ फंक्शन के विभिन्न घटकों के अनुरूप PLLR के कई अनुक्रमों का विश्लेषण करने के लिए लेम्मा 3.3 (Lemma 3.3) का उपयोग करते हैं, और फिर परिणामी बाउंड्स के सुप्रीममम (supremum) को लेते हैं।

3. मुख्य योगदान (Key Contributions)

नवल एनालिटिकल अकाउंटेंट (Novel Analytical Accountant): एजवर्थ अकाउंटेंट का परिचय, जो स्थिर समय $O(1)$ (समान तंत्रों के लिए) और रैखिक समय $O(m)$ (सामान्य संयोजनों के लिए) प्राप्त करता है, जो FFT-आधारित विधियों ( $O(m^{2.5})$ ) से काफी बेहतर प्रदर्शन करता है।
परिमित-नमूना गारंटी (Finite-Sample Guarantees): एजवर्थ एक्सपेंशन का उपयोग करके स्पष्ट, गैर-स्पर्शोन्मुख (non-asymptotic) त्रुटि बाउंड प्रदान करने वाला पहला DP अकाउंटेंट। यह स्पर्शोन्मुख सन्निकटन (जैसे, GDP) और सटीक संख्यात्मक विधियों (जैसे, FFT) के बीच के अंतर को पाटता है।
सटीकता और टाइटनेस (Tightness and Accuracy): यह विधि मोमेंट्स अकाउंटेंट (Rényi DP) की तुलना में काफी टाइट बाउंड प्रदान करती है और मानक CLT/GDP सन्निकटन की तुलना में अधिक सटीक अनुमान देती है, विशेष रूप से मध्यम से बड़े $m$ के लिए।
संख्यात्मक स्थिरता (Numerical Stability): FFT विधियों के विपरीत, जो बड़े $m$ या विषम तंत्रों के मामले में संख्यात्मक अस्थिरता और संभावित विफलता (जैसे, नकारात्मक $\epsilon$ बाउंड) से ग्रस्त होती हैं, एजवर्थ अकाउंटेंट विश्लेषणात्मक रूप से स्थिर रहता है।
सामान्यीकरण (Generalizability): यह ढांचा किसी भी शोर-जोड़ (noise-addition) तंत्र (गौसियन, लाप्लास, आदि) के लिए लागू है, बशर्ते कि PLLR के बाउंडेड मोमेंट्स हों।

4. परिणाम (Results)

लेखक व्यापक संख्यात्मक प्रयोगों के माध्यम से अपने दृष्टिकोण को सत्यापित करते हैं:

सटीकता तुलना (Accuracy Comparison): 1,500 गौसियन तंत्रों के संयोजन वाले प्रयोगों में, AEA के अनुमान "सटीक" ग्राउंड ट्रुथ (जो छोटे $m$ के लिए FFT के माध्यम से या सैद्धांतिक सीमाओं के माध्यम से निकाला गया है) के लगभग समान थे, जबकि मोमेंट्स अकाउंटेंट (RDP) और मानक GDP ढीले या गलत बाउंड प्रदान करते हैं।
बड़े पैमाने की स्थिरता (Large-Scale Stability): $m$ तक $10^6$ (डीप लर्निंग प्रशिक्षण का अनुकरण) वाले परिदृश्यों में, FFT विधि वैध परिणाम देने में विफल रही (संख्यात्मक त्रुटियों के कारण नकारात्मक $\epsilon$ बाउंड प्राप्त हुआ)। इसके विपरीत, EEAI ने स्थिर, टाइट और वैध बाउंड प्रदान किए।
फेडरेटेड लर्निंग (Federated Learning): इस पद्धति ने फेडरेटेड एनालिटिक्स में विशिष्ट सबसैम्प्ल्ड गौसियन तंत्रों को सफलतापूर्वक संभाला, जो बड़े $m$ वाले 10 प्रशिक्षण युगों (epochs) के लिए सटीक प्राइवेसी ट्रैकिंग प्रदान करता है।

5. महत्व (Significance)

एजवर्थ अकाउंटेंट डिफरेंशियल प्राइवेसी टूलकिट में एक प्रमुख प्रगति का प्रतिनिधित्व करता है:

व्यावहारिक प्रभाव (Practical Impact): यह बड़े पैमाने के डीप लर्निंग और फेडरेटेड लर्निंग मॉडल के कठोर प्राइवेसी अकाउंटिंग को सक्षम बनाता है, जहाँ संयोजन चरणों की संख्या अक्सर लाखों में होती है। पिछली विधियाँ या तो बहुत धीमी (FFT) थीं या बहुत ढीली (Moments) थीं ताकि इन सेटिंग्स में उपयोगी हो सकें।
सैद्धांतिक योगदान (Theoretical Contribution): यह DP के संदर्भ में एजवर्थ एक्सपेंशन के लिए पहले परिमित-नमूना त्रुटि बाउंड स्थापित करता है, जो स्वतंत्र गणितीय रुचि का परिणाम है।
दक्षता (Efficiency): जटिलता को रैखिक या स्थिर समय में कम करके, यह अभ्यासकर्ताओं को हाइपरपैरामीटर ट्यूनिंग के दौरान तेजी से प्राइवेसी बजट का मूल्यांकन करने की अनुमति देता है, जो कि सटीक विधियों के साथ पहले कम्प्यूटेशनल रूप से निषेधात्मक (prohibitive) था।

संक्षेप में, एजवर्थ अकाउंटेंट "दोनों दुनियाओं का सर्वश्रेष्ठ" प्रदान करता है: विश्लेषणात्मक विधियों की कम्प्यूटेशनल दक्षता और संख्यात्मक विधियों की सटीकता और कठोरता, जो इसे आधुनिक मशीन लर्निंग अनुप्रयोगों में प्राइवेसी अकाउंटिंग के लिए अत्याधुनिक (state-of-the-art) समाधान बनाता है।