🤖 machine learning

Let's Ask Gauss: Improved One-Run Privacy Auditing

यह शोधपत्र "Let's Ask Gauss" प्रस्तुत करता है, जो डिफरेंशियल प्राइवेट मशीन लर्निंग के लिए एक उन्नत वन-रन (one-run) प्राइवेसी ऑडिटिंग फ्रेमवर्क है, जो पूर्ववर्ती बाइनरी-थ्रेशोल्डिंग विधियों की तुलना में कैनरी-अलाइन्ड सिग्नल्स के एसिम्प्टोटिक गॉसियन डिस्ट्रीब्यूशन का लाभ उठाकर अधिक सटीक प्राइवेसी लोअर बाउंड्स प्राप्त करता है।

मूल लेखक: Adya Agrawal, Yu Wei, Jaspal Singh, Malik Magdon-Ismail, Vassilis Zikas

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adya Agrawal, Yu Wei, Jaspal Singh, Malik Magdon-Ismail, Vassilis Zikas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ को एक पारिवारिक गुप्त रेसिपी का उपयोग करके भोजन पकाने के लिए काम पर रख रहे हैं। आप यह सुनिश्चित करना चाहते हैं कि शेफ गलती से भी उन गुप्त सामग्रियों को जनता के सामने उजागर न कर दे, लेकिन आपको यह भी चाहिए कि भोजन स्वादिष्ट हो। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह "गुप्त रेसिपी" वह निजी डेटा है जिसका उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाता है, और "भोजन" अंतिम AI मॉडल है।

डिफरेंशियल प्राइवेसी (Differential Privacy - DP) एक सख्त नियम पुस्तिका की तरह है: "आप सामग्रियों का उपयोग कर सकते हैं, लेकिन आपको उसमें पर्याप्त 'शोर' (जैसे कि नमक की एक रैंडम चुटकी) मिलाना होगा ताकि कोई यह न बता सके कि कोई विशिष्ट सामग्री बर्तन में थी या नहीं।"

लेकिन समस्या यह है कि आप कैसे जानेंगे कि शेफ ने वास्तव में नियमों का पालन किया है? क्या उन्होंने पर्याप्त नमक डाला? या क्या उन्होंने अनजाने में गुप्त सामग्री को बहुत अधिक स्पष्ट छोड़ दिया? यहीं पर प्राइवेसी ऑडिटिंग (Privacy Auditing) काम आती है। यह वह स्वाद परीक्षण (टेस्ट टेस्ट) है यह देखने के लिए कि क्या गोपनीयता के नियम वास्तव में टिके हुए हैं।

पुराना तरीका: "हाँ/नहीं" का अनुमान लगाने वाला खेल

पहले, ऑडिटर रेसिपी में एक विशेष, अद्वितीय सामग्री (जिसे "कैनरी" कहा जाता है) को छिपाकर शेफ का परीक्षण करने की कोशिश करते थे। वे खाना पकाने की प्रक्रिया को कई बार चलाते थे।

पुराना तरीका: प्रत्येक रन के बाद, वे एक सरल प्रश्न पूछते थे: "क्या शेफ ने कैनरी को याद रखा?" उत्तर केवल हाँ या नहीं में होता था।
समस्या: यह कमरे के तापमान का अनुमान लगाने जैसा है जैसे कि केवल यह पूछकर कि, "क्या यह गर्म है या ठंडा?" आप सारी उपयोगी जानकारी को फेंक देते हैं कि वह कितना गर्म या ठंडा है। सब कुछ को एक साधारण "हाँ/नहीं" में बदलकर, पुराने तरीके अक्सर बहुत अधिक रूढ़िवादी (conservative) होते थे, जिससे यह बहुत ढीला अनुमान मिलता था कि वास्तव में कितनी गोपनीयता खोई गई थी।

नया तरीका: "आइए गौस (Gauss) से पूछें"

इस पेपर के लेखक, अदया अग्रवाल और उनकी टीम ने महसूस किया कि "हाँ/नहीं" वाला दृष्टिकोण मूल्यवान डेटा को बर्बाद कर रहा था। उन्होंने शोर (noise) के पीछे के गणित को देखा और एक सुंदर खोज की: शोर और संकेत स्वाभाविक रूप से एक बेल कर्व (Gaussian distribution) बनाते हैं।

इसे इस तरह सोचें:

पुराना दृष्टिकोण: आप भीड़ को देखते हैं और बस गिनते हैं कि कितने लोगों ने लाल टोपी पहनी है।
नया दृष्टिकोण: आप भीड़ को देखते हैं और महसूस करते हैं कि यदि आप हर किसी की ऊंचाई मापते हैं, तो परिणाम स्वाभाविक रूप से एक पूर्ण, चिकने बेल कर्व (घंटी के आकार के वक्र) का निर्माण करते हैं। आपको "लंबे" या "छोटे" का अनुमान लगाने की आवश्यकता नहीं है; आप सटीक माप प्राप्त करने के लिए पूरे कर्व के पूरे आकार का उपयोग कर सकते हैं।

यहाँ उनका नया तरीका कैसे काम करता है:

कैनरी (Canary): वे अभी भी प्रशिक्षण सेट (training set) में विशेष "कैनरी" डेटा पॉइंट्स को छिपाते हैं।
स्कोर (Score): यह पूछने के बजाय कि "क्या मॉडल ने कैनरी को देखा?", वे पूरी प्रशिक्षण प्रक्रिया के दौरान मॉडल ने उस पर कैसी प्रतिक्रिया दी, इसके आधार पर प्रत्येक कैनरी के लिए एक स्कोर की गणना करते हैं।
बेल कर्व (Bell Curve): उन्होंने देखा कि जब वे इन स्कोर्स को जोड़ते हैं, तो उन्हें केवल रैंडम नंबर नहीं मिलते; उन्हें एक पूर्ण गौसियन (Gaussian/Bell Curve) वितरण मिलता है।
- यदि कैनरी प्रशिक्षण डेटा में नहीं था, तो स्कोर एक बेल कर्व बनाते हैं।
- यदि कैनरी प्रशिक्षण डेटा में था, तो वे एक थोड़ा अलग बेल कर्व बनाते हैं।
तुलना: क्योंकि वे इन दोनों कर्व्स के सटीक आकार को जानते हैं, वे अत्यधिक सटीकता के साथ उनके बीच की दूरी को माप सकते हैं। यह उन्हें यह कहने की अनुमति देता है कि, "हमें 99% यकीन है कि गोपनीयता लीक कम से कम इतना बड़ा है," और यह संख्या पहले की तुलना में बहुत अधिक सटीक (tight) है।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि "हाँ/नहीं" वाले पुराने अनुमान लगाने वाले खेल के बजाय इस "बेल कर्व" गणित का उपयोग करके, वे प्रशिक्षण प्रक्रिया के एक एकल रन (single run) में गोपनीयता लीक का बहुत अधिक सटीकता से पता लगा सकते हैं।

दक्षता (Efficiency): उन्हें एक अच्छा उत्तर पाने के लिए भोजन को 1,000 बार पकाने की आवश्यकता नहीं है। एक रन ही पर्याप्त है।
सटीकता (Precision): अपने परीक्षणों में (CIFAR-10 नामक एक मानक इमेज डेटासेट का उपयोग करते हुए), उनके तरीके ने गोपनीयता लीक का पता लगाया जो पिछले तरीकों की तुलना में 1 से 2 गुना अधिक सटीक था। यदि सैद्धांतिक सीमा कहती थी कि गोपनीयता हानि 8 थी, तो उनके तरीके ने सिद्ध किया कि यह वास्तव में 6.7 के आसपास थी, जबकि पुराने तरीकों ने केवल 3.3 या 4.7 के आसपास ही सिद्ध किया था।

गणित का "जादू"

लेखकों ने गणितीय रूप से सिद्ध किया कि जैसे-जैसे प्रशिक्षण आगे बढ़ता है, ये स्कोर स्वाभाविक रूप से बहुत जल्दी उस पूर्ण बेल कर्व आकार में स्थिर हो जाते हैं। वे इसे "एसिम्प्टोटिक गौसियनिटी" (asymptotic Gaussianity) कहते हैं। यह कंचों के एक डिब्बे को हिलाने जैसा है; कुछ बार हिलाने के बाद, वे एक अनुमानित पैटर्न में स्थिर हो जाते हैं। क्योंकि वे इस पैटर्न को इतनी अच्छी तरह से समझ सकते हैं, उन्हें अनुमान लगाने में समय बर्बाद करने की आवश्यकता नहीं है।

सारांश

संक्षेप में, यह पेपर AI प्रशिक्षण प्रणालियों के लिए "प्राइवेसी पुलिस" को अपग्रेड करने के बारे में है।

पहले: वे एक कुंद उपकरण (हाँ/नहीं अनुमान) का उपयोग करते थे जो अक्सर लक्ष्य से चूक जाता था।
अब: वे एक उच्च-परिशुद्धता लेजर (डेटा वितरण के पूर्ण आकार का विश्लेषण करना) का उपयोग करते हैं जो गोपनीयता कितनी सुरक्षित रखी जा रही है, इसकी बहुत स्पष्ट तस्वीर देता है, और वह भी बिना प्रयोग को हजारों बार दोहराए।

लेखकों ने इसे दो अलग-अलग प्रकार के AI प्रशिक्षण सिस्टम (DP-SGD और DP-FTRL) पर परखा और पाया कि यह वर्तमान में उपलब्ध किसी भी अन्य चीज़ से बेहतर काम करता है, जो गोपनीयता सुरक्षा का बहुत अधिक सटीक और ईमानदार अनुमान प्रदान करता है।

तकनीकी सारांश: Let's Ask Gauss: बेहतर एक-रन प्राइवेसी ऑडिटिंग (Improved One-Run Privacy Auditing)

समस्या विवरण (Problem Statement)

प्राइवेसी ऑडिटिंग यह सत्यापित करने के लिए आवश्यक है कि डिफरेंशियल प्राइवेसी (DP) मशीन लर्निंग कार्यान्वयन, जैसे कि DP-SGD, अपने सैद्धांतिक गोपनीयता गारंटियों का पालन करते हैं। जबकि शास्त्रीय ऑडिटिंग विधियाँ पड़ोसी डेटासेट पर कई बार मैकेनिज्म चलाने पर निर्भर करती हैं ताकि प्राइवेसी बाउंड्स का अनुमान लगाया जा सके, यह दृष्टिकोण कम्प्यूटेशनल रूप से अत्यधिक खर्चीला है, विशेष रूप से फेडरेटेड लर्निंग सेटिंग्स में।

हालिया "एक-रन" (one-run) ऑडिटिंग विधियाँ (जैसे, Steinke et al. [29]) एक ही प्रशिक्षण रन में कई स्वतंत्र "कैनरीज" (विशेष रूप से इंजेक्ट किए गए प्रशिक्षण उदाहरण) को एम्बेड करके स्केलेबिलिटी की समस्या को हल करती हैं। हालाँकि, इन मौजूदा दृष्टिकोणों में एक महत्वपूर्ण बाधा है: वे एकत्रीकरण (aggregation) से पहले बाइनरी मेंबरशिप गेस (thresholding) के माध्यम से कैनरी-अलाइन्ड ऑब्जर्वेशन की समृद्ध, निरंतर जानकारी को कोलैप्स कर देते हैं। यह प्रक्रिया मूल्यवान वितरण संबंधी जानकारी (distributional information) को नष्ट कर देती है, जिसके परिणामस्वरूप ढीले (loose) अनुभवजन्य प्राइवेसी लोअर बाउंड्स प्राप्त होते हैं जो अक्सर सैद्धांतिक अपर बाउंड्स से काफी पीछे रह जाते हैं।

यह कार्य इस केंद्रीय प्रश्न का समाधान करता है कि क्या एक-रन DP-SGD ऑडिटिंग के अंतर्निहित वितरण गुणों (distributional properties) को बिना कई प्रशिक्षण रन की आवश्यकता के, प्राइवेसी ऑडिटिंग की सटीकता (tightness) में सुधार करने के लिए सटीक रूप से वर्णित किया जा सकता है।

कार्यप्रणाली (Methodology)

लेखक एक वन-रन व्हाइट-बॉक्स ऑडिटिंग फ्रेमवर्क प्रस्तावित करते हैं जो बाइनरी थ्रेशोल्डिंग से हटकर, कैनरी-अलाइन्ड सिग्नल्स की एसिम्प्टोटिक गॉसियन प्रकृति (asymptotic Gaussian nature) का लाभ उठाता है।

1. वितरण परिप्रेक्ष्य (Distributional Perspective)

मुख्य अंतर्दृष्टि यह है कि एक व्हाइट-बॉक्स DP-SGD सेटिंग में, अनुक्रमिक कैनरी-अलाइन्ड ऑब्जर्वेशन का नॉर्मलाइज्ड सम (normalized sum) एक गॉसियन वितरण की ओर अभिसरित (converge) होता है।

कैनरी-अलाइन्ड ऑब्जर्वेशन: प्रत्येक प्रशिक्षण चरण $t$ पर, ऑडिटर नॉइजी ग्रेडिएंट अपडेट को एक विशिष्ट कैनरी के ग्रेडिएंट के साथ संरेखित एक नियतात्मक यूनिट वेक्टर पर प्रोजेक्ट करता है।
सिग्नल-प्लस-नॉइज़ मॉडल: ऑब्जर्वेशन $X_t$ को एक क्लिप्ड सिग्नल (जो केवल तभी मौजूद होता है जब कैनरी को सैंपल किया जाता है) और गॉसियन DP नॉइज़ के योग के रूप में मॉडल किया गया है।
गॉसियन लिमिट: सेंट्रल लिमिट थ्योरम (CLT) द्वारा, एक बड़े संख्या में प्रशिक्षण चरणों $T$ $T$ के लिए, नॉर्मलाइज्ड स्कोर $S_T = \frac{1}{\sqrt{T}} \sum X_t$ $S_{T} = \frac{1}{T} \sum X_{t}$ एक गॉसियन वितरण की ओर अभिसरित होता है।
- एब्सेंट-कैनरी वर्ल्ड ( $b=0$ ) में: स्कोर $N(0, \sigma^2)$ का अनुसरण करता है।
- प्रेजेंट-कैनरी वर्ल्ड ( $b=1$ ) में: स्कोर एक एसिम्प्टोटिकली गॉसियन वितरण का अनुसरण करता है जिसका माध्य (mean) $\sqrt{T}qC$ और वेरिएंस (variance) $\sigma^2 + q(1-q)C^2$ है, जहाँ $q$ सैंपलिंग रेट है, $C$ क्लिपिंग नॉर्म है, और $\sigma$ नॉइज़ स्केल है।

2. गॉसियन-पेयर ऑडिटर (The Gaussian-Pair Auditor)

स्कोर को बाइनरी गेस में बदलने के बजाय, ऑडिटर दो दुनियाओं (कैनरी अनुपस्थित बनाम उपस्थित) को दो एक-आयामी गॉसियन वितरणों, $G_0$ और $G_1$ , के एक जोड़े के रूप में मॉडल करता है।

पैरामीटर एस्टीमेशन: ऑडिटर एक ही प्रशिक्षण रन में कई कैनरीज से अनुभवजन्य स्कोर एकत्र करता है और दोनों वितरणों के लिए पैरामीटर्स ( $\mu, \sigma$ ) का अनुमान लगाता है।
हॉकी-स्टिक डाइवर्जेंस (Hockey-Stick Divergence): प्राइवेसी लोअर बाउंड की गणना अनुमानित गॉसियन्स के बीच क्लोज्ड-फॉर्म हॉकी-स्टिक डाइवर्जेंस का उपयोग करके की जाती है। यह मीट्रिक, $\delta_{\theta}(\epsilon)$ , दिए गए $\epsilon$ के लिए सबसे छोटा $\delta$ (या इसके विपरीत) प्रदान करता है जो विशिष्ट गॉसियन जोड़े के लिए DP परिभाषा को संतुष्ट करता है।
कॉन्फिडेंस रीजन: सांख्यिकीय वैधता सुनिश्चित करने के लिए, ऑडिटर गॉसियन पैरामीटर्स के लिए एक कॉन्फिडेंस रीजन (जैसे, बूटस्ट्रैप एलिप्सॉइड) बनाता है और इस क्षेत्र के भीतर सबसे रूढ़िवादी (conservative) लोअर बाउंड की गणना करता है।

3. अभिसरण गारंटी (Convergence Guarantees)

पेपर गॉसियन सन्निकटन (approximation) के लिए कठोर मात्रात्मक अभिसरण गारंटी प्रदान करता है:

सामान्य दर: वास्तविक ऑडिट सांख्यिकी और गॉसियन मॉडल के बीच कोलमोगोरोव डिस्टेंस (Kolmogorov distance) $O(T^{-1/2})$ के रूपв $O(T^{-1/2})$ के रूप में घटता है।
DP-SGD रिजीम: DP-SGD के विशिष्ट रिजीम में जहाँ सैंपलिंग रेट $q = O(T^{-1/2})$ है, अभिसरण काफी तेज़ होता है, जो $O(T^{-1})$ के रूप में घटता है।
टेल एक्यूरेसी (Tail Accuracy): व्यावहारिक मापदंडों (जैसे, $T=2500, \epsilon=8$ ) के लिए, प्रासंगिक टेल क्षेत्र (जहाँ $\delta \approx 10^{-5}$ ) में विचलन $10^{-8}$ के क्रम पर है, जो $\delta$ के स्वयं के मान से तीन ऑर्डर ऑफ मैग्नीट्यूड छोटा है। यह सुनिश्चित करता है कि ऑडिटिंग में उपयोग किए जाने वाले विशिष्ट थ्रेशोल्ड के लिए गॉसियन मॉडल अत्यधिक सटीक है।

मुख्य योगदान (Key Contributions)

सीक्वेंस-लेवल डिस्ट्रिब्यूशनल व्यू: लेखक प्रदर्शित करते हैं कि वन-रन DP-SGD ऑडिटिंग में नॉर्मलाइज्ड कैनरी स्कोर एक ऐसे रैंडम वेरिएबल का अनुक्रम बनाते हैं जिनका एक गॉसियन लिमिटिंग लॉ है, जो DP-SGD हाइपरपैरामीटर्स के फलन के रूप में माध्य और वेरिएंस के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्रदान करता है।
गॉसियन-पेयर ऑडिटर: उन्होंने एक व्हाइट-बॉक्स ऑडिटर डिज़ाइन किया है जो अनुपस्थित और उपस्थित कैनरी स्कोर को गॉसियन जोड़े के रूप में मॉडल करता है। गॉसियन्स के बीच क्लोज्ड-फॉर्म हॉकी-स्टिक डाइवर्जेंस का उपयोग करके, वे बाइनरी-थ्रेशोल्डिंग विधियों की तुलना में काफी टाइट प्राइवेसी लोअर बाउंड प्राप्त करते हैं।
मात्रात्मक अभिसरण विश्लेषण: पेपर सिद्ध करता है कि गॉसियन एसिम्प्टोटिक्स व्यावहारिक प्रशिक्षण चरणों के भीतर प्रकट होते हैं, जिसमें मानक DP-SGD रिजीम में $O(T^{-1})$ की अभिसरण दर होती है, जो इस पद्धति की प्रयोज्यता को प्रमाणित करती है।
अनुभवजन्य सत्यापन (Empirical Validation): फ्रेमवर्क का मूल्यांकन दो मैकेनिज्म पर किया गया है:
- DP-SGD: CIFAR-10 पर सैद्धांतिक $\epsilon=8$ के साथ, यह विधि $\approx 4.7$ (f-DP ऑडिट [22] के लिए) और $\approx 3.3$ (पूर्ववर्ती वन-रन विधियों [29] के लिए) की तुलना में $\approx 6.7$ का अनुभवजन्य लोअर बाउंड रिकवर करती है (जो एनालिटिक अपर बाउंड का 84% है)।
- DP-FTRL: ट्री-स्ट्रक्चर्ड नॉइज़ मैकेनिज्म का उपयोग करने वाले फेडरेटेड सेटिंग्स में, गॉसियनिटी सटीक (केवल एसिम्प्टोटिक नहीं) है, जिससे सैद्धांतिक रूप से इष्टतम, पूरी तरह से कैलिब्रेटेड बाउंड मिलते हैं।

परिणाम और महत्व (Results and Significance)

पेपर का दावा है कि बाइनरी थ्रेशोल्डिंग के माध्यम से सूचना को त्यागने के बजाय, कैनरी-अलाइन्ड ऑब्जर्वेशन की पूर्ण वितरण संबंधी जानकारी का लाभ उठाने से सभी $\epsilon$ रिजीम में अनुभवजन्य प्राइवेसी लोअर बाउंड्स की टाइटनेस में 1–2 $\times$ सुधार होता है।

दक्षता (Efficiency): विधि एक-रन ऑडिटिंग की दक्षता बनाए रखती है (जिसमें केवल एक प्रशिक्षण रन का खर्च आता है) जबकि ऑडिट की सटीकता को नाटकीय रूप से बढ़ा देती है।
स्केलेबिलिटी: प्रस्तावित विधि टाइट बाउंड प्राप्त करने के लिए कम कैनरीज की आवश्यकता में सक्षम है; प्रयोग दिखाते हैं कि प्रस्तावित विधि केवल 100 कैनरीज का उपयोग करके प्रतिस्पर्धी विधियों की टाइटनेस प्राप्त करती है जो लगभग 2500 कैनरीज का उपयोग करती हैं।
व्यापकता (Generality): हालांकि DP-SGD पर केंद्रित है, फ्रेमवर्क को DP-FTRL के लिए प्रभावी दिखाया गया है, जहाँ शोर संचय संरचना (noise accumulation structure) सटीक गॉसियनिटी सुनिश्चित करती है।

लेखक इस कार्य को प्राइवेसी ऑडिटिंग में "अनुमान लगाने" (बाइनरी क्लासिफिकेशन) से "मॉडलिंग" (पैरामेट्रिक डिस्ट्रीब्यूशन फिटिंग) की ओर एक बदलाव के रूप में प्रस्तुत करते हैं। वे अपनी सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि विधि आदर्श मान्यताओं (जैसे, कैनरी स्कोर की स्वतंत्रता, गैर-कैनरी नमूनों का नगण्य योगदान) और विशिष्ट सैंपलिंग रिजीम में सेंट्रल लिमिट थ्योरम की वैधता पर निर्भर करती है। हालाँकि, वे तर्क देते हैं कि ये धारणाएं मानक DP-SGD सेटिंग्स में अनुभवजन्य रूप से हानिरहित हैं और यह वितरण परिप्रेक्ष्य भविष्य के ऑडिटिंग स्कीम्स के लिए एक मजबूत आधार प्रदान करता है।