📊 statistics

Sequential Auditing for f-Differential Privacy

यह शोध पत्र $f$ -डिफरेंशियल प्राइवेसी के लिए अनुकूली, क्रमिक ऑडिटिंग विधियों को प्रस्तुत करता है जो पूर्व-निर्धारित नमूना आकार की आवश्यकता के बिना संपूर्ण गोपनीयता स्पेक्ट्रम में उल्लंघनों का सांख्यिकीय रूप से पता लगाता है, जिससे पारंपरिक बैच-आधारित दृष्टिकोणों की तुलना में गोपनीयता गारंटी को सत्यापित करने की कम्प्यूटेशनल लागत में महत्वपूर्ण कमी आती है।

मूल लेखक: Tim Kutta, Martin Dunsche, Yu Wei, Vassilis Zikas

प्रकाशित 2026-06-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tim Kutta, Martin Dunsche, Yu Wei, Vassilis Zikas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई मशीन है जो संवेदनशील डेटा (जैसे आपके मेडिकल रिकॉर्ड या बैंक विवरण) लेती है और एक उपयोगी उत्तर देती है, जैसे "इस शहर में कितने लोगों को मधुमेह (diabetes) है?" यह वादा किया जाता है कि मशीन डिफरेंशियल प्राइवेसी (DP) का उपयोग करती है ताकि आपका विशिष्ट डेटा पॉइंट इस तरह से निकाला न जा सके कि उसे रिवर्स-इंजीनियर किया जा सके। यह आपके उत्तर में थोड़ा "शोर" (static/noise) जोड़ने जैसा है ताकि कोई यह न जान सके कि आप उस डेटाबेस में थे या नहीं।

लेकिन समस्या यह है: आपको कैसे पता चलेगा कि मशीन खराब नहीं है? शायद इंजीनियर ने पर्याप्त शोर (noise) जोड़ना भूल गया हो, या कोई ऐसा बग हो जो आपके रहस्यों को लीक कर दे। यहीं पर ऑडिटिंग (auditing) काम आती है। यह एक गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) की तरह है जो यह जांच रहा है कि क्या मशीन वास्तव में अपना वादा निभा रही है।

पुराना तरीका: "निश्चित-आकार" का निरीक्षण (The "Fixed-Size" Inspection)

पारंपरिक रूप से, ऑडिटर एक फैक्ट्री इंस्पेक्टर की तरह काम करते थे जो पहले से तय कर लेते थे, "मैं ठीक 10,000 वस्तुओं की जांच करूँगा।"

समस्या: यदि मशीन वास्तव में खराब है, तो इंस्पेक्टर पहले 10 वस्तुओं में ही त्रुटि ढूंढ सकता है। लेकिन क्योंकि उन्होंने 10,000 वस्तुओं की जांच करने का वादा किया है, वे बाकी को जांचने में बहुत अधिक समय और पैसा बर्बाद करते हैं।
जोखिम: यदि मशीन केवल थोड़ी सी खराब है, तो 10,000 वस्तुओं की जांच करना भी निश्चित होने के लिए पर्याप्त नहीं हो सकता है। इंस्पेक्टर को पहले से सही संख्या का अनुमान लगाना पड़ता है, और वे सुरक्षित रहने के लिए अक्सर बहुत अधिक संख्या का अनुमान लगाते हैं, जिससे संसाधनों की बर्बादी होती है।

नया तरीका: "स्मार्ट, एडेप्टिव" इंस्पेक्टर (The "Smart, Adaptive" Inspector)

यह पेपर एक नए प्रकार के ऑडिटर को पेश करता है जिसे f-Differential Privacy के लिए सीक्वेंशियल ऑडिटिंग (Sequential Auditing for f-Differential Privacy) कहा जाता है। इसे एक स्मार्ट इंस्पेक्टर के रूप में सोचें जिसके पास जांचने के लिए वस्तुओं की कोई निश्चित संख्या नहीं है। इसके बजाय, वे एक-एक करके जांचते रहते हैं और खुद से पूछते हैं, "क्या मेरे पास अभी पर्याप्त सबूत हैं?"

यह कैसे काम करता है, इसके लिए कुछ सरल रूपकों (metapole) का उपयोग किया गया है:

1. "f-DP" मैप (द ट्रेडऑफ कर्व)

केवल एक नंबर (जैसे "क्या शोर पर्याप्त बड़ा है?") की जांच करने के बजाय, यह नया ऑडिटर एक मैप देखता है जिसे f-DP कर्व कहा जाता है।

रूपक: एक पर्वत श्रृंखला की कल्पना करें। "सुरक्षित" क्षेत्र पर्वत की चोटी के ऊपर का क्षेत्र है। "असुरक्षित" क्षेत्र उसके नीचे का क्षेत्र है।
पुराने ऑडिटर: वे केवल यह देखते हैं कि क्या आप मैप के किसी विशिष्ट स्थान पर खड़े हैं।
नए ऑडिटर: वे पूरे पर्वत श्रृंखला के सापेक्ष आपकी पूरी स्थिति की जांच करते हैं। यदि आप कहीं भी चोटी से थोड़ा भी नीचे हैं, तो वे जानते हैं कि आप मुसीबत में हैं। यह उन्हें सुरक्षा की बहुत स्पष्ट और अधिक पूर्ण तस्वीर देता है।

2. "तैयार होते ही रुकें" नियम (The "Stop-When-Ready" Rule)

मुख्य नवाचार सीक्वेंशियल टेस्टिंग (Sequential Testing) है।

रूपक: कल्पना करें कि आप एक शोर वाले कमरे में फुसफुसाहट सुनने की कोशिश कर रहे हैं।
- पुरानी विधि: आप ठीक 1 घंटे तक वहां खड़े रहते हैं, चाहे आपने फुसफुसाहट 5 मिनट में सुनी हो या 55 मिनट में।
- नई विधि: आप सुनते हैं। यदि आप 10 सेकंड के बाद फुसफुसाहट स्पष्ट रूप से सुन लेते हैं, तो आप तुरंत रुक जाते हैं और कहते हैं, "मुझे लीकेज मिल गया!" यदि कमरा शांत है, तो आप थोड़ी देर और सुनते रहते हैं। आप उसी क्षण रुक जाते हैं जब आप सांख्यिकीय रूप से (statistically) आश्वस्त हो जाते हैं।
लाभ: यदि मशीन बहुत खराब है, तो ऑडिटर लगभग तुरंत रुक जाता है, जिससे बहुत अधिक कंप्यूटिंग पावर बचती है। यदि मशीन ठीक है, तो वे तब तक चलते रहते हैं जब तक कि वे आश्वस्त न हो जाएं, लेकिन वे कभी भी आवश्यकता से अधिक संसाधन बर्बाद नहीं करते।

3. "क्लासिफायर" (जासूस)

लीक का पता लगाने के लिए, ऑडिटर एक "क्लासिफायर" का उपयोग करता है, जो एक जासूस की तरह है जो यह अनुमान लगाने की कोशिश करता है कि डेटा का एक टुकड़ा दो समूहों में से किस समूह से आया है।

खेल: ऑडिटर के पास डेटा के दो बकेट (buckets) हैं: एक सामान्य डेटाबेस से और एक जहाँ एक व्यक्ति को बदल दिया गया था।
परीक्षण: ऑडिटर कोशिश करता है कि, "क्या यह आउटपुट सामान्य बकेट से आया या बदले हुए बकेट से?"
तर्क: यदि मशीन पूरी तरह से काम कर रही है (अच्छा प्राइवेसी), तो दोनों बकेट एक जैसे दिखते हैं, और जासूस सिक्का उछालने (coin flip) से बेहतर अनुमान नहीं लगा सकता। यदि मशीन खराब है, तो जासूस सही अनुमान अधिक बार लगा सकता है। ऑडिटर जासूस की सफलता दर को देखता है। यदि जासूस बहुत अच्छी तरह से अनुमान लगाने लगता है, तो ऑडिटर अलार्म बजा देता है।

यह क्यों महत्वपूर्ण है

पेपर दिखाता है कि यह नया तरीका पुराने तरीकों की तुलना में बहुत सस्ता और तेज़ है।

महँगे कार्यों के लिए: AI मॉडल को प्रशिक्षित करना (जैसे कि उल्लेखित DP-SGD) बहुत महंगा है। एक ऑडिट चलाने के लिए जिसमें आवश्यक डेटा से 100 गुना अधिक डेटा की आवश्यकता होती है, वह पैसे की बर्बादी है। यह नया तरीका स्थिति के अनुकूल होता है, और अक्सर केवल एक अंश (fraction) नमूनों की आवश्यकता होती है।
सुरक्षा के लिए: यह एक गणितीय गारंटी प्रदान करता है कि यदि मशीन खराब है, तो ऑडिटर उसे अंततः ढूंढ लेगा, और यदि वह सुरक्षित है, तो ऑडिटर गलत आरोप नहीं लगाएगा।

सारांश

लेखकों ने एक स्मार्ट, एडेप्टिव इंस्पेक्टर बनाया है जो यह जांचता है कि क्या प्राइवेसी एल्गोरिदम सही ढंग से काम कर रहे हैं। नमूनों की एक बड़ी, पूर्व-निर्धारित संख्या को अंधाधुंध जांचने के बजाय, यह एक-एक करके नमूने जांचता है और जैसे ही इसके पास पर्याप्त प्रमाण होता है, यह रुक जाता है। यह प्राइवेसी की पूरी तस्वीर देखने के लिए एक परिष्कृत "मैप" (f-DP) का उपयोग करता है, जो इसे पिछले तरीकों की तुलना में तेज़, सस्ता और अधिक सटीक बनाता है।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता है कि यह प्राइवेसी बग्स को खुद ठीक करता है; यह केवल उन्हें पहचानता है।
यह दावा नहीं करता है कि यह बिना विशिष्ट सेटअप के किसी भी प्रकार के डेटा पर काम करता है (यह मानक Gaussian या Laplace शोर जैसे प्राइवेसी मैकेनिज्म पर काम करता है)।
यह दावा नहीं करता है कि यह भविष्य के गोपनीयता कानूनों या क्लिनिकल परिणामों की भविष्यवाणी करता है; यह वर्तमान सॉफ्टवेयर कार्यान्वयन का परीक्षण करने के लिए केवल एक उपकरण है।

तकनीकी सारांश: f-डिफरेंशियल प्राइवेसी के लिए अनुक्रमिक ऑडिटिंग (Sequential Auditing)

समस्या विवरण

डिफरेंशियल प्राइवेसी (DP), डेटा प्रोसेसिंग में गोपनीयता को मापने के लिए एक मानक है, फिर भी यह सत्यापित करना कि एक विशिष्ट कार्यान्वयन इसके सैद्धांतिक गारंटियों का पालन करता है या नहीं, एक महत्वपूर्ण चुनौती बनी हुई है। मौजूदा अनुभवजन्य (empirical) ऑडिटर आमतौर पर पारंपरिक $(\varepsilon, \delta)$ -DP धारणा को लक्षित करने वाली फिक्स्ड-सैंपल (बैच) प्रक्रियाओं पर निर्भर करते हैं। इन दृष्टिकोणों के दो प्राथमिक सीमाएँ हैं:

अक्षमता (Inefficiency): उन्हें एक पूर्व-निर्धारित नमूना आकार (sample size) की आवश्यकता होती है। चूंकि "इफेक्ट साइज" (गोपनीयता उल्लंघन का परिमाण) परीक्षण से पहले अज्ञात होता है, इसलिए अभ्यासकर्ता अक्सर अनिर्णायक परिणामों से बचने के लिए अत्यधिक बड़े नमूना आकार चुनते हैं, जिससे भारी कम्प्यूटेशनल लागत आती है, विशेष रूप से DP-SGD जैसे महंगे प्रशिक्षण प्रक्रियाओं के लिए।
सीमित अभिव्यक्ति (Limited Expressiveness): $(\varepsilon, \delta)$ ढांचा गोपनीयता का एक "स्थानीयकृत" (localized) दृश्य प्रदान करता है, जो गोपनीयता और उपयोगिता (utility) के बीच पूर्ण ट्रेड-ऑफ स्पेक्ट्रम को पकड़ने में विफल रहता है। इसके विपरीत, $f$ -डिफरेंशियल प्राइवेसी ( $f$ -DP) एक एकल ट्रेडऑफ कर्व के माध्यम से संपूर्ण गोपनीयता व्यवहार को स्पष्ट करती है, जो इसे सांख्यिकीय परीक्षण के लिए अधिक उपयुक्त और आधुनिक तंत्रों जैसे DP-SGD के लिए बेहतर बनाती है।

हालांकि हाल के कार्यों ने $(\varepsilon, \delta)$ -DP के लिए अनुक्रमिक परीक्षण पेश किया है, लेकिन $f$ -DP ढांचे के लिए अनुक्रमिक ऑडिटर की कमी है जो कठोर सांख्यिकीय गारंटियों को बनाए रखते हुए अनुकूल रूप से नमूना आकार निर्धारित कर सके।

कार्यप्रणाली (Methodology)

लेखक $f$ -DP के लिए APT (एडवांस्ड प्राइवेसी टेस्टिंग) प्रस्तावित करते हैं, जो एक अनुक्रमिक ऑडिटिंग फ्रेमवर्क है। मुख्य विचार यह है कि निर्णय (उल्लंघन या कोई उल्लंघन नहीं) तक पहुँचने के लिए सांख्यिकीय महत्व के साथ अनुकूल रूप से नमूने एकत्र करना, न कि एक निश्चित बैच आकार का उपयोग करना।

1. अनुक्रमिक परीक्षण ढांचा (Sequential Testing Framework)

ऑडिटर समस्या को एक परिकल्पना परीक्षण (hypothesis test) के रूप में फ्रेम करता है:

$H_0$ : तंत्र दावा की गई $f$ -DP वक्र $f$ को संतुष्ट करता है (अर्थात, ट्रेडऑफ फंक्शन $T(\alpha) \geq f(\alpha)$ सभी $\alpha$ के लिए)।
$H_1$ : तंत्र दावे का उल्लंघन करता है (अर्थात, $\exists \alpha^*$ ऐसा है कि $T(\alpha^*) < f(\alpha^*)$ )।

नायव (naive) अनुक्रमिक दृष्टिकोणों के विपरीत, जो बार-बार फिक्स्ड-सैंपल परीक्षणों को लागू करते हैं (जिससे गलत रिजेक्शन दर बढ़ जाती है), APT एनीटाइम-वैलिड इन्फरेंस (anytime-valid inference) का उपयोग करता है। यह अनुभवजन्य वर्गीकरण त्रुटियों $(\hat{\alpha}, \hat{\beta})$ के आधार पर एक अनुक्रमिक टेस्ट स्टैटिस्टिक बनाता है और इसकी तुलना गौसियन सन्निकटन सिद्धांत (Gaussian approximation theory) (विशेष रूप से, ब्राउनियन मोशन के व्यवहार) से प्राप्त बाउंड्री फंक्शन्स से करता है। यह सुनिश्चित करता है कि जैसे-जैसे नमूना आकार बढ़ता है, गलत रिजेक्शन दर (महत्व स्तर $\gamma$ ) नियंत्रित रहे।

2. क्लासिफायर निर्माण (Classifier Construction)

ट्रेडऑफ फंक्शन का अनुमान लगाने के लिए, ऑडिटर को आउटपुट वितरण $P$ (डेटासेट $D$ से) और $Q$ (पड़ोसी डेटासेट $D'$ से) के बीच अंतर करने के लिए एक क्लासिफायर $\phi$ की आवश्यकता होती है। यह ढांचा दोनों का समर्थन करता है:

व्हाइटबॉक्स सेटिंग (Whitebox Setting): विश्लेषक तंत्र के मापदंडों (जैसे शोर वितरण) को जानता है। एक पैरामीट्रिक लाइक्लीहुड रेशियो क्लासिफायर (जैसे गौसियन थ्रेशोल्डिंग) का उपयोग किया जाता है।
ब्लैकबॉक्स सेटिंग (Blackbox Setting): केवल इनपुट/आउटपुट एक्सेस उपलब्ध है। ऑडिटर $P$ और $Q$ के घनत्व (densities) का अनुमान लगाने के लिए कर्नेल डेंसिटी एस्टीमेशन (KDE) का उपयोग करता है, जिससे एक विचलित (perturbed) लाइक्लीहुड रेशियो क्लासिफायर का निर्माण होता है।

3. इष्टतम थ्रेशोल्ड ट्यूनिंग (Optimal Threshold Tuning)

क्लासिफायर के लिए इष्टतम थ्रेशोल्ड $\eta$ का चयन करना एक महत्वपूर्ण घटक है। लेखक एक नई ज्यामितीय रणनीति (इक्वेशन 8) का प्रस्ताव करते हैं जो $\eta$ को इस तरह चुनती है कि अनुमानित एरर पेयर $(\hat{\alpha}, \hat{\beta})$ और दावा की गई वक्र $f$ के बीच 45-डिग्री डायगोनल के साथ यूक्लिडियन दूरी को अधिकतम किया जा सके। यह दिखाया गया है कि यह पिछले वर्टिकल-डिस्टेंस-आधारित चयन नियमों की तुलना में उल्लंघन का पता लगाने में अधिक शक्तिशाली है।

4. एल्गोरिदम प्रवाह (Algorithm Flow)

APT एल्गोरिदम (एल्गोरिदम 1) इस प्रकार आगे बढ़ता है:

बर्न-इन (Burn-in): मापदंडों को कैलिब्रेट करने और एक प्रारंभिक क्लासिफायर बनाने के लिए एक छोटा प्रारंभिक नमूना लें।
अनुक्रमिक लूप (Sequential Loop): नए नमूने $(X_k, Y_k)$ को पुनरावृत्ति से लें।
अपडेट (Update): क्लासिफायर को समय-समय पर अपडेट करें (यदि ब्लैकबॉक्स मोड में है) और वर्गीकरण त्रुटियों का पुन: अनुमान लगाएं।
निर्णय (Decision): यह जांचने के लिए कि क्या अनुमानित त्रुटियां दावा की गई वक्र $f$ से काफी नीचे गिरती हैं, कॉन्फिडेंस-एडजस्टेड एस्टिमेटर्स लागू करें। यदि बाउंड्री पार हो जाती है, तो एल्गोरिदम रुक जाता है और उल्लंघन की रिपोर्ट करता है।

मुख्य योगदान (Key Contributions)

प्रथम अनुक्रमिक $f$ -DP ऑडिटर: यह पेपर $f$ -DP दावों का अनुक्रमिक परीक्षण करने में सक्षम पहले ऑडिटर को प्रस्तुत करता है, जो व्हाइटबॉक्स और ब्लैकबॉक्स दोनों सेटिंग्स का समर्थन करता है।
सैद्धांतिक गारंटी: लेखक प्रमाण (थ्योरम 3.1) प्रदान करते हैं कि:
- गलत रिजेक्शन दर एक उपयोगकर्ता-निर्दिष्ट $\gamma$ द्वारा सीमित है (अनंत नमूना आकार के लिए भी)।
- उल्लंघन का पता लगाने के लिए आवश्यक नमूना आकार ज्ञात प्रभाव आकार वाले फिक्स्ड-सैंपल टेस्ट द्वारा आवश्यक सैद्धांतिक न्यूनतम के लॉगरिदमिक फैक्टर के भीतर, लगभग इष्टतम है।
बेहतर क्लासिफायर ट्यूनिंग: इष्टतम क्लासिफायर थ्रेशोल्ड चुनने के लिए एक नवीन ज्यामितीय रणनीति जो मौजूदा फिक्स्ड-बैच विधियों की तुलना में डिटेक्शन पावर में सुधार करती है।
ओपन-सोर्स कार्यान्वयन: लेखक परिणाम उत्पन्न करने और ऑडिटर को लागू करने के लिए कोड के साथ एक सार्वजनिक रिपॉजिटरी प्रदान करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक बेंचमार्क (गौसियन और लाप्लास मैकेनिज्म) और एक वास्तविक दुनिया के DP-SGD परिदृश्य पर APT का मूल्यांकन किया।

नमूना दक्षता (Sample Efficiency): नियंत्रित प्रयोगों में, APT ने फिक्स्ड-बैच बेसलाइन की तुलना में काफी कम नमूनों के साथ उल्लंघन का पता लगाया। मजबूत उल्लंघनों के लिए, डिटेक्शन अक्सर कुछ सौ नमूनों के भीतर ही हो गया।
पूर्व कार्य के साथ तुलना: पेपर एडिटिव-नॉइज़ बेंचमार्क पर [22] के विरुद्ध APT की तुलना हाल के अनुक्रमिक $(\varepsilon, \delta)$ $(ε, δ)$ -DP ऑडिटर [22] से करता है।
- छोटे- $\varepsilon$ शासन में, [22] द्वारा रिपोर्ट किए गए नमूनों का लगभग 10%–25% नमूने लेकर APT ने बग वाले तंत्र को खारिज कर दिया।
- बड़े- $\varepsilon$ शासन में, [22] द्वारा उपयोग किए जाने वाले MMD-आधारित सरोगेट में एक "सैचुरेशन इफेक्ट" होता है जहाँ टेस्ट मार्जिन लुप्त हो जाता है, जिससे डिटेक्शन विफल हो जाता है। APT व्यापक रेंज के गोपनीयता मापदंडों पर प्रभावी रहता है क्योंकि यह इस सरोगेट पर निर्भर नहीं है।
वास्तविक दुनिया का DP-SGD: CIFAR-10 पर "वन-रन" ऑडिटिंग परिदृश्य में, अनुक्रमिक दृष्टिकोण ने दिखाया कि स्पष्ट उल्लंघनों के लिए, निर्णय तक पहुँचने के लिए कैनरी स्कोर की संख्या नाटकीय रूप से कम हो गई (पूर्ण सेट पर फिक्स्ड-बैच टेस्ट चलाने की तुलना में हजारों से घटकर सैकड़ों रह गई)।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि APT पूर्व-निर्दिष्ट, अक्सर अत्यधिक, नमूना आकार की आवश्यकता को समाप्त करके गोपनीयता ऑडिटिंग में कम्प्यूटेशनल बाधा को दूर करता है। $f$ -DP पर ध्यान केंद्रित करके और अनुक्रमिक परीक्षण का उपयोग करके, यह विधि अनुमति देती है:

लागत में कमी: विशेष रूप से महंगे तंत्रों जैसे DP-SGD के लिए फायदेमंद जहाँ प्रशिक्षण को फिर से चलाना या बड़ी संख्या में कैनरीज को स्कोर करना निषेधात्मक है।
कठोर नियंत्रण: नैव (naive) अनुक्रमिक परीक्षण से जुड़े "पीकिंग" दंड के बिना सख्त सांख्यिकीय महत्व गारंटी बनाए रखना।
अनुकूलन क्षमता: जब उल्लंघन बड़े हों तो तेजी से उल्लंघन का पता लगाने की क्षमता, जबकि सूक्ष्म उल्लंघनों के लिए केवल आवश्यकतानुसार ही नमूना लेना जारी रखना।

लेखक इस बात पर जोर देते हैं कि यह कार्य मौजूदा ऑडिटिंग टूल के पूरक के रूप में काम करने के लिए है, जो एक जेनेरिक अनुक्रमिक रैपर प्रदान करता है जिसे नमूना दक्षता में सुधार के लिए किसी भी $f$ -DP ऑडिटर पर लागू किया जा सकता है। वे स्पष्ट रूप से नोट करते हैं कि [22] के साथ उनकी तुलना सार्वभौमिक प्रभुत्व का दावा नहीं है, क्योंकि दोनों विधियाँ अलग-अलग गोपनीयता ऑब्जेक्ट्स का ऑडिट करती हैं, बल्कि विशिष्ट, प्रासंगिक शासन में बेहतर दक्षता का प्रदर्शन है।