तकनीकी सारांश: कुशल सदस्यता अनुमान भेद्यता मूल्यांकन की विश्वसनीयता पर

1. समस्या विवरण

सदस्यता अनुमान हमले (Membership Inference Attacks - MIAs) मशीन लर्निंग मॉडलों में गोपनीयता रिसाव का आकलन करने के लिए मानक अनुभवजन्य विधि हैं। भेद्यता को आमतौर पर एक निश्चित, निम्न फॉल्स पॉजिटिव रेट (False Positive Rate - FPR) पर ट्रू पॉजिटिव रेट (True Positive Rate - TPR) द्वारा मापा जाता है। हालांकि, बहुत कम FPR (जैसे, $FPR \le 0.01$) पर TPR का विश्वसनीय अनुमान लगाने के लिए, लक्षित मॉडलों ($M$) की एक निषेधात्मक संख्या की आवश्यकता होती है, क्योंकि स्थिर अनुमान के लिए $M \ge 10/FPR$ होना चाहिए।

इस कम्प्यूटेशनल लागत से बचने के लिए, अभ्यासी अक्सर कई लक्षित मॉडलों और कई डेटा नमूनों के बीच MIA स्कोर को एकत्रित (concatenation) करते हैं। यह शोध पत्र इस "कुशल" मूल्यांकन पाइपलाइन में दो महत्वपूर्ण दोषों की पहचान करता है:

1. संयोजित मूल्यांकन में गलत अंशांकन (Miscalibration in Concatenated Evaluation): विभिन्न नमूनों के स्कोर को केवल संयोजित करना और एक एकल वैश्विक थ्रेशोल्ड (global threshold) लागू करना यह गारंटी नहीं देता है कि प्रत्येक व्यक्तिगत नमूने के लिए FPR समान होगा। इससे प्रति-नमूना (per-sample) FPR विषम (heterogeneous) हो जाते हैं, जिससे वैश्विक मीट्रिक डिफरेंशियल प्राइवेसी के ऑडिटिंग या डिफेंस की तुलना करने के लिए अविश्वसनीय हो जाता है।
2. कुशल LiRA में परिमित जनसंख्या पूर्वाग्रह (Finite Population Bias in Efficient LiRA): व्यापक रूप से उपयोग किया जाने वाला "कुशल LiRA" कार्यान्वयन (Carlini et al., 2022) शैडो मॉडलों के एक परिमित सेट का पुनर्चक्रण (recycle) करता है। चूंकि ये मॉडल एक परिमित डेटासेट के ओवरलैपिंग उपसमुच्चयों पर बिना प्रतिस्थापन (without replacement) के प्रशिक्षित होते हैं, इसलिए सीखने के परिणामों की अनुभवजन्य भिन्नता (empirical variance) का कम अनुमान लगाया जाता है। इसके परिणामस्वरूप भेद्यता अनुमानों में एक सकारात्मक पूर्वाग्रह (positive bias) होता है, जिससे मॉडल वास्तविक डेटा वितरण की तुलना में अधिक असुरक्षित प्रतीत होते हैं।

2. कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक MIA को एक बाइनरी हाइपोथीसिस टेस्ट ($H_0$: नमूना $\notin$ प्रशिक्षण सेट बनाम $H_1$: नमूना $\in$ प्रशिक्षण सेट) के रूप में फ्रेम करते हैं। वे निम्नलिखित के बीच अंतर करते हैं:

• प्रति-नमूना भेद्यता (Per-sample vulnerability): विभिन्न शिक्षण परिणामों (stochasticity in training) के माध्यम से एक विशिष्ट नमूना $x$ की विशिष्टता।
• संयोजित भेद्यता (Concatenated vulnerability): औसत भेद्यता का अनुमान लगाने के लिए $M$ मॉडलों और $N$ नमूनों के बीच स्कोर को एकत्रित करना।

प्रस्तावित समाधान

A. FPR अंशांकन के लिए पोस्ट-प्रोसेसिंग (Post-Processing for FPR Calibration)

संयोजित स्कोर के मिसकैलिब्रेशन को संबोधित करने के लिए, लेखक MIA स्कोर (LiRA स्कोर) के एफाइन ट्रांसफॉर्मेशन (affine transformations) पर आधारित एक पोस्ट-प्रोसेसिंग विधि प्रस्तावित करते हैं।

• मान्यता: एक नमूना $x$ के इन/आउट वितरण को गाऊसी (Gaussian) के रूप में अनुमानित किया जा सकता है: $S^{out}_x \sim \mathcal{N}(\mu_{out,x}, \sigma^2_{out,x})$ और $S^{in}_x \sim \mathcal{N}(\mu_{in,x}, \sigma^2_{in,x})$।
• रूपांतरण: स्कोर को आउट-डिस्ट्रीब्यूशन मापदंडों का उपयोग करके मानकीकृत (standardized) किया जाता है:
  $$f_x(t) = \text{sign}(\Delta_x) \frac{t - \mu_{out,x}}{\sigma_{out,x}}$$
  जहाँ $\Delta_x = \mu_{in,x} - \mu_{out,x}$ है।
• प्रभाव: इस ट्रांसफॉर्म के तहत, सभी नमूनों के लिए आउट-डिस्ट्रीब्यूशन एक मानक सामान्य $\mathcal{N}(0, 1)$ बन जाता है। इसके बाद यह सुनिश्चित करने के लिए कि प्रत्येक नमूने के लिए FPR ठीक $\alpha$ है (समान वेरिएंस मानते हुए या मानक सामान्य सन्निकटन का उपयोग करते हुए), एक एकल वैश्विक थ्रेशोल्ड $t_\alpha = \Phi^{-1}(1-\alpha)$ लागू किया जा सकता है।
• असमान वेरिएंस: भले ही वेरिएंस भिन्न हों ($\sigma_{in,x} \neq \sigma_{out,x}$), यह रूपांतरण सुनिश्चित करता है कि आउट-डिस्ट्रीब्यूशन मानक सामान्य बना रहे, जिससे FPR अंशांकन सुरक्षित रहता। हालांकि यह परीक्षण अब यूनिफॉर्मली मोस्ट पावरफुल (UMP) टेस्ट नहीं है, लेकिन यह औसत भेद्यता का एक कैलिब्रेटेड निचला स्तर (lower bound) प्रदान करता है।

B. परिमित जनसंख्या सुधार (Finite Population Correction - FPC)

कुशल LiRA में परिमित जनसंख्या पूर्वाग्रह को संबोधित करने के लिए, लेखक शास्त्रीय सैंपलिंग सिद्धांत (Cochran, 1977) लागू करते हैं।

• अवलोकन: जब प्रशिक्षण सेट को आकार $N_+$ वाले एक परिमित सुपरसेट $D_{full}$ से बिना प्रतिस्थापन के सैंपल किया जाता है, तो एस्टीमेटर की भिन्नता $(1 - N/N_+)$ के कारक से कम हो जाती है, जहाँ $N$ प्रशिक्षण सेट का आकार है।
• सुधार: शैडो मॉडलों से अनुमानित अनुभवजन्य वेरिएंस को परिमित जनसंख्या सुधार (FPC) कारक के व्युत्क्रम (inverse) द्वारा स्केल किया जाना चाहिए:
  $$\text{FPC} = 1 - \frac{N}{N_+}$$
  $$\sigma^2_{corrected} \approx \frac{\sigma^2_{empirical}}{\text{FPC}}$$
  यह सुधार अनुभवजन्य भिन्नता को अंतर्निहित जनसंख्या वितरण से स्वतंत्र ड्रॉ के अपेक्षित भिन्नता के साथ संरेखित करता है।

3. मुख्य योगदान

1. एकत्रीकरण का सैद्धांतिक विश्लेषण: यह शोध पत्र प्रति-नमूना बनाम संय어진 MIA मूल्यांकनों में यादृच्छिकता (randomness) के स्रोतों को स्पष्ट करता है, यह प्रदर्शित करते हुए कि एक एकल वैश्विक थ्रेशोल्ड विषम प्रति-नमूना FPR उत्पन्न करता है, जो सहज संयोजन (naive concatenation) को अविश्वसनीय बनाता है।
2. कैलिब्रेशन विधि: एक सरल पोस्ट-प्रोसेसिंग विधि प्रस्तावित की गई है जो हल्के गाऊसी अनुमानों के तहत लक्षित FPR पर प्रति-नमूना FPR को कैलिब्रेट करती है।
3. परिमित जनसंख्या पूर्वाग्रह की पहचान: लेखक पहचानते हैं कि कुशल LiRA कार्यान्वयन परिमित शैडो डेटासेट के पुन: उपयोग के कारण वेरिएंस के कम अनुमान से ग्रस्त हैं। वे इस पूर्वाग्रह को ठीक करने के लिए FPC-आधारित समाधान प्रस्तावित करते हैं।
4. अनुभवजन्य सत्यापन: UCI Adult और Credit डेटासेट पर प्रशिक्षित TabPFN मॉडलों पर प्रयोगों से पता चलता है कि सहज संयोजन गोपनीयता जोखिम का अधिक अनुमान लगाता है, जबकि प्रस्तावित पोस्ट-प्रोसेसिंगिंग अधिक स्थिर और कम अनुमान प्रदान करती है। सिमुलेशन पुष्टि करते हैं कि FPC सुधार लर्निंग आउटकम के विश्लेतिक मानक विचलन (analytical standard deviation) को पुनः प्राप्त करता है।

4. प्रयोगात्मक परिणाम

• रणनीतियों का तुलनात्मक अध्ययन: TabPFN मॉडलों का उपयोग करते हुए, लेखकों ने सहज संयोजन (naive concatenation), पोस्ट-प्रोसेस्ड संयोजन (post-processed concatenation), और प्रति-नमूना औसत (per-sample averaging) की तुलना की।
  • सहज संयोजन (Naive Concatenation): इसने लगातार उच्च TPR दिए, जिससे जोखिम का अधिक अनुमान लगा क्योंकि यह नमूना-वार भिन्नता के अंतर को समझने में विफल रहा।
  • पोस्ट-प्रोसेस्ड संयोजन (PP): इसने कम, अधिक स्थिर TPR अनुमान दिए। जैसे-जैसे मॉडलों की संख्या ($M$) बढ़ी, "औसत TPR/नमूना" (जो प्रति-नमूना एकत्रीकरण के लिए ग्राउंड ट्रुथ है) "संयोजित TPR (PP)" के करीब पहुँच गया, जो PP को एक विश्वसनीय, कम्प्यूटेशनल रूप से कुशल प्रॉक्सी के रूप में प्रमाणित करता है।
  • थ्रेशोल्डिंग: $\mathcal{N}(0,1)$ पर आधारित विश्लेतिक थ्रेशोल्ड का उपयोग करने से छोटे $M$ के लिए बढ़े हुए TPR मिले। $M \ge 256$ के लिए स्टूडेंट $t$-डिस्ट्रीब्यूशन थ्रेशोल्ड का उपयोग करने से अधिक सटीक परिणाम मिले।
• परिमित जनसंख्या पूर्वाग्रह: गाऊसी डेटा के साथ विश्लेतिक सिमुलेशन में, कुशल LiRA से प्राप्त अनुभवजन्य मानक विचलन ($\sigma_{emp}$) लगातार विश्लेतिक मानक विचलन ($\sigma_{ana}$) से छोटा था। $\sigma_{emp}/\sigma_{ana}$ का अनुपात $\sqrt{\text{FPC}}$ के आसपास केंद्रित था। FPC सुधार लागू करने से विश्लेतिक भिन्नता सफलतापूर्वक पुनः प्राप्त हो गई।

5. महत्व और दावे

यह शोध पत्र MIA भेद्यता के मूल्यांकन के लिए अधिक विश्वसनीय और कुशल ढांचा प्रदान करने का दावा करता है, विशेष रूप से कम FPR पर पूरे डेटासेट की औसत भेद्यता के लिए।

• विश्वसनीयता: प्रस्तावित पोस्ट-प्रोसेसिंग यह सुनिश्चित करती है कि रिपोर्ट किया गया TPR नमूनों में इच्छित FPR के अनुरूप हो, जो वर्तमान "कुशल" ऑडिटिंग प्रथाओं में एक महत्वपूर्ण दोष को संबोधित करता है।
• दक्षता: यह विधि कम FPR अनुमान के लिए आवश्यक विशाल संख्या में लक्षित मॉडलों की आवश्यकता के बिना वैध निम्न-FPR अनुमान की अनुमति देती है।
• पूर्वाग्रह का सुधार: कुशल Liरा में परिमित जनसंख्या पूर्वाग्रह की पहचान और सुधार, परिमित शैडो डेटासेट के पुन: उपयोग के कारण होने वाले व्यवस्थित भेद्यता ओवर-एस्टीमेशन को रोकता है।

लेखक एक मध्यम रुख अपनाते हैं, यह नोट करते हुए कि जबकि औसत TPR एक उपयोगी मीट्रिक है, यह सबसे अधिक असुरक्षित नमूनों के जोखिम को "कम" (water down) कर सकता है। वे स्वीकार करते हैं कि सबसे अधिक असुरक्षित नमूनों की पहचान करना और उनका परीक्षण करना स्वर्ण मानक (gold standard) बना हुआ है, लेकिन यह कम्प्यूटेशनल रूप से अत्यधिक महंगा है। उनका दृष्टिकोण ज्ञात FPR पर एक वैध TPR प्राप्त करने के लिए एक "तुलनात्मक रूप से सस्ता और आसान विकल्प" प्रदान करता है, जो पहले कुशल मूल्यांकन पाइपलाइनों में उपलब्ध नहीं था।