तकनीकी सारांश: सदस्यता अनुमान हमलों (Membership Inference Attacks) का कारणत्मक मूल्यांकन (Causal Evaluation)

समस्या विवरण

सदस्यता अनुमान हमलों (MIAs) का उपयोग यह निर्धारित करने के लिए किया जाता है कि क्या विशिष्ट डेटा बिंदु मॉडल के प्रशिक्षण सेट का हिस्सा थे, जो कि याद रखने की क्षमता (memorization) और गोपनीयता जोखिमों को मापने के लिए एक प्राथमिक मीट्रिक के रूप में कार्य करता है। मानक मूल्यांकन प्रोटोकॉल, जिसे मल्टी-रन रिजीम (multi-run regime) कहा जाता है, एक विशिष्ट डेटा बिंदु के साथ और उसके बिना सैकड़ों या हजारों बार मॉडल को पुन: प्रशिक्षित करने में शामिल है ताकि एक 'ग्राउंड ट्रुथ' स्थापित किया जा सके। हालाँकि, यह दृष्टिकोण आधुनिक बड़े पैमाने के मॉडलों (जैसे, लार्ज लैंग्वेज मॉडल्स) के लिए गणनात्मक रूप से अत्यधिक महंगा है।

परिणामस्वरूप, क्षेत्र अधिक कुशल विकल्पों की ओर स्थानांतरित हो गया है:

1. वन-रन रिजीम (One-run regime): डेटा के एक यादृच्छिक उपसमुच्चय (randomized subset) पर एक एकल मॉडल को प्रशिक्षित किया जाता है।
2. ज़ीरो-रन रिजीम (Zero-run regime): एक तैनात (deployed) मॉडल का पोस्ट-हॉक मूल्यांकन बिना पुन: प्रशिक्षण के किया जाता है, जिसमें सदस्यों और गैर-सदस्यों के लिए प्रॉक्सी डेटासेट का उपयोग किया जाता है।

यह शोध पत्र पहचान करता है कि ये कुशल रिजीम दो प्राथमिक स्रोतों के कारण सांख्यिकीय अमान्यता (statistical invalidity) से ग्रस्त हैं:

• हस्तक्षेप (Interference): वन-रन रिजीम में, एक डेटा बिंदु का समावेश अन्य सभी बिंदुओं पर मॉडल के व्यवहार को प्रभावित करता है, जो स्टेबल यूनिट ट्रीटमेंट वैल्यू असांप्शन (SUTVA) का उल्लंघन करता है।
• कन्फाउंडिंग (वितरण बदलाव/Distribution Shift): ज़ीरो-रन रिजीम में (जो LLM मूल्यांकन में सामान्य है), सदस्य और गैर-सदस्य डेटासेट अक्सर अलग-अलग वितरणों से आते हैं (जैसे, कट-ऑफ से पहले बनाम कट-ऑफ के बाद के दस्तावेज़)। यह वितरण बदलाव MIA स्कोर को डेटा की विशेषताओं के अंतर के कारण दिखाता है, न कि वास्तविक याद रखने की क्षमता के कारण, जिससे गोपनीयता रिसाव का व्यवस्थित अतिरंजित अनुमान (overestimation) होता है।

कार्यप्रणाली (Methodology)

लेखक MIA मूल्यांकन को एक कारणत्मक अनुमान समस्या (causal inference problem) के रूप में पुनर्गठित करते हैं। वे "याद रखने की क्षमता" (memorization) को एक डेटा बिंदु को प्रशिक्षण सेट में शामिल करने के कारणत्मक प्रभाव (causal effect) के रूप में परिभाषित करते हैं।

कारणत्मक औपचारिकीकरण (Causal Formalization)

• उपचार (Treatment - $A_i$): प्रशिक्षण सेट में डेटा बिंदु $X_i$ का समावेश।
• परिणाम (Outcome - $Y_i$): $X_i$ के लिए MIA आत्मविश्वास स्कोर (जैसे, नेगेटिव लॉस) $Y_i$।
• संभावित परिणाम (Potential Outcomes): $Y_i(1)$ और $Y_i(0)$ क्रमशः $X_i$ के शामिल होने या बाहर होने पर स्कोर का प्रतिनिधित्व करते हैं।

लेखक तीन मूल्यांकन रिजीम को कारणत्मक सेटिंग्स में मैप करते हैं:

1. मल्टी-रन: यह एक रैंडमाइज्ड कंट्रोल्ड ट्रायल (RCT) के अनुरूप है। कारणत्मक प्रभाव डिज़ाइन द्वारा ही पहचाने जाने योग्य हैं।
2. वन-रन: यह हस्तक्षेप (interference) वाले एक RCT के अनुरूप है। प्रशिक्षण एल्गोरिदम एक मध्यस्थ (mediator) के रूप में कार्य करता है जहाँ एक इकाई का उपचार अन्य इकाइयों के परिणामों को प्रभावित करता है।
3. ज़ीरो-रन: यह हस्तक्षेप वाले एक अवलोकनात्मक अध्ययन (observational study) के अनुरूप है। सदस्यता यादृच्छिक रूप से आवंटित नहीं की जाती है बल्कि डेटा वितरण (कन्फाउंडिंग) के साथ सह-संबंधित होती है, जो वन-रन सेटिंग में मौजूद हस्तक्षेप के साथ मिलकर काम करती है।

प्रस्तावित अनुमानक (Proposed Estimators)

इन पूर्वासों (biases) को संबोधित करने के लिए, शोध पत्र व्यावहारिक अनुमानक प्रस्तावित करता है जिनमें नॉन-एसिम्प्टोटिक कंसिस्टेंसी गारंटी है:

1. हस्तक्षेप को संभालना (वन-रन):
   लेखक लर्निंग थ्योरी से एल्गोरिद्मिक स्थिरता (algorithmic stability) का लाभ उठाते हैं। वे मानते हैं कि प्रशिक्षण एल्गोरिदम $\alpha$-एरर स्टेबल और $\beta$-यूनिफॉर्मली ट्रेनिंग स्टेबल है। इन धारणाओं के तहत, वे सिद्ध करते हैं कि मानक अनुमानक (जैसे, माध्य का अंतर) औसत उपचार प्रभाव (ATE) के लिए सुसंगत (consistent) रहते हैं, बशर्ते कि स्थिरता पैरामीटर डेटासेट के आकार के सापेक्ष पर्याप्त रूप से कम हों।

2. कन्फाउंडिंग को संभालना (ज़ीरो-रन):
   वितरण बदलाव को ठीक करने के लिए, लेखक इनवर्स प्रोबेबिलिटी वेटिंग (IPW) और ऑगमेंटेड इनवर्स प्रोबेबिलिटी वेटिंग (AIPW) अनुमानक प्रस्तावित करते हैं।

• वे एक प्रोपेंसिटी स्कोर मॉडल (एक बाइनरी क्लासिफायर) को प्रशिक्षित करते हैं जो यह अनुमान लगाता है कि किसी डेटा बिंदु के सदस्य वितरण का होने की प्रायिकता $\pi(x) = P(A=1|X=x)$ क्या है।
• IPW अनुमानक गैर-सदस्य नमूनों को सदस्य वितरण से मेल खाने के लिए पुन: भारित (reweight) करता है, जो प्रभावी रूप से मूल्यांकन को निष्पक्ष (debias) करता है।
• AIPW अनुमानक 'डबल रोबस्टनेस' के लिए प्रोपेंसिटी स्कोर को आउटकम रिग्रेशन मॉडल के साथ जोड़ता है।

मुख्य योगदान

1. कारणत्मक औपचारिकीकरण: यह शोध पत्र MIA मूल्यांकन के लिए एक कारणत्मक ढांचे को पेश करता है, जो याद रखने की क्षमता को एक कारणत्मक प्रभाव के रूप में परिभाषित करता है और औपचारिक रूप से वन-रन और ज़ीरो-रन रिजीम में हस्तक्षेप और कन्फाउंडिंग को पूर्वासे के मूल कारणों के रूप में पहचानता है।
2. कारणत्मक वर्गीकरण (Causal Taxonomy): यह त्रुटि स्रोतों का एक कठोर वर्गीकरण प्रदान करता: वन-रन सेटिंग्स में हस्तक्षेप और ज़ीरो-रन सेटिंग्स में कन्फाउंडिंग, जो उन्हें स्थापित कारणत्मक अनुमान अवधारणाओं (RCTs बनाम ऑब्जर्वेशनल स्टडीज) से जोड़ता है।
3. सिद्धांत-आधारित अनुमानक: लेखक MIA के मानक मेट्रिक्स (जैसे, Causal AUC, Causal Membership Advantage) के कारणत्मक एनालॉग्स प्राप्त करते हैं और तीनों रिजीम के लिए अनुमानक प्रदान करते हैं। इन अनुमानकों के साथ एल्गोरिद्मिक स्थिरता और प्रोपेंसिटी स्कोर अनुमान पर आधारित सैद्धांतिक निरंतरता (consistency) गारंटी भी आती है।
4. अनुभवजन्य सत्यापन (Empirical Validation): इस ढांचे को सिंथेटिक डेटा, CIFAR-10 पर ResNet, और प्री-ट्रेन्ड और फाइन-ट्यून्ड दोनों LLMs (Pythia-12b और Pythia-70m) पर सत्यापित किया गया है।

परिणाम

प्रयोगों से पता चलता है कि 'नेइव' (naive) ज़ीरो-रन मूल्यांकन वितरण बदलाव के कारण MIA प्रदर्शन को व्यवस्थित रूप से बढ़ा-चढ़ाकर दिखाता है:

• सिंथेटिक डेटा और CIFAR-10: प्रेरित वितरण बदलावों वाले सेटिंग्स में, नेइव ज़ीरो-रन मूल्यांकन ने मल्टी-रन बेसलाइन (जैसे, 0.72 बनाम 0.63) की तुलना में काफी उच्च AUC दिखाए। प्रस्तावित प्रोपेंसिटी-स्कोर सुधार ने वास्तविक कारणत्मक सिग्नल को सफलतापूर्वक पुनः प्राप्त किया, जिससे ज़ीरो-रन परिणाम मल्टी-रन और आदर्श IID बेसलाइनों के अनुरूप आ गए।
• प्री-ट्रेन्ड LLMs: Pythia-12b पर, arXiv और GitHub जैसे कॉर्पोरा पर नेइव मूल्यांकन उच्च AUC (जैसे, 0.96) दिखाते हैं, जो भारी याद रखने की क्षमता का सुझाव देते हैं। कारणत्मक सुधार के बाद, AUC काफी गिर गया (जैसे, 0.63 तक), जो दर्शाता है कि मूल सिग्नल काफी हद तक वितरण संबंधी अंतरों से प्रेरित था न कि वास्तविक याद रखने की क्षमता से।
• फाइन-ट्यून्ड LLMs: ज्ञात ग्राउंड ट्रुथ (Biden बनाम Trump II प्रेस विज्ञप्तियां) के साथ एक नियंत्रित फाइन-ट्यूनिंग प्रयोग में, शिफ्ट किए गए डेटा (Trump) पर नेइव ज़ीरो-रन मूल्यांकन ने AUC > 0.95 दिखाया। सुधारा गया अनुमानक ~0.60 के छद्म-ग्राउंड ट्रुथ (Biden बनाम Biden) AUC के करीब रहा।

महत्व और दावे

यह शोध पत्र आधुनिक AI सिस्टम के लिए गोपनीयता मूल्यांकन के लिए एक सिद्धांत-आधारित आधार प्रदान करने का दावा करता है। एक भविष्य कहनेवाला (predictive) के बजाय कारणत्मक (causal) परिप्रेक्ष्य में बदलकर, यह ढांचा:

• वर्तमान MIA मूल्यांकन प्रोटोकॉल में पूर्वासे के मूल कारणों को स्पष्ट करता है, विशेष रूप से वास्तविक याद रखने की क्षमता और वितरण बदलाव के आर्टिफैक्ट्स के बीच अंतर करता है।
• विश्वसनीय पोस्ट-हॉक मूल्यांकन सक्षम बनाता है, जिसके लिए मॉडल प्रदाताओं को मॉडल को पुन: प्रशिक्षित करने या अपने प्रशिक्षण डेटा को साझा करने की आवश्यकता नहीं होती है, जो मालिकाना (proprietary) LLMs के ऑडिट के लिए महत्वपूर्ण है।
• एक स्केलेबल समाधान प्रदान करता है, जो प्रोपेंसिटी स्कोर जैसे सरल बाइनरी क्लासिफायर का उपयोग करके मूल्यांकन पूर्वासों को ठीक करता है, जिससे बड़े पैमाने के मॉडलों के लिए कठोर गोपनीयता ऑडिट संभव हो जाता है जहाँ मल्टी-रन रिट्रेनिंग असंभव है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण नए हमले (attack vectors) का आविष्कार नहीं कर रहा है, बल्कि मूल्यांकन मेट्रिक्स को ठीक कर रहा है ताकि यह सुनिश्चित हो सके कि रिपोर्ट किए गए गोपनीयता जोखिम वास्तविक मॉडल मेमोराइजेशन को दर्शाते हैं, न कि डेटासेट के आर्टिफैक्ट्स को।