Dynamic Probabilistic Noise Injection for Membership Inference Defense

यहाँ जावाद फ़ोरौग और हामिद हद्दादी के शोध पत्र "Dynamic Probabilistic Noise Injection for Membership Inference Defense" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मेंबरशिप इन्फरेंस अटैक्स (MIAs) मशीन लर्निंग में एक महत्वपूर्ण गोपनीयता जोखिम पैदा करते हैं, जहाँ एक हमलावर यह निर्धारित करने का प्रयास करता है कि क्या कोई विशिष्ट डेटा नमूना मॉडल के प्रशिक्षण सेट (training set) का हिस्सा था। यह स्वास्थ्य सेवा और वित्त जैसे संवेदनशील क्षेत्रों में विशेष रूप से महत्वपूर्ण है।

• चुनौती: मौजूदा रक्षा तंत्र अक्सर स्थिर डिफरेंशियल प्राइवेसी (Static Differential Privacy - DP) या निश्चित शोर इंजेक्शन (fixed noise injection) रणनीतियों पर निर्भर करते हैं। इन दृष्टिकोणों में एक कठोर ट्रेड-ऑफ (trade-off) होता है:
  • अपर्याप्त शोर (Insufficient Noise): कम, निश्चित शोर स्तर परिष्कृत हमलों (जैसे LiRA, शैडो मॉडल्स) का मुकाबला करने में विफल रहते हैं।
  • अत्यधिक शोर (Excessive Noise): उच्च, निश्चित शोर स्तर मॉडल की सटीकता (utility) को काफी कम कर देते हैं, जिससे मॉडल कम उपयोगी रह जाता है।
  • अनुकूलन क्षमता का अभाव (Lack of Adaptability): एकसमान शोर का अनुप्रयोग अलग-अलग क्वेरीज़ की परिवर्तनशीलता को अनदेखा करता है। एक ऐसी क्वेरी जहाँ मॉडल अत्यधिक आश्वस्त (कम एंट्रॉपी) है, उसमें सदस्यता संबंधी जानकारी लीक होने का जोखिम उस क्वेरी की तुलना में अधिक होता है जहाँ मॉडल अनिश्चित (उच्च एंट्रॉपी) है, फिर भी स्थिर रक्षा तंत्र उनके साथ समान व्यवहार करते हैं।

2. कार्यप्रणाली: DynaNoise

लेखक DynaNoise का प्रस्ताव करते हैं, जो एक अनुकूलित (adaptive), पोस्ट-हॉक (post-hoc) रक्षा तंत्र है जो इन्फरेंस के दौरान व्यक्तिगत क्वेरी की संवेदनशीलता के आधार पर शोर इंजेक्शन को नियंत्रित करता है। यह मॉडल को पुन: प्रशिक्षित (retraining) किए बिना कार्य करता है।

यह दृष्टिकोण तीन मुख्य चरणों से मिलकर बना है:

A. संवेदनशीलता विश्लेषण (Sensitivity Analysis)

एक निश्चित शोर स्केल के बजाय, DynaNoise प्रत्येक आने वाली क्वेरी $q$ के लिए एक संवेदनशीलता स्कोर ($R(q)$) की गणना करता है।

• मीट्रिक: यह मॉडल के आउटपुट प्रोबेबिलिटी डिस्ट्रीब्यूशन के शैनन एंट्रॉपी (Shannon Entropy) ($H(p)$) का उपयोग करता है।
• तर्क: कम एंट्रॉपी उच्च आत्मविश्वास (तीक्ष्ण भविष्यवाणियों) को दर्शाती है, जो उच्च सदस्यता लीकेज जोखिम के साथ सह-संबंधित है। उच्च एंट्रॉपी अनिश्चितता को दर्शाती है।
• फॉर्मूला: संवेदनशीलता स्कोर को सामान्यीकृत (normalized) किया जाता है:
  $$R(q) = 1 - \frac{H(p)}{\log k}$$
  जहाँ $k$ क्लास की संख्या है। $R(q) \in [0, 1]$, उच्च मान उच्च जोखिम को दर्शाते हैं।

B. डायनेमिक नॉइज़ इंजेक्शन (Dynamic Noise Injection)

शोर के वेरिएंस (variance) को संवेदनशीलता स्कोर के आधार पर गतिशील रूप से स्केल किया जाता है।

• वैरिएंस स्केलिंग: शोर का वेरिएंस $\sigma^2(q)$ इस प्रकार परिभाषित है:
  $$\sigma^2(q) = \sigma_0^2 (1 + \lambda R(q))$$
  जहाँ $\sigma_0^2$ बेस वेरिएंस है और $\lambda$ एक स्केलिंग पैरामीटर है।
• तंत्र: उच्च-जोखिम वाली क्वेरीज़ (कम एंट्रॉपी) को बड़े गॉसियन शोर व्यवधान (Gaussian noise perturbations) प्राप्त होते हैं, जबकि कम-जोखिम वाली क्वेरीज़ को न्यूनतम शोर मिलता है, जिससे उपयोगिता (utility) बनी रहती है।

C. प्रोबेबिलिस्टिक स्मूथिंग (Probabilistic Smoothing)

शोर इंजेक्शन के कारण होने वाले विरूपण (distortion) का मुकाबला करने और भविष्य कहने की सटीकता बनाए रखने के लिए:

• विक्षेपित लॉजिट्स (perturbed logits) को टेम्परेचर-स्केल्ड सॉफ्टमैक्स (temperature-scaled softmax) का उपयोग करके पुन: सामान्यीकृत किया जाता है:
  $$\hat{f}(q) = \text{softmax}\left(\frac{\tilde{f}(q)}{T}\right)$$
  जहाँ $T > 1$ स्मूथिंग को नियंत्रित करता है। यह चरण सुनिश्चित करता है कि आउटपुट एक वैध प्रोबेबिलिटी डिस्ट्रीब्यूशन बना रहे जबकि विशिष्ट सदस्यता संकेतों को अस्पष्ट (obfuscate) कर दे।

3. प्रमुख योगदान (Key Contributions)

1. DynaNoise फ्रेमवर्क: एक अभिनव, हल्का, पोस्ट-हॉक रक्षा तंत्र जो क्वेरी-विशिष्ट एंट्रॉपी के आधार पर शोर के स्तर को गतिशील रूप से समायोजित करता है। इसके लिए न तो मॉडल को पुन: प्रशिक्षित करने की आवश्यकता है, न ही आर्किटेक्चरल बदलाव की, और न ही ट्रेनिंग डेटा तक पहुँच की।
2. MIDPUT मीट्रिक: मेंबरशिप इन्फरेंस डिफेंस प्राइवेसी-यूटिलिटी ट्रेड-ऑफ (MIDPUT) मीट्रिक का परिचय।
   • यह स्केलर मीट्रिक अटैक सक्सेस रेट (ASR) में कमी और मॉडल सटीकता के संरक्षण के बीच संतुलन को मापता है।
   • फॉर्मूला: $MIDPUT = \Delta_{ASR} - \Delta_{Accuracy}$।
   • यह विभिन्न प्रकार के हमलों (Confidence, Loss, Entropy, Shadow, LiRA) के विरुद्ध रक्षाओं की एक समान तुलना करने की अनुमति देता है।
3. व्यापक मूल्यांकन: तीन विविध बेंचमार्क (CIFAR-10, ImageNet-10, SST-2) पर अत्याधुनिक हमलों (LiRA सहित) और रक्षाओं (AdvReg, MemGuard, RelaxLoss, SELENA, HAMP) के विरुद्ध व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

मूल्यांकन प्रदर्शित करता है कि DynaNoise मौजूदा तरीकों की तुलना में गोपनीयता और उपयोगिता के बीच बेहतर संतुलन प्राप्त करता है।

• विज़न डेटासेट्स (CIFAR-10, ImageNet-10) पर प्रदर्शन:
  • DynaNoise ने उच्चतम समग्र MIDPUT स्कोर प्राप्त किया, जो प्रशिक्षण-समय की रक्षाओं (AdvReg, RelaxLoss) और एन्सेम्बल विधियों (SELENA) से काफी बेहतर है।
  • जबकि HAMP ने हमले की सफलता दर को चांस लेवल (chance levels) तक कम कर दिया, उसने ऐसा मॉडल की सटीकता को भारी नुकसान पहुँचाकर किया (नेगेटिव MIDPUT)। DynaNoise ने प्रभावी रूप से ASR को कम करते हुए आधारभूत सटीकता (baseline accuracy) को बनाए रखा।
• NLP डेटासेट (SST-2) पर प्रदर्शन:
  • SST-2 पर, प्री-ट्रेंड लैंग्वेज मॉडल्स (DistilBERT) की प्रकृति के कारण H-AMP ने MIDPUT के मामले में थोड़ा बेहतर प्रदर्शन किया क्योंकि वे पहले से ही अच्छी तरह से कैलिब्रेटेड हैं। हालाँकि, DynaNoise ने अन्य पोस्ट-प्रोसेसिंग विधियों जैसे MemGuard की तुलना में स्थिर सटीकता के साथ मजबूत गोपनीयता लाभ प्रदान किए।
• मजबूती (Robustness): DynaNoise मजबूत हमलों, जिनमें लाइक्लीहुड रेशियो अटैक (LiRA) और शैडो-मॉडल हमले शामिल हैं, के खिलाफ प्रभावी रहा।
• कंप्यूटेशनल दक्षता (Computational Efficiency):
  • DynaNoise: प्रति क्वेरी $O(\ell)$ जटिलता ($\text{one noise draw} + \text{one softmax}$)। यह एक शुद्ध पोस्ट-हॉक ऑपरेशन है।
  • तुलना: यह MemGuard (जिसके लिए प्रति क्वेरी पुनरावृत्ति अनुकूलन की आवश्यकता होती है) और SELENA (जिसके लिए उप-मॉडल्स के एन्सेम्बल को प्रशिक्षित करने और बनाए रखने की आवश्यकता होती है) की तुलना में काफी हल्का है। यह AdvReg, RelaxLoss और HAMP के पुन: प्रशिक्षण ओवरहेड से बचता है।

5. महत्व और सीमाएँ (Significance and Limitations)

महत्व:

• पैराडाइम शिफ्ट: यह "वन-साइज़-फिट्स-ऑल" (one-size-fits-all) स्थिर शोर से हटकर क्वेरी-जागरूक अनुकूलित गोपनीयता (query-aware adaptive privacy) की ओर बढ़ता है। यह सुरक्षित क्वेरीज़ को दंडित किए बिना वहीं अधिक सुरक्षा प्रदान करता है जहाँ इसकी सबसे अधिक आवश्यकता होती है।
• तैनाती (Deployability): एक पोस्ट-हॉक तंत्र के रूप में, इसे पुन: प्रशिक्षण या आर्किटेक्चरल परिवर्तनों की लागत के बिना मौजूदा, पूर्व-प्रशिक्षित मॉडलों (जैसे, MLaaS वातावरण में) पर तुरंत तैनात किया जा सकता है।
• मूल्यांकन मानक: MIDPUT का परिचय गोपनीयता रक्षाओं के मूल्यांकन के लिए एक अधिक समग्र तरीका प्रदान करता है, जो केवल ASR या सटीकता मीट्रिक्स से आगे बढ़कर एक एकीकृत ट्रेड-ऑफ स्कोर की ओर ले जाता है।

सीमाएँ:

• कोई औपचारिक गारंटी नहीं: कई अनुभवजन्य (empirical) रक्षाओं की तरह, DynaNoise औपचारिक डिफरेंशियल प्राइवेसी बाउंड्स प्रदान नहीं करता है (DP-SGD के विपरीत)।
• हाइपरपैरामीटर संवेदनशीलता: इसके लिए $\sigma_0$, $\lambda$, और $T$ को ट्यून करने की आवश्यकता होती है, हालांकि पेपर स्थिर डिफॉल्ट रेंज का सुझाव देता है।
• क्वेरी पुनरावृत्ति (Query Repetition): उन हमलावरों के प्रति संवेदनशील है जो शोर को औसत करने के लिए एक ही क्वेरी को कई बार सबमिट कर सकते हैं (हालांकि यह स्टोकेस्टिक इन्फरेंस-टाइम रक्षाओं की एक सामान्य सीमा है)।
• लेबल-ओनली हमले: यह रक्षा स्कोर-आधारित हमलों को लक्षित करती है; यह उन हमलों से सुरक्षा नहीं करती है जो केवल अनुमानित लेबल (predicted labels) पर निर्भर करते हैं।

निष्कर्ष

यह शोध पत्र DynaNoise को गोपनीयता-उपयोगिता के ट्रेड-ऑफ के लिए एक अत्यधिक कुशल और प्रभावी समाधान के रूप में प्रस्तुत करता है। एंट्रॉपी का लाभ उठाकर डायनेमिक रूप से शोर इंजेक्शन को स्केल करके, यह मॉडल उपयोगिता बनाए रखते हुए गोपनीयता रिसाव को काफी कम करने में वर्तमान अत्याधुनिक तरीकों से बेहतर प्रदर्शन करता है।