Concept-Aware Privacy Mechanisms for Defending Embedding Inversion Attacks

तकनीकी सारांश: एम्बेडिंग इनवर्जन हमलों से बचाव के लिए कॉन्सेप्ट-अवेयर प्राइवेसी मैकेनिज्म (SPARSE)

1. समस्या विवरण (Problem Statement)

टेक्स्ट एम्बेडिंग्स (जैसे, Sentence-T5 या SBERT से) का उपयोग RAG जैसे NLP अनुप्रयोगों में व्यापक रूप से किया जाता है। हालाँकि, ये एम्बेडिंग इनवर्जन हमलों (embedding inversion attacks) के प्रति संवेदनशील हैं, जहाँ हमलावर मूल कच्चे टेक्स्ट को पुनर्गठित कर सकते हैं या वेक्टर रिप्रजेंटेशन से संवेदनशील विशेषताओं (जैसे, चिकित्सा स्थिति, आयु, या PII) का अनुमान लगा सकते हैं।

मौजूदा रक्षा प्रणालियाँ मुख्य रूप से डिफरेंशियल प्राइवेसी (DP) पर निर्भर करती हैं, विशेष रूप से सभी आयामों (dimensions) में आइसोट्रोपिक (गोलाकार) शोर (noise) इंजेक्ट करने पर। यह दृष्टिकोण दो प्रमुख खामियों से ग्रस्त है:

• समान संवेदनशीलता धारणा (Uniform Sensitivity Assumption): यह मानता है कि सभी एम्बेडिंग आयाम समान गोपनीयता जोखिम वहन करते हैं, जबकि शोध से पता चलता है कि विशिष्ट आयाम विशिष्ट अर्थपूर्ण अवधारणाओं (semantic concepts) को एनकोड करते हैं।
• उपयोगिता-गोपनीयता समझौता (Utility-Privacy Trade-off): उच्च गोपनीयता प्राप्त करने के लिए, गोलाकार शोर इतना बड़ा होना चाहिए कि वह संवेदनशील जानकारी को छिपा सके, जो अनिवार्य रूप से गैर-संवेदनशील अर्थपूर्ण जानकारी को नष्ट कर देता है जिसकी डाउनस्ट्रीम कार्यों (जैसे, रिट्रीवल या समानता) के लिए आवश्यकता होती है।

2. कार्यप्रणाली: SPARSE फ्रेमवर्क (Methodology: The SPARSE Framework)

लेखक SPARSE (Sensitivity-guided Privacy-Aware Representations for better SEmantic-preserving) प्रस्तावित करते हैं, जो एक उपयोगकर्ता-केंद्रित फ्रेमवर्क है जो उपयोगकर्ताओं को विशिष्ट "प्राइवेसी कॉन्सेप्ट्स" (जैसे, "मेडिकल लक्षणों की सुरक्षा करें") को परिभाषित करने की अनुमति देता है और लक्षित शोर लागू करता है। यह फ्रेमवर्क दो मुख्य घटकों से बना है:

A. डिफरेंशिएबल न्यूरॉन मास्क लर्निंग (Differentiable Neuron Mask Learning)
यह पहचानने के लिए कि कौन से आयाम उपयोगकर्ता द्वारा परिभाषित अवधारणा $C$ के प्रति संवेदनशील हैं, लेखक एक निरंतर मास्क $m \in [0, 1]^n$ सीखते हैं।

• डेटा निर्माण: वे एक पॉजिटिव डेटासेट $D^+$ (अवधारणा $C$ वाले वाक्य) और एक नेगेटिव डेटासेट $D^-$ (वही वाक्य जिनमें अवधारणा $C$ को हटा दिया गया है) बनाते हैं।
• ऑप्टिमाइज़ेशन: वे मास्क को हार्ड कॉन्क्रीट डिस्ट्रीब्यूशन (Hard Concrete distribution) (बर्नौली डिस्ट्रीब्यूशन का एक निरंतर रिलैक्सेशन) का उपयोग करके प्रशिक्षित करते हैं ताकि ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन संभव हो सके।
• लॉस फंक्शन: मास्क को एक मिश्रित लॉस के माध्यम से ऑप्टिमाइज़ किया जाता है:
  1. डिस्क्रिमिनेटिव लॉस ($L_{cls}$): यह सुनिश्चित करता है कि मास्क किए गए एम्बेडिंग्स अभी भी $D^+$ और $D^-$ के बीच अंतर कर सकें।
  2. स्पैरसिटी रेगुलराइजेशन ($L_{reg}$): एक $L_0$-आधारित पेनल्टी जो मास्क को स्पर्स (sparse) बनाने के लिए मजबूर करती है, जिससे केवल सबसे प्रासंगिक "प्राइवेसी न्यूरॉन्स" को अलग किया जा सके।

B. महालानोबिस मैकेनिज्म (The Mahalanobis Mechanism)
गोलाकार शोर जोड़ने के बजाय, SPARSE एक इलिप्टिकल (दीर्घवृत्तीय) शोर इंजेक्शन स्कीम का उपयोग करता है।

• मैकेनिज्म: यह महालानोबिस नॉर्म $\|v\|_M = \sqrt{v^\top \Sigma^{-1} v}$ का उपयोग करके जनरलाइज्ड लाप्लास मैकेनिज्म का विस्तार करता है।
• कैलिब्रेशन: कोवेरिएंस मैट्रिक्स $\Sigma$ को सीखे गए मास्क $m$ पर आधारित एक डायगोनल मैट्रिक्स के रूप में परिभाषित किया गया है ($\Sigma = \text{diag}(m + \delta)$)।
• प्रभाव: इसके परिणामस्वरूप एनिसोट्रोपिक (anisotropic) शोर प्राप्त होता है: पहचाने गए अत्यधिक संवेदनशील आयामों को बड़े व्यवधान (perturbations) मिलते हैं (अवधारणा को अस्पष्ट करने के लिए), जबकि गैर-संवेदनशील आयामों को न्यूनतम शोर मिलता है (उपयोगिता बनाए रखने के लिए)।

3. मुख्य योगदान (Key Contributions)

• नया रक्षा प्रतिमान (New Defense Paradigm): एक संवेदनशीलता-निर्देशित फ्रेमवर्क पेश किया जो "वन-साइज़-फिट्स-ऑल" शोर से हटकर अवधारणा-विशिष्ट सुरक्षा की ओर बढ़ता है।
• सैद्धांतिक कठोरता (Theoretical Rigor): सिद्ध किया कि महालानोबिस मैकेनिज्म $\epsilon d$-लोकल डिफरेंशियल प्राइवेसी (Metric LDP) को संतुष्ट करता है, जो मानक लाप्लास मैकेनिज्म के समान औपचारिक गोपनीयता गारंटी प्रदान करता है।
• उपयोगकर्ता-केंद्रितता (User-Centricity): एक ऐसा मैकेनिज्म सक्षम किया जहाँ उपयोगकर्ता यह निर्दिष्ट कर सकते हैं कि क्या सुरक्षित करना है, न कि आँख मूंदकर सब कुछ सुरक्षित करना।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह डेटासेट्स, तीन एम्बेडिंग मॉडल और तीन अटैक मॉडल (Vec2text, GEIA, और MLC) पर SPARSE का मूल्यांकन किया।

• गोपनीयता-उपयोगिता समझौता (Privacy-Utility Trade-off): SPARSE ने लगातार स्टेट-ऑफ-द-आर्ट DP विधियों (LapMech और PurMech) को पछाड़ दिया। उदाहरण के लिए, STS12 डेटासेट ($\epsilon=10$) पर, SPARSE ने बेसलाइन्स (60%) की तुलना में उच्च डाउनस्ट्रीम उपयोगिता (65%) बनाए रखते हुए लीकेज को 60% से घटाकर 19% कर दिया।
• मजबूती (Robustness): रक्षा प्रणाली वाक्य-स्तर (जेनरेटिव) और टोकन-स्तर (MLP-आधारित) दोनों हमलों के खिलाफ प्रभावी रही।
• वास्तविक दुनिया का अनुप्रयोग: क्लिनिकल नोट्स (MIMIC-III) में, SPARSE ने "सेक्स" और "डिजीज" जैसी संवेदनशील विशेषताओं को सफलतापूर्वक सुरक्षित किया, जबकि पारंपरिक शोर विधियों की तुलना में पुनर्गठित टेक्स्ट में बहुत अधिक अर्थपूर्ण समानता बनाए रखी।
• व्हाइट-बॉक्स तुलना (White-Box Comparison): SPARSE एक "आदर्श" व्हाइट-बॉक्स डिफेंस (जिसके पास हमले के मॉडल का पूर्ण ज्ञान है) के प्रदर्शन के करीब पहुँच गया, जो अंधे होकर भी संवेदनशील आयामों को सटीक रूप से पहचानने की इसकी क्षमता को सिद्ध करता है।

5. महत्व (Significance)

यह कार्य महत्वपूर्ण है क्योंकि यह गोपनीयता-संरक्षण NLP की तैनाती में एक महत्वपूर्ण बाधा को संबोधित करता है। यह प्रदर्शित करके कि गोपनीयता संबंधी जानकारी विशिष्ट "प्राइवेसी न्यूरॉन्स" में केंद्रित होती है, लेखक नियंत्रणीय गोपनीयता (controllable privacy) के लिए एक ब्लूप्रिंट प्रदान करते हैं। यह संगठनों (जैसे, स्वास्थ्य सेवा या वित्त में) को नियमों (जैसे, HIPAA या GDPR) के अनुसार विशिष्ट संवेदनशील विशेषताओं को सुरक्षित करने की अनुमति देता है, बिना उनके एम्बेडिंग डेटाबेस को डाउनस्ट्रीम मशीन लर्निंग कार्यों के लिए बेकार बनाए।