Beyond Theoretical Bounds: Empirical Privacy Loss Calibration for Text Rewriting Under Local Differential Privacy

यहाँ शोध पत्र "Beyond Theoretical Bounds: Empirical Privacy Loss Calibration for Text Rewriting Under Local Differential Privacy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के व्यापक प्रसार ने गोपनीयता बनाए रखते हुए टेक्स्ट डेटा साझा करने की आवश्यकता को बढ़ा दिया है। लोकल डिफरेंशियल प्राइवेसी (LDP) उपयोगकर्ता के डेटा को रिलीज़ करने से पहले स्थानीय रूप से अस्पष्ट (obfuscate) करके इसे संबोधित करती है। हालाँकि, LDP टेक्स्ट रीराइटिंग तंत्रों के मूल्यांकन में एक महत्वपूर्ण अंतर मौजूद है:

• $\epsilon$ की व्याख्यात्मकता (Interpretability of $\epsilon$): सैद्धांतिक प्राइवेसी बजट पैरामीटर ($\epsilon$) व्यावहारिक रूप से समझना कठिन है। एक नाममात्र (nominal) $\epsilon$ मान सीधे तौर पर यह नहीं बताता कि वास्तव में कितनी जानकारी लीक हुई है या किसी हमलावर द्वारा मूल इनपुट को सही ढंग से पहचानने की संभावना कितनी है।
• अतुलनीयता (Incommensurability): विभिन्न तंत्र गोपनीयता को अलग-अलग स्तरों (जैसे, टोकन-स्तरीय बनाम वाक्य-स्तरीय) पर परिभाषित करते हैं। फलस्वरूप, विभिन्न तंत्रों में समान नाममात्र $\epsilon$ मान भी वास्तविक गोपनीयता रिसाव के बहुत अलग स्तरों का परिणाम दे सकते हैं।
• अनुभवजन्य अंकेक्षण का अभाव (Lack of Empirical Calibration): मौजूदा अनुभवजन्य ऑडिटिंग फ्रेमवर्क (जैसे, मेंबरशिप इन्फरेंस अटैक्स) मुख्य रूप से सेंट्रलाइज्ड DP या टेबुलर डेटा के लिए डिज़ाइन किए गए हैं। वे टेक्स्ट की उच्च-आयामी (high-dimensional), डिस्क्रीट और सिमेंटिक रूप से समृद्ध प्रकृति के साथ संघर्ष करते हैं, जहाँ उम्मीदवार इनपुट्स का व्यापक सूचीकरण (exhaustive enumeration) करना असंभव है।

2. कार्यप्रणाली: TeDA (Text Distinguishability Audit)

लेखक TeDA प्रस्तावित करते हैं, जो एक अनुभवजन्य अंकेक्षण (empirical calibration) फ्रेमवर्क है जो डिस्टिंग्विशेबिलिटी-आधारित ऑडिटिंग को प्राकृतिक भाषा (natural language) तक विस्तारित करता है। मुख्य विचार यह मापना है कि "अनुभवजन्य गोपनीयता हानि" ($\epsilon_{emp}$) क्या है, जिसे एक हमलावर द्वारा निजीकृत (privatized) आउटपुट से वास्तविक स्रोत टेक्स्ट को पहचानने के प्रयास के रूप में सिम्युलेट किया जाता है।

मुख्य घटक:

• डिस्टिंग्विशेबिलिटी-आधारित सूत्रीकरण (Distinguishability-Based Formulation): सैद्धांतिक सीमाओं पर निर्भर रहने के बजाय, TeDA गोपनीयता को एक हाइपोथीसिस टेस्टिंग समस्या के रूप में मानता है। एक हमलावर को एक निजीकृत टेक्स्ट $y$ और उम्मीदवार मूल टेक्स्ट का एक सेट $S = \{v_1, ..., v_k\}$ दिया जाता है। लक्ष्य यह निर्धारित करना है कि किस उम्मीदवार ने $y$ को उत्पन्न किया।
• दोहरी-मोड हमले (Dual-Mode Attacks): रिसाव के विभिन्न पहलुओं को पकड़ने के लिए, TeDA दो अलग-अलग हमले रणनीतियों का उपयोग करता है:
  1. सरफेस-लेवल (LLM) एट्रिब्यूशन: शब्दों, वाक्यांशों और सिंटैक्स के आधार पर पुनर्गठित टेक्स्ट और उम्मीदवारों के बीच सिमेंटिक संरेखण (semantic alignment) को आंकने के लिए एक लार्ज लैंग्वेज मॉडल (जैसे, Qwen3-8B) का उपयोग करता है।
  2. एम्बेडिंग-लेवल एट्रिब्यूशन: निजीकृत टेक्स्ट और उम्मीदवारों के बीच वेक्टर दूरी (कोसाइन डिस्टेंस) को मापने के लिए प्री-ट्रेन्ड एम्बेडिंग मॉडल्स (जैसे, all-mpnet-base-v2) का उपयोग करता है। यह उस गहरे सिमेंटिक रिसाव को पकड़ता है जो सतह के रूप बदलने के बाद भी बना रह सकता है।
• उम्मीदवार चयन रणनीति (Candidate Selection Strategy): यह पहचानते हुए कि उम्मीदवार का चुनाव लीकेज अनुमान को प्रभावित करता है, लेखक प्रोबेबिलिस्टिक ट्रांजिशन सैंपलिंग पेश करते हैं। यह रणनीति एक तापमान पैरामीटर ($\lambda$) का उपयोग करती है जो वास्तविक स्रोत और डिस्ट्रैक्टर्स (distractors) के बीच सिमेंटिक दूरी को नियंत्रित करता है:
  • $\lambda < 0$: अधिक-विविध सैंपलिंग (More-diverse sampling) (प्राथमिक कॉन्फ़िगरेशन), जो डिस्टिंग्विशेबिलिटी दबाव को अधिकतम करने के लिए सिमेंटिक रूप से दूर के उम्मीदवारों का चयन करता है।
  • $\lambda > 0$: अधिक-समान सैंपलिंग (हमलावर के लिए कठिन कार्य)।
  • $\lambda \to 0$: यूनिफॉर्म रैंडम सैंपलिंग।
• कुशल एस्टीमेटर (Efficient Estimator): मानक ऑडिटिंग के लिए ट्रु पॉजिटिव्स (TP) और फॉल्स पॉजिटिव्स (FP) दोनों को ट्रैक करने की आवश्यकता होती है, जिससे लाखों परीक्षणों की आवश्यकता होती है। लेखक एक रिड्यूस्ड-फॉर्म एस्टीमेटर प्राप्त करते हैं जो केवल एकत्रित सफलता घटनाओं (TPs) पर निर्भर करता है। हाइपोथीसिस टेस्ट की समरूपता (symmetry) का लाभ उठाकर, वे सांख्यिकीय कठोरता (कॉप्लर-पियर्सन विधि का उपयोग करके) बनाए रखते हुए, कंप्यूटेशनल लागत को आधा कर देते हैं (मॉडल क्वेरीज़ को कम करते हैं)।

3. मुख्य योगदान

1. फ्रेमवर्क डिज़ाइन: LDP टेक्स्ट रीराइटिंग के लिए विशेष रूप से डिज़ाइन किया गया पहला अनुभवजन्य अंकेक्षण फ्रेमवर्क, जो टेबुलर LDP ऑडिटिंग और नेचुरल लैंग्वेज प्रोसेसिंग के बीच के अंतर को पाटता है।
2. नवीन हमले (Novel Attack Vectors): मानव-परिोंजेबल और सिमेंटिक-स्ट्रक्चरल दृष्टिकोणों से गोपनीयता रिसाव का आकलन करने के लिए पूरक डिस्टिंग्विशेबिलिटी हमलों (LLM-आधारित और एम्बेडिंग-आधारित) का परिचय।
3. एकीकृत उम्मीदवार रणनीति: एक प्रोबेबिलिस्टिक सैंपलिंग विधि जो शोधकर्ताओं को विभिन्न स्तरों की सहायक जानकारी (auxiliary information) वाले हमलावरों को सिम्युलेट करने की अनुमति देती है, जिससे मजबूत अंकेक्षण परिणाम सुनिश्चित होते हैं।
4. दक्षता अनुकूलन (Efficiency Optimization): ऑडिटिंग प्रक्रिया का गणितीय न्यूनीकरण, जो संसाधन-गहन LLM-आधारित गोपनीयता तंत्रों के बड़े पैमाने पर मूल्यांकन को संभव बनाता है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार डेटासेट (ATIS, SST-2, SNIPS, Trustpilot) पर छह प्रतिनिधि LDP टेक्स्ट रीराइटिंग तंत्रों (ADePT, DP-BART, DP-Paraphrase, DP-Prompt, DP-MLM, DP-ST) पर TeDA का मूल्यांकन किया।

• नाममात्र बनाम अनुभवजन्य $\epsilon$ का विचलन (Divergence of Nominal vs. Empirical $\epsilon$):

  • वाक्य-स्तरीय तंत्र (ADePT, DP-BART): उच्च नाममात्र $\epsilon$ (2500 तक) पर काम करने के बावजूद, इन तंत्रों ने लगभग शून्य अनुभवजन्य गोपनीयता हानि ($\epsilon_{emp} \approx 0$) दिखाई। वाक्य एम्बेडिंग्स में डाला गया शोर स्रोत को प्रभावी ढंग से छिपा देता है।
  • टोकन-स्तरीय तंत्र (DP-Paraphrase, DP-Prompt, DP-MLM): इनमें काफी उच्च $\epsilon_{emp}$ मान देखे गए जो नाममात्र $\epsilon$ के साथ बढ़ते हैं। कंपोजिशन थ्योरम के कारण, $n$ टोकन का एक वाक्य कुल बजट $n\epsilon$ का उपभोग करता है, जिससे रिपोर्ट किए गए स्तरों की तुलना में बहुत ढीले वाक्य-स्तरीय गारंटी मिलती है।
  • निष्कर्ष: तंत्र की सूक्ष्मता (granularity) के आधार पर, समान नाममात्र $\epsilon$ मान नाटकीय रूप से भिन्न स्तर की वास्तविक गोपनीयता सुरक्षा का संकेत देते हैं।

• हमलों की पूरकता (Complementarity of Attacks):

  • कुछ तंत्र (जैसे, DP-MLM) सतह संरचना को बनाए रखते हैं लेकिन अर्थ बदल देते हैं, जिससे वे LLM हमलों के माध्यम से पहचानने में आसान लेकिन एम्बेडिंग हमलों के माध्यम से कठिन हो जाते हैं।
  • अन्य (जैसे, DP-Prompt) सतह के रूपों को काफी बदल देते हैं लेकिन सिमेंटिक ओवरलैप बनाए रखते हैं, जिससे वे LLMs के लिए कठिन लेकिन एम्बेडिंग-आधारित हमलों के लिए आसान हो जाते हैं।

• उपयोगिता-गोपनीयता ट्रेड-ऑफ (Utility-Privacy Trade-offs):

  • वे तंत्र जिनका $\epsilon_{emp}$ कम है (ADePT, DP-BART), वे डाउनस्ट्रीम उपयोगिता (जैसे, इंटेंट क्लासिफिकेशन F1 स्कोर) में महत्वपूर्ण गिरावट का सामना करते हैं।
  • वे तंत्र जिनका $\epsilon_{emp}$ अधिक है (टोकन-स्तरीय तरीके), अधिक उपयोगिता बनाए रखते हैं लेकिन एट्रिब्यूट इन्फरेंस के खिलाफ कमजोर गोपनीयता गारंटी प्रदान करते हैं।

• विसंगति का पता लगाना (Anomaly Detection): TeDA ने विशिष्ट व्यवहार संबंधी विसंगतियों की पहचान की, जैसे कि बहुत उच्च $\epsilon$ पर DP-BART का गैर-मोनोटोनिक व्यवहार (जहाँ सिग्नल-टू-नॉइज़ अनुपात के मुद्दों के कारण आउटपुट जेनेरिक कंटेंट में बदल जाता है) और DP-Paraphrase की $\epsilon$ परिवर्तनों के प्रति संवेदनहीनता (विशिष्ट वाक्य स्टार्टर्स की ओर मॉडल के स्ट्रॉन्ग प्रायर के कारण)।

5. महत्व

• व्यावहारिक बेंचमार्किंग: TeDA विभिन्न रिपोर्टिंग ग्रैनुलैरिटी का उपयोग करने वाले LDP तंत्रों की तुलना करने के लिए एक "सामान्य आधार" प्रदान करता है, जो सैद्धांतिक सीमाओं से आगे बढ़कर मापने योग्य, वास्तविक दुनिया की गोपनीयता हानि तक जाता है।
• तैनाती मार्गदर्शन (Deployment Guidance): यह चिकित्सकों को नाममात्र $\epsilon$ मानों के बजाय वास्तविक गोपनीयता-उपयोगिता ट्रेड-ऑफ के आधार पर तंत्र चुनने के लिए एक व्यावहारिक उपकरण प्रदान करता है।
• ऑडिटिंग अंतर्दृष्टि: यह ढांचा कार्यान्वयन दोषों या गोपनीयता तंत्रों के अप्रत्याशित व्यवहारों (जैसे, पोस्ट-प्रोसेसिंग प्रभाव या मॉडल प्रायर का आउटपुट पर हावी होना) का पता लगा सकता है जिन्हें सैद्धांतिक विश्लेषण मिस कर सकता है।
• स्केलेबिलिटी: ऑडिटिंग की कम्प्यूटेशनल लागत को कम करके, TeDA जटिल, LLM-आधारित गोपनीयता तंत्रों के मूल्यांकन को संभव बनाता है जो पहले अत्यधिक महंगा माना जाता था।

संक्षेप में, यह शोध पत्र तर्क देता है कि टेक्स्ट रीराइटिंग के लक्षण वर्णन के लिए सैद्धांतिक $\epsilon$ अपर्याप्त है। TeDA इन तंत्रों को कैलिब्रेट और तुलना करने के लिए एक कठोर, अनुभवजन्य और कुशल विकल्प प्रदान करता है, जो यह प्रकट करता है कि "समान" गोपनीयता बजट अक्सर असमान गोपनीयता सुरक्षा प्रदान करते हैं।