Privacy Auditing Synthetic Data Release through Local Likelihood Attacks

तकनीकी सारांश: स्थानीय संभाव्यता हमलों (Local Likelihood Attacks) के माध्यम से सिंथेटिक डेटा रिलीज़ का गोपनीयता ऑडिटिंग

समस्या विवरण
सिंथेटिक डेटा के गोपनीयता रिसाव (privacy leakage) का ऑडिट करना एक अनसुलझी चुनौती बनी हुई है। गोपनीयता ऑडिटिंग के मौजूदा ढांचे अक्सर ह्यूरिस्टिक्स (जैसे दूरी या घनत्व मेट्रिक्स) पर निर्भर करते हैं या मॉडल एक्सेस (जैसे व्हाइट-बॉक्स या शैडो-बॉक्स सेटिंग्स) के अवास्तविक अनुमान लगाते हैं। ये दृष्टिकोण गोपनीयता जोखिम का पता लगाने या उसका वर्णन करने में सीमित क्षमता प्रदान करते हैं, विशेष रूप से तब जब जनरेटिव मॉडल ओवरफिटिंग जैसे विशिष्ट विफलता मोड प्रदर्शित करते हैं। इसके अलावा, कई मौजूदा हमलों में एक सैद्धांतिक आधार की कमी है जो यह स्पष्ट कर सके कि वे क्या माप रहे हैं या किन परिस्थितियों में सफल होंगे, जिससे सिद्धांतों पर आधारित डिज़ाइन और बेंचमार्क-विशिष्ट संयोगों के बीच अंतर करना कठिन हो जाता है।

कार्यप्रणाली: जनरेटिव लाइकलीहुड रेशियो अटैक (Gen-LRA)
लेखक Gen-LRA प्रस्तावित करते हैं, जो एक नवीन मेंबरशिप इन्फरेंस अटैक (MIA) है जिसे No-Box थ्रेट मॉडल के लिए डिज़ाइन किया गया है। इस सेटिंग में, हमलावर के पास जनरेटिव मॉडल के आर्किटेक्चर, पैरामीटर्स या आंतरिक तंत्र तक कोई पहुंच नहीं होती है। हमलावर के पास केवल निम्नलिखित होता है:

1. जारी किया गया सिंथेटिक डेटासेट ($S$)।
2. एक स्वतंत्र रूप से एकत्र किया गया संदर्भ डेटासेट ($R$), जो उसी अंतर्निहित जनसंख्या वितरण ($P$) से लिया गया है।

मुख्य तंत्र
Gen-LRA मेंबरशिप इन्फरेंस को सिंथेटिक डेटासेट की अनुमानित संभाव्यता (estimated likelihood) पर एक परीक्षण अवलोकन ($x^*$) के प्रभाव के मापन के रूप में फ्रेम करता है। यह हमला इस परिकल्पना पर कार्य करता है कि यदि एक जनरेटिव मॉडल ओवरफिट होता है, तो संदर्भ सेट में एक ट्रेनिंग पॉइंट $x^*$ को शामिल करने से सिंथेटिक डेटा की अनुमानित संभाव्यता बढ़ जाएगी।

हमला निम्नलिखित चरणों में आगे बढ़ता है:

1. सरोगेट मॉडलिंग: संदर्भ सेट $R$ पर एक सरोगेट डेंसिटी एस्टिमेटर (विशेष रूप से एक Gaussian Kernel Density Estimator, KDE) को फिट किया जाता है ताकि $\hat{p}_R$ प्राप्त किया जा सके।
2. ऑग्मेंटेशन: एक दूसरा सरोगेट संवर्धित सेट $R \cup \{x^*\}$ पर फिट किया जाता है ताकि $\hat{p}_{R \cup \{x^*\}}$ प्राप्त किया जा सके।
3. लोकल लाइकलीहुड रेशियो: हमला स्कोर की गणना $x^*$ के $k$-निकटतम सिंथेटिक पड़ोसियों (जिन्हें $S_k(x^*)$ कहा जाता है) पर लॉग-लाइकेलीहुड रेश्यो के योग के रूप में करता है:
   $$\hat{I}(x^*; R, S) = \sum_{s \in S_k(x^*)} \left[ \log \hat{p}_{R \cup \{x^*\}}(s) - \log \hat{p}_R(s) \right]$$
4. निर्णय: एक उच्च स्कोर यह संकेत देता है कि संदर्भ सेट में $x^*$ को जोड़ने से $x^*$ के आस-पास के सिंथेटिक बिंदुओं की संभाव्यता में महत्वपूर्ण वृद्धि हुई है, जो यह सुझाव देता है कि $x^*$ प्रशिक्षण सेट का हिस्सा था।

सैद्धांतिक ढांचा
यह शोध पत्र Gen-LRA का समर्थन करने वाले तीन प्रमुख सैद्धांतिक परिणाम स्थापित करता है:

1. अपरिवर्तनीयता (Invariance): लॉग-लाइकेलीहुड-रेशियो स्कोर डेटा के इनवर्टिबल रीपैरामीट्रिज़ेशन के प्रति अपरिवर्तनीय है, जो स्केलिंग या एनकोडिंग जैसे प्रीप्रोसेसिंग विकल्पों के विरुद्ध मजबूती सुनिश्चित करता है।
2. क्लोज्ड-फॉर्म कैरेक्टराइजेशन: लेखक सिद्ध करते हैं कि Gen-LRA स्कोर एक लोकलाइज्ड डेंसिटी-रेशियो स्टैटिस्टिक के रूप में क्लोज्ड-फॉर्म कैरेक्टराइजेशन स्वीकार करता है। सिंगल-पॉइंट डेंसिटी रेशियो हमलों (जैसे DOMIAS) के विपरीत, Gen-LRA एक स्थानीय क्षेत्र पर साक्ष्य को एकत्रित करता है, जिससे विसरित मेमोरीज़ेशन सिग्नल (diffuse memorization signals) पकड़े जा सकते हैं।
3. मीन-स्कोर गैप: स्थानीय ओवरफिटिंग के एक सामान्य मॉडल के तहत, लेखक मेंबर्स और नॉन-मेंबर्स के अपेक्षित स्कोर के बीच एक प्रमाणित अंतर (gap) सिद्ध करते हैं। इस गैप का परिमाण ओवरफिटिंग की शक्ति ($\epsilon$) के साथ रैखिक रूप से निर्भर करता है और यह सरोगेट के बैंडविड्थ और जनरेटर के मेमोरीज़ेशन स्केल ($\rho$) के बीच ओवरलैप द्वारा नियंत्रित होता है।

प्रमुख योगदान

1. नवीन हमला: Gen-LRA पहला MIA है जो टैबुलर सिंथेटिक डेटा के लिए स्पष्ट रूप से एक इन्फ्लुएंस-फंक्शन फ्रेमवर्क को No-Box सेटिंग में अनुकूलित करता है, जो मेंबरशिप इन्फरेंस को एक सरोगेट मॉडल के लाइकलीहुड रेशियो पर एक टेस्ट पॉइंट के प्रभाव के रूप में फॉर्म्युलेट करता है।
2. सैद्धांतिक औचित्य: यह कार्य एक कठोर सैद्धांतिक विवरण प्रदान करता है कि यह हमला क्या मापता है (लोकलाइज्ड डेंसिटी रेश्यो) और यह कब सफल होता है (स्थानीय ओवरफिटिंग के तहत)।
3. सिमुलेशन सत्यापन: नियंत्रित सिमुलेशन ओवरफिटिंग मॉडल को इंस्टेंटिएट करते हैं, यह प्रमाणित करते हुए कि Gen-LRA ओवरफिटिंग व्यवस्थाओं के बीच अद्वितीय रूप से ट्यून करने योग्य है और मौजूदा तरीकों से बेहतर प्रदर्शन करता है, विशेष रूप से तब जब एक जनरेटर प्रशिक्षण डेटा को लगभग मेमोरीज़ (approximately memorizes) करता है।
4. एम्पिरिकल बेंचमार्क: लेखक Gen-LRA का मूल्यांकन 35 डेटासेट्स, 9 जनरेटिव आर्किटेक्चर (GANs, VAEs, डिफ्यूजन मॉडल्स और ट्रांसफॉर्मर्स सहित) और 9 प्रतिस्पर्धी हमलों वाले एक व्यापक बेंचमार्क के विरुद्ध करते हैं। इसके परिणामस्वरूप 1,525 अद्वितीय सिंथेटिक डेटासेट कॉन्फ़िगरेशन और 10,000 से अधिक अटैक रन प्राप्त होते हैं।

परिणाम

• कुल मिलाकर प्रदर्शन: Gen-LRA लगातार प्रतिस्पर्धी MIAs पर हावी रहता है। यह सभी 1,525 रन में प्रत्येक मीट्रिक (AUC और निश्चित फॉल्स पॉजिटिव रेट पर ट्रू पॉजिटिव रेट) पर उच्चतम Top-1 रैंकिंग दर प्राप्त करता है। विशेष रूप से, यह 38% से अधिक रन (AUC) और 42% रन (TPR@FPR=0) में प्रथम स्थान प्राप्त करता है, जो अगले सर्वश्रेष्ठ बेसलाइन की दर से दोगुने से भी अधिक है।
• कम फॉल्स पॉजिटिव रेट्स: Gen-Lм-LRA विशेष रूप से कम फॉल्स पॉजिटिव रेट्स पर मजबूत लाभ दिखाता है, जो व्यावहारिक गोपनीयता ऑडिटिंग के लिए एक महत्वपूर्ण मीट्रिक है।
• वल्नेरेबिलिटी रिजीम्स: यह हमला "अनुमानित मेमोरीज़ेशन" (approximate memorization) व्यवस्था में सबसे प्रभावी है, जहाँ सिंथेटिक बिंदु प्रशिक्षण डेटा के साथ संबंध बनाए रखते हैं लेकिन सटीक प्रतियां नहीं होते हैं। इस व्यवस्था में, सिंगल-पॉइंट हमले (जैसे DOMIAS) और डिस्टेंस-बेस्ड हमले (जैसे DCR) विफल हो जाते हैं, जबकि Gen-LRA कई पड़ोसियों से साक्ष्य एकत्रित करके सफल होता है।
• सरोगेट का चयन: हाई-डायमेंशनल डेंसिटी एस्टीमेशन में प्रचलित रुझानों के विपरीत, जहाँ डीप लर्निंग मॉडल अक्सर KDE से बेहतर प्रदर्शन करते हैं, लेखक पाते हैं कि Gaussian KDE, Gen-LRA के लिए BNAF (Block Neural Autoregressive Flows) से बेहतर प्रदर्शन करता है। इसका श्रेय KDE के स्पष्ट स्थानीय स्मूथिंग (बैंडविड्थ) नियंत्रण को दिया जाता है, जो मेमोरीज़ेशन स्केल से मेल खाता है, जबकि BNAF ग्लोबल सटीकता के लिए ऑप्टिमाइज़ करता है और ऐसा स्टोकेस्टिक शोर पेश करता है जो सिंगल-पॉइंट इन्फ्लुएंस सिग्नल को धुंधला कर देता है।

महत्व और दावे
शोध पत्र का दावा है कि वर्तमान No-Box गोपनीयता ऑडिटिंग उपकरण गोपनीयता जोखिमों का काफी कम आकलन करते हैं क्योंकि वे गलत परिकल्पनाओं का परीक्षण करते हैं या ऐसे ह्यूरिस्टिक्स पर निर्भर करते हैं जो 'अनुमानित-मेमोरीज़ेशन' व्यवस्था में विफल हो जाते हैं, जो आधुनिक टैबुलर जनरेटर्स में आम है।

Gen-LRA तीसरे पक्ष के लिए एक सिद्धांत आधारित, कम्प्यूटेशनल रूप से कुशल उपकरण प्रदान करता है, जिसे मॉडल एक्सेस की आवश्यकता के बिना सिंथेटिक डेटा रिलीज का ऑडिट करने के लिए बनाया गया है। लेखक तर्क देते हैं कि "No-Box" सेटिंग गोपनीयता ऑडिटिंग के लिए सबसे यथार्थवादी है, क्योंकि डिफेंडर्स बेस्ट प्रैक्टिसेज का पालन करते हुए मॉडल विवरण को छिपा देते हैं, जिससे शैडो-बॉक्स हमले अप्रभावी हो जाते हैं। मॉडल एक्सेस की अनुपस्थिति में भी जनरेटिव मॉडल ओवरफिटिंग महत्वपूर्ण गोपनीयता जोखिम पैदा करती है, यह प्रदर्शित करके, यह पेपर सिंथेटिक डेटा के जिम्मेदार रिलीज को सुनिश्चित करने के लिए मजबूत ऑडिटिंग टूल्स की आवश्यकता पर बल देता है। लेखक निष्कर्ष निकालते हैं कि हालांकि कोई भी एकल हमला सभी स्थितियों में समान रूप से इष्टतम नहीं है, फिर भी Gen-LRA वास्तविक दुनिया के सिंथेटिक डेटा रिलीज में गोपनीयता रिसाव का पता लगाने के लिए सबसे मजबूत और सुसंगत प्रदर्शन प्रदान करता है।