📊 statistics

Membership Inference Risks in Quantized Models: A Theoretical and Empirical Study

यह शोध पत्र पोस्ट-ट्रेनिंग क्वांटाइज्ड मशीन लर्निंग मॉडल्स की मेंबरशिप इन्फरेंस सुरक्षा का आकलन करने और उन्हें रैंक करने के लिए एक सैद्धांतिक रूप से आधारित, अनुभवजन्य रूप से अनुमान लगाने योग्य संकेतक प्रस्तावित करता है, जो सिंथेटिक और वास्तविक दुनिया के ड्रग डिस्कवरी डेटासेट्स के माध्यम से अपनी प्रभावशीलता को प्रदर्शित करता है।

मूल लेखक: Eric Aubinais, Philippe Formont, Pablo Piantanida, Elisabeth Gassiat

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Aubinais, Philippe Formont, Pablo Piantanida, Elisabeth Gassiat

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

मुख्य चित्र: बिना राज उगल़ाए मॉडल्स को कंप्रेस करना

कल्प_ना कीजिए कि आपके पास एक गुप्त बगीचे की बहुत विस्तृत, हाई-रिज़ॉल्यूशन वाली तस्वीर है। यह फोटो एक मशीन लर्निंग मॉडल (Machine Learning Model) का प्रतिनिधित्व करती है जिसे संवेदनशील डेटा (जैसे मेडिकल रिकॉर्ड या रासायनिक सूत्र) पर प्रशिक्षित किया गया है। यह फोटो बहुत बड़ी है और बहुत अधिक जगह लेती है, जिससे इसे छोटे उपकरणों पर भेजना या स्टोर करना कठिन हो जाता है।

क्वांटाइजेशन (Quantization) उस हाई-रिज़ॉल्यूशन फोटो को एक छोटी, कम गुणवत्ता वाली JPEG में कंप्रेस करने जैसा है। आप कुछ सूक्ष्म विवरण (precision) खो देते हैं, लेकिन मुख्य चित्र स्पष्ट रहता है, और इसे ले जाना बहुत आसान हो जाता है। यह पैसा बचाने और गति बढ़ाने के लिए बहुत अच्छा है।

हालाँकि, एक चिंता है: क्या फोटो को कंप्रेस करने से अनजाने में मूल फोटो की तुलना में गुप्त बगीचे के बारे में अधिक जानकारी उजागर हो सकती है? या इसके विपरीत, क्या कंप्रेशन की "धुंधलापन" (fuzziness) वास्तव में रहस्यों को बेहतर तरीके से छिपा देती है?

यह शोध पत्र पूछता है: जब हम एक मॉडल को कंप्रेस (क्वांटाइज) करते हैं, तो यह "मेंबरशिप इन्फरेंस अटैक्स" (Membership Inference Attacks) से कितना सुरक्षित है?

खतरा: "क्या तुम वहाँ गए थे?" वाला जासूस

कल्पना कीजिए कि एक जासूस (अटैकर) उस कंप्रेस्ड फोटो (क्वांटाइज्ड मॉडल) को देखता है और जानना चाहता है: "क्या इस फोटो में वह विशिष्ट फूल शामिल था जिसे मैं जानता हूँ कि आपने अपने बगीचे में लगाया था?"

यदि उत्तर "हाँ" है, तो हमलावर आपके डेटा के बारे में कुछ निजी जानकारी जान लेता है।
यदि उत्तर "नहीं" है, तो वह कुछ भी नहीं जान पाता।

इसे मेंबरशिप इन्फरेंस अटैक (MIA) कहा जाता है। इस शोध पत्र का लक्ष्य यह पता लगाना है कि इस जासूस के लिए सही अनुमान लगाना कितना कठिन है।

समस्या: "परफेक्ट डिटेक्टिव" का अनुकरण करना बहुत कठिन है

पहले, यह परीक्षण करने के लिए कि क्या कोई मॉडल सुरक्षित है, शोधकर्ता विभिन्न रणनीतियों का उपयोग करके एक "परफेक्ट डिटेक्टिव" बनाने की कोशिश करते थे ताकि यह देख सकें कि वे कितनी अच्छी तरह अनुमान लगा सकते हैं।

उपमा: यह एक किले की सुरक्षा का परीक्षण करने के लिए 1,000 अलग-अलग चोरों को अंदर घुसने की कोशिश करने के लिए काम पर रखने जैसा है। आपको हर परीक्षण के लिए एक नया चोर बनाना पड़ता है, जिसमें बहुत अधिक समय और पैसा लगता है।
मुद्दा: शोध पत्र नोट करता है कि बड़े मॉडल्स के लिए वास्तविक सुरक्षा स्तर (जिसे MIS - मेंबरशिप इन्फरेंस सिक्योरिटी कहा जाता है) की गणना करना कम्प्यूटेशनल रूप से असंभव है क्योंकि आपको हर संभावित हमले की रणनीति का अनुकरण करने की आवश्यकता होगी।

समाधान: एक नया "सिक्योरिटी मीटर"

लेखकों ने बिना हज़ार जासूसों को काम पर रखे सुरक्षा मापने का एक नया तरीका बनाया। उन्होंने एक सिक्योरिटी मीटर बनाया (जिसे $r_{Qn}$ कहा जाता है) जो गोपनीयता के लिए एक थर्मामीटर की तरह काम करता है।

यह कैसे काम करता है (उपमा):
चोरों को काम पर रखने के बजाय, लेखक स्वयं ट्रेनिंग प्रक्रिया को देखते हैं।

कल्पना कीजिए कि मॉडल एक छात्र है जो परीक्षा दे रहा है।
जब मॉडल को "क्वांटाइज" (कंप्रेस) किया जाता है, तो यह छात्र को एक थोड़े धुंधले संस्करण वाली पाठ्यपुस्तक देने जैसा है।
लेखक देखते हैं कि जब छात्र किसी विशिष्ट प्रश्न (डेटा पॉइंट) को देखता है, तो छात्र का स्कोर (लॉस) औसत की तुलना में कितना बदल जाता है।
रूपक (Metaphor): यदि धुंधली पाठ्यपुस्तक छात्र के स्कोर को अलग-अलग प्रश्नों के लिए बहुत अधिक और अप्रत्याशित रूप से बदल देती है, तो मॉडल सुरक्षित है (जासूस अनुमान नहीं लगा सकता)। यदि स्कोर बहुत स्थिर और अनुमानित रहता है, तो मॉडल असुरक्षित है (जासूस आसानी से अनुमान लगा सकता है)।

उन्होंने एक गणितीय सूत्र तैयार किया जो इस "उछाल" या परिवर्तनीयता (variability) की गणना करता है।

उच्च परिवर्तनशीलता (High Variability) = उच्च सुरक्षा (मॉडल सुरक्षित है)।
कम परिवर्तनशीलता (Low Variability) = कम सुरक्षा (मॉडल असुरक्षित है)।

प्रयोग: मीटर का परीक्षण करना

लेखकों ने अपने नए "सिक्योरिटी मीटर" का दो तरीकों से परीक्षण किया:

सिंथेटिक डेटा (प्रैक्टिस गार्डन):
उन्होंने नकली, सरल डेटासेट बनाए। उन्होंने अपने नए मीटर की तुलना पुराने तरीके (परफेक्ट डिटेक्टिव को काम पर रखना) से की।

परिणाम: मीटर ने महंगे जासूस पद्धति के समान ही सुरक्षा की रैंकिंग दी, लेकिन यह बहुत तेज़ था (एक चोर के घुसने का इंतज़ार करने के बजाय थर्मामीटर चेक करने जैसा)।

वास्तविक दुनिया का डेटा (ड्रग डिस्कवरी लैब):
उन्होंने रासायनिक डेटा (दवाओं की खोज में मदद करने के लिए) पर प्रशिक्षित वास्तविक भाषा मॉडल्स का उपयोग किया। उन्होंने विभिन्न कंप्रेशन स्तरों (1-बिट, 2-बिट, 4-बिट, आदि) का परीक्षण किया।

निष्कर्ष: मीटर ने सही ढंग से भविष्यवाणी की कि भारी कंप्रेशन (मॉडल को "धुंधला" बनाना या कम बिट्स का उपयोग करना) आम तौर पर मॉडल को इन हमलों के खिलाफ अधिक सुरक्षित बनाता है।
ट्रेड-ऑफ (समझौता): ठीक उसी तरह जैसे एक धुंधली फोटो, यदि आप इसे बहुत अधिक कंप्रेस करते हैं, तो मॉडल अपने वास्तविक काम (दवा के गुणों की भविष्यवाणी करना) के लिए उपयोगी नहीं रह जाता है। शोध पत्र ने एक "स्वीट स्पॉट" (sweet spot) पाया जहाँ आप मॉडल के प्रदर्शन को खराब किए बिना अच्छी सुरक्षा प्राप्त कर सकते हैं।

मुख्य निष्कर्ष

कंप्रेशन गोपनीयता में मदद करता है: आश्चर्यजनक रूप से, मॉडल को "धुंधला" (क्वांटाइज) करने से वास्तव में हमलावरों के लिए आपके प्रशिक्षण डेटा के बारे में निजी जानकारी चुराना कठिन हो जाता है।
अब "परफेक्ट डिटेक्टिव" की ज़रूरत नहीं: यह जानने के लिए कि क्या एक कंप्रेस्ड मॉडल सुरक्षित है, आपको महंगे और जटिल हमलों को चलाने की आवश्यकता नहीं है। आप बस इस नए गणितीय सूत्र (मीटर) का उपयोग करके इसे जल्दी से अनुमानित कर सकते हैं।
संतुलन: यहाँ एक संतुलन बनाना होता है। आप सुरक्षित और कुशल होने के लिए पर्याप्त कंप्रेशन चाहते हैं, लेकिन इतना अधिक नहीं कि मॉडल अपना काम करना भूल जाए।

संक्षेप में, यह शोध पत्र एक तेज़, आसान-से-उपयोग वाला रूलर (रूलर) प्रदान करता है जिससे आप यह माप सकते हैं कि आपके कंप्रेस्ड AI मॉडल कितने सुरक्षित हैं, यह साबित करते हुए कि कभी-कभी, थोड़ा सा "धुंधलापन" ही आपके रहस्यों को सुरक्षित रखने के लिए आवश्यक होता है।

तकनीकी सारांश: पोस्ट-ट्रेनिंग क्वांटाइज्ड मॉडल्स में मेंबरशिप इंफरेंस सुरक्षा का एक संकेतक

समस्या विवरण
क्वांटाइजेशन (Quantization) मशीन लर्निंग मॉडल्स के लिए मेमोरी और कंप्यूटेशनल लागत को कम करने की एक व्यापक रूप से अपनाई जाने वाली तकनीक है, विशेष रूप से एज डिवाइसेस पर तैनाती के लिए। जबकि इसके दक्षता लाभ अच्छी तरह से प्रलेखित हैं, क्वांटाइजेशन का मॉडल गोपनीयता (privacy) पर प्रभाव अभी भी कम खोजा गया है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या पैरामीटर की शुद्धता (precision) को कम करना स्वाभाविक रूप से मॉडल की मेंबरशिप इंफरेंस अटैक (MIA) के विरुद्ध प्रतिरोधक क्षमता को मजबूत करता है, जिनका उद्देश्य यह निर्धारित करना है कि क्या कोई विशिष्ट डेटा पॉइंट मॉडल के प्रशिक्षण सेट का हिस्सा था।

मौजूदा गोपनीयता मूल्यांकन विधियां विशिष्ट हमले की रणनीतियों का उपयोग करके अनुभवजन्य बेंचमार्क (empirical benchmarks) पर निर्भर करती हैं। हालांकि, ये दृष्टिकोण सीमित हैं क्योंकि वे हमलावर के विशिष्ट ज्ञान और क्षमताओं पर निर्भर करते हैं। इसे संबोधित करने के लिए, मेंबरशिप इंफरेंस सुरक्षा (MIS) की अवधारणा को पेश किया गया ताकि हमलावर के ज्ञान की परवाह किए बिना, सबसे मजबूत संभावित हमलों के विरुद्ध भेद्यता को चित्रित किया जा सके। फिर भी, MIS की सीधे गणना करना कम्प्यूटेशनल रूप से निषेधजनक है, क्योंकि इसमें उच्च-आयामी वितरणों (high-dimensional distributions) के बीच विचलन (divergences) का अनुमान लगाना शामिल है। यह शोध पत्र पोस्ट-ट्रेनिंग क्वांटाइज्ड मॉडल्स की गोपनीयता सुरक्षा का मूल्यांकन करने के लिए एक व्यावहारिक, सैद्धांतिक रूप से सुदृढ़ और 'अटैक-फ्री' (attack-free) संकेतक प्रदान करने के अंतराल को संबोधित करता है।

कार्यप्रणाली (Methodology)
लेखक एक नया MIS संकेतक प्रस्तावित करते हैं जो क्वांटाइज्ड लर्निंग प्रक्रियाओं के सैद्धांतिक एसिम्प्टोटिक विश्लेषण (asymptotic analysis) से प्राप्त हुआ है। मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि बड़े डेटासेट के लिए, एक क्वांटाइज्ड लर्निंग एल्गोरिदम का MIS विभिन्न क्वांटाइज्ड पैरामीटर कॉन्फ़िगरेशन में प्रति-नमूना लॉस (per-sample losses) के वितरण द्वारा चारितकृत होता है।

सैद्धांतिक आधार: शोध पत्र स्थापित करता है कि जैसे-जैसे डेटासेट का आकार $n$ बढ़ता है, MIS 1 की ओर बढ़ता है (उच्च सुरक्षा का संकेत), जिसकी दर क्वांटाइज्ड मॉडल्स के लॉस लैंडस्केप द्वारा निर्धारित होती है। विशेष रूप से, दर सर्वोत्तम और दूसरे सर्वश्रेष्ठ क्वांटाइज्ड कॉन्फ़िगरेशन के अपेक्षित लॉस के वर्ग के अंतर और उनके प्रति-नमूना लॉस के अंतर के वेरिएंस (variance) के अनुपात द्वारा नियंत्रित होती है।
MIS संकेतक ( $r_{Q_n}$ ): इस एसिम्प्टोटिक परिणाम के आधार पर, लेखक एक नया संकेतक परिभाषित करते हैं:
$r_{Q_n} := \frac{1}{2} \min_{k>1} \frac{\left( \mathbb{E}[\ell(\bar{\theta}_n^k, z)] - \mathbb{E}[\ell(\bar{\theta}_n^1, z)] \right)^2}{\text{Var}\left( \ell(\bar{\theta}_n^k, z) - \ell(\bar{\theta}_n^1, z) \right)}$
जहाँ $\bar{\theta}_n^k$ अपेक्षित लॉस के आधार पर क्रमबद्ध $k$ -वाँ क्वांटाइज्ड पैरामीटर कॉन्फ़िगरेशन है, और $\ell$ लॉस फंक्शन है। यह संकेतक "अटैक-फ्री" है क्योंकि यह किसी विशिष्ट एडवरसरी (adversary) को प्रशिक्षित करने के बजाय केवल लॉस फंक्शन के सांख्यिकीय गुणों पर निर्भर करता है।
अनुमान रणनीति (Estimation Strategy): चूंकि सभी संभावित क्वांटाइज्ड मॉडल्स का स्थान अक्सर घातांकीय रूप से बड़ा होता है, इसलिए लेखक एक व्यावहारिक अनुमान विधि प्रस्तावित करते हैं। वे देखते हैं कि संकेतक अनुभवजन्य रूप से उन क्वांटाइज्ड मॉडल्स द्वारा डोमिनेट होता है जिनमें सबसे कम लॉस होता है। इसलिए, वे $r_{Q_n}$ का अनुमान लगाने के लिए मॉडल के ट्रेनिंग ट्रेजेक्टरीज (training trajectories) का विश्लेषण करते हैं, विशेष रूप से उन चेकपॉइंट्स और वेट्स के क्वांटाइज्ड वर्जन पर ध्यान केंद्रित करते हैं जो निम्न लॉस मान प्रदर्शित करते हैं।

मुख्य योगदान

सैद्धांतिक लक्षण वर्णन: लेखक सिद्ध करते हैं कि बड़े डेटासेट के लिए, एक क्वांटाइज्ड लर्निंग प्रक्रिया का MIS क्वांटाइज्ड मॉडल्स के बीच प्रति-नमूना लॉस के वितरण द्वारा पूर्णतः चारितकृत होता है (थ्योरम 3.4)।
नया संकेतक: वे $r_{Q_n}$ पेश करते हैं, जो एक नया, अटैक-फ्री संकेतक है जो विभिन्न क्वांटाइजेशन प्रक्रियाओं की उनकी अंतर्निहित गोपनीयता विशेषताओं के आधार पर तुलना करने की अनुमति देता है।
व्यावहारिक अनुमान: एक पद्धति प्रस्तुत की गई है जो सभी संभावित क्वांटाइज्ड स्टेट्स की गणना करने की कम्प्यूटेशनल अव्यवहार्यता से बचते हुए, ट्रेनिंग ट्रेजेक्टरीज का उपयोग करके इस संकेतक का अनुमान लगाती है।
अनुभवजन्य सत्यापन: दृष्टिकोण को सिंथेटिक डेटासेट और वास्तविक दुनिया के अनुप्रयोगों, जिसमें भाषा मॉडल का उपयोग करके ड्रग डिस्कवरी कार्य और मॉलिक्यूलर प्रॉपर्टी प्रेडिक्शन शामिल है, दोनों पर मान्य किया गया है।

परिणाम

सिंथेटिक डेटा: सिंथेटिक डेटासेट पर प्रयोग प्रस्तावित $r_{Q_n}$ संकेतक और एक बेसलाइन MIS अनुमान (जो ट्रेनिंग मेंबर्स और नॉन-मेंबर्स के बीच अंतर करने के लिए एक डिस्क्रिमिनेटर को प्रशिक्षित करने पर निर्भर करता है) के बीच एक मजबूत स्पियरमैन सहसंबंध (औसत $\rho_{sp} = 0.86$ ) प्रदर्शित करते हैं। गोपनीयता स्तर द्वारा क्वांटाइज़र की रैंकिंग नए संकेतक और बेसलाइन के बीच सुसंगत है।
स्थिरता: प्रस्तावित विधि बेसलाइन MIS विधि (जिसके लिए लगभग 150 रन की आवश्यकता होती है) की तुलना में काफी कम ट्रेनिंग रन (लगभग 15 रन) के साथ स्थिर रैंकिंग प्राप्त करती है।
वास्तविक दुनिया के अनुप्रयोग (भाषा मॉडल): फाइन-ट्यून्ड LLMs (Qwen2.5) का उपयोग करके ड्रग डिस्कवरी के संदर्भ में, $r_{Q_n}$ विभिन्न ब्लैक-बॉक्स MIAs (LiRa और LOSS-आधारित हमलों सहित) के प्रदर्शन के साथ सफलतापूर्वक सहसंबंध बनाता है। उच्च $r_{Q_n}$ मान कम MIA प्रदर्शन (उच्च सुरक्षा) के अनुरूप होते हैं।
वास्तविक दुनिया के अनुप्रयोग (मॉलिक्यूलर प्रेडिक्शन): मॉलिक्यूलर प्रॉपर्टी प्रेडिक्शन कार्यों पर, अध्ययन प्रदर्शन और गोपनीयता के बीच एक ट्रेड-ऑफ को प्रकट करता है। मजबूत क्वांटाइजेशन (जैसे 1.58 बिट्स के साथ 90% स्पर्सिटी) गोपनीयता में महत्वपूर्ण सुधार (उच्च $r_{Q_n}$ ) करता है लेकिन इसमें प्रदर्शन की लागत (वर्गीकरण के लिए AUROC में लगभग 10% की गिरावट) आती है। इसके विपरीत, 2 बिट्स या उससे अधिक पर क्वांटाइजेशन प्रदर्शन को बनाए रखता है लेकिन गोपनीयता में कम सुधार प्रदान करता है।

महत्व और दावे
यह शोध पत्र क्वांटाइज्ड मॉडल्स में गोपनीयता की सैद्धांतिक समझ में एक महत्वपूर्ण अंतराल को भरने का दावा करता है। एक कठोर, अटैक-फ्री संकेतक प्रदान करके, यह अभ्यासकर्ताओं को महंगे कम्प्यूटेशनल अटैक सिमुलेशन की आवश्यकता के बिना विभिन्न क्वांटाइजेशन रणनीतियों की गोपनीयता लचीलापन (resilience) का आकलन करने और रैंक करने में सक्षम बनाता है। लेखक इस बात पर जोर देते हैं कि उनका कार्य मॉडल परिनियोजन (deployment) में दक्षता और गोपनीयता को संतुलित करने के लिए एक व्यावहारिक उपकरण प्रदान करता है।

लेखक अपने निष्कर्षों के प्रति विनम्र बने हुए हैं, यह नोट करते हुए कि हालांकि संकेतक क्वांटाइज़र को प्रभावी ढंग से रैंक करता है, लेकिन यह वर्तमान में किसी ऐसे एकल क्वांटाइज़र की पहचान नहीं करता है जो एक साथ मजबूत डाउनस्ट्रीम प्रदर्शन और उच्च सुरक्षा प्राप्त करता हो। वे सुझाव देते हैं कि भविष्य का कार्य टास्क परफॉरमेंस और $r_{Q_n}$ के मैक्सिमाइजेशन को संयुक्त रूप से अनुकूलित करने के लिए क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) विधियों का पता लगा सकता है। अध्ययन पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) पर केंद्रित है, यह स्वीकार करते हुए कि परिणाम अन्य प्रशिक्षण प्रतिमानों (paradigms) के लिए भिन्न हो सकते हैं।