तकनीकी सारांश: LDPKiT

समस्या विवरण

स्वास्थ्य सेवा और वित्त जैसे विनियमित डोमेन में, संगठन अपने मालिकाना प्रशिक्षण डेटा या मॉडल वेट्स (weights) को साझा किए बिना सेवाएं (जैसे, रोग जोखिम भविष्यवाणी, धोखाधड़ी का पता लगाना) प्रदान करने के लिए रिमोट API के माध्यम से मशीन लर्निंग (ML) मॉडल होस्ट करते हैं। जबकि ब्लैक-बॉक्स एक्सेस मॉडल प्रदाता की बौद्धिक संपलीकता और प्रशिक्षण डेटा की रक्षा करता है, यह मॉडल उपयोगकर्ता को अपने संवेदनशील इनपुट को रिमोट सर्वर पर भेजने के लिए मजबूर करता है। मौजूदा गोपनीयता-संरक्षित अनुमान विधियाँ, जैसे कि होमोमोर्फिक एन्क्रिप्शन या ट्रस्टेड एक्जीक्यूशन एनवायरनमेंट (TEEs), गंभीर कम्प्यूटेशनल ओवरहेड्स से जूझती हैं या उनके लिए विशेष हार्डवेयर की आवश्यकता होती है जो व्यापक रूप से उपलब्ध नहीं है।

इसके विपरीत, उपयोगकर्ताओं को स्थानीय अनुमान के लिए मॉडल वेट्स डाउनलोड करने की अनुमति देने से मॉडल व्हाइट-बॉक्स हमलों के प्रति असुरक्षित हो जाता है। इस कार्य द्वारा संबोधित मुख्य चुनौती यह है कि उपयोगकर्ता अपने निजी, संवेदनशील डेटा का उपयोग करके एक रिमोट ब्लैक-बॉक्स मॉडल से स्थानीय मॉडल को डिस्टिल (distill) कर सकें, जबकि क्वेरी इनपुट्स के गोपनीयता रिसाव (privacy leakage) को सख्ती से सीमित किया जा सके। एक माध्यमिक चुनौती यह है कि इन डोमेन में उपयोगकर्ताओं के पास अक्सर बहुत कम निजी डेटा होता है, जो गोपनीयता के लिए आवश्यक शोर (noise) के साथ मिलकर, डिस्टिल्ड मॉडल के लिए खराब उपयोगिता (सटीकता) का परिणाम देता है।

कार्यप्रणाली

लेखक LDPKiT (लोकल डिफरेंशियल-प्राइवेट एंड यूटिलिटी-प्रिजर्विंग इन्फरेंस वाया नॉलेज ट्रांसफर) का प्रस्ताव करते हैं, जो उपयोगिता को पुनः प्राप्त करने के लिए डेटा ऑग्मेंटेशन (data augmentation) तकनीक के साथ लोकल डिफरेंशियल प्राइवेसी (LDP) को जोड़ता है।

1. सिस्टम सेटअप

इस परिदृश्य में एक मॉडल प्रदाता शामिल है जो एक रिमोट मॉडल ($M_R$) होस्ट करता है और एक उपयोगकर्ता है जिसके पास एक छोटा, अनलेबल, संवेदनशील डेटासेट ($D_{priv}$) है। उपयोगकर्ता का लक्ष्य एक स्थानीय मॉडल ($M_L$) को प्रशिक्षित करना है जो $M_R$ को कच्चा डेटा प्रकट किए बिना $D_{priv}$ को सटीक रूप से लेबल कर सके।

2. गोपनीयता तंत्र (Privacy Mechanism)

$D_{priv}$ की सुरक्षा के लिए, उपयोगकर्ता $M_R$ को क्वेरी करने से पहले प्रत्येक सैंपल पर $\epsilon$-LDP शोर लागू करता है। पेपर $\epsilon$-LDP को संतुष्ट करने के लिए Laplace Mechanism का उपयोग करता है। महत्वपूर्ण रूप से, यह ढांचा LDP के पोस्ट-प्रोसेसिंग प्रॉपर्टी (Post-Processing Property) पर निर्भर करता है, जो कहता है कि $\epsilon$-LDP आउटपुट पर लागू किया गया कोई भी नियतात्मक (deterministic) या रैंडमाइज्ड फंक्शन $\epsilon$-LDP ही रहता है। यह उपयोगकर्ता को गोपनीयता गारंटी को कमजोर किए बिना अपने शोर वाले डेटा को ऑगमेंट करने की अनुमति देता है।

3. डेटा ऑग्मेंटेशन रणनीतियाँ

चूंकि $D_{priv}$ आमतौर पर छोटा होता है, इसलिए सीधा क्वेरी करना कम उपयोगिता देता है। LDPKiT प्रारंभिक शोर वाले डेटासेट ($D_{protected}$) को दो रणनीतियों का उपयोग करके एक बड़े इन्फरेंस डेटासेट ($D_{infer}$) में ऑगमेंट करता है:

• LDPKiT-Rand: संरक्षित नमूनों पर दूसरे स्वतंत्र लाप्लास शोर की परत जोड़ता है। यह विचलित (perturbed) वेरिएंट उत्पन्न करता है लेकिन डेटा को वास्तविक वितरण से दूर धकेल सकता है।
• LDPKiT-Sup (Superimposition): यह एक नवीन योगदान है। यह $D_{protected}$ के नमूनों के जोड़े के औसत (average) से नए नमूने उत्पन्न करता है। विशेष रूप से, अलग-अलग इंडेक्स $i$ और $j$ के लिए, एक ऑगमेंटेड सैंपल की गणना $d_{infer} = \text{avg}(d_{protected_i}, d_{protected_j})$ के रूप में की जाती है।
  • तर्क (Rationale): लेखकों का अनुमान है कि शोर वाले नमूनों का सुपरइम्पोज़िशन, रैंडम नॉइज़ इंजेक्शन की तुलना में टारगेट-क्लास स्ट्रक्चर और निर्णय सीमाओं (decision boundaries) को बेहतर ढंग से संरक्षित करने में मदद करता है।
  • गोपनीयता: चूंकि औसत निकालना $\epsilon$-LDP आउटपुट पर एक पोस्ट-प्रोसेसिंग ऑपरेशन है, इसलिए परिणामी $D_{infer}$ रिकॉर्ड-लेवल $\epsilon$-LDP गारंटी बनाए रखता है। भले ही कोई प्रदाता युग्मवार औसत (pairwise averages) से संरक्षित रिकॉर्ड को बीजगणितीय रूप से रिकवर करने का प्रयास करे, वे केवल शोर वाले संरक्षित रिकॉर्ड को ही रिकवर कर पाएंगे, मूल निजी डेटा को नहीं, जिससे $\epsilon$-LDP गारंटी सुरक्षित रहती है।

4. वर्कफ़्लो (Workflow)

1. चरण I: उपयोगकर्ता $D_{priv}$ पर $\epsilon$-LDP शोर लागू करके $D_{protected}$ बनाता है।
2. चरण II: उपयोगकर्ता $D_{protected}$ को पोस्ट-प्रोसेस करता है (Rand या Sup के माध्यम से) ताकि $D_{infer}$ उत्पन्न किया जा सके।
3. चरण III: उपयोगकर्ता लेबल प्राप्त करने के लिए $D_{infer}$ के साथ $M_R$ को क्वेरी करता है।
4. चरण IV: उपयोगकर्ता $D_{infer}$ पर $M_L$ को प्रशिक्षित करता है और $D_{priv}$ पर स्थानीय अनुमान के लिए $M_L$ का उपयोग करता है।

मुख्य योगदान

1. गोपनीयता-संरक्षित डिस्टिलेशन के लिए फ्रेमवर्क: LDPKiT उपयोगकर्ताओं को LDP के माध्यम से गोपनीयता रिसाव को सीमित करते हुए अपने निजी डेटा का उपयोग करके रिमोट ब्लैक-बॉक्स मॉडल से ज्ञान प्राप्त करने में सक्षम बनाता है।
2. सुपरइम्पोज़िशन तकनीक: LDPKiT-Sup का परिचय, जो शोर वाले नमूनों के युग्वतीय औसत (pairwise averaging) का उपयोग करके ऑगमेंटेड डेटा उत्पन्न करता है। यह तकनीक उपयोगिता में सुधार के लिए LDP गारंटी का सम्मान करने वाले डेटा ऑग्मेंटेशन का लाभ उठाती है।
3. अनुभवजन्य सत्यापन (Empirical Validation): लेखक प्रदर्शित करते हैं कि LDPKiT, विशेष रूप से सुपरइम्पोज़िशन वेरिएंट, बेसलाइन (SIDP) और LDPKiT-Rand की तुलना में उपयोगिता को काफी हद तक पुनः प्राप्त करता है।
4. लेटेंट स्पेस विश्लेषण (Latent Space Analysis): पेपर लेटेंट स्पेस रिप्रेजेंटेशन का विश्लेषण प्रदान करता है, जो दिखाता है कि सुपरइम्पोज़्ड नमूने रैंडमली विचलित नमជូនों की तुलना में टारगेट-क्लास क्लस्टर्स के करीब रहते हैं, जो सटीकता में वृद्धि की व्याख्या करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन तीन इमेज क्लासिफिकेशन डेटासेट्स पर किया गया: Fashion-MNIST, SVHN, और PathMNIST (मेडिकल इमेजिंग), जिसमें ResNet-152 को रिमोट टीचर और ResNet-18 या MobileNetV2 को लोकल स्टूडेंट के रूप में उपयोग किया गया।

• उपयोगिता रिकवरी (Utility Recovery): LDPKiT-Sup लगातार बेसलाइन (SIDP) और LDPKiT-Rand दोनों से बेहतर प्रदर्शन करता है।
  • $\epsilon = 1.25$ पर SVN के साथ, LDPKiT-Sup लगभग वही इन्फरेंस सटीकता प्राप्त करता है जो $\epsilon = 2.0$ पर मिलती है, जो उच्च $\epsilon$ सेटिंग की तुलना में कम से कम 2% सटीकता कमी के साथ मजबूत गोपनीयता गारंटी देता है।
  • Fashion-MNIST ($\epsilon = 2.0$) पर, LDPKiT-Sup ने ResNet-18 की सटीकता को 81.78% तक सुधारा, जबकि SIDP के लिए यह 28.69% और LDPKiT-Rand के लिए 68.52% थी।
  • PathMNIST ($\epsilon = 10.0$) पर, LDPKiT-Sup 82.11% तक पहुँचा, जो SIDP (28.74%) और LDPKiT-Rand (43.90%) से काफी बेहतर है।
• डेटासेट के आकार का प्रभाव: सिस्टम निजी डेटासेट के आकार ($|D_{priv}|$) के प्रति अपेक्षाकृत असंवेदनशील है। उपयोगकर्ता कम निजी नमूनों (जैसे, 125 नमूने) के साथ भी समान उपयोगिता प्राप्त कर सकते हैं, बशर्ते कि ऑगमेंटेड क्वेरी सेट ($|D_{infer}|$) पर्याप्त बड़ा (जैसे, 250k–500k क्वेरी) हो।
• गोपनीयता मजबूती (Privacy Robustness): ऑगमेंटेड डेटा पर DDPMs का उपयोग करके किए गए डेटा रिकंस्ट्रक्शन हमलों में मूल छवियों को उच्च फिडेलिटी के साथ रिकवर करने में विफलता मिली। पुनर्गठित (reconstructed) छवियां मूलों की तुलना में कम SSIM और उच्च MSE दिखाती हैं, और क्लासिफायर उन पर लगभग रैंडम सटीकता प्राप्त करते हैं।
• लागत दक्षता: लेखक अनुमान लगाते हैं कि बड़े क्वेरी सेट्स (जैसे, 2.2M क्वेरी) के लिए, API लागत लगभग $1.15 (काल्पनिक 2026 मूल्य निर्धारण के आधार पर) है, जो बैच प्रोसेसिंग के लिए होमोमोर्फिक एन्क्रिप्शन की तुलना में अधिक कुशल है।

महत्व और दावे

पेपर का दावा है कि LDPKiT संवेदनशील डोमेन में रिमोट ML सेवाओं के साथ इंटरैक्ट करने के लिए एक व्यावहारिक, गोपनीयता-संरक्षित डिज़ाइन प्रदान करता है। इसका महत्व इस प्रकार है:

• गोपनीयता और उपयोगिता के बीच संतुलन: यह प्रदर्शित करता है कि डेटा ऑग्मेंटेशन का लाभ उठाकर, जो LDP गारंटी का सम्मान करता है, मजबूत गोपनीयता बाधाओं (कम $\epsilon$) के तहत भी प्रभावी ज्ञान हस्तांतरण संभव है।
• पहुंच (Accessibility): TEEs या होमोमोर्फिक एन्क्रिप्शन के विपरीत, LDPKiT के लिए किसी विशेष हार्डवेयर की आवश्यकता नहीं है और यह मानक API बाधाओं के भीतर काम करता है, जिससे इसे अपनाना अधिक सुलभ बनाया जाता है।
• डिज़ाइन-बाय-प्राइवेसी (Privacy-by-Design): यह ढांचा जिम्मेदार डेटा-उपयोग सिद्धांतों के अनुरूप है, यह सुनिश्चित करता है कि कच्चा उपयोगकर्ता डेटा कभी भी उपयोगकर्ता के नियंत्रण से बाहर नहीं जाता है और गोपनीयता रिसाव गणितीय रूप से सीमित है।

लेखक वर्तमान सीमाओं को भी स्वीकार करते हैं, जिसमें वर्तमान में इमेज मोडैलिटीज (जहाँ सुपरइम्पोज़िशन पिक्सेल-आधारित है) तक सीमित होना और निजी डेटासेट के आकार के लिए सार्वभौमिक निचली सीमा का अभाव शामिल है, जो भविष्य के कार्यों के लिए दिशा सुझाते हैं। वे यह भी स्वीकार करते हैं कि हालांकि रिकॉर्ड-लेवल LDP की गारंटी है, रिकॉर्ड्स के बीच सहसंबंध (correlations) सैद्धांतिक रूप से सिमेंटिक प्राइवेसी को कमजोर कर सकते हैं, हालांकि उद्योग में डी-डुप्लिकेशन अभ्यास इसे कम कर सकते हैं।