Private Prediction via PAC Privacy

तकनीकी सारांश: PAC प्राइवेसी के माध्यम से निजी भविष्यवाणी (Private Prediction)

समस्या विवरण
मशीन लर्निंग मॉडल तेजी से API के पीछे ब्लैक-बॉक्स सेवाओं के रूप में तैनात किए जा रहे हैं, जहाँ उपयोगकर्ताओं को केवल भविष्यवाणियाँ (predictions) दिखाई जाती हैं न कि मॉडल के वेट्स (weights)। यह परिनियोजन पैटर्न निजी भविष्यवाणी (private prediction) को प्रेरित करता है: यानी मापदंडों (parameters) के बजाय मॉडल के आउटपुट को निजी बनाना। जबकि डिफरेंशियल प्राइवेसी (DP) मानक है, यह इस संदर्भ में संघर्ष करती है। DP शोर (noise) को वर्स्ट-केस सेंसिटिविटी (निकटवर्ती डेटासेट्स के बीच आउटपुट में अधिकतम परिवर्तन) के आधार पर कैलिब्रेट करती है। नॉन-कॉन्वेक्स मॉडल्स (जैसे डीप न्यूरल नेटवर्क) के लिए, सटीक सेंसिटिविटी बाउंड्स की गणना करना कठिन है। फलस्वरूप, DP-आधारित निजी भविष्यवाणी अक्सर "सैंपल-एंड-अगग्रिगेट" विधियों (जैसे PATE) पर निर्भर करती है या इनपुट-स्वतंत्र शोर की ओर लौट जाती है, जिससे एक कठोर प्राइवेसी-यूटिलिटी ट्रेड-ऑफ उत्पन्न होता है जहाँ उच्च क्वेरी वॉल्यूम या सख्त बजट के तहत उपयोगिता (utility) समाप्त हो जाती है।

इसके अलावा, अनुक्रमिक रिलीज (sequential releases) के लिए मौजूदा प्राइवेसी फ्रेमवर्क अनुकूली और प्रतिकूल क्वेरीइंग (adaptive and adversarial querying) के तहत विफल हो जाते हैं। वास्तविक परिदृश्यों में, अविश्वसनीय उपयोगकर्ता पिछले आउटपुट के इतिहास के आधार पर भविष्य की क्वेरीज़ चुन सकते हैं ताकि सूचना रिसाव (information leakage) को अधिकतम किया जा सके। मानक कंपोजिशन थ्योरम्स या तो एडैप्टिविटी के तहत विफल हो जाते हैं, या क्वेरी की संख्या के साथ द्विघाती (quadratically) रूप से बढ़ते हैं, या इनपुट-स्वतंत्र DP-शैली के शोर की ओर लौट जाते हैं, जिससे विशिष्ट प्रेडिक्टर के स्थिरता लाभों को त्याग दिया जाता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र PAC (प्रोबेबली एप्रोक्सिमेटली करेक्ट) प्राइवेसी के माध्यम से निजी भविष्यवाणी के लिए एक फ्रेमवर्क प्रस्तावित करता है, जो कुशल, अनुवर्ती कंपोजिशन के अंतर को संबोधित करता है।

1. PAC प्राइवेसी फ्रेमवर्क: DP के विपरीत, PAC प्राइवेसी इंस्टेंस-आधारित है। यह एक विशिष्ट इनपुट वितरण ($P_S$) के तहत ब्लैक-बॉक्स सिमुलेशन के माध्यम से डेटा प्रोसेसिंग फंक्शन की स्थिरता को मापता है। यह सीक्रेट इनपुट $S$ और आउटपुट $R$ के बीच म्यूचुअल इंफॉर्मेशन (MI) को सीमित करके प्राइवेसी लीकेज को नियंत्रित करता है। एक स्थिर फंक्शन को निजी बनाने के लिए काफी कम शोर की आवश्यकता होती है।
2. पोस्टीरियर-अवेयर एडवर्सरियल कंपोजिशन: इसका मुख्य सैद्धांतिक योगदान एक नया कंपोजिशन थ्योरम है जो एक पर्सिस्टेंट सीक्रेट (जहाँ सभी क्वेरीज़ के लिए एक ही ट्रेनिंग सेट $S$ का उपयोग किया जाता है) के साथ अनुवर्ती, प्रतिकूल क्वेरीइंग को संभालता है।
   • अनुकूली शोर अंशांकन (Adaptive Noise Calibration): क्यूरेटर एक "बलीफ स्टेट" (belief state) बनाए रखता है—इंटरैक्शन हिस्ट्री के आधार पर सीक्रेट $S$ का पोस्टीरियर वितरण।
   • मैकेनिज्म: प्रत्येक चरण $t$ पर, एक अनुवर्ती क्वेरी $M_t$ प्राप्त होने पर, क्यूरेटर वर्तमान पोस्टीरियर बिलीफ $P_{t-1}$ पर आधारित प्रति-चरण MI बजट $b_t$ को संतुष्ट करने के लिए आवश्यक नॉइज़ कोवेरिएंस $\Sigma_t$ की गणना करता है।
   • बायेसियन अपडेट: नॉइजी रिस्पॉन्स $R_t$ जारी करने के बाद, क्यूरेटर बेयस नियम का उपयोग करके पोस्टीरियर बिलीफ को अपडेट करता है।
   • थ्योरम: लेखक सिद्ध करते हैं कि इस मैकेनिज्म के तहत, कुल MI लीकेज रैखिक रूप से (linearly) संचित होता ($I(S; R_{1:T} \le \sum b_t$) भी प्रतिकूल अनुकूलता के तहत। यह अनुवर्ती कंपोजिशन के लिए कठोर रैखिक बाउंड प्रदान करते हुए PAC प्राइवेसी की इंस्टेंस-आधारित उपयोगिता को सुरक्षित रखता है।
3. ML के लिए ठोस इंस्टेंशिएशन:
   • इनपुट वितरण: सीक्रेट $S$, यूनिवर्स $U$ का एक रैंडम सबसेट है, जिसे इस तरह सैंपल किया गया है कि प्रत्येक बिंदु के शामिल होने की 5% संभावना है। गणना को सुलभ बनाने के लिए, सपोर्ट को $m=128$ सबसेट्स के एक परिमित संग्रह तक सीमित किया गया है।
   • ऑफलाइन प्री-प्रोसेसिंग: प्रत्येक क्वेरी के लिए पुन: प्रशिक्षण (retraining) से बचने के लिए, $m$ मॉडल्स को $m$ सबसेट्स पर ऑफलाइन प्रशिक्षित किया जाता है। ऑनलाइन क्वेरीज़ में इन $m$ मॉडल्स पर इन्फरेंस चलाना, भविष्यवाणियों को एकत्रित करना और कैलिब्रेटेड शोर जोड़ना शामिल है।
   • आउटपुट स्टेबिलाइजेशन: सिस्टम सॉफ्ट प्रोबेबिलिटीज के बजाय हार्ड प्रेडिक्शंस (one-hot labels) को निजी बनाता है। हार्ड प्रेडिक्शंस विभिन्न ट्रेनिंग सबसेट्स के बीच अधिक स्थिर होते हैं, जिसके परिणामस्वरूप कम आउटपुट वेरिएंस होता है और कम शोर की आवश्यकता होती है।
4. प्राइवेट मॉडल डिस्टिलेशन: एक सीमित प्राइवेसी बजट समाप्त होने के बाद असीमित क्वेरीज़ को सक्षम करने के लिए, यह पेपर PAC-प्राइवेट प्रेडिक्शंस से एक "स्टूडेंट" मॉडल को डिस्टिल करने का प्रस्ताव देता है।
   • कॉन्फिडेंस फिल्टरिंग: स्टूडेंट को प्रशिक्षित करने से पहले नॉइजी प्रेडिक्शंस पर एक सांख्यिकीय परीक्षण लागू किया जाता है ताकि कम-कॉन्फिडेंस (संभावित रूप से गलत लेबल वाले) सैंपल्स को फ़िल्टर किया जा सके। यह सुनिश्चित करता है कि डिस्टिल्ड मॉडल केवल उच्च-गुणवत्ता वाले लेबल्स पर प्रशिक्षित हो, जिससे गलत लेबल वाले डेटा को बनाए रखने की संभावना सीमित हो जाती है।

मुख्य परिणाम
टेबुलर, विजन (CIFAR-10, CIFAR-100), और टेक्स्ट (IMDb, AG News) मोडैलिटीज में प्रयोग इस दृष्टिकोण की प्रभावकारिता को प्रदर्शित करते हैं:

• तंग बजट पर उच्च उपयोगिता: CIFAR-10 पर, यह विधि प्रति-क्वेरी MI बजट $2^{-32}$ के साथ 87.79% सटीकता प्राप्त करती है। यह दस लाख क्वेरीज़ को सर्व करने की अनुमति देता है जबकि मेंबरशिप इन्फरेंस अटैक (MIA) सफलता को 51.08% तक सीमित करने का प्रमाण देता है। यह गारंटी $(0.04, 10^{-5})$-DP के तुल्य है।
• स्केलेबिलिटी: यह सिस्टम MIA गारंटी $(1, 10^{-5})$-DP तक पहुँचने से पहले लगभग 47.7 करोड़ क्वेरीज़ का समर्थन करता है। इसके विपरीत, DP-आधारित निजी भविष्यवाणी क्वेरीज़ की संख्या बढ़ने के साथ रैंडम गेसिंग की ओर गिर जाती है क्योंकि यह इनपुट-स्वतंत्र सेंसिटिविटी बाधाओं द्वारा सीमित है।
• डिस्टिलेशन प्रदर्शन: CIFAR-10 टीचर से 2,10,000 प्राइवेट प्रेडिक्शंस का उपयोग करके एक पब्लिक ImageNet सबसेट (CINIC-10) को लेबल करने पर, डिस्टिल्ड स्टूडेंट मॉडल CIFAR-10 पर 91.86% सटीकता प्राप्त करता है। यह प्राइवेट टीचर से बेहतर प्रदर्शन करता है और MIA गारंटी $(0.02, 10^{-5})$-DP से मेल खाता है, जबकि डिस्टिलेशन प्रक्रिया के लिए किसी लेबल किए गए पब्लिक डेटा की आवश्यकता नहीं होती है।
• मजबूती (Robustness): यह विधि तब भी मजबूत उपयोगिता बनाए रखती है जब प्रति-चरण MI बजट बहुत कम ($2^{-32}$) हो जाता है, जिसे विभिन्न ट्रेनिंग सबसेट्स के बीच मॉडल प्रेडिक्शंस की अंतर्निहित स्थिरता के कारण माना जाता है।

महत्व और दावे
यह पेपर दावा करता है कि यह निजी मशीन लर्निंग के एक महत्वपूर्ण अंतर को पाटता है, जिससे निजी भविष्यवाणी संभव होती है जो प्रतिकूल स्थितियों में भी प्राइवेसी-संरक्षित और अत्यधिक उपयोगी है।

• सैद्धांतिक सफलता: यह एक पर्सिस्टेंट सीक्रेट के साथ PAC प्राइवेसी के लिए पहला एडवर्सियल कंपोजिशन थ्योरम प्रदान करता है, जो सिद्ध करता है कि अनुवर्ती क्वेरीइंग के तहत MI रैखिक रूप से संचित होता है। यह पिछले कार्यों के विपरीत है जो या तो एडैप्टिविटी के तहत विफल रहे या इनपुट-स्वतंत्र शोर की आवश्यकता रखते थे।
• व्यावहारिक व्यवहार्यता: यह प्रदर्शित करता है कि न्यूनतम शोर के साथ आउटपुट को निजी बनाने के लिए प्रेडिक्शन स्थिरता का लाभ उठाया जा सकता है, जो एक "विन-विन" स्थिति प्रदान करता है जहाँ मजबूत लर्निंग (कम वेरिएंस) स्वाभाविक रूप से बेहतर प्राइवेसी-यूटिलिटी ट्रेड-ऑफ की ओर ले जाती है।
• DP ट्रेनिंग का विकल्प: यह कार्य प्राइवेसी-संरक्षित मॉडल्स को प्राइवेट प्रेडिक्शन और डिस्टिलेशन के माध्यम से रिलीज करने का मार्ग सुझाता है, जो API-आधारित प्रेडिक्शन सेवाओं के लिए DP-SGD की तुलना में अधिक अनुकूल उपयोगिता प्रोफाइल प्रदान करता है।
• सीमाएँ: लेखक स्वीकार करते हैं कि यह दृष्टिकोण एक विशिष्ट इनपुट वितरण (सबसैंपलिंग) पर निर्भर करता है, और इसमें $m$ मॉडल्स को प्री-ट्रेन करने की कम्प्यूटेशनल लागत शामिल है। वे यह भी नोट करते हैं कि सैद्धांतिक गारंटी एक कम्प्यूटेशनल रूप से असीमित एडवरसरी (adversary) मानती है जिसके पास सिस्टम वितरण का पूर्ण ज्ञान है, हालांकि वे तर्क देते हैं कि यह स्वाभाविक रूप से वास्तविक सेटिंग्स में विस्तारित होता है।

संक्षेप में, यह पेपर तर्क देता है कि पैरामीटर प्राइवेसी के बजाय आउटपुट प्राइवेसी पर ध्यान केंद्रित करके और PAC प्राइवेसी के माध्यम से इंस्टेंस-आधारित स्थिरता का उपयोग करके, यह उन लाखों क्वेरीज़ को सर्व करना संभव है जिन्हें DP-आधारित विधियाँ बिना उपयोगिता खोए प्राप्त नहीं कर सकतीं।