🤖 machine learning

End-to-End Differential Privacy in Training Deep Neural Network Classifiers

यह शोध पत्र एक एंड-टू-एंड डिफरेंशियल प्राइवेट प्रशिक्षण ढांचे का प्रस्ताव करता है जो सॉफ्टमैक्स आउटपुट पर डिरिचलेट मैकेनिज्म को लागू करके और टाइट बाउंड्स के लिए रेनी डिफरेंशियल प्राइवेसी का लाभ उठाकर केवल संवेदनशील इनपुट्स को निजीकृत करता है और लेबल्स को सार्वजनिक रखता है, जिससे विभिन्न प्राइवेसी बजटों के तहत कई डेटासेट्स पर अत्याधुनिक सटीकता प्राप्त होती है।

मूल लेखक: Huaiyuan Rao, Calvin Hawkins, Alexander Benvenuti, Matthew Hale

प्रकाशित 2026-07-23

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huaiyuan Rao, Calvin Hawkins, Alexander Benvenuti, Matthew Hale

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबट को विभिन्न प्रकार के जानवरों को पहचानना सिखा रहे हैं। आप उसे बिल्लियों और कुत्तों की हजारों तस्वीरें दिखाते हैं, और प्रत्येक तस्वीर के लिए, आप रोबट को बताते हैं, "यह एक बिल्ली है" या "यह एक कुत्ता है।" रोबट तस्वीरों को देखकर और सही लेबल पाने के लिए अपनी आंतरिक सेटिंग्स को बदलकर सीखता है। आधुनिक आर्टिफिशियल इंटेलिजेंस इसी तरह सीखता है। लेकिन क्या होगा अगर उन तस्वीरों में संवेदनशील रहस्य छिपे हों? शायद वे तस्वीरें मरीजों के मेडिकल स्कैन या निजी पारिवारिक पलों की हों। यदि कोई रोबट के अंतिम "मस्तिष्क" (प्रशिक्षित मॉडल) को चुरा लेता है, तो वे मूल तस्वीरों को रिवर्स-इंजीनियर कर सकते हैं और उन रहस्यों को देख सकते हैं। इसे रोकने के लिए, वैज्ञानिक एक गणितीय ढाल का उपयोग करते हैं जिसे डिफरेंशियल प्राइवेसी (Differential Privacy) कहा जाता है। इस ढाल को सीखने की प्रक्रिया में थोड़ा सा "स्टैटिक" या "शोर" जोड़ने के रूप में समझें, जैसे रेडियो की आवाज़ को बस इतना बढ़ा देना जिससे एक फुसफुसाहट छिप जाए, ताकि कोई यह न बता सके कि रोबट ने वास्तव में कौन सी विशिष्ट फोटो देखी थी, जबकि वह अभी भी यह सीख सके कि बिल्ली कैसी दिखती है।

आमतौर पर, जब वैज्ञानिक इस गोपनीयता ढाल को जोड़ते हैं, तो वे सब कुछ—तस्वीर और लेबल दोनों को—बिखेर देते हैं। लेकिन कभी-कभी, लेबल गुप्त नहीं होता है। यदि आप रोबट को एक्स-रे में निमोनिया पहचानने के लिए प्रशिक्षित कर रहे हैं, तो एक्स-रे स्वयं एक निजी मेडिकल रिकॉर्ड हो सकता है, लेकिन डॉक्टर का निदान ("निमोनिया" या "कोई निमोनिया नहीं") सार्वजनिक ज्ञान या पहले से ज्ञात हो सकता है। मुख्य सवाल जो यह शोध पत्र पूछता है: क्या हम गुप्त तस्वीर की रक्षा कर सकते हैं और सार्वजनिक लेबल को वैसे ही छोड़ सकते हैं, और फिर भी रोबोट को बहुत अच्छी तरह से सिखा सकते हैं? लेखक, जो जॉर्जिया टेक की एक टीम है, कहते हैं कि हाँ। उन्होंने एक नया प्रशिक्षण तरीका बनाया है जो डिरिचलेट मैकेनिज्म (Dirichlet mechanism) नामक एक विशेष गणितीय उपकरण का उपयोग करके रोबोट के "अनुमानों" को बिखेरता है। केवल एक रेडियो की तरह रैंडम शोर डालने के बजाय, वे इस उपकरण का उपयोग करके रोबोट के संभावना वाले अनुमानों को एक विशेष तरीके से धीरे से धकेलता है, जो मूल छवि को छिपा देता है लेकिन सीखने का रास्ता स्पष्ट रखता है। उन्होंने CIFAR10 (छोटी रंगीन तस्वीरों का एक संग्रह) जैसे प्रसिद्ध इमेज डेटासेट पर इसका परीक्षण किया और पाया कि उनका तरीका पिछले प्रयासों की तुलना में बहुत अधिक स्मार्ट है। जबकि पुराने तरीके संघर्ष करते थे जब गोपनीयता की ढाल मजबूत होती थी, उनके नए दृष्टिकोण ने उच्च सटीकता बनाए रखी, भले ही गोपनीयता सेटिंग्स को बहुत कड़ा कर दिया गया हो।

गुप्त तस्वीर और सार्वजनिक लेबल की कहानी

आइए इस शोध पत्र के रोमांच में उतरें। लेखक, हुइयुआन राव, केल्विन हॉकिन्स, अलेक्जेंडर बेनुवेन्टी और मैथ्यू हेल, मशीन लर्निंग की दुनिया में एक पेचीदा समस्या का समाधान कर रहे हैं। वे डीप न्यूरल नेटवर्क—वे शानदार कंप्यूटर मस्तिष्क जो चेहरों को पहचानते हैं, बीमारियों का निदान करते हैं, या कारें चलाते हैं—को प्रशिक्षित करना चाहते हैं, बिना उस निजी रहस्यों को लीक किए जो प्रशिक्षण डेटा के भीतर छिपे होते हैं।

पुराने तरीके के साथ समस्या
कल्पना कीजिए कि आप एक छात्र को विभिन्न फलों की पहचान करना सिखा रहे हैं। आप उन्हें एक सेब दिखाते हैं और कहते हैं, "यह एक सेब है।" यदि आप उस विशिष्ट सेब की उनकी याददाश्त की रक्षा करना चाहते हैं (शायद यह एक दुर्लभ, लुप्तप्राय फल है), तो आप उन्हें उस सेब के लाल रंग के सटीक शेड या त्वचा पर छोटे से निशान को भूलने के लिए कह सकते हैं। AI की दुनिया में, यह शोर जोड़कर किया जाता है। सबसे आम तरीका, जिसे DP-SGD कहा जाता है, पूरे क्लासरूम पर एक मोटी, धुंधली चादर डालने जैसा है। यह चित्र और लेबल "सेब" दोनों को बिखेर देता है। हालांकि यह बहुत सुरक्षित है, लेकिन यह बहुत अनाड़ी भी है। धुंधली चादर के कारण छात्र के लिए कुछ भी स्पष्ट रूप से देखना कठिन हो जाता है, इसलिए वे धीरे सीखते हैं और कई गलतियाँ करते हैं। AI की सटीकता काफी गिर जाती है क्योंकि "शोर" बहुत भारी होता है।

नया विचार: एक लक्षित ढाल
लेखकों ने महसूस किया कि कई वास्तविक दुनिया की स्थितियों में, "लेबल" वास्तव में गुप्त नहीं होता है। यदि आप क्रेडिट कार्ड धोखाधड़ी का पता लगाने के लिए एक AI को प्रशिक्षित कर रहे हैं, तो लेनदेन की राशि संवेदनशील हो सकती है, लेकिन श्रेणी "धोखाधड़ी" या "सुरक्षित" अक्सर एक मानक, सार्वजनिक परिभाषा होती है। यदि आप सार्वजनिक लेबल को एक रहस्य के रूप में देखते हैं, तो आप अनावश्यक शोर जोड़ रहे हैं, जैसे गर्मियों में विंटर कोट पहनना।

इसलिए, उन्होंने एक नया ढांचा प्रस्तावित किया: एंड-टू-एंड डिफरेंशियल प्राइवेसी (End-to-End Differential Privacy)। पूरी तस्वीर को बिखेरने के बजाय, वे केवल उस हिस्से को बिखेरते हैं जो मायने रखता है: इनपुट इमेज। वे लेबल (उत्तर कुंजी) को पूरी तरह से स्पष्ट छोड़ देते हैं।

जादुई ट्रिक कैसे काम करती है
यहीं से कहानी मजेदार होती है। लेखक सॉफ्टमैक्स लेयर (softmax layer) का उपयोग करते हुए एक चतुर ट्रिक का उपयोग करते हैं। आप एक न्यूरल नेटवर्क को एक जासूस के रूप में सोच सकते हैं जो एक तस्वीर देखता है और फिर अनुमानों की एक सूची बनाता है: "मुझे 80% यकीन है कि यह एक बिल्ली है, 15% यकीन है कि यह एक कुत्ता है, और 5% यकीन है कि यह एक पक्षी है।" संभावनाओं की इस सूची को प्रोबेबिलिटी वेक्टर कहा जाता है, और यह एक "यूनिट सिम्प्लेक्स" (एक त्रिकोण के लिए एक फैंसी ज्यामितीय शब्द जहाँ सभी कोने 100% जोड़ते हैं) पर रहता है।

पुराने तरीकों में, वे इन अनुमानों पर बस रैंडम शोर फेंक देते थे, जिससे अक्सर गणित बिगड़ जाता था। लेकिन लेखकों ने डिरिचलेट मैकेनिज्म नामक एक विशेष उपकरण का उपयोग किया। कल्पना कीजिए कि जासूस की अनुमानों की सूची रंगीन रेत का एक कटोरा है। डिरिचलेट मैकेनिज्म केवल कटोरे में मिट्टी नहीं फेंकता; यह रेत को एक बहुत ही विशिष्ट, गणितीय रूप से पूर्ण तरीके से धीरे से मिलाता है। यह जासूस के मूल अनुमान को लेता है और उसमें थोड़ा सा "प्राइवेसी सैंड" जोड़ता है, जिससे अनुमानों की एक नई, थोड़ी अलग सूची बनती है।

यह नई सूची अभी भी संभावनाओं का एक वैध सेट है (यह अभी भी 100% जोड़ती है), लेकिन अब यह "निजी" है। रोबोट इस थोड़ी धुंधली सूची का उपयोग अपनी गलतियों की गणना करने और सीखने के लिए करता है, लेकिन डिरिचलेट मैकेनिज्म के काम करने के तरीके के कारण, यह पता लगाना असंभव है कि मूल तस्वीर क्या थी।

परिणाम: स्मार्ट और तेज़
टीम ने CIFAR10 (10 प्रकार की छोटी छवियां), MNIST (हाथ से लिखे अंक), और यहाँ तक कि MedMNIST (मेडिकल इमेज) सहित कई प्रसिद्ध डेटासेट पर इस नए तरीके का परीक्षण किया। उन्होंने अपने तरीके की तुलना पुराने "धुंधली चादर" वाले दृष्टिकोण (DP-SGD) और एक अन्य हालिया पद्धति से की जिसने इनपुट को सुरक्षित करने की कोशिश की लेकिन एक अलग प्रकार के शोर का उपयोग किया।

परिणाम प्रभावशाली थे। जब गोपनीयता बजट को एक सख्त स्तर पर सेट किया गया था (जहाँ $\epsilon = 4$ ), तो पुराने सर्वश्रेष्ठ तरीके (Monir and Ghinita, 2024) ने CIFAR10 पर लगभग 78.37% सटीकता प्राप्त की। लेखकों का नया तरीका बढ़कर 88.17% हो गया। यह एक बड़ी छलांग है! यहाँ तक कि जब गोपनीयता को अत्यंत सख्त ( $\epsilon = 1$ ) कर दिया गया, तब भी उनके तरीके ने 82.96% सटीकता हासिल की, जबकि पुराने तरीके 56% से ऊपर उठने के लिए संघर्ष कर रहे थे।

यह इतना बेहतर क्यों था?

कम शोर: क्योंकि उन्होंने केवल इनपुट को सुरक्षित किया न कि लेबल को, इसलिए उन्हें सीखने की प्रक्रिया में बहुत अधिक "स्टैटिक" जोड़ने की आवश्यकता नहीं पड़ी।
स्मार्ट शोर: डिरिचलेट मैकेनिज्म अन्य तरीकों में उपयोग किए जाने वाले रैंडम शोर की तुलना में संभावना वाले अनुमानों के लिए बेहतर ढंग से अनुकूलित है। यह सीखने के पथ की दिशा को सुरक्षित रखता है, जिसका अर्थ है कि रोबोट अभी भी जानता है कि किस दिशा में जाना है, वह बस थोड़े छोटे कदम लेता है।
नो क्लिपिंग (No Clipping): पुराने तरीकों को सुरक्षित रखने के लिए हर एक इमेज के सीखने के स्टेप्स को "क्लिप" (काटना) करना पड़ता था, जो धीमा और अव्यवस्थित था। लेखकों के तरीके को इसकी आवश्यकता नहीं थी, जिससे प्रशिक्षण प्रक्रिया तेज़ हो गई।

उन्होंने क्या नहीं किया
लेखक सावधानी से नोट करते हैं कि उनका तरीका उन स्थितियों के लिए डिज़ाइन किया गया है जहाँ लेबल सार्वजनिक या सुरक्षित हैं। यदि लेबल भी गुप्त हैं (जैसे कि एक निजी मेडिकल डायग्नोसिस जिसे कोई नहीं जान सकता), तो यह तरीका सही नहीं है। उन मामलों में, पुराना "धुंधला कंबल" (DP-SGD) अभी भी आवश्यक है क्योंकि यह सब कुछ सुरक्षित करता है।

निष्कर्ष
यह शोध पत्र दिखाता है कि हमें गोपनीयता और प्रदर्शन के बीच चुनाव करने की आवश्यकता नहीं है। यह समझकर कि किसे सुरक्षित करना है, हम ऐसे AI मॉडल बना सकते हैं जो सुरक्षित और अविश्वसनीय रूप से सटीक दोनों हों। लेखकों ने प्रदर्शित किया कि केवल इनपुट को निजी बनाने के लिए डिरिचलेट मैकेनिज्म का उपयोग करके, वे डीप न्यूरल नेटवर्क को प्रशिक्षित कर सकते हैं जो लगभग हर परीक्षण में स्टेट-ऑफ-द-आर्ट को पछाड़ देते हैं। यह एक याद दिलाता है कि AI की दुनिया में, कभी-कभी किसी रहस्य को सुरक्षित रखने का सबसे अच्छा तरीका उन चीजों को छिपाना बंद करना है जो पहले से ही सार्वजनिक हैं।

तकनीकी सारांश: डीप न्यूरल नेटवर्क क्लासिफायर के प्रशिक्षण में एंड-टू-एंड डिफरेंशियल प्राइवेसी

समस्या विवरण
मौजूदा डिफरेंशियल प्राइवेट (DP) मशीन लर्निंग फ्रेमवर्क, जैसे कि डिफरेंशियल प्राइवेट स्टोकेस्टिक ग्रेडिएंट डिसेंट (DP-SGD), आमतौर पर प्रशिक्षण इनपुट्स और उनके संबंधित लेबल्स दोनों को प्राइवेट करते हैं। हालांकि, कई वास्तविक दुनिया के परिदृश्यों में, इनपुट और लेबल्स से जुड़े गोपनीयता जोखिम विषम (asymmetrical) होते हैं। उदाहरण के लिए, मेडिकल इमेजिंग में, रोगी का बायोमेट्रिक डेटा (इनपुट) अत्यधिक संवेदनशील होता है, जबकि नैदानिक लेबल (diagnostic labels) सार्वजनिक या स्वास्थ्य रजिस्ट्रियों के माध्यम से सुलभ हो सकते हैं। इसी तरह, वित्तीय अनुप्रयोगों में, लेनदेन का इतिहास संवेदनशील होता है, लेकिन रिस्क टियर श्रेणियां अक्सर सार्वजनिक रूप से परिभाषित होती हैं। वर्तमान विधियां जो इनपुट और लेबल दोनों को प्राइवेट करती हैं, वे एक महत्वपूर्ण प्राइवेसी-यूटिलिटी ट्रेड-ऑफ पेश करती हैं, जिसके परिणामस्वरूप मध्यम प्राइवेसी बजट पर भी सटीकता में भारी गिरावट आती है। लेखक इस विशिष्ट चुनौती को संबोधित करते हैं जहाँ प्रशिक्षण इनपुट संवेदनशील हैं लेकिन लेबल सार्वजनिक हैं, जिसका उद्देश्य इनपुट्स के लिए डिफरेंशियल प्राइवेसी प्रदान करना है जबकि मॉडल की उच्च सटीकता बनाए रखी जा सके।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक नवीन प्राइवेट ट्रेनिंग फ्रेमवर्क प्रस्तावित करता है जो ग्रेडिएंट्स या इंटरमीडिएट फीचर लेयर्स को विक्षोभित (perturb) करने के बजाय, सीधे न्यूरल नेटवर्क के सॉफ्टमैक्स आउटपुट लेयर में कैलिब्रेटेड रैंडमनेस इंजेक्ट करता है। कार्यप्रणाली के मुख्य घटक निम्नलिखित हैं:

डिरिचलेट मैकेनिज्म (Dirichlet Mechanism): ग्रेडिएंट्स में गॉसियन नॉइज़ जोड़ने (जैसा कि DP-SGD में होता है) या फीचर्स को विक्षोभित करने के बजाय, यह फ्रेमवर्क एक डिरिचलेट डिस्ट्रीब्यूशन से एक प्राइवेट प्रोबेबिलिटी वेक्टर सैंपल करता है। विशेष रूप से, यदि मॉडल का आउटपुट लॉजिट्स $z$ है, तो सॉफ्टमैक्स आउटपुट $s(z)$ को $\tilde{p} \sim \text{Dir}(r s(z) + \alpha \mathbf{1}_d)$ से सैंपल करके विक्षोभित किया जाता है, जहाँ $r$ और $\alpha$ क्रमशः स्केलिंग और ऑफसेट पैरामीटर हैं। इस विक्षोभित वेक्टर $\tilde{p}$ का उपयोग वास्तविक सार्वजनिक लेबल $y$ के विरुद्ध नेगेटिव लॉग-लाइक्लीहुड (NLL) लॉस की गणना करने के लिए किया जाता है।
RDP और सबसैंपलिंग के माध्यम से प्राइवेसी विश्लेषण: चूंकि प्रशिक्षण डेटा को कई इपोक (epochs) में पुन: उपयोग किया जाता है, इसलिए लेखक संचित प्राइवेसी लॉस पर कड़े बाउंड्स बनाने के लिए रेनी डिफरेंशियल प्राइवेसी (RDP) का उपयोग करते हैं। वे प्राइवेसी गारंटी को बढ़ाने के लिए पॉइसन सबसैंपलिंग (रैंडम मिनीबैच चयन) का उपयोग करते हैं। शोध पत्र एक औपचारिक बाउंड (थ्योरम 10) व्युत्पन्न करता है जो $T$ प्रशिक्षण चरणों पर डिरिचलेट मैकेनिज्म के संयोजन को ध्यान में रखते हुए संपूर्ण प्रशिक्षण प्रक्रिया की $(\epsilon, \delta)$ -डिफरेंशियल प्राइवेसी को स्पष्ट करता है।
ग्रेडिएंट व्यवहार और लर्निंग रेट कैलिब्रेशन: लेखक विक्षोभित लॉस के सांख्यिकीय गुणों का विश्लेषण करते हैं। वे प्रदर्शित करते हैं (थ्योरम 11) कि अपेक्षित प्राइवेट लॉस का ग्रेडिएंट, नॉन-प्राइवेट क्रॉस-एन्ट्रॉपी ग्रेडिएंट की दिशा (direction) को सुरक्षित रखता है लेकिन इसे एक डेटा-डिपेंडेंट एटेनुएशन फैक्टर $\kappa(z; r, \alpha)$ द्वारा स्केल किया जाता है। यह अंतर्दृष्टि प्राइवेसी मैकेनिज्म द्वारा पेश किए गए मैग्नीट्यूड स्केलिंग का मुकाबला करने के लिए लर्निंग रेट को कैलिब्रेट करने की अनुमति देती है, जिससे स्थिर प्रशिक्षण सुनिश्चित होता है।
पैरामीटर चयन: फ्रेमवर्क में लक्षित प्राइवेसी बजट $(\epsilon, \delta)$ को संतुष्ट करने के लिए डिरिचलेट पैरामीटर्स ( $\alpha$ और $r$ ) चुनने की एक प्रक्रिया शामिल है। $r$ को रूट-फाइंडिंग के माध्यम से निर्धारित किया जाता है ताकि प्राइवेसी बाधाओं के भीतर रहते हुए स्केलिंग फैक्टर को अधिकतम किया जा सके।

प्रमुख योगदान

नवीन फ्रेमवर्क: एक ऐसा ट्रेनिंग पाइपलाइन प्रस्ताव जो इनपुट्स को प्राइवेट करता है और लेबल्स को सार्वजनिक रखता है, जो डिफरेंशियल प्राइवेसी लागू करने के लिए सॉफ्टमैक्स लेयर पर डिरिचलेट मैकेनिज्म का उपयोग करता है।
औपचारिक प्राइवेसी गारंटी: डिरिचलेट मैकेनिज्म के लिए RDP और सबसैंपलिंग एम्प्लीफिकेशन का उपयोग करके एक टाइट प्राइवेसी बाउंड का व्युत्पन्न, जो पहले साहित्य में विश्लेषित नहीं किया गया था।
सैद्धांतिक अंतर्दृष्टि: यह प्रमाण कि डिरिचलेट मैकेनिज्म ग्रेडिएंट्स के मैग्नीट्यूड को रीस्केल करते हुए उनके ग्रेडिएंट की दिशा को सुरक्षित रखता है, जो लर्निंग रेट चयन के लिए एक सैद्धांतिक आधार प्रदान करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): कई डेटासेट्स और प्राइवेसी बजटों पर मौजूदा स्टेट-ऑफ-द-आर्ट दृष्टिकोणों से बेहतर प्रदर्शन दिखाने वाला व्यापक मूल्यांकन।

प्रायोगिक परिणाम
लेखकों ने पांच बेंचमार्क डेटासेट्स पर फ्रेमवर्क का मूल्यांकन किया: CIFAR10, MNIST, DermaMNIST, FashionMNIST, और SVHN। मुख्य निष्कर्ष शामिल हैं:

CIFAR10: प्राइवेसी बजट $\epsilon = 4$ (के साथ $\delta = 10^{-5}$ ) पर, विधि ने 88.17% सटीकता प्राप्त की, जो पिछले स्टेट-ऑफ-द-आर्ट (मोनिर और घिनिटा, 2024) से काफी बेहतर है जिसने समान बजट पर 78.37% सटीकता प्राप्त की थी। यहाँ तक कि सख्त बजट $\epsilon = 1$ पर भी, विधि ने 82.96% सटीकता प्राप्त की, जो पिछले कार्य के $\epsilon = 4.46$ के प्रदर्शन से भी बेहतर है।
MNIST: विधि ने एक सरल इनसेप्शन मॉडल का उपयोग करके लगभग नॉन-प्राइवेट सटीकता स्तर (जैसे, $\epsilon = 4$ पर 99.44%) प्राप्त किया, जो DP-SGD और अन्य प्राइवेट लर्निंग बेसलाइन्स से बेहतर है।
DermaMNIST: मेडिकल इमेजिंग डेटा पर, विधि ने $\epsilon = 1$ पर 74.32% सटीकता प्राप्त की, जो DP-SGD (68.34%) से बेहतर है और नॉन-प्राइवेट बेसलाइन से 5% से कम का अंतर बनाए रखती है।
दक्षता (Efficiency): यह फ्रेमवर्क प्रति-सैंपल ग्रेडिएंट क्लिपिंग की आवश्यकता को समाप्त करता है, जो DP-SGD में कम्प्यूटेशनल रूप से महंगा होता है। फलस्वरूप, प्रशिक्षण प्रक्रिया काफी तेज हो जाती है (उदाहरण के लिए, CIFAR10 पर DP-SGD के ~60 सेकंड प्रति इपोक की तुलना में ~30 सेकंड)।

महत्व और दावे
शोध पत्र का दावा है कि यह दृष्टिकोण DP-SGD के लिए एक पूरक समाधान प्रदान करता है, जो विशेष रूप से उन परिदृश्यों के लिए तैयार किया गया है जहाँ इनपुट संवेदनशील हैं लेकिन लेबल नहीं हैं। लेबल्स को प्राइवेट करने और प्रति-सैंपल ग्रेडिएंट क्लिपिंग के उपयोग से बचकर, यह विधि सभी मूल्यांकित प्राइवेसी बजटों में नई स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त करती है। लेखक जोर देते हैं कि डिरिचलेट मैकेनिज्म, पिछले इनपुट-प्राइवेसी कार्यों (जैसे मोनिर और घिनिटा, 2024) में उपयोग किए जाने वाले गॉसियन मैकेनिज्म की तुलना में कम वेरिएंस के साथ रैंडमनेस पेश करता है, और इसका वेरिएंस लेयर की चौड़ाई के बजाय क्लासेज की संख्या के साथ स्केल होता है, जो इसे डीप नेटवर्क्स के लिए अधिक उपयुक्त बनाता है। यह कार्य प्रदर्शित करता है कि संवेदनशील इनपुट्स के लिए मजबूत प्राइवेसी गारंटी के साथ उच्च-उपयोगिता वाले मॉडल, पूर्णतः प्राइवेट ट्रेनिंग से जुड़ी गंभीर सटीकता दंड के बिना प्रशिक्षित किए जा सकते हैं।

गुप्त तस्वीर और सार्वजनिक लेबल की कहानी

इसी तरह के और पेपर