💻 computer science

DP-MacAdam: Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum

यह शोध पत्र DP-MacAdam का प्रस्ताव करता है, जो एक नवीन डिफरेंशियल प्राइवेट ऑप्टिमाइज़ेशन एल्गोरिदम है जो साझा अनुभवजन्य माध्य (empirical mean) और विचरण (variance) अनुमानों का लाभ उठाकर एडेप्टिव ग्रेडिएंट क्लिपिंग और मोमेंटम अपडेट को एकीकृत करता है, जिससे मैनुअल क्लिपिंग थ्रेशोल्ड ट्यूनिंग के बिना बेहतर मॉडल उपयोगिता प्राप्त होती है।

मूल लेखक: Naima Tasnim, Lalitha Sankar, Oliver Kosut

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naima Tasnim, Lalitha Sankar, Oliver Kosut

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को तस्वीरों को पहचानना सिखाने की कोशिश कर रहे हैं (जैसे बिल्ली बनाम कुत्ता) एक विशाल फोटो संग्रह का उपयोग करके। हालाँकि, इसमें एक पेच है: आपको उन तस्वीरों में मौजूद लोगों की गोपनीयता की रक्षा करनी है। आप यह नहीं होने दे सकते कि रोबोट किसी एक व्यक्ति के विशिष्ट विवरणों को "याद" कर ले, क्योंकि इससे अनजाने में उनकी पहचान उजागर हो सकती है।

इस समस्या को हल करने के लिए, वैज्ञानिक डिफरेंशियल प्राइवेसी (DP) नामक तकनीक का उपयोग करते हैं। इसे ऐसे समझें जैसे रोबोट के देखने से पहले डेटा में "स्टैटिक" या "धुंध" की एक परत जोड़ दी जाती है। यह धुंध व्यक्तिगत विवरणों को छिपा देती है लेकिन रोबोट को सामान्य पैटर्न सीखने देती है।

समस्या यह है कि यह "धुंध" सीखने की प्रक्रिया को धीमा और भद्दा बना देती है। रोबोट भ्रमित हो जाता है और बहुत छोटे, अक्षम कदम उठाता है।

पुराने तरीके: दो अलग-अलग उपकरण

इस नए पेपर से पहले, शोधकर्ताओं के पास रोबोट को बेहतर ढंग से सीखने में मदद करने के लिए दो मुख्य उपकरण थे, लेकिन दोनों में खामियां थीं:

"फिक्स्ड फेंस" विधि (DP-SGD):
कल्पना कीजिए कि रोबोट एक खेत में दौड़ रहा है। उसे सुरक्षित रखने के लिए, आप एक बाड़ (fence) लगाते हैं। यदि रोबोट बहुत तेज़ दौड़ने की कोशिश करता है (एक बड़ा, संवेदनशील कदम), तो बाड़ उसे रोक देती है और उसे धीमा होने के लिए मजबूर करती है।

खामी: बाड़ की ऊंचाई हमेशा एक समान रहती है। कभी-कभी रोबोट को एक छोटा सा गड्ढा पार करने की आवश्यकता होती है (एक छोटा कदम), और बाड़ बहुत ऊँची होती है, जिससे ऊर्जा बर्बाद होती है। अन्य समय में, जब उसे एक बड़ी खाई पार करनी होती है, तो बाड़ बहुत नीची होती है, जिससे वह बेकाबू होकर दौड़ने लगता है। आपको मैन्युअल रूप से सही बाड़ की ऊंचाई का अनुमान लगाना पड़ता है, जो कठिन है।

"स्मार्ट फेंस" (AdaClip):
यह विधि एक ऐसी बाड़ बनाती है जो इलाके के आधार पर अपनी ऊंचाई बदलती है। यदि ज़मीन ऊबड़-खाबड़ है, तो बाड़ खुद को समायोजित करती है। यह तय करने के लिए कि कितनी कटौती करनी है, यह सांख्यिकी (जैसे कदमों की औसत गति और भिन्नता) का उपयोग करती है।

खामी: यह बाड़ को समायोजित करने में तो बेहतरीन है, लेकिन एक बार जब यह कदम को समायोजित कर लेती है, तो यह उन सांख्यिकी को भूल जाती है जिनका इसने अभी उपयोग किया था। यह रोबोट के साथ ऐसे व्यवहार करती है जैसे वह एक नौसिखिया हो जो एक बार में केवल एक कदम उठाता है, यह नज़रअंदाज़ करते हुए कि रोबोट अपने मोमेंटम (गति) को याद रखकर सुचारू रूप से दौड़ सकता है।

"मोमेंटम" विधि (DP-Adam):
यह विधि रोबोट को एक "याददाश्त" देती है। यदि रोबोट एक सीधी रेखा में दौड़ रहा है, तो वह अपने मोमेंटम को बनाए रखता है, जिससे वह तेज़ और स्थिर बनता है।

खामी: यह अभी भी पुराने "फिक्स्ड फेंस" का उपयोग करता है। इसके पास बेहतरीन मोमेंटम है, लेकिन फिर भी यह एक ऐसी बाड़ से टकराकर लड़खड़ा जाता है जो इलाके के अनुकूल नहीं है।

नया समाधान: DP-MacAdam

लेखकों ने एक नया एल्गोरिदम बनाया है जिसे DP-MacAdam कहा जाता है। इसे एक स्मार्ट, मोमेंटम-ड्रिवन रोबोट के रूप में सोचें।

यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:

कल्पना कीजिए कि रोबोट अंधेरे में एक भूलभुलैया (maze) में रास्ता खोज रहा है।

"धुंध" (प्राइवेसी नॉइज़): हर बार जब रोबोट किसी दीवार को देखता है, तो उसकी दृष्टि में थोड़ी सी धुंध जोड़ दी जाती है ताकि कोई यह न बता सके कि उसने वास्तव में कौन सी दीवार देखी थी।
"स्मार्ट फेंस" (एडैप्टिव क्लिपिंग): एक स्थिर बाड़ के बजाय, रोबॉर्म के पास एक मापने वाला टेप (measuring tape) है। वह अपने पिछले कुछ कदमों को देखता है। यदि कदम अनियंत्रित और अनियमित थे, तो वह पट्टे को कस देता है (ग्रेडिएंट को क्लिप करता है)। यदि कदम शांत थे, तो वह पट्टे को ढीला कर देता है। यह सुनिश्चित करता है कि रोबोट कभी भी गोपनीयता के लिए बहुत जोखिम भरा कदम न उठाए।
"मोमेंटम" (एडैप्टिव मोमेंटम): रोबोट केवल वर्तमान कदम को नहीं देखता; वह अपने पिछले कदमों की औसत दिशा और गति को याद रखता है। वह भूलभुलैया में सुचारू रूप से फिसलने के लिए इस स्मृति का उपयोग करता है, बजाय इसके कि वह लड़खड़ाता रहे।

जादुई ट्रिक:
DP-MacAdam की प्रतिभा यह है कि यह बाड़ और मोमेंटम दोनों के लिए एक ही मापने वाले टेप का उपयोग करता है।

पिछले तरीकों में, आपको बाड़ की ऊंचाई और मोमेंटम दोनों को अलग-अलग गणना करना पड़ता था, जिससे अक्सर प्राइवेसी बजट बर्बाद होता था या जानकारी का नुकसान होता था।
DP-MacAdam कदमों की "औसत गति" और "भिन्नता" को एक ही बार में कैलकुलेट करता है, और इस एकल गणना का उपयोग बाड़ को एडजस्ट करने और मोमेंटम को गाइड करने, दोनों के लिए करता है।

यह एक बड़ी बात क्यों है?

कोई मैनुअल ट्यूनिंग नहीं: अब आपको बाड़ की ऊंचाई का अनुमान लगाने की ज़रूरत नहीं है। रोबोट इसे चलते-चलते खुद समझ लेता है।
कम शोर, बेहतर परिणाम: चूंकि बाड़ इलाके के अनुसार पूरी तरह से समायोजित है, इसलिए रोबोट को सुरक्षित रहने के लिए बहुत अधिक "धुंध" की आवश्यकता नहीं होती है। कम धुंध का मतलब है कि रोबमा रास्ता स्पष्ट देख सकता है और तेज़ी से सीख सकता है।
बायस करेक्शन (Bias Correction): पेपर ने एक सूक्ष्म त्रुटि को ठीक करने के लिए एक गणितीय ट्रिक की भी खोज की है। जब आप मोमेंटम प्राप्त करने के लिए पिछले कदमों का औसत निकालते हैं, तो धुंध के कारण औसत निकालने की गणितीय प्रक्रिया थोड़ी "गलत" हो सकती है। लेखकों ने एक "करेक्शन फैक्टर" (एक गणितीय समायोजन) का आविष्कार किया है ताकि यह सुनिश्चित हो सके कि रोबोट की याददाश्त पूरी तरह से सटीक है।

परिणाम

लेखकों ने इसे दो प्रसिद्ध पिक्चर डेटासेट्स (MNIST और CIFAR-10) पर परखा।

परिणाम: DP-MacAdam ने लगातार अन्य तरीकों को पीछे छोड़ दिया। इसने समान गोपनीयता सुरक्षा का उपयोग करते हुए अधिक सटीकता के साथ तस्वीरें पहचानना सीखा।
निष्कर्ष: "स्मार्ट फेंस" और "मोमेंटम" को एक कुशल प्रणाली में मिलाकर, रोबोट बिना किसी मानवीय हस्तक्षेप के तेज़ी से और अधिक सटीकता से सीखता है।

संक्षेप में, DP--MacAdam एक अनाड़ी, धुंधले रोबोट को एक चिकने, स्व-समायोजन करने वाले नेविगेटर में अपग्रेड करने जैसा है, जो जानता है कि उसे कितनी तेज़ गति से जाना चाहिए और कब धीमा होना चाहिए, और यह सब करते हुए सभी के रहस्यों को सुरक्षित रखता है।

तकनीकी सारांश: DP-MacAdam

समस्या कथन
डिफरेंशियल प्राइवेट स्टोकेस्टिक ग्रेडिएंट डिसेंट (DP-SGD) प्राइवेसी-प्रिजर्विंग मशीन लर्निंग के लिए मानक ढांचा है, फिर भी यह एक महत्वपूर्ण व्यावहारिक सीमा से ग्रस्त है: इसका एक निश्चित ग्रेडिएंट क्लिपिंग थ्रेशोल्ड ( $C$ ) पर निर्भर होना। व्यवहार में, $C$ का चयन करना कठिन है; एक बहुत छोटा मान अत्यधिक क्लिपिंग के माध्यम से सिग्नल को नष्ट कर देता है, जबकि एक बहुत बड़ा मान संवेदनशीलता (sensitivity) को बढ़ाता है, जिससे प्राइवेसी बजट को संतुष्ट करने के लिए अधिक शोर (noise) जोड़ने की आवश्यकता होती है।

मौजूदा दृष्टिकोण इस समस्या को दो अलग-अलग, पूरक तरीकों से हल करने का प्रयास करते हैं, लेकिन दोनों में से कोई भी उपलब्ध सांख्यिकी (statistics) का पूर्ण उपयोग नहीं करता है:

एडेप्टिव क्लिपिंग (जैसे, AdaClip): ग्रेडिएंट के माध्य (mean) और विचरण (variance) के अनुभवजन्य अनुमानों का उपयोग करके ग्रेडिएंट को डायनामिक रूप से शिफ्ट और स्केल करता है। यह प्रीप्रोसेसिंग के दौरान जोड़े गए प्रति-इटरेशन शोर को कम करता है, लेकिन इन सांख्यिकी को प्रीप्रोसेसिंग के बाद त्याग देता है, जिससे यह एक मानक SGD अपडेट में बदल जाता है जो एडेप्टिव जानकारी को अनदेखा करता है।
एडेप्टिव मोमेंटम (जैसे, DP-Adam): कोऑर्डिनेट-वाइज एडेप्टिव लर्निंग रेट्स की गणना करने के लिए ग्रेडिएंट मोमेंट्स के एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करता है (Adam के समान)। हालांकि, यह फिक्स्ड आइसोट्रोपिक क्लिपिंग पर निर्भर है, जिससे एडेप्टिव क्लिपिंग के शोर न्यूनीकरण लाभों का त्याग हो जाता है।

मूल समस्या एक ऐसे एल्गोरिदम की कमी है जो बिना अतिरिक्त प्राइवेसी लागत के, एडेप्टिव क्लिपिंग और एडेप्टिव मोमेंटम अपडेट दोनों के लिए एक ही ग्रेडिएंट सांख्यिकी का एक साथ लाभ उठा सके।

कार्यप्रणाली: DP-MacAdam
लेखक DP-MacAdam (Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum) प्रस्तावित करते हैं, जो AdaClip की कोऑर्डिनेट-वाइज एडेप्टिव क्लिपिंग को DP गारंटियों के तहत DP-Adam के एडेप्टिव मोमेंटम अपडेट के साथ एकीकृत करता है।

एकीकृत सांख्यिकी (Unified Statistics): एल्गोरिदम पूरी तरह से प्राइवाटाइज्ड ग्रेडिएंट्स से प्राप्त ग्रेडिएंट माध्य ( $m_t$ ) और विचरण ( $s_t$ ) के रनिंग एस्टीमेट्स को बनाए रखता है। DP के पोस्ट-प्रोसेसिंग गुण के अनुसार, ये अनुमान बिना किसी अतिरिक्त लागत के $(\epsilon, \delta)$ -DP को संतुष्ट करते हैं।
एडेप्टिव क्लिपिंग और मोमेंटम:
- ग्रेडिएंट्स को क्लिपिंग से पहले वर्तमान अनुमानों ( $\hat{m}_{t-1}$ और स्केलिंग वेक्टर $b_{t-1}$ ) का उपयोग करके सेंटर्ड और स्केल्ड किया जाता है।
- प्राइवाटाइज्ड, ट्रांसफॉर्मेड ग्रेडिएंट्स का उपयोग फिर पैरामीटर अपडेट के लिए मोमेंटम टर्म्स (फर्स्ट और सेकंड मोमेंट्स) और अगले इटरेशन के स्केलिंग के लिए विचरण अनुमानों को अपडेट करने के लिए किया जाता है।
बायस-करेक्टेड वेरिएंस एस्टीमेशन: एक महत्वपूर्ण तकनीकी योगदान एक नया बायस करेक्शन फैक्टर, $\kappa_t = 2(\beta_1 - \beta_1^t)/(1 + \beta_1)$ $κ_{t} = 2 (β_{1} - β_{1}^{t}) / (1 + β_{1})$ का व्युत्पन्न (derivation) है।
- स्टैंडर्ड EMA में इनिशियलाइजेशन बायस होता है।
- DP सेटिंग में, विचरण अनुमान क्लिपिंग प्रक्रिया के दौरान जोड़े गए शोर के बढ़ने (inflation) के कारण और भी बायस्ड होता है।
- लेखक $\kappa_t$ को इसलिए व्युत्पन्न करते हैं ताकि EMA के नॉइज़-करेक्टेड इंस्टेंटेनियस वेरिएंस एस्टीमेट्स से वास्तविक ग्रेडिएंट विचरण का एक अनबायस्ड अनुमान प्राप्त किया जा सके, जो EMA इनिशियलाइजेशन और भारित औसत (weighted averaging) द्वारा उत्पन्न सहसंबंध संरचना (correlation structure) दोनों को ध्यान में रखता है।
नॉइज़ स्केलिंग: एल्गोरिदम ट्रांसफॉर्मेड ग्रेडिएंट्स को यूनिट $\ell_2$ -नॉर्म में क्लिप करता है। शोर (noise) को व्यक्तिगत ग्रेडिएंट्स के बजाय क्लिप्ड ग्रेडिएंट्स के बैच के औसत में जोड़ा जाता है, जिससे शोर का वेरिएंस $1/B^2$ द्वारा स्केल होता है। एल्गोरिदम अन-नोइज़्ड ग्रेडिएंट के विचरण को रिकवर करने के लिए ज्ञात नॉइज़ वेरिएंस टर्म को वेरिएंस एस्टीमेट से घटा देता है।

प्रमुख योगदान

एल्गोरिदम डिज़ाइन: DP-MacAdam पहला ऐसा एल्गोरिदम है जो DP गारंटियों के तहत AdaClip-शैली की कोऑर्डिनेट-वाइज एडेप्टिव क्लिपिंग को Adam-शैली के एडेप्टिव मोमेंटम के साथ जोड़ता है।
सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): लेखकों ने एक विशिष्ट बायस करेक्शन फैक्टर ( $\kappa_t$ ) व्युत्पन्न किया है जो नॉइज़-करेक्टेड एस्टीमेट्स के EMA से अनबायस्ड ग्रेडिएंट विचरण का अनुमान लगाने में सक्षम बनाता है, जो कि दोनों EMA इनिशियलाइजेशन और DP नॉइज़ इन्फ्लेशन बायस को संबोधित करता है।
अनुभवजन्य प्रदर्शन (Empirical Performance): DP-MacAdam विभिन्न प्राइवेसी बजटों पर MNIST और CIFAR-10 पर विभिन्न स्टेट-ऑफ-द-आर्ट बेसलाइन्स (DP-SGD, AdaClip, DP-Adam, और DP-AdamBC) की तुलना में बेहतर मॉडल यूटिलिटी प्राप्त करता है। महत्वपूर्ण रूप से, यह बिना किसी मैनुअल ट्यूनिंग या डाइमेंशनलिटी रिडक्शन प्रीप्रोसेसिंग के यह उपलब्धि हासिल करता है।

प्रायोगिक परिणाम
लेखकों ने DP-SGD, AdaClip, DP-Adam, और DP-AdamBC के विरुद्ध MNIST (फुल्ली कनेक्टेड नेटवर्क) और CIFAR-10 (5-लेयर CNN) पर DP-MacAdam का मूल्यांकन किया।

MNIST: DP-MacAdam ने 0.5 से 1.0 तक के नॉइज़ मल्टीप्लायर ( $\sigma$ ) रेंज में सभी बेसलाइन्स को लगातार पछाड़ दिया, और $\sigma=0.5$ पर 93.2% सटीकता (DP-Adam के 92.8% और DP-SGD के 90.0% के मुकाबले) प्राप्त की।
CIFAR-10: DP-MacAdam ने अधिकांश प्राइवेसी बजटों में उच्चतम सटीकता प्राप्त की, जो $\sigma=0.5$ पर 59.96% तक पहुँची (DP-Adam के 58.90% के मुकाबले)।
अवलोकन: लेखक नोट करते हैं कि जबकि DP-MacAdam-BC (एक वेरिएंट जिसमें Adam के लिए सेकंड-मोमेंट बायस करेक्शन शामिल है) ने MNIST पर लाभ दिखाया, यह CIFAR-10 पर कमजोर रहा। वे परिकल्पना करते हैं कि सेकंड-मोमेंट बायस करेक्शन उन कार्यों पर बड़े लाभ देता है जहाँ गैर-प्राइवेट सेटिंग में Adam, SGD से बेहतर प्रदर्शन करता है।
दक्षता (Efficiency): AdaClip के विपरीत, DP-MacAdam बिना डाइमेंशनलिटी रिडक्शन (जैसे, PCA) के प्राइवेसी बजट खर्च किए सीधे रॉ इनपुट्स पर काम करता है।

महत्व और दावे
पेपर का दावा है कि DP-MacAdam यह प्रदर्शित करके एक महत्वपूर्ण कदम है कि एडेप्टिव क्लिपिंग के लिए उपयोग किए जाने वाले सांख्यिकी का प्रभावी ढंग से एडेप्टिव मोमेंटम अपडेट को चलाने के लिए पुन: उपयोग किया जा सकता है, जिससे प्राइवेसी से समझौता किए बिना मॉडल यूटिलिटी में सुधार होता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण क्लिपिंग थ्रेशोल्ड के लिए मैनुअल ट्यूनिंग की आवश्यकता को समाप्त करता है, जो DP-SGD को तैनात करने में एक बड़ी व्यावहारिक बाधा है।

लेखक अपने कार्य के दायरे के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि:

उनके EMA-आधारित वेरिएंस एस्टीमेट के तहत स्केलिंग वेक्टर $b_t$ का इष्टतम चयन भविष्य के कार्य के लिए छोड़ दिया गया है।
इस कार्य में DP-MacAdam का औपचारिक अभिसरण विश्लेषण (convergence analysis) प्रदान नहीं किया गया है।
प्रायोगिक मूल्यांकन वर्तमान में इमेज क्लासिफिकेशन कार्यों (MNIST, CIFAR-10) तक सीमित है, और भविष्य के कार्यों के लिए NLP और बड़े डेटासेट्स जैसे जटिल कार्यों का सुझाव दिया गया है।

पुराने तरीके: दो अलग-अलग उपकरण

नया समाधान: DP-MacAdam

यह एक बड़ी बात क्यों है?

परिणाम

इसी तरह के और पेपर