🤖 machine learning

Quadratic Objective Perturbation: Curvature-Based Differential Privacy

यह शोध पत्र क्वाड्रेटिक ऑब्जेक्टिव पर्टर्बेशन (QOP) को प्रस्तुत करता है, जो एम्पिरिकल रिस्क मिनिमाइजेशन के लिए एक नवीन डिफरेंशियल प्राइवेट मैकेनिज्म है, जो पारंपरिक रैखिक विधियों की सीमित ग्रेडिएंट धारणा को वक्रता-आधारित रैंडम क्वाड्रेटिक पर्टर्बेशन से प्रतिस्थापित करता है, जिससे इंटरपोलेशन रिजीम और अनुमानित समाधानों सहित कमजोर धारणाओं के तहत गोपनीयता और उपयोगिता गारंटी प्राप्त होती है।

मूल लेखक: Daniel Cortild, Coralia Cartis

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Cortild, Coralia Cartis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: भीड़ भरे कमरे में रहस्यों की सुरक्षा

कल्पना कीजिए कि आप 1,000 अलग-अलग घरों के स्थानों के आधार पर एक डिलीवरी ट्रक के लिए सबसे अच्छा रास्ता खोजने की कोशिश कर रहे हैं। यह एक मानक गणितीय समस्या है जिसे एम्पिरिकल रिस्क मिनिमाइजेशन (डेटा के आधार पर "सर्वश्रेष्ठ" उत्तर खोजना) कहा जाता है।

हालाँकि, ये घरों के स्थान निजी हैं। यदि आप सटीक सबसे अच्छा रास्ता जारी करते हैं, तो एक चतुर हैकर यह पता लगाने में सक्षम हो सकता है कि क्या कोई विशिष्ट व्यक्ति (मान लीजिए, "बॉब") किसी विशिष्ट घर में रहता है, बस यह देखकर कि रास्ता कैसे बदला।

डिफरेंशियल प्राइवेसी (DP) वह नियम पुस्तिका है जो कहती है: "हमें एक ऐसा रास्ता खोजना चाहिए जो सर्वश्रेष्ठ के लगभग उतना ही अच्छा हो, लेकिन हमें इसमें पर्याप्त 'शोर' (noise) या भ्रम जोड़ना चाहिए ताकि कोई भी यह न बता सके कि बॉब उस डेटासेट में था या नहीं।"

पुराना तरीका: छड़ी से धक्का देना (लीनियर ऑब्जेक्टिव परटर्बेशन)

वर्षों से, इस गोपनीयता शोर को जोड़ने का मानक तरीका लीनियर ऑब्जेक्टिव परटर्बेशन (LOP) रहा है।

सादृश्य (Analogy): कल्पना कीजिए कि "सबसे अच्छा रास्ता" एक कटोरे के तल में स्थित एक कंचा (marble) है। कंचा कहाँ स्थित है, इसे छिपाने के लिए, पुराना तरीका कंचे को एक यादृच्छिक धक्का (एक लीनियर बल) देता है।
समस्या: यदि कटोरा बहुत सपाट है (जो आधुनिक, जटिल AI मॉडल में होता है), तो एक छोटा सा धक्का कंचे को बहुत दूर भेज देता है। इसे रोकने के लिए, पुराने तरीके को यह मानना पड़ता था कि कटोरे का "ढलान" (gradients) कभी भी बहुत अधिक तीव्र नहीं होगा।
चुनौती: आधुनिक मशीन लर्निंग (जैसे डीप न्यूरल नेटवर्क) में, कटोरे के ढलान अक्सर बहुत तीव्र और उग्र होते हैं। पुराना तरीका विफल हो जाता है क्योंकि यह इस धारणा पर निर्भर करता है कि ढलान सौम्य हैं। यह एक खड़ी पहाड़ी पर कंचे को संतुलित करने की कोशिश करने जैसा है; केवल एक हल्के धक्के से यह काम नहीं करेगा।

नया तरीका: कटोरे को नया आकार देना (क्वाड्रेटिक ऑब्जेक्टिव परटर्बेशन)

यह शोध पत्र एक नया तरीका पेश करता है जिसे क्वाड्रेटिक ऑब्जेक्टिव परटर्बेशन (QOP) कहा जाता है। केवल कंचे को धक्का देने के बजाय, वे स्वयं कटोरे के आकार को बदल देते हैं।

सादृश्य: कल्पना कीजिए कि कंचा अभी भी एक सपाट, डगमगाते कटोरे के तल में है। उसे धक्का देने के बजाय, आप एक भारी, यादृच्छिक वजन कटोरे के केंद्र में गिरा देते हैं।
क्या होता है: यह वजन कटोरे के तल को ऊपर की ओर तेजी से मोड़ने के लिए मजबूर करता है। यह समाधान के ठीक चारों ओर एक गहरा, संकीकर "घाटी" (valley) बना देता है।
यह बेहतर क्यों है:
1. स्थिरता (Stability): भले ही मूल कटोरा सपाट या उग्र रहा हो, यह नया वजन कटोरे के तल को बहुत तीव्र और स्थिर बना देता है। कंचा आसानी से फिसल नहीं सकता।
2. गोपनीयता (Privacy): क्योंकि कटोरा अब इतना तीव्र और घुमावदार है, कंचे की सटीक स्थिति का पता लगाना बहुत कठिन हो जाता है। गोपनीयता के लिए "वक्रता" (curvature - यानी दीवारों की तीव्रता) भारी काम करती है, न कि इस धारणा पर निर्भर रहना कि मूल ढलान सौम्य थे।
3. "सौम्य ढलान" की कोई धारणा नहीं: यह विधि तब भी काम करती है जब डेटा अव्यवस्थित हो और ढलान तीव्र हों, जो आधुनिक AI की वास्तविकता है।

"इंटरपोलेशन" का गुप्त मंत्र

यह शोध पत्र एक विशिष्ट स्थिति पर निर्भर करता है जिसे इंटरपोलेशन रिजीम (Interpolation Regime) कहा जाता है।

सादृश्य: कल्पना कीजिए कि एक दर्जी सूट बनाता है। पुराने दिनों में, वे एक "वन-साइज़-फिट्स-ऑल" सूट बनाते थे जो थोड़ा ढीला होता था। आधुनिक AI में, सूट को इतना सटीक बनाया जाता है कि वह ग्राहक के हर एक माप (शून्य त्रुटि) में बिल्कुल फिट बैठता है। यह "इंटरपोलेशन" है।
शोध पत्र का दावा: यह विधि मानती है कि AI मॉडल डेटा को पूरी तरह से फिट करने में इतना अच्छा है (जैसे कि एक परफेक्ट सूट)। इस धारणा के तहत, "यादृच्छिक वजन" (क्वाड्रेटिक परटर्बेशन) को उस स्थिर, निजी घाटी को बनाने के लिए पूरी तरह से रखा जा सकता है।

अपूर्ण उत्तरों के बारे में क्या?

वास्तविक दुनिया में, कंप्यूटर हमेशा कटोरे का परफेक्ट तल नहीं पा सकते; वे आमतौर पर तब रुक जाते हैं जब वे "काफी करीब" होते हैं।

शोध पत्र का दावा: लेखक दिखाते हैं कि भले ही आप कंप्यूटर को जल्दी रोक दें (एक "अनुमानित समाधान"), गोपनीयता सुरक्षा फिर भी बनी रहती है। उन्होंने गणितीय रूप से सिद्ध किया है कि यादृच्छिक वजन द्वारा जोड़ा गया "शोर" कंप्यूटर द्वारा की गई छोटी गलतियों को छिपाने के लिए पर्याप्त मजबूत है।

परिणाम: बदलाव क्यों करें?

लेखकों ने अपने नए "कटोरा आकार बदलने" वाले तरीके (QOP) की तुलना पुराने "छड़ी से धक्का देने" वाले तरीके (LOP) से की।

निष्कर्ष: जब डेटा बहुत बड़ा हो जाता है और बाधाएं (constraints) व्यापक हो जाती हैं (जैसे कि एक बहुत बड़ा कमरा), तो पुराने तरीके की गोपनीयता सुरक्षा कमजोर होती जाती है। नया तरीका, चाहे कमरा कितना भी बड़ा क्यों न हो, मजबूत और स्थिर रहता है।
मुख्य बात: नया तरीका अधिक मजबूत (robust) है। इसे यह अवास्तविक धारणा बनाने की आवश्यकता नहीं है कि डेटा कितना "अच्छा" है। यह वक्रता (curvature) के माध्यम से अपनी स्थिरता स्वयं बनाता है।

एक वाक्य में सारांश

एक समाधान को धीरे से धकेलने की कोशिश करने के बजाय (जो जटिल डेटा पर विफल हो जाता है), यह शोध पत्र एक यादृच्छिक वक्र के साथ संपूर्ण समस्या के परिदृश्य को नया आकार देने का प्रस्ताव करता है, जिससे एक स्थिर, निजी "घाटी" बनती है जो सबसे अव्यवस्थित, सबसे जटिल आधुनिक AI मॉडल के लिए भी काम करती है।

तकनीकी सारांश: विभेदक रूप से निजी (Differentially Private) ERM के लिए द्विघाती उद्देश्य विक्षोभ (Quadratic Objective Perturbation)

समस्या विवरण
यह शोध पत्र एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) समस्याओं में विभेदक गोपनीयता (Differential Privacy - DP) प्राप्त करने की चुनौती को संबोधित करता है, विशेष रूप से आधुनिक मशीन लर्निंग परिवेश में जहाँ डेटा संवेदनशील होता है और मॉडल अक्सर ओवरपैरामेट्राइज्ड होते हैं। मानक स्वरूप में एक डेटासेट $D$ पर लॉस फंक्शन्स के योग और एक रेगुलराइज़र को कम करना शामिल है। मौजूदा दृष्टिकोण, विशेष रूप से लीनियर ऑब्जेक्टिव पर्टर्बेशन (LOP), उद्देश्य फलन (objective function) में एक यादृच्छिक रैखिक पद (random linear term) जोड़कर गोपनीयता लागू करते हैं। हालाँकि, LOP इस मजबूत धारणा पर निर्भर करता है कि लॉस फंक्शन्स के ग्रेडिएंट्स समान रूप से बंधे (uniformly bounded) हुए हैं। यह धारणा आधुनिक डीप लर्निंग और ओवरपैरामेट्राइज्ड सिस्टम में अक्सर विफल हो जाती है, जहाँ ग्रेडिएंट्स अनबाउंडेड हो सकते हैं, जिससे LOP या तो लागू नहीं हो पाता या इसके लिए ऐसे अवास्तविक क्लिपिंग तंत्र की आवश्यकता होती है जो उपयोगिता (utility) को कम कर देते हैं।

कार्यप्रणाली: द्विघाती उद्देश्य विक्षोभ (Quadratic Objective Perturbation - QOP)
लेखक द्विघाती उद्देश्य विक्षोभ (QOP) का प्रस्ताव करते हैं, जो एक रैखिक पद के बजाय एक यादृच्छिक द्विघाती रूप (quadratic form) के साथ उद्देश्य फलन को विक्षोभित करता है। मूल समस्या को हल करने के बजाय, यह तंत्र हल करता है:
$\theta_{priv} = \arg\min_{\theta \in C} \left\{ J(\theta; D) + \frac{\sigma^2}{2}(\theta - \tilde{\theta}^*)^T W (\theta - \tilde{\theta}^*) \right\}$
जहाँ $W$ एक वितरण (विशेष रूप से विशार्ट एन्सेम्बल/Wishart ensemble) से लिया गया एक यादृच्छिक मैट्रिक्स है और $\tilde{\theta}^*$ लॉस फंक्शन्स के एक सामान्य मिनिमाइज़र का अनुमान है।

मुख्य कार्यप्रणाली संबंधी विशेषताएं शामिल हैं:

वक्रता-आधारित गोपनीयता (Curvature-Based Privacy): LOP के विपरीत, जो मिनिमाइज़र को स्थानांतरित करता है और संवेदनशीलता को नियंत्रित करने के लिए बंधे ग्रेडिएंट्स की आवश्यकता रखता है, QOP उद्देश्य फलन की वक्रता (curvature) को संशोधित करता है। यादृच्छिक द्विघाती पद सशक्त उत्तलता (strong convexity) उत्पन्न करता है, और आउटपुट की संवेदनशीलता को यादृच्छिक मैट्रिक्स $W$ के स्पेक्ट्रल गुणों (आइगेनवैल्यूज़) के माध्यम से नियंत्रित किया जाता है।
इंटरपोलेशन शासन (Interpolation Regime): विश्लेषण यह मानता है कि सभी व्यक्तिगत लॉस फंक्शन्स के लिए एक सामान्य मिनिमाइज़र $\theta^*$ मौजूद है (इंटरपोलेशन शासन), जो ओवरपैरामेट्राइज्ड लर्निंग में एक मानक स्थिति है जहाँ शून्य प्रशिक्षण हानि (zero training loss) प्राप्त करना संभव है।
अनुमानित समाधान (Approximate Solutions): यह ढांचा उन व्यावहारिक परिदृश्यों तक विस्तारित है जहाँ विक्षोभित समस्या को अनुमानित रूप से ( $\tau$ -सटीकता) हल किया जाता है और एंकर पॉइंट $\tilde{\theta}^*$ , वास्तविक सामान्य मिनिमाइज़र का एक अनुमान ( $\eta$ -सटीकता) है। तंत्र इन त्रुटियों को ध्यान में रखने के लिए अनुमानित समाधान में गॉसियन शोर (Gaussian noise) जोड़ता है।
एल्गोरिदम कार्यान्वयन: परिणामी विक्षोभित समस्या एक संयुक्त संरचना (स्मूथ फाइनाइट-सम + नॉनस्मूथ रेगुलराइज़र + बाधाएं) बनाए रखती है, जिसे स्टोकेस्टिक थ्री-ऑपरेटर स्प्लिटिंग (StoTOS) स्कीम्स का उपयोग करके कुशलतापूर्वक हल किया जा सकता है।

प्रमुख योगदान

नया विक्षोभ तंत्र: QOP का परिचय, जो पूर्ववर्ती रैखिक विक्षोभ विधियों के लिए आवश्यक बंधे ग्रेडिएंट की धारणा को समाप्त करता है।
कमजोर धारणाओं के तहत गोपनीयता विश्लेषण: एक नवीन गोपनीयता प्रमाण जो इंटरपोलेशन शासन के तहत बिना बंधे ग्रेडिएंट की धारणा के $(\epsilon, \delta)$ -डिफरेंशियल प्राइवेसी सुनिश्चित करता है। यह प्रमाण मिनिमाइज़र की संवेदनशीलता को बांधने के लिए यादृच्छिक मैट्रिक्स $W$ के स्पेक्ट्रल गुणों का लाभ उठाता है।
अनुमान के प्रति सुदृढ़ता (Robustness to Approximation): अपूर्ण समाधानों और अनुमानित एंकर पॉइंट्स वाले सेटिंग्स में गोपनीयता गारंटी का विस्तार, यह दिखाते हुए कि व्यावहारिक खामियों के बावजूद सार्थक गोपनीयता संरक्षित रहती है।
उपयोगिता गारंटी (Utility Guarantees): एम्पिरिकल एक्स्ट्रा रिस्क (empirical excess risk) पर बाउंड्स का व्युत्पन्न, जो गोपनीयता मापदंडों, सॉल्वर सटीकता और वास्तविक मिनिमाइज़र एवं सामान्य मिनिमाइज़र के बीच की दूरी के बीच ट्रेड-ऑफ को मात्रात्मक रूप से दर्शाता है।

परिणाम

सैद्धांतिक तुलना: शोध पत्र स्थापित करता है कि QOP और LOP मौलिक रूप से भिन्न स्केलिंग लॉ का पालन करते हैं। सैद्धांतिक विश्लेषण दिखाता है कि LOP का रिस्क बाधा सेट के व्यास (diameter) के साथ स्केल करता है (ग्रेडिएंट बाउंड्स पर इसके भरोसे के कारण), जबकि QOP का रिस्क स्थिर रहता है और बाधा व्यास से स्वतंत्र होता है।
संख्यात्मक प्रयोग: लीनियर लीस्ट स्क्वायर्स के साथ LASSO रिग्रेशन पर अनुभवजन्य परिणाम सैद्धांतिक निष्कर्षों की पुष्टि करते हैं। अनबाउंडेड ग्रेडिएंट्स (बड़े कंस्ट्रेंट डायमीटर) वाले शासन में, LOP का एम्पिरिकल रिस्क काफी बढ़ जाता है, जबकि QOP स्थिर रहता है। छोटे-डोमेन शासन में भी, QOP, LOP और ग्रेडिएंट क्लिपिंग वाले LOP की तुलना में कम एम्पिरिकल रिस्क प्रदर्शित करता है।
एल्गोरिदम दक्षता: स्टोकेस्टिक स्प्लिटिंग स्कीम्स का उपयोग यह सुनिश्चित करता है कि विक्षोभित समस्याओं को कुशलतापूर्वक हल किया जा सके, जो इस दृष्टिकोण की व्यावहारिक व्यवहार्यता को प्रमाणित करता है।

महत्व और दावे
शोध पत्र का दावा है कि QOP, विशेष रूप से आधुनिक मशीन लर्निंग सेटिंग्स के लिए एक स्वाभाविक विकल्प प्रदान करता है जहाँ मजबूत रेगुलरिटी धारणाएं (जैसे बंधे ग्रेडिएंट्स) शायद ही कभी पूरी होती हैं। संवेदनशीलता के नियंत्रण को ग्रेडिएंट बाउंड्स से हटाकर यादृच्छिक मैट्रिक्स विक्षोभ के माध्यम से उद्देश्य की वक्रता (curvature) पर स्थानांतरित करके, लेखक एक ऐसा ढांचा पेश करते हैं जो कमजोर धारणाओं के तहत सैद्धांतिक रूप से सुदृढ़ और स्थिरता में अनुभवजन्य रूप से बेहतर है। यह कार्य सुझाव देता है कि वक्रता-आधारित विक्षोभ, ओवरपैरामेट्राइज्ड मॉडल्स में गोपनीयता और उपयोगिता के बीच संतुलन बनाने के लिए एक अधिक सुदृढ़ तंत्र है। लेखक नोट करते हैं कि भविष्य के कार्य सामान्य मिनिमाइज़र धारणा को शिथिल करने और अधिक सटीक गारंटी के लिए रेनी डिफरेंशियल प्राइवेसी (Rényi differential privacy) का पता लगाने पर केंद्रित हो सकते हैं।