🤖 machine learning

Population Risk Bounds for Kolmogorov-Arnold Networks Trained by DP-SGD with Correlated Noise

यह शोधपत्र कोलमोगोरोव-आर्नोल्ड नेटवर्क (Kolmogorov-Arnold Networks) के लिए सहसंबद्ध शोर (correlated noise) वाले मिनी-बैच DP-SGD के माध्यम से प्रशिक्षित किए जाने पर प्रथम जनसंख्या जोखिम सीमाएं (population risk bounds) स्थापित करता है, जो गैर-उत्तल अनुकूलन (non-convex optimization) की तकनीकी चुनौतियों पर विजय प्राप्त करते हुए अधिक सटीक सामान्यीकरण गारंटी प्रदान करता है जो पूर्व फुल-बैच या स्वतंत्र-शोर विश्लेषणों की तुलना में व्यावहारिक प्रशिक्षण परिदृश्यों को बेहतर ढंग से दर्शाते हैं।

मूल लेखक: Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft

प्रकाशित 2026-05-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक स्मार्ट रोबोट को सिखाना और साथ ही राज़ सुरक्षित रखना

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट है (जिसे कोल्मोगोरोव-आर्नोल्ड नेटवर्क (Kolmogorov-Arnold Network) या KAN कहा जाता है) जिसे आप पैटर्न पहचानना सिखाना चाहते हैं, जैसे मेडिकल स्कैन से बीमारियों की पहचान करना या शेयर बाज़ार के रुझानों का अनुमान लगाना।

आमतौर पर, इस रोबोट को सिखाने के लिए, आप उसे हज़ारों उदाहरण दिखाते हैं। हालाँकि, इन उदाहरणों में अक्सर संवेदनशील निजी जानकारी (जैसे किसी मरीज़ का नाम या किसी कंपनी के व्यापारिक रहस्य) शामिल होती है। आप नहीं चाहते कि रोबोट इन रहस्यों को याद कर ले और बाद में गलती से उन्हें उजागर कर दे।

इसे रोकने के लिए, गणितज्ञ डिफरेंशियल प्राइवेसी (Differential Privacy - DP) नामक एक तकनीक का उपयोग करते हैं। इसे इस तरह समझें कि यह रोबोट को दिए जाने वाले पाठों में थोड़ा सा "स्टैटिक" (static) या "शोर" (noise) जोड़ने जैसा है। यह शोर धुंध की तरह है; यह रोबोट के लिए किसी एक विशिष्ट उदाहरण को याद रखना कठिन बना देता है, लेकिन वह सामान्य नियमों को सीखने के लिए पर्याप्त स्मार्ट रहता है।

समस्या:

पुरानी थ्योरी: इन रोबोट्स के सीखने की क्षमता के बारे में पिछली गणितीय थ्योरीज़ "फुल-बैच" (Full-Batch) नामक एक बहुत ही धीमी और अक्षम तरीके पर आधारित थीं। यह एक शिक्षक की तरह है जो कक्षा से एक भी सवाल पूछने से पहले पूरी पाठ्यपुस्तक पढ़ देता है। वास्तविक दुनिया में, हम "मिनी-बैच" (mini-batches) में सिखाते हैं (कुछ पन्ने पढ़ना, एक सवाल पूछना, फिर कुछ और पन्ने पढ़ना)। पुरानी गणित इस तेज़, वास्तविक दुनिया के तरीके के लिए काम नहीं करती थी।
शोर (Noise) की समस्या: मानक गोपनीयता विधियाँ ऐसा "रैंडम स्टैटिक" जोड़ती हैं जो हर बार पूरी तरह बदल जाता है (इंडिपेंडेंट नॉइज़)। लेकिन शोधकर्ताओं ने हाल ही में पाया कि यदि स्टैटिक "कोरिलेटेड" (correlated) है—यानी पिछले सबक का स्टैटिक वर्तमान सबक के स्टैटिक को काटने में मदद करता है—तो यह बहुत बेहतर काम करता है। यह 'नॉइज़-कैंसलिंग हेडफ़ोन' की तरह है। हालाँकि, अभी तक किसी ने गणितीय रूप से यह सिद्ध नहीं किया था कि यह "नॉइज़-कैंसलिंग" वाला तरीका इन विशिष्ट स्मार्ट रोबोट्स (KANs) के लिए काम करेगा जब उन्हें मिनी-बैच के साथ तेज़ी से सिखाया जा रहा हो।

समाधान:
यह शोध पत्र पहला है जिसने इन KAN रोबोट्स को निम्नलिखित तरीकों से सिखाने के लिए गणितीय "गारंटी" (risk bounds) लिखी है:

मिनी-बैचेस (तेज़, वास्तविक दुनिया का तरीका)।
कोरिलेटेड नॉइज़ (स्मार्ट, नॉइज़-कैंसलिंग गोपनीयता विधि)।

मुख्य चुनौतियाँ: यह इतना कठिन क्यों था?

लेखकों को दो मुख्य बाधाओं का सामना करना पड़ा, जिन्हें वे "तकनीकी बाधाएं" (technical obstacles) कहते हैं:

"इको" (Echo) की समस्या: मानक गोपनीयता में, शोर रैंडम और स्वतंत्र होता है। यदि आप आज शोर जोड़ते हैं, तो इसका कल पर कोई प्रभाव नहीं पड़ता। लेकिन कोरिलेटेड नॉइज़ के साथ, आज का शोर कल के शोर से जुड़ा होता है। गणित में, यह उन सामान्य "सेंटरिंग" (centering) ट्रिक्स को तोड़ देता है जिनका उपयोग चीज़ों को सिद्ध करने के लिए किया जाता है। यह ब्लॉक के एक ढेर को संतुलित करने की कोशिश करने जैसा है जहाँ नीचे का ब्लॉक इस आधार पर हिलता रहता है कि कल ऊपर के ब्लॉक ने कैसे हिलना शुरू किया था।
"बाउंसर" (Bouncer) की समस्या: रोबोट को अजीब या अत्यधिक पैटर्न सीखने से रोकने के लिए, ट्रेनिंग एल्गोरिदम में एक "बाउंसर" (जिसे प्रोजेक्शन स्टेप कहा जाता है) होता है जो रोबोट की सेटिंग्स को सुरक्षित ज़ोन में वापस धकेलता है यदि वे बहुत ज़्यादा अनियंत्रित हो जाती हैं। लेखकों ने पाया कि यह बाउंसर अनजाने में "नॉइज़-कैंसलिंग" प्रभाव को बिगाड़ देता है। यह एक क्लब के बाउंसर जैसा है जो शोर को रोकने वाले हेडफ़ोन को काम करने से रोक देता है क्योंकि उसने दरवाज़ा खुला छोड़ दिया है।

उन्होंने इसे कैसे हल किया: तीन-चरणीय जादू का खेल

इन समस्याओं से निपटने के लिए, लेखकों ने गणित को देखने का एक नया तरीका बनाया:

"घोस्ट" रोबोट (Auxiliary Unprojected Dynamics): असली रोबलेट (जिसे बाउंसर द्वारा पटका जाता है) को देखने के बजाय, उन्होंने एक "घोस्ट रोबोट" की कल्पना की जिसे कभी पटका नहीं जाता। उन्होंने सिद्ध किया कि घोस्ट रोबोट लगभग असली रोबोट की तरह ही व्यवहार करता है, जब तक कि असली रोबोट सुरक्षित ज़ोन में रहता है।
"शिफ्टेड" नज़रिया (Shifted Iterate): उन्होंने महसूस किया कि क्योंकि शोर अतीत से जुड़ा हुआ है, इसलिए वे केवल रोबोट की वर्तमान स्थिति को नहीं देख सकते। उन्हें अपना नज़रिया "शिफ्ट" करना पड़ा, प्रभावी रूप से वर्तमान शोर को रोबोट की स्थिति में समाहित करना था। इससे उन्हें यह देखने में मदद मिली कि कैसे कल और आज का शोर एक-दूसरे को काटता है, जैसे दो लहरें टकराकर पानी को शांत कर देती हैं।
"कॉन्फिडेंस चेक" (High-Probability Bootstrap): उन्होंने एक सांख्यिकीय ट्रिक का उपयोग करके यह सिद्ध किया कि, बहुत उच्च संभावना के साथ, असली रोबोट को वास्तव में कभी भी "बाउंसर" की आवश्यकता नहीं होती है। वह अपने आप सुरक्षित ज़ोन में रहता है। इसका मतलब था कि वे अपने गणित में बाउंसर को अनदेखा कर सकते थे और केवल "घोस्ट रोबोट" के समीकरणों का उपयोग कर सकते थे, जो हल करने में बहुत आसान थे।

उनके परिणाम क्या रहे?

यह शोध पत्र हमें ठीक-ठीक बताता है कि रोबोट नए, अनदेखे डेटा पर कैसा प्रदर्शन करेगा।

गैर-निजी (Non-Private) ट्रेनिंग के लिए: उन्होंने दिखाया कि बिना गोपनीयता शोर के भी, इस प्रकार के रोबोट (KAN) के साथ मिनी-बैचेस का उपयोग करना बहुत अच्छा काम करता है, जो अक्सर पुरानी थ्योरीज़ के सुझावों से बेहतर होता है।
निजी (Private) ट्रेनिंग के लिए (इंडिपेंडेंट नॉइज़): उन्होंने पुष्टि की कि मानक "रैंडम स्टैटिक" विधि काम करती है, लेकिन उन्होंने अधिक सटीक सूत्र दिया कि आप कितनी गोपनीयता के बदले कितनी सटीकता खोते हैं।
निजी (Private) ट्रेनिंग के लिए (कोरिलेटेड नॉइज़): यह सबसे बड़ी जीत है। उन्होंने सिद्ध किया कि "नॉइज़-कैंसलिंग" (कोरिलेटेड) विधि इन रोबोट्स के लिए काम करती है।
- एक पेच (The Catch): उन्होंने पाया कि हालांकि सिद्धांत में कोरिलेटेड नॉइज़ बहुत अच्छा है, लेकिन जब आप "प्राइवेसी बजट" (आपको कितनी गोपनीयता चाहिए) और "शोर के स्तर" के बीच संतुलन बनाने की कोशिश करते हैं, तो गणित जटिल हो जाता है। उनके विशिष्ट सेटअप में, सख्त गोपनीयता नियमों को पूरा करने के लिए अधिक शोर जोड़ने की आवश्यकता के कारण, कोरिलेटेड नॉइज़ के लाभ कभी-कभी कम हो जाते हैं। हालाँकि, उन्होंने इसके लिए पहला गणितीय आधार स्थापित किया, यह दिखाते हुए कि यह संभव है और भविष्य में इसे बेहतर बनाने के उपकरण प्रदान किए।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप छात्रों (KAN) की एक कक्षा को पहेली सुलझाने के लिए सिखा रहे हैं।

पुराना तरीका: आप उन्हें एक ही बार में पूरी पहेली की किताब पढ़ देते हैं (Full-Batch)। यह धीमा और उबाऊ है।
वास्तविक दुनिया: आप उन्हें एक बार में कुछ पन्ने दिखाते हैं (Mini-Batch)।
गोपनीयता (Privacy): आप चाहते हैं कि वे पहेली के तर्क (logic) को सीखें, लेकिन पन्ने पर मौजूद विशिष्ट नंबरों को याद न करें, क्योंकि वे नंबर गुप्त हैं। इसलिए, जब वे पढ़ाई कर रहे होते हैं, तो आप उनके कानों में थोड़ा सा स्टैटिक फुसफुसाते हैं।
नवाचार (Innovation): हर बार रैंडम स्टैटिक फुसफुसाने के बजाय, आप एक ऐसा पैटर्न फुसफुसाते हैं जो पिछले फुसफुसाहट को काट देता है (Correlated Noise)।
शोध पत्र का योगदान: इस पेपर से पहले, कोई नहीं जानता था कि क्या यह "पैटर्न वाली फुसफुसाहट" छात्रों को पहेली के तर्क को सीखने में मदद करेगी या उन्हें भ्रमित कर देगी। लेखकों ने सिद्ध किया कि यह काम करता है, लेकिन उन्होंने यह भी दिखाया कि आपको फुसफुसाहट के पैटर्न के प्रति बहुत सावधान रहना होगा, अन्यथा "बाउंसर" (सुरक्षा नियम) फुसफुसाहट में बाधा डाल सकता है। उन्होंने इस काम को सफल बनाने के लिए सटीक रेसिपी (गणितीय सीमाएँ) प्रदान कीं।

तकनीकी सारांश: कोलमोगोरोव-आर्नोल्ड नेटवर्क (KAN) के लिए जनसंख्या जोखिम सीमाएँ, जिन्हें सहसंबद्ध शोर (Correlated Noise) के साथ DP-SGD द्वारा प्रशिक्षित किया गया है

1. समस्या विवरण

यह शोध पत्र कोलमोगोरोव-आर्नोल्ड नेटवर्क्स (KANs) की सैद्धांतिक समझ में एक महत्वपूर्ण अंतराल को संबोधित करता है, जो कि मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) का एक संरचित विकल्प है और जो सीखने योग्य एकचर फलनों (univariate functions) के माध्यम से अंतःक्रियाओं को पैरामीटराइज़ करता है। जबकि KANs ने संवेदनशील डेटा वाले वैज्ञानिक और इंजीनियरिंग डोमेन में मजबूत अनुभवजन्य प्रदर्शन प्रदर्शित किया है, उनके सामान्यीकरण (जनसंख्या जोखिम/population risk) के लिए मौजूदा सैद्धांतिक गारंटी सीमित हैं।

विशेष रूप से, पूर्व कार्य [60] ने केवल फुल-बैच ग्रेडिएंट डिसेंट (GD) और स्वतंत्र-शोर (independent-noise) डिफरेंशियल प्राइवेसी (DP) के तहत KANs के लिए जनसंख्या जोखिम सीमाएँ स्थापित की थीं। यह दो महत्वपूर्ण व्यावहारिक व्यवस्थाओं को अनविश्लेषित छोड़ देता है:

मिनी-बैच स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) विद ग्रेडिएंट क्लिपिंग: यह आधुनिक न्यूरल नेटवर्क के लिए मानक प्रशिक्षण विधि है, जो फुल-बैच GD की तुलना में अनुकूलन गतिकी (optimization dynamics) को मौलिक रूप से बदल देती है।
सहसंबद्ध-शोर (Correlated-Noise) DP तंत्र: हालिया तंत्र (जैसे, DP- $\lambda$ CGD [28]) प्राइवेसी-उपयोगिता ट्रेड-ऑफ को बेहतर बनाने के लिए शोर में अस्थायी सहसंबंध (temporal correlations in noise, $\xi_t = \kappa(Z_t - \lambda Z_{t-1})$ ) पेश करते हैं। मानक DP सिद्धांत स्वतंत्र शोर मानता है, और KANs जैसे गैर-कॉन्वेक्स सेटिंग्स में सहसंबद्ध-शोर प्रशिक्षण के लिए कोई जनसंख्या जोखिम सीमाएँ मौजूद नहीं हैं।

मुख्य चुनौती यह है कि शोर में अस्थायी निर्भरता उस "कंडीशनल-सेंटरिंग" संरचना को तोड़ देती है जो मानक वन-स्टेप SGD विश्लेषण के लिए आवश्यक है, जबकि स्थिरता सुनिश्चित करने के लिए उपयोग किए जाने वाले प्रोजेक्शन स्टेप्स सहसंबद्ध विक्षोभों (correlated perturbations) के आंशिक निरस्तीकरण में बाधा डालते हैं।

2. कार्यप्रणाली और तकनीकी दृष्टिकोण

लेखक जोखिम को ऑप्टिमाइज़ेशन रिस्क (अनुभवजन्य न्यूनतम तक अभिसरण) और जनरलाइजेशन गैप (अनुभवजन्य और जनसंख्या जोखिम के बीच अंतर) में विभाजित करके जनसंख्या जोखिम सीमाएँ स्थापित करते हैं।

A. ऑप्टिमाइज़ेशन विश्लेषण (गैर-कॉन्वेक्स, सहसंबद्ध शोर)
गैर-कॉन्वेक्स शासन में सहसंबद्ध शोर को संभालने के लिए, लेखक एक नया प्रमाण ढांचा विकसित करते हैं जो मानक प्रोजेक्टेड SGD तर्कों की सीमाओं से बचता है:

सहायक अनप्रोजेक्टेड डायनेमिक्स (Auxiliary Unprojected Dynamics): वे एक सहायक प्रक्षेपवक्र (trajectory) $\{\tilde{W}_t\}$ पेश करते हैं जो बिना प्रोजेक्शन के विकसित होता है लेकिन समान मिनी-बैच और शोर का उपयोग करता है। यह विश्लेषण को प्रोजेक्शन ऑपरेटर की बाधा के बिना शोर की संरचना पर ध्यान केंद्रित करने की अनुमति देता है।
शिफ्टेड इटरेट (Shifted Iterate): सहसंबद्ध शोर में कंडीशनल-सेंटरिंग की कमी (जहाँ $E[\xi_t | \mathcal{F}_{t-1}] \neq 0$ ) को संबोधित करने के लिए, वे एक शिफ्टेड इटरेट $U_t = \tilde{W}_t + \eta c_{priv} Z_t$ को परिभाषित करते हैं। यह रूपांतरण वर्तमान गॉसियन विक्षोभ को अवशोषित करता है, जिससे एक निरस्तीकरण संरचना प्रकट होती है जहाँ अग्रणी सहसंबद्ध पद $(1-\lambda)$ के आनुपातिक अवशेष में बदल जाता है।
हाई-प्रोबेबिलिटी बूटस्ट्रैप (High-Probability Bootstrap): वे यह प्रमाणित करने के लिए एक "स्टेप्ड" (stopped) विश्लेषण का उपयोग करते है कि सहायक प्रक्षेपवक्र एक स्थानीयकृत क्षेत्र के भीतर बना रहता है जहाँ KAN-विशिष्ट वक्रता अनुमान (NTK मार्जिन पर आधारित) लागू होते हैं। इसमें यह सिद्ध करना शामिल है कि प्रोजेक्शन उच्च संभावना के साथ निष्क्रिय रहता है, जिससे प्रोजेक्टेड इटरेट्स $W_t$ को सहायक अनप्रोजेक्टेड इटरेट्स $\tilde{W}_t$ के बराबर माना जा सके।

B. जनरलाइजेशन विश्लेषण
जनरलाइजेशन गैप को एल्गोरिद्मिक स्थिरता (algorithmic stability) का उपयोग करके सीमित किया जाता है। पड़ोसी डेटासेट्स पर एल्गोरिदम के दो रन को युग्मित (couple) करके (एक ही इनिशियलाइज़ेशन, मिनी-बैच और शोर अनुक्रम का उपयोग करते हुए), लेखक दिखाते हैं कि इटरेट्स के अंतर में योगात्मक शोर पद रद्द हो जाते हैं। स्थिरता सीमा पिछले चरण में प्राप्त ऑप्टिमाइज़ेशन रिस्क पर निर्भर करती है।

C. प्राइवेसी अकाउंटिंग
लेखक बिना प्रतिस्थापन के यूनिफॉर्म सबसैंपलिंग के तहत सहसंबद्ध-शोर तंत्र (DP- $\lambda$ CGD) के लिए प्राइवेसी गारंटी प्रदान करते हैं। वे डोमिनेटिंग पेयर्स और हॉकी-स्टिक डाइवर्जेंस का उपयोग करके $(\epsilon, \delta)$ -DP को संतुष्ट करने के लिए आवश्यक नॉइज़ मल्टीप्लायर $\kappa$ का एक विश्लेषणात्मक ऊपरी स्तर प्राप्त करते हैं।

3. मुख्य योगदान

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

व्यावहारिक व्यवस्थाओं में KANs के लिए प्रथम जनसंख्या जोखिम सीमाएँ: यह क्लिप्ड मिनी-बैच SGD द्वारा प्रशिक्षित दो-परत वाले KANs के लिए पहली जनसंख्या जोखिम सीमाएँ स्थापित करता है, जिसमें गैर-निजी और DP दोनों सेटिंग्स शामिल हैं। यह KAN सिद्धांत को [60] की फुल-बैच GD सेटिंग से आगे ले जाता है।
प्रथम गैर-कॉन्वेक्स सहसंबद्ध-शोर DP विश्लेषण: लेखकों के सर्वोत्तम ज्ञान के अनुसार, यह गैर-कॉन्वेक्स सेटिंग में सहसंबद्ध-शोर तंत्र के लिए पहला जनसंख्या जोखिम विश्लेषण है। यह इसे क्लिप्ड मिनी-बैच DP-SGD के साथ प्रशिक्षित KANs के लिए क्रियान्वित करता है।
तीक्ष्ण विशिष्टताएँ (Sharp Specializations): परिणाम मौजूदा सीमाओं को पुनः प्राप्त करते हैं और उनमें सुधार करते हैं:
- गैर-निजी मिनी-बैच SGD के लिए, सीमाएँ पॉलीलॉग-विड्थ शासन में $O(1/n)$ के क्रम में ऑप्टिमाइज़ेशन और जनसंख्या जोखिम प्रदान करती हैं, जो लॉग-कारक और NTK मार्जिन $\gamma$ पर निर्भरता को कम करती हैं।
- स्वतंत्र-शोर DP-SGD ( $\lambda=0$ ) के लिए, सीमाएँ लॉग-कारकों तक [7] के कॉनवेक्स DP-SCO लोअर बाउंड से मेल खाती हैं और आवश्यक नेटवर्क विड्थ और NTK मार्जिन पर निर्भरता को कम करके [60] के फुल-बैच DP-GD परिणामों में सुधार करती हैं।
- सहसंबद्ध-शोर DP-SGD के लिए, विश्लेषण यह पहचानता है कि सहसंबंध पैरामीटर $\lambda$ ऑप्टिमाइज़ेशन रिस्क को कैसे प्रभावित करता है, हालांकि अंतिम जनसंख्या जोखिम दर (रूढ़िवादी प्राइवेसी कैलिब्रेशन के तहत) एसिम्प्टोटिक रूप से स्वतंत्र-शोर दर से मेल खाती है।

4. मुख्य परिणाम

प्रतिनिधि पैरामीटर व्यवस्थाओं (पॉलिलॉग-विड्थ $m \asymp \text{polylog}(n)$ ) के तहत, यह शोध पत्र औसत इटरेट्स के लिए निम्नलिखित जनसंख्या जोखिम दरें प्राप्त करता है:

गैर-निजी मिनी-बैच SGD:
$\text{Risk} \lesssim \frac{1}{n}$
यह [60] में फुल-बैच GD के लिए $O(1/(\gamma^4 n))$ दर की तुलना में $O(1/(\gamma^2 n))$ प्राप्त करके सुधार करता है।
डिफरेंशियल प्राइवेट (स्वतंत्र और सहसंबद्ध शोर):
$(\epsilon, \delta)$ -DP के तहत, दोनों स्वतंत्र और सहसंबद्ध शोर तंत्र निम्नलिखित दर प्राप्त करते हैं:
$\text{Risk} \lesssim \frac{1}{\gamma \sqrt{n}} + \frac{\sqrt{d}}{\gamma^4 n \epsilon}$
(पॉलिलॉग-कारकों तक)।
विश्लेषण दिखाता है कि जबकि टेम्पोरल कोरिलेशन ऑप्टिमाइज़ेशन एरर टर्म (जो $1-\lambda$ के साथ स्केल होता है) में सुधार करता है, गारंटी के लिए आवश्यक रूढ़िवादी क्लोज्ड-फॉर्म प्राइवेसी कैलिब्रेशन इस लाभ को अंतिम जनसंख्या जोखिम बाउंड में ऑफसेट कर देता है। लेखक नोट करते हैं कि तीक्ष्ण प्राइवेसी अकाउंटिंग $\lambda$ -डिपेंडेंट दरों में सुधार दिखा सकती है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि यह कॉनवेक्स लर्निंग से परे DP ट्रेनिंग के लिए सहसंबद्ध-शोर तंत्र का प्रथम ऑप्टिमाइज़ेशन और जनसंख्या जोखिम विश्लेषण प्रदान करता है, विशेष रूप से न्यूरल नेटवर्क (KANs) के लिए।

सैद्धांतिक नवीनता: तकनीकी केंद्र—सहायक अनप्रोजेक्टेड डायनेमिक्स, शिफ्टेड इटरेट्स और हाई-प्रोबेबिलिटी बूटस्ट्रैपिंग को जोड़ना—गैर-कॉन्वेक्स शासन में सहसंबद्ध-शोर DP प्रशिक्षण के विश्लेषण के लिए एक नया मार्ग प्रदान करता है, जो KANs के अलावा स्वतंत्र रूप से भी प्रासंगिक हो सकता है।
व्यावहारिक प्रासंगिकता: मिनी-बैच SGD और सहसंबद्ध शोर को कवर करके, परिणाम आधुनिक डीप लर्निंग और फेडरेटेड लर्निंग सिस्टम में उपयोग की जाने वाली "मानक रेसिपी" और सैद्धांतिक गारंटी के बीच के अंतर को पाटते हैं।
सीमाएँ: लेखक विनम्रतापूर्वक स्वीकार करते हैं कि उनके वर्तमान रूढ़िवादी प्राइवेसी कैलिब्रेशन के तहत सहसंबद्ध शोर के लिए अंतिम जनसंख्या जोखिम दर स्वतंत्र-शोर दर से मेल खाती है। वे पहचानते हैं कि तीक्ष्ण प्राइवेसी अकाउंटिंग एक खुला प्रश्न है जो संभावित रूप से अंतिम जोखिम बाउंड में सहसंबंध के लाभों को अनलॉक कर सकता है। इसके अतिरिक्त, विश्लेषण वर्तमान में निश्चित दूसरे-परत गुणांकों वाले दो-परत KANs तक सीमित है।