🤖 machine learning

A law of robustness for two-layer neural networks with arbitrary weights

यह शोध पत्र मनमाने भार (arbitrary weights) वाले दो-परत वाले न्यूरल नेटवर्क के लिए एक निकट-इष्टतम मजबूती के नियम (near-optimal law of robustness) को सिद्ध करता है, जो यह दर्शाता है कि शोर युक्त डेटा को फिट करना एक उच्च लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) के लिए मजबूर करता है जब तक कि नेटवर्क की चौड़ाई पर्याप्त रूप से बड़ी न हो, जिसे एक नए फलन-स्थान कवरेज तर्क (function-space covering argument) और एक रिजिडिटी लेम्मा (rigidity lemma) को स्थापित करके सिद्ध किया गया है जो आयाम $d \ge 3$ में किंक गुणांकों (kink coefficients) को नियंत्रित करता है।

मूल लेखक: Yitzchak Shmalo

प्रकाशित 2026-07-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yitzchak Shmalo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी मशीन बनाने की कोशिश कर रहे हैं जो बहुत सारी बिखरी हुई, शोर वाली तस्वीरों को देख सके और हर एक के लिए सही लेबल का अनुमान लगा सके। आप चाहते हैं कि यह मशीन "रोबस्ट" (robust) हो, जिसका अर्थ है कि यदि आप तस्वीर को थोड़ा सा भी हिलाते हैं, तो मशीन अचानक से बिल्कुल अलग उत्तर चिल्लाना शुरू न कर दे। इसे सुचारू (smooth) होना चाहिए, झटकेदार नहीं।

लंबे समय से, गणितज्ञों को एक पूर्वाभास था कि इस मशीन को सुचारू रहने के लिए कितने "मस्तिष्क शक्ति" (न्यूरॉन्स) की आवश्यकता है। उन्होंने अनुमान लगाया था कि यदि आपके पास $n$ शोर वाली तस्वीरें हैं, तो आपको मशीन को स्थिर रखने के लिए लगभग प्रत्येक तस्वीर के लिए एक न्यूरॉन की आवश्यकता होगी। यदि आप कम न्यूरॉन्स का उपयोग करने का प्रयास करते हैं, तो मशीन को डेटा के अनुकूल होने के लिए अविश्वसनीय रूप से झटकेदार (जिसे गणितज्ञ "उच्च लिप्सचिट्ज़ स्थिरांक" या high Lipschitz constant कहते हैं) होने के लिए मजबूर होना पड़ेगा।

यह शोध पत्र, यित्ज़ाक श्मालो (Yitzchak Shmalo) द्वारा, इस पूर्वाभास को सच साबित करने की दिशा में एक बड़ी छलांग लगाता है, लेकिन एक बहुत ही विशिष्ट मोड़ के साथ: यह सबसे सरल प्रकार की डीप लर्निंग मशीन (एक टू-लेयर नेटवर्क) को देखता है जिसमें मस्तिष्क के अंदर विशाल संख्याएँ हो सकती हैं।

"अनबाउंडेड" (Unbounded) समस्या

अधिकांश पिछले प्रमाणों ने कहा: "ठीक है, हम सिद्ध कर सकते हैं कि आपको बहुत सारे न्यूरॉन्स की आवश्यकता है, लेकिन केवल तभी जब मशीन के भीतर की संख्याएँ उचित रूप से छोटी रहें।" लेकिन क्या होगा यदि मशीन ऐसी विशाल संख्याओं का उपयोग करने का निर्णय ले जो नियमों को तोड़ दें? क्या होगा यदि वेट्स (weights) अनंत हों?

यह शोध पत्र कहता है: इससे कोई फर्क नहीं पड़ता। भले ही आप मशीन को जितनी चाहें उतनी बड़ी संख्याएँ उपयोग करने दें, फिर भी वह धोखाधड़ी नहीं कर सकती। यदि आप केवल $m$ न्यूरॉन्स वाले टू-लेयर मशीन के साथ $n$ शोर वाले लेबल को फिट करने का प्रयास करते हैं (जहाँ $m$ छोटा है), तो मशीन को अविश्वसनीय रूप से झटकेदार होने के लिए मजबूर होना पड़ेगा।

यह शोध पत्र सिद्ध करता है कि "झटकेबाजी" (लिप्सचिट्ज़ स्थिरांक) लगभग $\sqrt{n/m}$ के समानुपाती होनी चाहिए, साथ में थोड़ा सा अतिरिक्त गणितीय शोर (एक लॉगरिदमिक कारक)।

जादुई ट्रिक: "किंक" (Kink) डिटेक्टिव

लेखक ने बिना अनंत संख्याओं में खोए यह कैसे सिद्ध किया?

कल्पना कीजिए कि मशीन का आउटपुट कागज का एक मुड़ा हुआ टुकड़ा है। इन विशिष्ट नेटवर्कों की दुनिया में (जो "ReLU" एक्टिवेशन का उपयोग करते हैं, जो शून्य पर एक स्विच की तरह काम करता है), कागज चिकना नहीं है; यह सपाट टुकड़ों से बना है जो तीखे किनारों पर जुड़े हुए हैं। गणितज्ञ इन तीखे किनारों को किंक्स (kinks) कहते हैं।

लेखक ने एक "कठोरता" (rigidity) नियम की खोज की। कल्पना कीजिए कि आप इन तीखे किनारों (एक किंक) पर खड़े हैं। यदि आप चारों ओर देखते हैं, तो आप देखेंगे कि मशीन का कोई भी अन्य हिस्सा इस विशिष्ट किनारे की तीक्ष्णता को खत्म नहीं कर सकता है। यह एक शांत कमरे में एक तेज़ ढोल की आवाज़ को छिपाने की कोशिश करने जैसा है; यदि ढोल इतना तेज़ है कि सुना जा सके, तो कमरा शांत नहीं रह सकता।

क्योंकि ये किंक्स एक-दूसरे से छिप नहीं सकते, लेखक ने दिखाया कि प्रत्येक किंक की "तेजी" सीधे तौर पर पूरी मशीन की झटकेबाजी से जुड़ी हुई है। यदि मशीन को सुचारू (कम झटकेदार) होना चाहिए, तो किंक्स बहुत छोटे होने चाहिए। लेकिन यदि मशीन को $n$ शोर वाले बिंदुओं को फिट करने के लिए $m$ न्यूरॉन्स की आवश्यकता है, तो उसे बड़े किंक्स की आवश्यकता होगी।

यह एक जाल बनाता है:

डेटा को फिट करने के लिए, आपको बड़े किंक्स की आवश्यकता है।
बड़े किंक्स का मतलब है कि मशीन झटकेदार है।
इसलिए, आप सुचारू और डेटा को फिट करने, दोनों चीजें बहुत कम न्यूरॉन्स के साथ नहीं कर सकते।

"सर्कल" अपवाद

एक जगह है जहाँ यह जादुई ट्रिक विफल हो जाती है: एक 2D सर्कल (जैसे एक हूला हूप)। शोध पत्र स्पष्ट रूप से दिखाता है कि एक सर्कल पर, आप किंक्स को इस तरह व्यवस्थित कर सकते हैं कि वे एक-दूसरे को पूरी तरह से रद्द कर दें, जिससे कम न्यूरॉन्स के साथ भी मशीन सुचारू रह सकती है। लेकिन जैसे ही आप स्पेयर (sphere - 3D) या उच्च आयामों में जाते हैं, किंक्स छिप नहीं सकते, और यह नियम मजबूती से लागू होता है।

हम कितने आश्वस्त हैं?

"पीसवाइज-लीनियर" (piecewise-linear) एक्टिवेशन (जैसे ReLU) वाले नेटवर्कों के लिए मुख्य परिणाम के बारे में यह शोध पत्र बहुत आश्वस्त है। इसने सिद्ध किया है कि झटकेबाजी $\sqrt{n/m}$ के एक लॉगरिदमिक कारक के बराबर होनी ही चाहिए।

लॉग (Logarithm): प्रमाण में एक छोटा "लॉग" कारक (जैसे $\log(n)$ ) शामिल है। लेखक ईमानदार हैं: उन्होंने यह सिद्ध नहीं किया है कि इस लॉग कारक को पूरी तरह से हटाया जा सकता है। यह एक छोटी सी कमी है। उन्हें संदेह है कि वास्तविक उत्तर केवल $\sqrt{n/m}$ है, लेकिन उस विशिष्ट भाग को सिद्ध करना अभी भी एक खुला पहेली है।
सिमुलेशन: शोध पत्र गणित की जाँच करने के लिए कंप्यूटर सिमुलेशन (जुलाई 2026 के एक सीड का उपयोग करके) शामिल करता है। ये सिमुलेशन दिखाते हैं कि जब वे डेटा को फिट करने के लिए एक नेटवर्क को प्रशिक्षित करते हैं, तो "झटकेबाजी" उच्च बनी रहती है, जो सिद्धांत से मेल खाती है। लेकिन लेखक सावधान करते हैं कि ये केवल जाँच हैं, स्वयं प्रमाण नहीं।
"स्मूथ" एक्टिवेशन: पत्र स्वीकार करता है कि यदि आप एक पूरी तरह से चिकनी वक्र (बिना किसी तीखे किनारों के) का उपयोग करते हैं, तो यह विशिष्ट "किंक डिटेक्टिव" ट्रिक सीधे काम नहीं करती है। हालाँकि, वे सुझाव देते हैं कि उसी नियम के लिए संभवतः वहां भी लागू होता है, बस एक अलग प्रकार के प्रमाण की आवश्यकता है।

"एक डेटा पॉइंट प्रति न्यूरॉन" का नियम

मुख्य निष्कर्ष मजबूती के लिए एक नियम है: यदि आप एक ऐसी मशीन चाहते हैं जो इनपुट को थोड़ा सा हिलाने पर घबरा न जाए, तो आपको प्रत्येक डेटा पॉइंट के लिए लगभग एक न्यूरॉन की आवश्यकता है जिसे आप याद करने (memorize) की कोशिश कर रहे हैं।

यदि आप $n$ बिंदुओं को केवल $m$ न्यूरॉन्स वाले मशीन में दबाने का प्रयास करते हैं (जहाँ $m, n$ से बहुत छोटा है), तो मशीन को सही उत्तर पाने के लिए एक "झटकेदार राक्षस" बनने के लिए मजबूर होना पड़ेगा। यह शोध पत्र सिद्ध करता है कि दो-लेयर नेटवर्कों के लिए यह अपरिहार्य है, भले ही आप अपनी संख्याओं को कितना भी बड़ा क्यों न कर दें।

क्या बाकी है?

लेखक ने कुछ दरवाजे खुले छोड़े हैं:

लॉग कारक: क्या हम सिद्ध कर सकते हैं कि लॉग कारक की आवश्यकता नहीं है? (पत्र सुझाव देता है कि यह हो सकता है, लेकिन अभी तक दरवाजा बंद नहीं किया है)।
गहरे नेटवर्क (Deeper Networks): यह नियम टू-लेयर नेटवर्कों के लिए है। यदि आप एक तीसरी परत जोड़ते हैं, तो नियम बदल जाते हैं, और आप बड़ी संख्याओं के साथ इस नियम को चकमा दे सकते हैं। पत्र पुष्टि करता है कि गहराई तीन वह जगह है जहाँ "अनबाउंडेड वेट" का रास्ता वास्तव में खुल जाता है।
सामान्य एक्टिवेशन: हालांकि प्रमाण "किंकी" नेटवर्कों के लिए ठोस है, हर संभव प्रकार के स्मूथ नेटवर्क के लिए इस नियम को सिद्ध करने का अंतिम चरण एक आखिरी गणितीय अनुमान (एक "मल्टीप्लायर एस्टीमेट") पर निर्भर करता है जिसे अभी तक पूरी तरह से हल नहीं किया गया है।

संक्षेप में: टू-लेयर नेटवर्कों के लिए, ब्रह्मांड का एक सख्त "रोबस्टनेस टैक्स" है। आप चाहे अपनी संख्याओं को कितना भी बड़ा कर लें, आप झटकेबाजी में $\sqrt{n/m}$ से कम भुगतान नहीं कर सकते।

तकनीकी सारांश: मनमाने भार वाले दो-परत वाले न्यूरल नेटवर्क के लिए सुदृढ़ता का एक नियम

समस्या विवरण
यह शोध पत्र शोर वाले डेटा को फिट करते समय एक न्यूरल नेटवर्क की क्षमता और उसकी सुदृढ़ता (लिप्सचिट्ज़ स्थिरांक द्वारा मापी गई) के बीच के मौलिक प्रश्न को संबोधित करता है। विशेष रूप से, यह दो-परत वाले न्यूरल नेटवर्क के संबंध में बुबेक, ली और नागराज (BLN) के एक अनुमान की जांच करता है। यह अनुमान प्रस्तावित करता है कि जेनेरिक डेटा के लिए, $m$ न्यूरॉन्स वाला कोई भी दो-परत वाला नेटवर्क जो $n$ शोर वाले लेबल को फिट करता है, उसका लिप्सचिट्ज़ स्थिरांक कम से कम $\sqrt{n/m}$ के क्रम का होना चाहिए।

पूर्व कार्य में एक महत्वपूर्ण कमी मनमाने (अबाउंडेड) भारों का उपचार थी। समान "सुदृढ़ता के नियमों" के पिछले प्रमाणों में पैरामीटर स्पेस को विविक्त (discretize) करने के लिए भारों के परिमाण (पॉलीनोमियल वेट बाउंड्स) को सीमित करने पर निर्भरता थी। हालाँकि, बुबेक और सेलके ने प्रदर्शित किया कि गहराई तीन पर, अबाउंडेड भार नेटवर्क को इन नियमों का उल्लंघन करने की अनुमति देते हैं। अबाउंडेड भारों वाले गहराई-दो वाले नेटवर्क का मामला एक खुला सीमा मामला बना रहा, क्योंकि मानक पैरामीटर-स्पेस कवरिंग तर्क तब विफल हो जाते हैं जब भार अबाउंडेड होते हैं।

कार्यप्रणाली
यह शोध पत्र एक नवीन प्रमाण रणनीति पेश करता है जो ध्यान को पैरामीटर-स्पेस कवरिंग से हटाकर फंक्शन-स्पेस कवरिंग पर केंद्रित करता है। चूंकि भार अबाउंडेड हैं, इसलिए पैरामीटर स्पेस को सीधे विविक्त नहीं किया जा सकता है। इसके बजाय, लेखक स्वयं realized (साकारित) फलनों को विविक्त करने के लिए पीसवाइज़-लीनियर फलनों की ज्यामितीय संरचना का लाभ उठाते हैं।

कार्यप्रणाली के मूल में तीन स्तंभ हैं:

कैनोनिकल रिप्रजेंटेशन (मानक प्रतिनिधित्व): लेम्मा 2.1 और 2.2 का उपयोग करते हुए, किसी भी निरंतर पीसवाइज़-लीनियर दो-परत वाले नेटवर्क (ReLU सहित) को डोमेन पर एक "कैनोनिकल रूप" में पुनर्गठित किया जाता है (या तो यूनिट स्फीयर $S^{d-1}$ या यूनिट बॉल $B_2$ पर)। यह रूप फलन को एक एफाइन मैप और विशिष्ट हाइपरप्लेन एवं गैर-शून्य गुणांकों वाले ReLU इकाइयों के योग के रूप में व्यक्त करता है। महत्वपूर्ण रूप से, यह पुनर्गठन डोमेन पर दिए गए फलन के लिए अद्वितीय है, चाहे मूल पैरामीट्रिज़ेशन कुछ भी हो।
रिजिडिटी लेम्मा (नियतकालिक कोर): शोध पत्र आयाम $d \ge 3$ के लिए विशिष्ट एक रिजिडिटी घटना (सेक्शन 3) स्थापित करता है। यह सिद्ध करता है कि $L$ लिप्सचिट्ज़ स्थिरांक वाले फलन $f$ के लिए, किसी भी 'किंक' (ReLU इकाई) का गुणांक $\alpha_j$ , जो हाइपरप्लेन $H_{u_j, t_j}$ पर समर्थित है, $L$ द्वारा सख्ती से सीमित है।
- बॉल $B_R$ पर, $|\alpha_j| \le 2L$ ।
- स्फीयर $S^{d-1}$ पर, $|\alpha_j| \sqrt{1-t_j^2} \le 2L$ ।
  यह बाउंड इसलिए लागू होता है क्योंकि अलग-अलग हाइपरप्लेन पर स्थित किंक्स एक विशिष्ट किंक हाइपरप्लेन पर जेनेरिक बिंदुओं पर एक-दूसरे को रद्द नहीं कर सकते; उस बिंदु पर डेरिवेटिव जंप केवल उस एकल किंक द्वारा निर्धारित होता है जिसका निरीक्षण किया जा रहा है। यह परिणाम $d=2$ (वृत्त) के लिए विफल हो जाता है, जहाँ किंक सेट शून्य-आयामी बिंदु होते हैं, जिससे रद्दीकरण संभव हो जाता है।
मेट्रिक एंट्रॉपी और कंसन्ट्रेशन:
- चूंकि कैनोनिकल गुणांक $L$ (न कि मूल भारों) द्वारा सीमित हैं, इसलिए एक निश्चित लिप्सचिट्ज़ स्थिरांक $L$ वाले realized फलनों का वर्ग एक बाउंडेड पैरामीट्रिज़ेशन को स्वीकार करता है। यह एक मेट्रिक एंट्रॉपी बाउंड (प्रपोजिशन 4.1) प्राप्त करने की अनुमति देता है जो $L, m, d$ पर निर्भर करता है लेकिन मूल भारों के परिमाण से स्वतंत्र है।
- संभाव्यता तर्क (सेक्शन 5) डेटा वितरण (गौसियन या स्फीयर पर यूनिफॉर्म) के लिए कंसन्ट्रेशन ऑफ मेजर (आइसोपरीमेट्री) का उपयोग करता है, यह दिखाने के लिए कि फलनों का एक परिमित वर्ग शोर के स्तर से नीचे डेटा को फिट नहीं कर सकता जब तक कि लिप्सचिट्ज़ स्थिरांक पर्याप्त बड़ा न हो।

प्रमुख योगदान और परिणाम

BLN अनुमान का प्रमाण (लॉगारिदमिक फैक्टर तक): मुख्य प्रमेय (थ्योरम 1.2) सिद्ध करता है कि $d \ge 3$ में निरंतर पीसवाइज़-लीनियर एक्टिवेशन (ReLU सहित) के लिए, शोर के स्तर $\varepsilon$ के नीचे डेटा को फिट करने वाला कोई भी दो-परत वाला नेटवर्क निम्नलिखित को संतुष्ट करना चाहिए:
$\text{Lip}(f) \ge c \varepsilon \sqrt{\frac{n}{\bar{m}}} \log\left(C \frac{\bar{m} n d}{\varepsilon}\right)$
जहाँ $\bar{m} = (K-1)m + 1$ रैखिक टुकड़ों की संख्या $K$ को ध्यान में रखता है। यह $\sqrt{n/m}$ स्केलिंग की पुष्टि करता है, जिसमें एक स्पष्ट लॉगरिदमिक ओवरहेड है।
रियलाइज्ड किंक-काउंट लॉ: थ्योरम 1.5 इस परिणाम को मजबूत करता है, यह दिखाते हुए कि बाउंड वास्तव में फलन द्वारा साकार किए गए विशिष्ट किंक हाइपरप्लेन $k(f)$ की संख्या पर निर्भर करता है, न कि नाममात्र की चौड़ाई $m$ पर। इसका तात्पर्य है कि रेडंडेंट या कैंसिलिंग इकाइयाँ लिप्सचिट्ज़ स्थिरांक को कम करने में मदद नहीं करती हैं।
स्ट्रक्चर्ड आर्किटेक्चर में सामान्यीकरण: कोरोलरी 1.6 और 1.7 वेट शेयरिंग (कन्वोल्यूशनल लेयर्स), टाइड वेट्स, लो-रैंक फैक्टराइजेशन और वेक्टर-वैल्यूड आउटपुट वाली आर्किटेक्चर तक इन बाउंड्स का विस्तार करते हैं, बशर्ते कि विशिष्ट किंक हाइपरप्लेन की संख्या सीमित हो।
छोटा विड्थ और सामान्य एक्टिवेशन: सेक्शन 8 छोटे विड्थ ( $m=1, 2, 3$ ) के लिए किसी भी लिप्सचिट्ज़ एक्टिवेशन (केवल पीसवाइज़-लीनियर नहीं) के लिए लोअर बाउंड प्रदान करता है। $m=1$ के लिए, अनुमान बिना लॉगरिदमिक लॉस के $\sqrt{n/\log(nd)}$ के मार्जिन के साथ बना रहता है। $m=2$ के लिए, यह पूरे एडमिसेबल डायमेंशन रेंज में बना रहता है।
शार्पनेस और अपर बाउंड्स: प्रपोजिशन 10.1 एक विड्थ- $2n$ दो-परत वाला ReLU नेटवर्क निर्मित करता है जो $O(1)$ लिप्सचिट्ज़ स्थिरांक के साथ मनमाने लेबल को फिट करता है। यह दर्शाता है कि लोअर बाउंड (लॉगरिदमिक फैक्टर तक) ओवरपैरामीटराइज्ड रिजीम ( $m \asymp n$ ) में टाइट है।
सीमाएँ: शोध पत्र स्पष्ट रूप से नोट करता है कि रिजिडिटी तर्क $d=2$ (प्रपोजिशन 3.3) के लिए विफल हो जाता है और स्मूथ एक्टिवेशन के लिए भी जहाँ "किंक" तंत्र सीधे लागू नहीं होता (हालाँकि सप्लीमेंट्री नोट में मल्टीप्लायर एस्टीमेट तक कमी का प्रस्ताव दिया गया है)।

महत्व और दावे

शोध पत्र का दावा है कि इसने दो-परत वाले नेटवर्कों के सुदृढ़ता के नियम के "नेचुरल बाउंड्री केस" को हल कर दिया है। रिजिडिटी लेम्मा के माध्यम से पैरामीटर-स्पेस डिस्क्रीटाइजेशन को फंक्शन-स्पेस डिस्क्रीटाइजेशन से बदलकर, यह दो-परत वाले नेटवर्कों के लिए पॉलीनोमियल वेट बाउंड्स की आवश्यकता को समाप्त करता है।

लेखक शेष लॉगरिदमिक फैक्टर के संबंध में विनम्र हैं। वे कहते हैं कि वर्तमान एंट्रॉपी अनुमान $\log(n)$ टर्म को पूरी तरह से हटाने के लिए अपर्याप्त हैं। उन्होंने इस फैक्टर को हटाने को एक ओपन प्रॉब्लम के रूप में पहचाना है, जिसे क्रिटिकल विड्थ बैंड में एक विशिष्ट "मल्टीप्लायर एस्टीमेट" (कन्जेक्चर 9.1) तक कम किया जा सकता है। पेपर इस बात पर जोर देता है कि डेप्थ-टू फेनोमेनन डेप्थ-थ्री से भिन्न है, जहाँ अबाउंडेड भार वास्तव में नॉन-रोबस्ट इंटरपोलेशन की अनुमति देते हैं, जिससे डेप्थ-टू इस नियम के लिए एक क्रिटिकल थ्रेशोल्ड बनता है।

परिणाम विशिष्ट डेटा मॉडल (गौसियन और स्फीयर पर यूनिफॉर्म) और पीसवाइज़-लीनियर एक्टिवेशन के लिए कठोर गणितीय प्रमाण के रूप में प्रस्तुत किए गए हैं, जिसमें विशिष्ट कंसन्ट्रेशन और लोकलाइजेशन हाइपोथीसिस के अधीन सामान्य एक्टिवेशन और डिस्ट्रीब्यूशन के लिए विस्तार शामिल हैं।