🔢 mathematics

Tubular Neighbourhoods of Pfaffian Sets and Applications to Neural Networks

यह शोध पत्र उनके परिभाषित फलनों (defining functions) के प्रारूप के आधार पर स्मूथ पैफ़ियन हाइपरसरफेस (smooth Pfaffian hypersurfaces) के ट्यूबलर नेबरहुड्स (tubular neighborhoods) के लिए वॉल्यूम बाउंड्स स्थापित करता है और इन परिणामों को पैफ़ियन सक्रियण फलनों (Pfaffian activation functions) वाले न्यूरल नेटवर्क क्लासिफायर के कंडीशन नंबर्स (condition numbers) के लिए टेल बाउंड्स (tail bounds) प्राप्त करने हेतु लागू करता है, जिसमें सिंगल-हिडन-लेयर सिग्मॉइड नेटवर्क के लिए पॉलीनोमियल-इन-विड्थ (polynomial-in-width) बाउंड्स शामिल हैं।

मूल लेखक: Paul Lezeau, Martin Lotz

प्रकाशित 2026-07-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paul Lezeau, Martin Lotz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अदृश्य भूलभुलैया में "दीवार को न छुएं" (Don't Touch the Wall) के एक हाई-स्टेक्स खेल में खेल रहे हैं। इस भूलभुलैया की दीवारें ईंटों से नहीं बनी हैं; वे एक न्यूरल नेटवर्क के डिसीजन बाउंड्रीज़ (decision boundaries) हैं—एक फैंसी कंप्यूटर दिमाग जो यह तय करता है कि कोई तस्वीर बिल्ली की है या कुत्ते की, या कोई ईमेल स्पैम है या नहीं।

यदि आप इन अदृश्य दीवारों के बहुत करीब पहुँच जाते हैं, तो कंप्यूटर दिमाग भ्रमित हो जाता है। एक छोटा सा धक्का, धूल का एक कण, या डेटा में थोड़ा सा बदलाव इसके जवाब को "बिल्ली" से "कुत्ता" में बदल सकता है। गणित की दुनिया में, इस भ्रम को कंडीशन नंबर (condition number) कहा जाता है। आप दीवार के जितने करीब होंगे, यह नंबर उतना ही अधिक होगा, और आपका वर्गीकरण (classification) उतना ही अधिक "इल-पोज़्ड" (ill-posed) या नाजुक होता जाएगा।

बड़ा सवाल यह है कि: यह भ्रमित करने वाला क्षेत्र कितनी जगह घेरता है? यदि आप भूलभुलैया में एक रैंडम बिंदु चुनते हैं, तो क्या संभावना है कि आप ठीक दीवार के बगल में उतरेंगे और भ्रमित हो जाएंगे?

द "फैफ़ियन" प्लेग्राउंड (The "Pfaffian" Playground)

लेखक, पॉल लेज़ो और मार्टिन लोट्ज़, एक विशिष्ट प्रकार के कंप्यूटर दिमाग को देख रहे हैं जो चिकने, लहरदार कार्यों (जैसे प्रसिद्ध "सिग्मॉइड" वक्र जो 'S' जैसा दिखता है) का उपयोग करके निर्णय लेता है। ये फंक्शन एक विशेष क्लब से संबंधित हैं जिसे फैफ़ियन सेट्स (Pfaffian sets) कहा जाता है।

फैफ़ियन सेट्स को सुपर-पावरफुल वर्जन के रूप में सोचें जो आपने स्कूल में सीखे गए बीजगणितीय आकारों (जैसे वृत्त और परवलय) के समान हैं। वे वह सब कुछ कर सकते हैं जो वे आकार कर सकते हैं, लेकिन वे $e^x$ (एक्सपोनेंशियल ग्रोथ) और $\log(x)$ जैसे ट्रांसेंडेंटल फंक्शन्स को भी संभाल सकते हैं। यह उन्हें वास्तविक दुनिया के न्यूरल नेटवर्क का वर्णन करने के लिए एकदम सही बनाता है।

मुख्य खोज: "फज़" (Fuzz) को मापना

पेपर की मुख्य खोज इन निर्णय दीवारों के आसपास के "भ्रमित क्षेत्र" (ट्यूबलर नेबरहुड) के आयतन (volume) को कैलकुलेट करने का एक नया तरीका है।

सामान्य नियम (द "खोवन्स्की" बाउंड):
कई परतों और कई न्यूरॉन्स वाले एक सामान्य न्यूरल नेटवर्क के लिए, लेखक सिद्ध करते हैं कि इस भ्रमित क्षेत्र का आकार नेटवर्क के "फॉर्मेट" (जटिलता का एक माप) से जुड़े एक फॉर्मूले द्वारा सीमित है।
- कैच (The Catch): यदि आप इन आकारों के लिए मानक गणितीय उपकरणों (खोवन्स्की का एक प्रमेय) का उपयोग करते हैं, तो फॉर्मूले में एक ऐसा पद शामिल होता है जो न्यूरॉन्स की संख्या के साथ एक्सपोनेंशियल (exponentially) रूप से बढ़ता है। कल्पना कीजिए कि आपके नेटवर्क में केवल एक और न्यूरॉन जोड़ने से भ्रमित क्षेत्र का आकार $2^{100}$ के कारक से बढ़ जाता है। यह एक बहुत बड़ी, डरावनी संख्या है। पेपर दिखाता है कि गहरे (deep) नेटवर्क्स के लिए, यह एक्सपोनेंशियल फैक्टर अपरिहार्य है जब तक कि आप कोई चतुर ट्रिक न ढूंढ लें।
एक-परत वाले नेटवर्क्स के लिए "मैजिक ट्रिक":
यहीं पर पेपर वास्तव में दिलचस्प हो जाता है। वे सिंगल-हिडन-लेयर नेटवर्क्स (जिनमें सोचने वाले न्यूरॉन्स की केवल एक परत होती है) पर ध्यान केंद्रित करते हैं जो अपने वेट्स (weights) के लिए परिमेय संख्याओं (rational numbers) का उपयोग करते हैं।
- ट्रिक: मानक, भारी-भरकम टूल के बजाय, वे एक चतुर ज्यामितीय प्रतिस्थापन (मल्टीप्लिकेटिव चार्ट का उपयोग करके लहरदार सिग्मॉइड फंक्शन्स को परिमेय फंक्शन्स में बदलना) का उपयोग करते हैं।
- परिणाम: वे सिद्ध करते हैं कि इन विशिष्ट नेटवर्क्स के लिए, भ्रमित क्षेत्र एक्सपोनेंशियल रूप से नहीं फैलता है। इसके बजाय, यह नेटवर्क की चौड़ाई के साथ पॉलिनोमियल (polynomially) रूप से बढ़ता है।
- गणित: यदि नेटवर्क की चौड़ाई $w$ (न्यूरॉन्स की संख्या) है और इनपुट स्पेस का आयाम $n$ है, तो खतरे के क्षेत्र का आयतन लगभग $w^{2n}$ के समानुपाती होता है।
- यह क्यों मायने रखता है: एक्सपोनेंशियल विस्फोट ( $2^w$ ) से पॉलिनोमियल ग्रोथ ( $w^{2n}$ ) तक जाना एक बहुत बड़ा सुधार है। इसका मतलब है कि चौड़े नेटवर्क्स के लिए, "खतरे का क्षेत्र" वास्तव में पुराने गणित के सुझाव की तुलना में बहुत छोटा और अधिक प्रबंधनीय है।

वे स्पष्ट रूप से क्या खारिज करते हैं

लेखक बहुत सावधान हैं कि वे क्या दावा नहीं करते हैं:

वे यह दावा नहीं करते कि यह सभी डीप नेटवर्क्स के लिए काम करता है: वे स्पष्ट रूप से कहते हैं कि दो या दो से अधिक हिडन लेयर्स वाले नेटवर्क्स के लिए, उनका सामान्य बाउंड में एक्सपोनेंशियल "खोवन्स्की फैक्टर" ( $2^{h(h-1)/2}$ ) अभी भी दिखाई देता है। उनके पास एक कन्जक्चर (एक मजबूत अनुमान) है कि डीप नेटवर्क्स के लिए भी एक पॉलिनोमियल बाउंड मौजूद है, लेकिन उन्होंने इसे अभी तक सिद्ध नहीं किया है।
वे यह दावा नहीं करते कि यह "ReLU" नेटवर्क्स के लिए काम करता है: ReLU एक लोकप्रिय एक्टिवेशन फंक्शन है जो एक मुड़ी हुई रेखा जैसा दिखता है (यह स्मूथ नहीं है)। पेपर स्पष्ट रूप से कहता है कि उनके तरीके स्मूथ, एनालिटिक फंक्शन्स पर निर्भर करते हैं, इसलिए ReLU नेटवर्क्स उनके दायरे से बाहर हैं।
वे यह दावा नहीं करते कि बाउंड्स तब काम करेंगे जब डिसीजन बाउंडरी में तीखे कोने हों: गणित के लिए यह आवश्यक है कि दीवारें स्मूथ हों (कोई तीखे किनारे नहीं)। यदि नेटवर्क के वेट्स एक टेढ़ा-मेढ़ा, सिंगुलर बाउंड्री बनाते हैं, तो वर्तमान फॉर्मूले सीधे लागू नहीं होते हैं।

वे कितने आश्वस्त हैं?

सिद्ध (Proven): स्मूथ फैफ़ियन हाइपरसरफेस के ट्यूबलर नेबरहुड्स के आयतन के लिए बाउंड्स कठोर रूप से सिद्ध (rigorously proven) हैं।
सिद्ध (Proven): परिमेय वेट्स वाले सिंगल-लेयर सिग्मॉइड नेटवर्क्स के लिए पॉलिनोमियल बाउंड ( $w^{2n}$ ) कठोर रूप से सिद्ध है।
सिद्ध (Proven): इन विशिष्ट नेटवर्क्स के लिए गलत वर्गीकरण की संभावना (खतरे के क्षेत्र में उतरने की संभावना) पर टेल बाउंड्स (tail bounds) कठोर रूप से सिद्ध हैं।
सुझाया गया/कन्जेक्चर (Suggested/Conjectured): यह विचार कि यह पॉलिनोमियल बाउंड मल्टी-लेयर नेटवर्क्स तक विस्तृत है, एक कन्जक्चर के रूप में प्रस्तुत किया गया है। लेखक विश्वास करने के मजबूत कारण प्रदान करते हैं (परतों की संरचना के आधार पर), लेकिन वे स्वीकार करते हैं कि उन्होंने अभी तक इसका प्रमाण नहीं निकाला है।
सिद्ध (Sharpness): वे सिद्ध करते हैं कि गौस मैप (Gauss map) के डिग्री के लिए उनके पॉलिनोमियल बाउंड में एक्सपोनेंट $n$ सबसे अच्छा संभव (sharp) है, जिसका अर्थ है कि आप फंडामेंटल प्रकृति को बदले बिना बाउंड को $w^n$ से कम नहीं कर सकते।

"डेली लाइफ" का टेकअवे (The "Everyday" Takeaway)

कल्पना कीजिए कि आप सेब छांटने के लिए एक रोबोट बना रहे हैं।

पुराना गणित: कहता था, "यदि आप अपने रोबोट में अधिक न्यूरॉन्स जोड़ते हैं, तो डेटा के एक छोटे से झटके से भ्रमित होने की संभावना इतनी तेजी से बढ़ती है कि आप हार मान सकते हैं।"
यह पेपर: कहता है, "रुको! यदि आपके रोबोट में सोचने वाले न्यूरॉन्स की केवल एक परत है और आप अच्छे, परिमेय संख्याओं का उपयोग करते हैं, तो भ्रमित होने की संभावना बहुत धीरे बढ़ती है—एक खड़ी ढलान के बजाय एक हल्की पहाड़ी की तरह।"

उन्होंने अभी तक सबसे जटिल, मल्टी-लेयर्ड रोबोट्स के लिए समस्या को हल नहीं किया है (वह अभी भी एक रहस्य है), लेकिन उन्होंने सरल, एक-परत वाले संस्करणों के लिए गणित को स्पष्ट कर दिया है, जिससे पता चलता है कि वे हमारी सोच से कहीं अधिक मजबूत हैं। उन्होंने हमें एक नया, शक्तिशाली रूलर (फैफ़ियन ट्यूब फॉर्मूला) भी दिया है जिससे किसी भी स्मूथ डिसीजन बाउंडरी को मापा जा सकता है, चाहे वह न्यूरल नेटवर्क हो या कुछ और।

तकनीकी सारांश: पफ़ाफियन सेट्स के ट्यूबलर नेबरहुड और न्यूरल नेटवर्क में उनके अनुप्रयोग

समस्या विवरण
यह शोध पत्र न्यूरल नेटवर्क क्लासिफायर के निर्णय सीमाओं (decision boundaries) की ज्यामितीय जटिलता को संबोधित करता है, विशेष रूप से उन क्लासिफायर के लिए जो सुचारू, ट्रांसेंडेंटल सक्रियण कार्यों (जैसे लॉजिस्टिक सिग्मॉइड, tanh) का उपयोग करते हैं। ऐसे क्लासिफायर की मजबूती (robustness) विश्लेषण में एक केंद्रीय समस्या यह मात्रा निर्धारित करना है कि एक यादृच्छिक इनपुट के निर्णय सीमा के $\varepsilon$ -ट्यूबलर नेबरहुड के भीतर होने की प्रायिकता क्या है। यह प्रायिकता क्लासिफायर के कंडीशन नंबर (condition number) पर टेल बाउंड्स (tail bounds) में सीधे अनुवादित होती है, जो मजबूती का एक माप है जिसे इनपुट नॉर्म और गलत वर्गीकरण की दूरी के अनुपात के रूप में परिभाषित किया गया है।

जबकि बीजगणितीय विविधताओं (algebraic varieties) के ट्यूबलर नेबरहुड के लिए वॉल्यूम बाउंड्स अच्छी तरह से स्थापित हैं (जैसे वेइल का ट्यूब फॉर्मूला, स्मेल, रेनेगर और बासु-लेरियो के परिणाम), ट्रांसेंडेंटल एक्टिवेशन वाले न्यूरल नेटवर्क के लिए इन्हें विस्तारित करना गैर-तुच्छ कार्य है। मानक बीजगणितीय उपकरण जैसे बेज़ौट प्रमेय (Bézout's theorem) अपर्याप्त हैं। इसके बजाय, लेखक पफ़ाफियन फलनों (Pfaffian functions) के सिद्धांत का उपयोग करते हैं, जो अर्ध-बीजगणितीय सेट्स (semi-algebraic sets) को शामिल करने के लिए उन्हें सामान्यीकृत करते हैं, जो बहुपद गुणांकों के साथ प्रथम-क्रम के आंशिक अंतर समीकरणों के त्रिकोणीय प्रणालियों का पालन करते हैं। एक पहचाना गया मुख्य संघर्ष यह है कि न्यूरल नेटवर्क पर लागू सामान्य पफ़ाफियन बाउंड्स (खांव्स्की के फ्यूनॉमियल सिद्धांत पर आधारित) ऐसे स्थिरांक प्रदान करते हैं जो नेटवर्क की चौड़ाई (width) पर चरघांकी (exponentially) रूप से निर्भर होते हैं, जिससे बाउंड्स व्यावहारिक और सैद्धांतिक रूप से उप-इष्टतम हो जाते हैं।

कार्यप्रणाली
लेखक एक ढांचा विकसित करते हैं जो इंटीग्रल ज्योमेट्री, ओ-मिनिमल ज्योमेट्री और बीजगणितीय कॉम्बिनेटरिक्स को जोड़ता है:

पफ़ाफियन ट्यूब फॉर्मूला: लेखक एक सुचारू पफ़ाफियन हाइपरसरफेस के ट्यूबलर नेबरहुड के लिए एक बाउंड विकसित करते हैं। यह एक सामान्यीकृत गाउस मैप (Gauss map) के डिग्री पर बाउंड्स को वेइल के ट्यूब फॉर्मूला के एक संस्करण के साथ जोड़कर प्राप्त किया जाता है। गाउस मैप की डिग्री को खांव्स्की के प्रमेय का उपयोग करके सीमित किया जाता है, जो परिभाषित फलनों के "फॉर्मेट" $(\alpha, \beta, s)$ (चेन डिग्री, फंक्शन डिग्री, और चेन ऑर्डर) के आधार पर पफ़ाफियन समीकरणों के सिस्टम के समाधानों की संख्या को सीमित करता है।
पफ़ाफियन फंक्शन के रूप में न्यूरल नेटवर्क: यह शोध पत्र स्थापित करता है कि सुचारू, ऑटोनॉमस पफ़ाफियन एक्टिवेशन वाले न्यूरल नेटवर्क स्वयं पफ़ाफियन फलन हैं। नेटवर्क का फॉर्मेट, डेप्थ, विड्थ और एक्टिवेशन फंक्शन्स के फॉर्मेट के आधार पर प्रे inductively (आनुवंशिक रूप से) व्युत्पन्न किया जाता है।
सिंगल-लेयर नेटवर्क्स के लिए बहुपद बाउंड्स (Polynomial Bounds): सामान्य खांव्स्की बाउंड्स में निहित चौड़ाई पर चरघांकी निर्भरता को दूर करने के लिए, लेखक तर्कसंगत भार (rational weights) वाले सिंगल-हिडन-लेयर सिग्मॉइड नेटवर्क पर ध्यान केंद्रित करते हैं। वे गाउस-मैप सिस्टम को लॉरेंट बहुपदों (Laurent polynomials) के एक सिस्टम में बदलने के लिए एक वेरिएबल परिवर्तन (एक्सपोनेंशियल प्रतिस्थापन) का उपयोग करते हैं। न्यूटन पॉलीटोप्स के मिश्रित आयतन (mixed volume) द्वारा समाधानों की संख्या को सीमित करने के लिए बर्नस्टीन-कुशनेरिंको-खांव्स्की (BKK) प्रमेय को लागू करके, वे यह सिद्ध करते हैं कि तर्कसंगत भारों के लिए, जाली संरचना (lattice structure) एक बाउंड की अनुमति देती है जो नेटवर्क की चौड़ाई $w$ के बहुपद (polynomial) के रूप में है, विशेष रूप से $O(w^n)$ के क्रम में।
एफाइन सेक्शनों को संभालना: पूर्ण ट्यूब फॉर्मूला के लिए, विभिन्न आयामों के एफाइन सबस्पेस के साथ इंटरसेक्शन के लिए बाउंड्स की आवश्यकता होती है। लेखक दिखाते हैं कि जबकि जेनेरिक सेक्शन, BKK दृष्टिकोण के लिए आवश्यक तर्कसंगत जाली संरचना को नष्ट कर देते हैं, एक मल्टीप्लिकेटिव चार्ट ट्रांसफॉर्मेशन इस तरह से सिस्टम को एक पफ़ाफियन सिस्टम के रूप में उपचारित करने की अनुमति देता है जिसकी चेन लंबाई विड्थ से स्वतंत्र है, जिससे सभी सेक्शन डिग्री के लिए एक बहुपद बाउंड $O(w^{2n})$ प्राप्त होता है।

प्रमुख योगदान और परिणाम

पफ़ाफियन हाइपरसरफेस के लिए सामान्य ट्यूब बाउंड्स (थ्योरम 3.6): लेखक एक सुचारू, बाउंडेड पफ़ाफियन हाइपरसरफेस $V = Z(f)$ के ट्यूबलर नेबरहुड के लिए एक वॉल्यूम बाउंड स्थापित करते हैं। यदि बिंदु $X$ , एक बॉल $B(p, \rho)$ में समान रूप से वितरित है, तो $X$ के $V$ से दूरी $\varepsilon$ के भीतर होने की प्रायिकता को इस प्रकार बांधा गया है:
$P\{d(X, V) \le \varepsilon\} \le C_{\alpha,\beta,s,n} \left[ \left(1 + \frac{(\alpha+\beta+1)\varepsilon}{\rho}\right)^n - \left(1 + \frac{\varepsilon}{\rho}\right)^n \right]$
जहाँ स्थिरांक $C$ पफ़ाफियन फॉर्मेट पर निर्भर करता है। यह पिछले बीजगणितीय विविधताओं के परिणामों का सामान्यीकरण करता है।
सामान्य पफ़ाफियन नेटवर्क्स के लिए मजबूती गारंटी (थ्योरम 5.4, कोरोलरी 5.7): पफ़ाफियन ट्यूब फॉर्मूला को न्यूरल नेटवर्क पर लागू करते हुए, लेखक कंडीशन नंबर $C(X)$ के लिए टेल बाउंड्स निकालते हैं। $\ell$ हिडन लेयर्स और $h$ कुल यूनिट्स वाले नेटवर्क के लिए, टेल प्रायिकता $O(1/t)$ के रूप में घटती है। हालांकि, स्थिरांक में एक चरघांकी कारक $2^{h(h-1)/2}$ शामिल है जो चेन लेंथ पर मानक खांव्स्की बाउंड से उत्पन्न होता है।
सिंगल-लेयर सिग्मॉइड नेटवर्क्स के लिए पॉलिनॉमियल-इन-विड्थ बाउंड्स (थ्योरम 4.15, कोरोलरी 5.8): तर्कसंगत भार वाले सिंगल-हिडन-लेयर नेटवर्क्स के लिए, लेखक चरघांकी खांस्की कारक को हटा देते हैं। वे सिद्ध करते हैं कि गाउस मैप की अधिकतम डिग्री $C(n, L) \cdot w^n$ (और सेक्शन डिग्री $w^{2n}$ ) द्वारा सीमित है, जहाँ $L$ भारों से संबंधित एक लैट्टिस स्थिरांक है। फलस्वरूप, कंडीशन नंबर के लिए टेल बाउंड $w$ के बहुपद में बनता है:
$P\{C_p(X) > t\} \le O\left(\frac{w^n}{t}\right)$
यह परिणाम एक कंस्ट्रक्टिव लोअर बाउंड (प्रपोजिशन 4.11) के माध्यम से $w$ पर अपनी निर्भरता में शार्प (sharp) दिखाया गया है।
गॉसियन बनाम यूनिफॉर्म सेटिंग्स: पेपर यूनिफॉर्म डिस्ट्रीब्यूशन (बॉल पर) और गॉसियन परटर्बेशन दोनों के लिए टेल बाउंड प्रदान करता है। गॉसियन केस के लिए, लेखक नोट करते हैं कि जबकि बहुपद बाउंड इंटीग्रल के "लार्ज रेडियस" भाग के लिए मान्य है, "स्मॉल रेडियस" भाग अभी भी सामान्य पफ़ाफियन बाउंड पर निर्भर करता है, जिससे एक हाइब्रिड बाउंड प्राप्त होता है जहाँ चरघांकी कारक हावी हो सकता है जब तक कि विशिष्ट कंसंट्रेशन शर्तें पूरी न हों (रिमार्क 5.11)।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह केवल न्यूरल नेटवर्क के आकार के विरुद्ध चरघांकी नहीं बल्कि प्रभावी, मात्रात्मक मजबूती गारंटी प्रदान करने वाला पहला कार्य है, जो उन ट्रांसेंडेंटल एक्टिवेशन वाले नेटवर्क्स के लिए है जो केवल एक्सपोनेंशियल नहीं हैं। पफ़ाफियन सेटिंग में ट्यूबलर नेदरहुड थ्योरी को सामान्यीकृत करके, लेखक संख्यात्मक विश्लेषण में कंडीशनिंग के शास्त्रीय सिद्धांत और आधुनिक डीप लर्निंग के बीच के अंतर को पाटते हैं।

प्राथमिक महत्व सिंगल-लेयर नेटवर्क्स के लिए बाउंड्स के परिशोधन में निहित है। लेखक प्रदर्शित करते हैं कि खांव्स्की के प्रमेय का "ऑफ-द-शेल्फ" अनुप्रयोग अत्यधिक निराशावादी, चरघांकी बाउंड प्रदान करता है, जबकि तर्कसंगत भार और सिंगल-लेयर आर्किटेक्चर की विशिष्ट संरचना का लाभ उठाकर बहुपद बाउंड प्राप्त किया जा सकता है। यह सुझाव देता है कि शैलो (shallow) नेटवर्क्स में निर्णय सीमाओं की ज्यामितीय जटिलता सामान्य फ्यूनॉमियल थ्योरी द्वारा सूचित की गई जटिलता से काफी कम है।

लेखक मल्टी-लेयर नेटवर्क्स के संबंध में विनम्र रहते हैं। वे स्पष्ट रूप से कहते हैं कि सिंगल लेयर्स के लिए पॉलिनॉमियल-इन-विड्थ बाउंड स्वचालित रूप से गहरे नेटवर्क्स तक विस्तारित नहीं होता है क्योंकि "लेयर्ड-रोले ऑब्स्ट्रक्शन" (layered-Rolle obstruction) और लेयर्ड चेन्स के लिए मल्टी-डायमेंशनल रोल लेम्मा का अभाव है। वे कंजेक्चर 6.1 (ब्लॉक खांव्स्की बाउंड) और कंजेक्चर 4.13 प्रस्तावित करते हैं, जो सुझाव देते हैं कि मल्टी-लेयर नेटवर्क्स के लिए पूर्णतः पॉलिनॉमियल बाउंड मौजूद हो सकते हैं, लेकिन इसे सिद्ध करने के लिए वर्तमान अनुक्रमिक खांव्स्की प्रमेय के अनुप्रयोग से परे नए उपकरणों की आवश्यकता है। इसके अतिरिक्त, पेपर नोट करता है कि वर्तमान परिणाम सुचारूता (नॉन-वेनिशिंग ग्रेडिएंट्स) की मांग करते हैं, और इन बाउंड्स को सिंगुलर निर्णय सीमाओं (जो ReLU नेटवर्क्स या विशिष्ट वेट कॉन्फ़िगरेशन में आम हैं) तक विस्तारित करना एक खुला प्रश्न बना हुआ है क्योंकि पफ़ाफियन फलनों के लिए कॉम्प्लेक्स-एनालिटिक टूल्स का अभाव है।

द "फैफ़ियन" प्लेग्राउंड (The "Pfaffian" Playground)

मुख्य खोज: "फज़" (Fuzz) को मापना

वे स्पष्ट रूप से क्या खारिज करते हैं

वे कितने आश्वस्त हैं?

"डेली लाइफ" का टेकअवे (The "Everyday" Takeaway)

इसी तरह के और पेपर