🔢 mathematics

Sharp Sobolev Sandwich and Approximation Rates of Radon-Domain $L^p$ Ridge Integral Spaces for ReLU $^k$ Networks

यह शोध पत्र यह स्थापित करता है कि शैलो $\mathrm{ReLU}^k$ नेटवर्क द्वारा निरूपित होने वाले फलनों का रेडॉन-डोमेन $L^p$ स्थान, क्रिटिकल रेगुलैरिटी स्पेस $H^{k+(d+1)/2}$ के चारों ओर एक शार्प सोबोलेव सैंडविच (Sobolev sandwich) बनाता है, जिसमें अंतराल सीगर-सोगे-स्टीन (Seeger–Sogge–Stein) लॉस द्वारा निर्धारित होता है, और विस्क्रीटाइज्ड न्यूरल नेटवर्क के लिए इष्टतम $L^p$ एप्रोक्सिमेशन दरों को प्राप्त करने के लिए इस सिद्धांत का लाभ उठाता है।

मूल लेखक: Juncai He, Zitong Tian

प्रकाशित 2026-06-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Juncai He, Zitong Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप केवल साधारण, सपाट शीट (sheets) का उपयोग करके एक जटिल 3D मूर्तिकला (एक गणितीय फलन/function) बनाने की कोशिश कर रहे हैं। मशीन लर्निंग की दुनिया में, इन "शीटों" को न्यूरॉन्स (neurons) कहा जाता है और उन्हें एक साथ जोड़ने के तरीके को न्यूरल नेटवर्क (neural network) कहा जाता है।

यह शोध पत्र एक ब्लूप्रिंट की तरह है जो बताता है कि आप ReLUk नामक एक विशिष्ट प्रकार की शीट का उपयोग करके किसी भी आकार को कितनी अच्छी तरह बना सकते हैं। यहाँ "k" का अर्थ है कि शीट को $k$ बार मोड़ा या झुकाया जा सकता है (जो इसे अधिक चिकना या लचीला बनाता है)।

यहाँ उनकी खोज का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: आपको कितनी शीटों की आवश्यकता है?

लंबे समय से, हम जानते थे कि पर्याप्त शीटों (न्यूरॉन्स) के साथ आप लगभग किसी भी आकार को बना सकते हैं। लेकिन हमें यह नहीं पता था कि एक विशिष्ट स्तर का विवरण (detail) प्राप्त करने के लिए आपको कितनी शीटों की आवश्यकता होगी।

प्रश्न: यदि मैं चाहता हूँ कि मेरी मूर्तिकला चिकनी और सटीक हो, तो क्या मुझे 10 शीट चाहिए, 1,000, या 1,000,000?
लक्ष्य: लेखक सबसे चिकने संभव आकारों के लिए सटीक "नुस्खा" (recipe) और उन्हें बनाने का सबसे कुशल तरीका खोजना चाहते थे।

2. गुप्त सामग्री: "राडोन डोमेन" (The Radon Domain)

इसे हल करने के लिए, लेखकों ने मूर्तिकला को सामने से नहीं देखा। इसके बजाय, उन्होंने इसे राडोन ट्रांसफॉर्म (Radon Transform) नामक एक जादुई लेंस के माध्यम से देखा।

उपमा: कल्पना कीजिए कि आप एक ब्रेड के लोफ (loaf) को हर संभव कोण से पतले टुकड़ों में काट रहे हैं। राडोन ट्रांसफॉर्म उन सभी 2D स्लाइस (slices) का संग्रह है।
खोज: लेखकों ने महसूस किया कि यदि वे पूरे लोफ के बजाय "स्लाइस" (राडोन डोमेन) को देखते हैं, तो गणित बहुत स्पष्ट हो जाता है। उन्होंने इन स्लाइस की चिकनाई के आधार पर एक विशेष "स्थान" (functions का पुस्तकालय) को परिभाषित किया। वे इसे राडोन-डोमेन $L^p$ स्पेस कहते हैं।

3. "सैंडविच" की खोज

यह इस शोध पत्र का सबसे बड़ा "अहा!" क्षण है।

आदर्श मामला ( $p=2$ ): जब वे एक विशिष्ट गणितीय तरीके से देखते हैं (जैसे औसत त्रुटि को मापना), तो इन न्यूरॉन्स से आप जो आकारों का पुस्तकालय बना सकते हैं, वह बिल्कुल ही एक प्रसिद्ध चिकने आकारों के वर्ग के समान है जिसे सोबोलेव स्पेस (Sobolev spaces) कहा जाता है। यह एक आदर्श मिलान है, जैसे दो पहेली के टुकड़े बिना किसी अंतर के फिट हो जाते हैं।
सामान्य मामला ( $1 < p < \infty$ ): जब आप त्रुटि को मापने का तरीका बदलते हैं (विभिन्न प्रकार की "खुरदरापन" को देखना), तो वह आदर्श मिलान एक "सैंडविच" में बदल जाता है।
- ऊपरी ब्रेड (The Bread - Top): आकारों का एक थोड़ा अधिक चिकना वर्ग।
- निचली ब्रेड (The Bread - Bottom): आकारों का एक थोड़ा अधिक खुरदरा वर्ग।
- फिलिंग (The Filling): वे आकार जिन्हें आपका न्यूरल नेटवर्क वास्तव में बना सकता है।
- अंतराल (The Gap): लेखकों ने ऊपरी और निचली ब्रेड के बीच के अंतराल के सटीक आकार की गणना की। यह अंतराल एक ज्ञात गणितीय "घर्षण" (जिसे सीगर-सोगे-स्टीन लॉस कहा जाता है) के कारण होता है जो डेटा को काटने और फिर से जोड़ने के दौरान होता है। यह स्लाइस को वापस लोफ में बदलने की अपरिहार्य लागत है।

4. यह क्यों मायने रखता है? (अनुमान दर - Approximation Rate)

अब जब वे जानते हैं कि ये नेटवर्क किस प्रकार के आकार बना सकते हैं, तो वे भविष्यवाणी कर सकते हैं कि नेटवर्क कितनी तेज़ी से सीखता है।

नुस्खा: उन्होंने दिखाया कि यदि आप अपने न्यूरॉन्स को यादृच्छिक रूप से (randomly) चुनते हैं (जैसे ब्रेड के रैंडम स्लाइस लेना) लेकिन एक स्मार्ट और समान तरीके से, तो आप एक बहुत ही सटीक मूर्तिकला बहुत तेज़ी से बना सकते हैं।
परिणाम: उन्होंने सिद्ध किया कि सबसे चिकने आकारों के लिए, त्रुटि उस सबसे तेज़ गति से कम होती है जो गणित द्वारा अनुमत है।
- यदि आप न्यूरॉन्स की संख्या दोगुनी करते हैं, तो त्रुटि केवल थोड़ी कम नहीं होती; यह एक विशिष्ट, इष्टतम दर पर गिरती है।
- उन्होंने यह भी दिखाया कि कैसे पिछले तरीकों में मौजूद एक छोटे "लॉगैरिद्मिक" (logarithmic) दंड को हटाया जा सकता है, जिससे प्रक्रिया और भी अधिक कुशल हो जाती है।

सरल अंग्रेजी में सारांश (हिंदी अनुवादित सारांश)

मान लीजिए कि लेखक उन वास्तुकारों की तरह हैं जिन्होंने अंततः "ReLU" ईंटों से निर्माण करने के सटीक भौतिक विज्ञान (physics) को समझ लिया है।

उन्होंने ईंटों को देखने का एक विशेष तरीका (राडोन डोमेन) खोजा जो उनकी वास्तविक क्षमता को प्रकट करता है।
उन्होंने सिद्ध किया कि सबसे सामान्य माप के लिए, ये ईंटें बिल्कुल सबसे चिकने ढांचे बना सकती हैं।
अन्य मापों के लिए, उन्होंने सिद्ध किया कि ये ढांचे दो ज्ञात सीमाओं के बीच पूरी तरह फिट बैठते हैं (द "सैंडविच"), और उनके बीच का अंतराल गणितीय रूप से अपरिहार्य है।
अंत में, उन्होंने दिखाया कि एक सरल, रैंडम सैंपलिंग विधि का उपयोग करके, आप इन संरचनाओं को अधिकतम गति और दक्षता के साथ बना सकते हैं, जो यह सिद्ध करता है कि ये सरल नेटवर्क चिकने पैटर्न सीखने के लिए अविश्वसनीय रूप से शक्तिशाली उपकरण हैं।

संक्षेप में: उन्होंने केवल यह नहीं कहा कि "न्यूरल नेटवर्क काम करते हैं।" उन्होंने यह लिखने के लिए एक सटीक निर्देश पुस्तिका लिखी कि वे कितनी अच्छी तरह काम करते हैं, वे क्यों काम करते हैं, और वे कितनी तेज़ी से सीख सकते हैं, जिसे उन्होंने डेटा की छिपी हुई संरचना को देखने के लिए एक चतुर गणितीय लेंस का उपयोग किया।

तकनीकी सारांश: शार्प सोबोलेव सैंडविच और रेडोन-डोमेन $L^p$ रिज इंटीग्रल स्पेस के लिए एप्रोक्सिमेशन दरें

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ReLU $^k$ एक्टिवेशन ( $\sigma_k(x) = \max\{0, x\}^k$ ) वाले शैलो न्यूरल नेटवर्क के मात्रात्मक सन्निकटन सिद्धांत (quantitative approximation theory) को संबोधित करता है। जबकि गुणात्मक यूनिवर्सल एप्रोक्सिमेशन थ्योरम्स अच्छी तरह से स्थापित हैं, एक दिए गए लक्ष्य वर्ग (जैसे कि सोबोलेव स्पेस) में कार्यों को सन्निकट (approximate) करने के लिए आवश्यक न्यूरॉन्स की सटीक संख्या निर्धारित करना एक केंद्रीय चुनौती बनी हुई है।

विशेष रूप से, लेखक निम्नलिखित लक्ष्यों को प्राप्त करना चाहते हैं:

रेडोन डोमेन में $L^p$ कोएफिशिएंट डेंसिटीज़ के साथ रिज इंटीग्रल रिप्रेजेंटेशन द्वारा जनरेट किए गए फंक्शन स्पेस का लक्षण वर्णन करना।
इन रेडोन-डोमेन स्पेस और क्लासिकल सोबोलेव स्पेस $W^{s,p}(\Omega)$ के बीच सटीक संबंध स्थापित करना।
नियतात्मक इंटरपोलेशन (deterministic interpolation) और रैंडम सैंपलिंग का उपयोग करके इन इंटीग्रल रिप्रेजेंटेशन के विविक्तीकरण (discretization) के लिए सटीक एप्रोक्सिमेशन दरें प्राप्त करना, विशेष रूप से $L^p$ रिजीम ( $1 < p < \infty$ ) और हिल्बर्ट केस ( $p=2$ ) में।

2. कार्यप्रणाली (Methodology)

लेखक रेडोन ट्रांसफॉर्म (Radon transform) और फूरियर इंटीग्रल ऑपरेटर (FIO) थ्योरी पर आधारित एक ढांचे का उपयोग करते हैं।

रेडोन-डोमेन रिप्रेजेंटेशन: मुख्य वस्तु $RL^p_k(\Omega)$ है, जो बाउंडेड बायस विंडो $M_R = S^{d-1} \times [-R, R]$ पर $L^p$ डेंसिटीज़ $g(w, b)$ पर रिज इंटीग्रल ऑपरेटर $S^k_R$ के प्रभाव के रूप में परिभाषित है। इंटीग्रल इस प्रकार है:
$S^k_R g(x) = \int_{M_R} \sigma_k(w \cdot x - b) g(w, b) \, d\lambda(w, b)$
एनालिसिस और सिंथेसिस ऑपरेटर्स: पेपर एक एनालिसिस ऑपरेटर $A_k$ (जिसमें रेडोन ट्रांसफॉर्म, एक रैंप फ़िल्टर, और $(k+1)$ -वें क्रम के डेरिवेटिव शामिल हैं) और एक सिंथेसिस ऑपरेटर $S^k_R$ को परिभाषित करता है। इन ऑपरेटर्स और कैनोनिकल डेंसिटी $g_u = A_k u$ के बीच का संबंध इस सिद्धांत का केंद्र है।
फूरियर एनालिसिस ( $p=2$ ): हिल्बर्ट केस के लिए, लेखक फूरियर एनालिसिस और प्लैन्चरल थ्योरम का उपयोग करके क्रिटिकल सोबोलेव स्पेस $H^{s_k}(\Omega)$ के साथ एक सटीक आइसोमेट्री स्थापित करने के लिए करते हैं, जहाँ $s_k = k + \frac{d+1}{2}$ ।
FIO रेगुलैरिटी ( $1 < p < \infty$ ): सामान्य $p$ के लिए, सटीक आइसोमेट्री विफल हो जाती है। लेखक $L^p$ स्पेस पर रेडोन ट्रांसफॉर्म और उसके ड्यूल के रेगुलैरिटी का विश्लेषण करने के लिए फूरियर इंटीग्रल ऑपरेटर्स के सिद्धांत, विशेष रूप से सीगर-सोगे-स्टीन (Seeger–Sogge–Stein) थ्योरम का उपयोग करते हैं। यह एक "लॉस" टर्म $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$ पेश करता है।
विविक्तीकरण (Discretization): इंटीग्रल रिप्रेजेंटेशन को एक नियतात्मक इंटरपोलेशन स्केलेटन और न्यूरॉन्स के यूनिफॉर्म रैंडम सैंपलिंग के संयोजन का उपयोग करके विविक्त (discretize) किया जाता है ताकि संभाव्य एप्रोक्सिमेशन बाउंड्स प्राप्त किए जा सकें।

3. प्रमुख योगदान और परिणाम (Key Contributions and Results)

A. रेडोन-डोमेन $L^p$ स्पेस और सोबोलेव सैंडविच
पेपर $RL^p_k(\Omega)$ को परिभाषित करता है और एक "सोबोलेव सैंडविच" एम्बेडिंग थ्योरम सिद्ध करता है। $p=2$ के मामले के विपरीत जहाँ यह स्पेस सटीक रूप से एक सोबोलेव स्पेस के साथ मेल खाता है, $p \neq 2$ के लिए, रेडोन-डोमेन स्पेस दो सोबोलेव स्पेसों के बीच सैंडविच किया गया है, जिसका गैप सीगर-सोगे-स्टीन लॉस द्वारा निर्धारित होता है।

थ्योरम 3.3 (सोबोलेव सैंडविच):
$W^{s_{k,p}, p}(\Omega) \hookrightarrow RL^p_k(\Omega) \hookrightarrow W^{r_{k,p}, p}(\Omega)$
जहाँ स्मूथनेस एक्सपोनेंट्स हैं:
$s_{k,p} = k + \frac{d+1}{2} + \delta_p, \quad r_{k,p} = k + \frac{d+1}{2} - \delta_p$
और $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$ $δ_{p} = (d - 1) ∣ \frac{1}{p} - \frac{1}{2} ∣$ ।
- जब $p=2$ , तो $\delta_2 = 0$ , और सैंडविच सटीक पहचान $RL^2_k(\Omega) = H^{s_k}(\Omega)$ में सिमट जाता है।
- गैप $s_{k,p} - r_{k,p} = 2\delta_p$ को ऑप्टिमल सिद्ध किया गया है; कम गैप के साथ कोई निरंतर एम्बेडिंग मौजूद नहीं है।

B. सटीक $L^2$ आइसोमेट्री
$p=2$ के लिए, पेपर एक प्रारंभिक फूरियर एनालिसिस प्रूफ (थ्योरम 2.2) प्रदान करता है जो दिखाता है कि $RL^2_k(\Omega)$ सटीक क्रिटिकल सोबोलेव स्पेस $H^{s_k}(\Omega)$ है, जिसमें तुल्य नॉर्म्स (equivalent norms) हैं। यह ReLU $^k$ नेटवर्क्स के रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) के संबंध में पिछले परिणामों को स्पष्ट करता है, जो वेट और बायस पैरामीटर्स को स्फीयर के बजाय सिलेंडर पर अलग करता है।

C. एप्रोक्सिमेशन दरें (Approximation Rates)
लेखक लीनियरलाइज्ड न्यूरल नेटवर्क्स के लिए उच्च-संभावना वाली एप्रोक्सिमेशन दरें प्राप्त करने के लिए इंटीग्रल रिप्रेजेंटेशन को विविक्त करते हैं।

थ्योरम 4.1: किसी भी $u \in RL^p_k(\Omega)$ के लिए, ऐसे कोएफिशिएंट्स मौजूद हैं कि एप्रोक्सिमेशन एरर $L^p(\Omega)$ में इस प्रकार घटता है:
$\|u - f_n\|_{L^p} \leq C (\log(2/\delta))^{\alpha_p} \|u\|_{RL^p_k} n^{-\alpha_p - \gamma_{k,p}}$
जहाँ $\gamma_{k,p} = \frac{k+1/p}{d}$ और $\alpha_p = 1 - \frac{1}{\min(p, 2)}$ ।
ऑप्टिमल हिल्बर्ट रेट: $p=2$ पर, दर $O(n^{-s_k/d})$ में सरल हो जाती है, जो पूर्ववर्ती रैंडम फीचर विश्लेषणों में मौजूद लॉगरिदमिक फैक्टर्स के बिना, क्रिटिकल सोबोलेव स्पेस $H^{s_k}(\Omega)$ के लिए ऑप्टिमल इंफॉर्मेशन-थ्योरेटिक रेट को रिकवर करती है।

4. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि वह रेडोन ट्रांसफॉर्म के लेंस के माध्यम से शैलो ReLU $^k$ नेटवर्क्स की एप्रोक्सिमेशन क्षमताओं को समझने के लिए एक एकीकृत और शार्प थ्योरिटिकल फ्रेमवर्क प्रदान करता है।

रेगुलैरिटी का स्पष्टीकरण: यह कार्य स्पष्ट करता है कि कैसे एक्टिवेशन फंक्शन की रेगुलैरिटी (जो $k+1$ डेरिवेटिव योगदान देती है) और रेडोन ट्रांसफॉर्म का बैक-प्रोजेक्शन (जो $L^2$ में $\frac{d-1}{2}$ डेरिवेटिव, या $L^p$ में $\frac{d-1}{2} - \delta_p$ डेरिवेटिव योगदान देता है) संयुक्त रूप से रिप्रेजेंटेबल फंक्शन्स की क्रिटिकल स्मूथनेस को निर्धारित करते हैं।
बाउंड्स की शार्पनेस: $L^p$ रिजीम में गैप के लिए सीगर-सोगे-स्टीन लॉस को सटीक तंत्र के रूप में पहचानकर, यह पेपर स्थापित करता है कि उनका प्राप्त सोबोलेव सैंडविच शार्प है। यह इस प्रश्न को हल करता है कि $p \neq 2$ सेटिंग्स में जाने पर कितनी रेगुलैरिटी खो जाती है।
ऑप्टिमल दरें: प्राप्त एप्रोक्सिमेशन दरें $p=2$ के लिए ज्ञात ऑप्टिमल दरों से मेल खाती हैं, जो पुष्टि करती हैं कि फिक्स्ड, वेल-डिस्ट्रीब्यूटेड पैरामीटर्स वाले लीनियरलाइज्ड नेटवर्क क्रिटिकल सोबोलेव स्पेस $H^{s_k}(\Omega)$ के लिए इंफॉर्मेशन-थ्योरेटिक लिमिट प्राप्त कर सकते हैं।

लेखक इस बात पर जोर देते हैं कि उनके परिणाम $L^2$ केस के लिए प्रारंभिक फूरियर एनालिसिस और $L^p$ केस के लिए स्थापित FIO थ्योरी का उपयोग करके प्राप्त किए गए हैं, जिससे जटिल मशीनरी की आवश्यकता के बिना सटीक स्थिरांक (constants) और शार्प एक्सपोनेंट्स प्रदान किए गए हैं। यह कार्य इंटीग्रल रिप्रेजेंटेशन थ्योरी, हार्मोनिक एनालिसिस और न्यूरल नेटवर्क एप्रोक्सिमेशन के मात्रात्मक सिद्धांत के बीच के अंतर को पाटने का काम करता है।