Optimal Neural Network Approximation via Empirical Least Squares with Deterministic Samples

तकनीकी सारांश: नियतात्मक नमूनों के साथ अनुभवजन्य लघुतम वर्गों के माध्यम से इष्टतम न्यूरल नेटवर्क सन्निकटन

समस्या विवरण
यह कार्य यूनिट स्फीयर $S^d$ पर दीर्घवृत्तीय स्पेक्ट्रल समीकरणों $L_\beta u = f$ के लिए विविक्त अवशिष्ट लघुतम वर्ग (discrete residual least-squares) सन्निकटन के सैद्धांतिक विश्लेषण को संबोधित करता है। यह अध्ययन रेलु (ReLU$^k$) न्यूरल नेटवर्क पर केंद्रित है, जहाँ सक्रियण फलन (activation function) $\sigma_k(x) = (\max\{0, x\})^k$ है, जहाँ $k \in \mathbb{N}$। मुख्य चुनौती निरंतर सन्निकटन सिद्धांत और विविक्त अनुभवजन्य जोखिम न्यूनीकरण (empirical risk minimization) के बीच के अंतर को पाटना है। विशेष रूप से, लेखक यह जांचते हैं कि क्या इष्टतम सन्निकटन दरें, जो आमतौर पर निरंतर फलन स्थानों के लिए व्युत्पन्न की जाती हैं, बिना संख्यात्मक एकीकरण (क्वाड्रचर) के, परिमित संख्या में नियतात्मक या यादृच्छिक कोलोकेशन बिंदुओं का उपयोग करके प्राप्त की जा सकती हैं। यह कार्य उन मामलों पर विचार करता है जहाँ हिडन लेयर के पैरामीटर (भार और बायस) स्फीयर पर स्थिर होते हैं, जिससे समस्या आउटपुट गुणांकों पर एक रैखिक लघुतम वर्ग अनुकूलन में बदल जाती है।

कार्यप्रणाली
लेखक पैरामीटर स्थान की ज्यामिति और नेटवर्क फलनों के स्पेक्ट्रल गुणों पर आधारित एक कठोर ढांचा विकसित करते हैं। प्रमुख कार्यप्रणाली घटक शामिल हैं:

1. गोलीय सामान्यीकरण (Spherical Normalization): $\sigma_k$ की धनात्मक समरूपता (positive homogeneity) का लाभ उठाते हुए, लेखक पैरामीटर स्थान को यूनिट स्फीयर $S^d \subset \mathbb{R}^{d+1}$ पर सामान्यीकृत करते हैं। नेटवर्क फलन रिज फलन (ridge functions) $\sigma_k(\theta \cdot \eta)$ का रूप लेते हैं जहाँ $\theta, \eta \in S^d$।
2. बर्नस्टीन असमानताएं (Bernstein Inequalities): एक केंद्रीय विश्लेषणात्मक उपकरण के रूप में, वे रैखिकीकृत ReLU$^k$ नेटवर्क स्थानों के लिए बर्नस्टीन असमानता का व्युत्पन्न करते हैं। यह असमानता उच्च-क्रम सोबोलेव (Sobolev) मानदंडों को निम्न-क्रम मानदंडों द्वारा सीमित करती है, जिसे नेटवर्क मापदंडों के प्रति-ध्रुवीय पृथक्करण दूरी (antipodal separation distance) $h$ के व्युत्क्रम द्वारा स्केल किया जाता है। विशेष रूप से, $0 \le s < r < k + 1/2$ के लिए, असमानता $\|v_n\|_{H^r(S^d)} \lesssim h^{-(r-s)} \|v_n\|_{H^s(S^d)}$ स्थापित की गई है।
3. अवशिष्ट स्थान विश्लेषण (Residual Space Analysis): लेखक इन असमानताओं को अवशिष्ट स्थान $V_{n,\beta} = L_\beta L^k_n(\Theta_n)$ तक विस्तारित करते हैं, जहाँ $L_\beta$ क्रम $\beta$ का एक धनात्मक दीर्घवृत्तीय स्पेक्ट्रल मल्टीप्लायर है। यह PDE को हल करने के संदर्भ में स्थिरता अनुमानों की अनुमति देता है।
4. नमूनाकरण असमानताएं (Sampling Inequalities): विविक्त लघुतम वर्ग समस्या का विश्लेषण मार्सेनिक–ज़िगमुंड (Marcinkiewicz–Zygmund) असमानताओं और नमूनाकरण अनुमानों का उपयोग करके किया जाता है ताकि अनुभवजन्य मानदंडों (कोलोकेशन बिंदुओं पर गणना किए गए) की तुलना निरंतर सोबोलेव मानदंडों से की जा सके।
5. सीमित डोमेन में विस्तार: क्रम-शून्य मामले ($\beta=0$) के लिए, लेखक एक बाउंडेड लिप्सचिट्ज़ डोमेन पर एक एफाइन-नेटवर्क व्याख्या का निर्माण करते हैं, जो लक्ष्य फलन को स्फीयर पर लिफ्ट करता है, गोलाकार सिद्धांत लागू करता है, और परिणाम को वापस डोमेन पर प्रतिबंधित करता है। यह रचनात्मक सोबोलेव एक्सटेंशन ऑपरेटरों और होमोजेनियस रूपांतरणों पर निर्भर करता है।

प्रमुख योगदान और परिणाम

• इष्टतम नियतात्मक दरें: पेपर सिद्ध करता है कि प्रति-ध्रुवीय अर्ध-समान (antipodally quasi-uniform) नेटवर्क पैरामीटर सेट और अर्ध-समान कोलोकेशन बिंदुओं के लिए, जिसमें नमूना आकार $m \gtrsim n$ है, विविक्त अवशिष्ट लघुतम वर्ग समाधान $u_{n,m}$ इष्टतम सन्निकटन दर प्राप्त करता है। विशेष रूप से, यदि $k > \beta + \frac{d-1}{2}$ और लक्ष्य फलन $f$ पर्याप्त सुगमता (smoothness) रखता है, तो त्रुटि इस प्रकार होती है:
  $$\|u - u_{n,m}\|_{H^{s+\beta}(S^d)} \lesssim n^{-\frac{r-s}{d}} \|f\|_{H^r(S^d)}$$
  यह दर सर्वोत्तम संभव निरंतर सन्निकटन दर से मेल खाती है, जो यह प्रदर्शित करती है कि नियतामक नमूनों का उपयोग करने पर विविक्तकरण त्रुटि अभिसरण क्रम (convergence order) को कम नहीं करती है।
• उच्च-संभाव्यता यादृच्छिक अनुमान: स्वतंत्र और समान रूप से वितरित (i.i.d.) एकसमान कोलोकेशन बिंदुओं के लिए, लेखक एक उच्च-संभाव्यता अवशिष्ट अनुमान स्थापित करते हैं। यह दर लगभग इष्टतम है, जिसमें केवल एक लॉगरिदमिक कारक और सुगमता में एक अनिश्चित रूप से छोटा नुकसान ($\epsilon$) होता है।
• इनवर्स एप्रोक्सिमेशन थ्योरम: बर्नस्टीन असमानता के परिणाम के रूप में, पेपर एक इनवर्स थ्योरम स्थापित करता है: यदि एक फलन को एक निश्चित दर पर रैखिकीकृत ReLU$^k$ नेटवर्क द्वारा सन्निकरित किया जा सकता है, तो फलन संबंधित सोबोलेव सुगमता रखता है।
• एफाइन नेटवर्क व्याख्या: $\beta=0$ के लिए, गोलाकार परिणामों को बाउंडेड डोमेन $\Omega \subset \mathbb{R}^d$ पर अनुवादित किया जाता है। लेखक दिखाते हैं कि एक गोलाकार कैप पर प्रतिबंधित एक गोलाकार रैखिकीकृत नेटवर्क, एक साधारण एफाइन ReLU$^k$ नेटवर्क को प्रेरित करता है। यह $\Omega$ पर फलनों को गोलाकार सिद्धांत का उपयोग करके सन्निकृत करने के लिए एक रचनात्मक पथ प्रदान करता है, हालांकि लेखक नोट करते हैं कि यह केवल $\Omega$ में नमूनों से बने लघुतम वर्ग के लिए प्रत्यक्ष स्थिरता प्रमाण नहीं है।

महत्व और दावे

पेपर का दावा है कि यह विविक्त लघुतम वर्ग विविक्तकरण के तहत रैखिकीकृत न्यूरल नेटवर्क स्थानों के लिए (1.7) के रूप में पहले कठोर सन्निकटन परिणाम प्रदान करता है, यहाँ तक कि समान-भार नमूनाकरण (equal-weight sampling) के साथ भी। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण संख्यात्मक एकीकरण चरण को दरकिनार करता है, जो अक्सर न्यूरल नेटवर्क-आधारित PDE सॉल्वर (जैसे फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स) में पूर्वाग्रह और अस्थिरता का स्रोत होता है।

महत्व निम्नलिखित में निहित है:

1. स्थिरता तंत्र: स्फीयर पर ReLU$^k$ स्थानों के लिए बर्नस्टीन असमानता का व्युत्पन्न मौलिक स्थिरता तंत्र के रूप में कार्य करता है, जो अवशिष्ट स्थान को नियंत्रित करता है और यह सुनिश्चित करता है कि विविक्त समस्या सुव्यवस्थित (well-posed) और अभिसारी है।
2. नमूना जटिलता (Sample Complexity): परिणाम प्रदर्शित करते हैं कि इष्टतम अभिसरण के लिए आवश्यक नमूना आकार प्रशिक्षित आउटपुट गुणांकों की संख्या के आनुपातिक है ($m \as \text{ } n$), जो क्वाड्रचर त्रुटियों को दूर करने के लिए काफी घने नमूनाकरण की आवश्यकता वाले तरीकों की तुलना में एक अनुकूल नमूना जटिलता है।
3. सैद्धांतिक आधार: यह कार्य संभाव्यतात्मक सामान्यीकरण सीमाओं (probabilistic generalization bounds) से आगे बढ़कर, ज्यामितीय मापदंड सेट पर आधारित नियतात्मक त्रुटि अनुमानों के साथ, न्यूरल नेटवर्क के विविक्त लघुतम वर्ग प्रशिक्षण के लिए एक गणितीय रूप से कठोर आधार प्रदान करता है।

सीमाएं और दायरा

लेखक स्पष्ट रूप से कहते हैं कि उनके बाउंडेड-डोमेन परिणाम क्रम-शून्य मामले ($\beta=0$) तक ही सीमित हैं। वे सामान्य दीर्घवृत्तीय PDEs ($\beta > 0$) के लिए बाउंडेड डोमेन पर सीमा स्थितियों के साथ लघुतम वर्ग के स्थिरीकरण को हल करने का दावा नहीं करते हैं, यह नोट करते हुए कि ऐसे सिद्धांत को सीमा अवशेषों (boundary residuals) और परिवर्तनशील-गुणांक ऑपरेटरों को संभालने की आवश्यकता होगी, जो भविष्य के कार्य के लिए एक खुला दिशा है। संख्यात्मक प्रयोगों को भविष्य के व्यवहार के अनुभवजन्य प्रमाण के बजाय सैद्धांतिक भविष्यवाणियों के समर्थन के लिए एक सीमित-रेंज साक्ष्य के रूप में प्रस्तुत किया गया है।