Explicit integral representations and quantitative bounds for two-layer ReLU networks

तकनीकी सारांश: दो-परत वाले ReLU नेटवर्क के लिए स्पष्ट समाकल निरूपण और मात्रात्मक सीमाएँ

लेखक: एंथोनी ली (यूनिवर्सिटी ऑफ ब्रिस्टल)
दिनांक: अप्रैल 28, 2026

1. समस्या विवरण

यद्यपि अनुभवजन्य साक्ष्य यह सुझाव देते हैं कि न्यूरल नेटवर्क उच्च-आयामी फलनों (high-dimensional functions) को अनुमानित करने में अत्यधिक सक्षम हैं, लेकिन इस क्षमता का एक सुदृढ़ सैद्धांतिक स्पष्टीकरण—विशेष रूप से ReLU सक्रियणों (activations) के विशिष्ट तंत्र के संबंध में—एक खुला प्रश्न बना हुआ है। मौजूदा सैद्धांतिक ढांचे (जैसे बैरॉन का कार्य) अक्सर फूरियर-आधारित दृष्टिकोणों पर निर्भर करते हैं, जिन्हें ReLU जैसे विशिष्ट सक्रियण कार्यों के लिए स्पष्ट, व्याख्या योग्य निरूपणों में अनुवादित करना कठिन हो सकता है।

यह शोध पत्र दो-परत वाले ReLU नेटवर्क के भीतर बहुचर बहुपदों (multivariate polynomials) के लिए स्पष्ट समाकल निरूपण (explicit integral representations) खोजने और मात्रात्मक त्रुटि सीमाओं (quantitative error bounds) को स्थापित करने के प्रश्न को संबोधित करता है जो "आयामीता के अभिशाप" (curse of dimensionality) से ग्रस्त नहीं होते हैं (अर्थात, ऐसी सीमाएँ जो आयाम $d$ या घात $k$ पर इस तरह निर्भर नहीं करतीं कि वे विस्फोट कर जाएं)।

2. कार्यप्रणाली

लेखक फूरियर ट्रांसफॉर्म के बजाय विशेष रूप से ReLU फलन के लिए तैयार किए गए एक समाकल ऑपरेटर (integral operator) के अध्ययन की ओर दृष्टिकोण बदलते हैं। कार्यप्रणाली इन मुख्य चरणों का अनुसरण करती है:

• ReLU ऑपरेटर ($T_\mu$): शोध पत्र एक ऑपरेटर $T_\mu g(x) = \int g(\langle x, v \rangle v) \mu(dv)$ को परिभाषित करता है। लक्ष्य एक "ReLU प्रतिनिधि" $g$ खोजना है ताकि $f = T_\mu g$ हो सके।
• स्पेक्ट्रल विश्लेषण: फंक-हेके सूत्र (Funk–Hecke formula) का उपयोग करते हुए, लेखक यह प्रदर्शित करते हैं कि गोलाकार सममित वितरणों (spherically symmetric distributions) $\mu$ के लिए, ऑपरेटर $T_\mu$ बहुपदों के स्थान पर एक बायजेक्टिव (bijective) है। यह आइगेनफंक्शंस (eigenfunctions/harmonic polynomials) का उपयोग करके एक आधार (basis) के निर्माण की अनुमति देता है।
• हार्मोनिक एक्सटेंशन और लिफ्टिंग: निरूपणों को सरल बनाने के लिए, लेखक एक "लिफ्टिंग" तकनीक का उपयोग करते हैं। एक बहुपद $f \in \mathbb{R}^d$ को एक हार्मोनिक बहुपद $H(f) \in \mathbb{R}^{d+1}$ में विस्तारित किया जाता है। यह नेटवर्क को अपने घटकों को "शार्पन" (sharpened) करके फलन को प्रस्तुत करने की अनुमति देता है।
• हीट इक्वेशन कनेक्शन: लेखक एक "शार्प्ड" निरूपण पेश करते हैं जहाँ बहुपद के समरूप घटकों (homogeneous components) को इनवर्स हीट इक्वेशन (समय में पीछे की ओर हीट इक्वेशन चलाना) के माध्यम से संसाधित किया जाता है। यह घटकों को "डीनॉइज़" (denoise) करता है, जिससे अधिक कुशल निरूपण प्राप्त होता है।
• अनुकूलन (Optimization): शोध पत्र इस सिद्धांत का उपयोग करता है कि एक रैंडम दो-परत वाला नेटवर्क एक समाकल निरूपण का अनुमान लगाता है। अपेक्षित $L_2(D)$ त्रुटि को कम करने के लिए एक इष्टतम संभाव्यता माप $\pi$ चुनकर, लेखक नेटवर्क के प्रदर्शन के लिए एक नियतात्मक सीमा (deterministic bound) प्राप्त करते हैं।

3. मुख्य योगदान

• स्पष्ट निर्माण: फूरियर विधियों के विपरीत, यह शोध पत्र सीधे तौर पर यह लिखने का एक रचनात्मक तरीका प्रदान करता है कि किसी भी बहुचर बहुपद को ReLU न्यूरॉन्स के समाकल के रूप में कैसे लिखा जाए।
• शार्प्ड निरूपण (प्रमेय 23): $f^\sharp_k = \exp(-\frac{\sigma^2}{2}\Delta)f_k$ वाले एक विशिष्ट समाकल निरूपण का व्युत्पन्न। यह ReLU नेटवर्क को हर्मिट बहुपदों (Hermite polynomials) और हीट इक्वेशन के सिद्धांत से जोड़ता है।
• आयाम-स्वतंत्र सीमाएँ: ऐसी त्रुटि सीमाओं का विकास जो कच्चे आयाम या घात के बजाय बहुपद के घटकों के फिशर नॉर्म (Fischer norm) पर निर्भर करती हैं।
• हार्मोनिक लिफ्टिंग फ्रेमवर्क: आयामीता को एक से बढ़ाकर जटिल बहुपद अनुमान समस्याओं को सरल हार्मोनिक समस्याओं में बदलने की एक विधि।

4. मुख्य परिणाम

• अस्तित्व और विशिष्टता: किसी भी गोलाकार सममित $\mu$ के लिए, ऑपरेटर $T_\mu$ व्युत्क्रमणीय (invertible) है, जो यह सुनिश्चित करता है कि प्रत्येक बहुपद का एक अद्वितीय ReLU प्रतिनिधि होता है।
• मात्रात्मक त्रुटि सीमा (प्रमेय 30): शोध पत्र सिद्ध करता है कि एक सब-गौसियन वितरण $D$ के लिए, एक दो-परत वाला ReLU नेटवर्क $f_n$ मौजूद है कि:
  $$\|f_n - f\|_{L_2(D)} \leq \frac{1}{\sqrt{n}} \sum_{k \geq 1} C_{d,k} \|f_k\|_F$$
  महत्वपूर्ण रूप से, यदि वितरण $D$ उचित रूप से स्केल होता है (जैसे, $D \sim N(0, \frac{1}{d}I)$), तो स्थिरांक $C_{d,k}$ आयाम-स्वतंत्र हो जाते हैं। इसका तात्पर्य है कि "नियमित" उच्च-आयामी फलन दो-परत वाले नेटवर्कों द्वारा आश्चर्यजनक रूप से आसानी से अनुमानित किए जा सकते हैं।
• अनुभवजन्य निरंतरता (Empirical Consistency): संख्यात्मक अवलोकन बताते हैं कि "शार्प्ड" सैद्धांतिक निरूपण (नकारात्मक बायस और विशिष्ट स्केलिंग का उपयोग करके) मानक अनुकूलन (जैसे He initialization) के माध्यम से प्रशिक्षित नेटवर्क के व्यवहार के साथ निकटता से मेल खाता है।

5. महत्व

यह कार्य शास्त्रीय विश्लेषण (हार्मोनिक बहुपद, हीट इक्वेशन) और डीप लर्निंग थ्योरी के बीच एक महत्वपूर्ण सैद्धांतिक सेतु प्रदान करता है।

1. जटिलता माप: यह मानक बैरॉन नॉर्म की तुलना में न्यूरल नेटवर्क के लिए "फलन की कठिनाई" के एक संभावित अधिक सटीक माप के रूप में फिशर नॉर्म को पेश करता है।
2. सैद्धांतिक अंतर्दृष्टि: यह समझाता है कि न्यूरल नेटवर्क आयामीता के अभिशाप से कैसे बच सकते हैं: यदि किसी फलन का महत्व उसके घटकों में फैला हुआ है (आयाम के सापेक्ष कम फिशर नॉर्म), तो त्रुटि नियंत्रित रहती है भले ही $d \to \infty$ हो।
3. भावी दिशाएँ: यह शोध पत्र परतों को समाकल ऑपरेटरों के संयोजन के रूप में मानकर गहरे (deep) नेटवर्कों के विश्लेषण के लिए आधार तैयार करता है, जो संभवतः गहरे आर्किटेक्चर की प्रतिनिधित्व शक्ति को समझने की दिशा में एक मार्ग प्रदान कर सकता है।