🤖 machine learning

A Universal Reproducing Kernel Hilbert Space from Polynomial Alignment and IMQ Distance

यह शोधपत्र यट (Yat) कर्नेल को प्रस्तुत करता है, जो एक परिमेय धनात्मक-निश्चित फलन है जो सटीक IMQ पुनर्निर्माण स्थापित करने और स्पष्ट सामान्यीकरण सीमाएँ प्रदान करने के लिए एक बहुपद अंश को एक व्युत्क्रम-बहुपद (inverse-multiquadric) हर के साथ जोड़कर एक सार्वभौमिक, विशिष्ट पुनरुत्पादक हिल्बर्ट स्पेस (reproducing kernel Hilbert space) निर्मित करता है।

मूल लेखक: Taha Bouhsine

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taha Bouhsine

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को डेटा में पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि किसी फोटो में बिल्ली और कुत्ते के बीच अंतर करना। ऐसा करने के लिए, कंप्यूटर "न्यूरॉन्स" का उपयोग करता है जो डेटा को देखते हैं और तय करते हैं कि कौन सी विशेषताएं कितनी महत्वपूर्ण हैं।

लंबे समय तक, इन न्यूरॉन्स को बनाने का मानक तरीका एक टॉर्च (flashlight) का उपयोग करने जैसा रहा है। आप दीवार पर एक रोशनी डालते हैं (डेटा), और न्यूरॉन यह देखता है कि वह धब्बा कितना चमकीला है। यह उन चीजों को खोजने के लिए अच्छा काम करता है जो एक-दूसरे के करीब हैं (locality), लेकिन यह थोड़ा कठोर है। यह हर दिशा को एक समान मानता है, जैसे कि रोशनी की एक गोल किरण।

यह पेपर एक नए, अधिक स्मार्ट प्रकार के न्यूरॉन को पेश करता है जिसे यैट कर्नेल (Yat kernel) कहा जाता है। इसे केवल एक साधारण टॉर्च के रूप में नहीं, बल्कि एक हाई-टेक स्पॉटलाइट के रूप में सोचें जिसमें ज़ूम लेंस और एक दिशात्मक एंटीना (directional antenna) लगा हो।

यहाँ इस पेपर के दावों का सरल उपमाओं के साथ विवरण दिया गया है:

1. "जादुई सूत्र" (यैट कर्नेल)

लेखकों ने इन न्यूरॉन्स के लिए एक नया गणितीय सूत्र बनाया है। यह दो चीजों को जोड़ता है:

"दूरी" वाला हिस्सा (टॉर्च): यह जाँचता है कि दो डेटा के टुकड़े एक-दूसरे से कितनी दूर हैं। यदि वे पास हैं, तो सिग्नल मजबूत होता है। यह मानक "इनवर्स मल्टीक्वाड्रिक" (IMQ) कर्नेल की तरह है, जो स्थानीय समूहों (local clusters) को पहचानने में अच्छा है।
"संरेखण" (Alignment) वाला हिस्सा (एंटीना): यह भी जाँचता है कि दो डेटा के टुकड़े कितनी अच्छी तरह से "एक सीध में" हैं या किस दिशा में इशारा कर रहे हैं। यह आपकी टॉर्च में एक दिशात्मक एंटीना जोड़ने जैसा है।

परिणाम: यैट न्यूरॉन यह देख सकता है कि दो चीजें न केवल एक-दूसरे के करीब हैं, बल्कि वे किस दिशा में इशारा कर रही हैं भी। यह इसे उन पैटर्न को पकड़ने की अनुमति देता है जिन्हें पुराने "टॉर्च" वाले न्यूरॉन्स छोड़ देते हैं।

2. यह "यूनिवर्सल" क्यों है (स्विस आर्मी नाइफ)

गणित में, एक "यूनिवर्सल" उपकरण वह होता है जो यदि आपके पास पर्याप्त मात्रा में हो, तो किसी भी आकार या पैटर्न का अनुमान लगा सकता है।

दावा: लेखक सिद्ध करते हैं कि यदि आप इस नए यैट न्यूरॉन का उपयोग एक विशिष्ट सेटिंग (एक सकारात्मक "बायस") के साथ करते हैं, तो यह एक "यूनिवर्सल एप्रोक्सिमेटर" बन जाता है।
उपमा: कल्पना कीजिए कि आपके पास लेगो (LEGO) ब्रिक्स का एक सेट है। कुछ सेट केवल सपाट दीवारें बना सकते हैं। यैट सेट उस लेगो सेट की तरह है जो कुछ भी बना सकता है—महल, अंतरिक्ष यान, या अमूर्त कला—क्योंकि इसमें एक विशेष हिस्सा (संरेखण वाला हिस्सा) है जो दूसरों के पास नहीं है। पेपर गणितीय रूप से सिद्ध करता है कि यह नया ब्रिक किसी भी आकार को बना सकता है, बशर्ते आपके पास पर्याप्त संख्या में हों।

3. "तीन-परमाणु" वाली ट्रिक (जादुई मंत्र)

एक सबसे दिलचस्प खोज यह है कि यह नया न्यूरॉन पुराने "टॉर्च" वाले न्यूरॉन्स से कैसे संबंधित है।

दावा: आप बिल्कुल तीन यैट न्यूरॉन्स को, जिन्हें थोड़ी अलग सेटिंग्स के साथ मिलाया गया हो, मिलाकर एक पुराना "टॉर्च" वाला न्यूरॉन बना सकते हैं।
उपमा: यह खोजने जैसा है कि यदि आप तीन विशिष्ट रंगों (लाल, नीला और पीला) को एक सटीक रेसिपी में मिलाते हैं, तो आप उस विशिष्ट हरे रंग को पूरी तरह से पुन: बना सकते हैं जिसे आपको लगा था कि पाने के लिए आपको एक विशेष ट्यूब की पेंट की आवश्यकता होगी।
सावधानी: आप केवल एक या दो यैट न्यूरॉन्स के साथ ऐसा नहीं कर सकते; आपको उन तीनों की जरूरत है। यह सिद्ध करता है कि नया न्यूरॉन इतना शक्तिशाली है कि उसमें पुराना समाहित है, लेकिन पुराना न्यूरॉन नए को समाहित नहीं कर सकता।

4. "परछाई" का प्रभाव (दिशात्मक स्मृति)

यहीं पर "संरेखण" वाला हिस्सा वास्तव में चमकता है।

दावा: यदि आप पुराने "टॉर्च" वाले न्यूरॉन्स को बहुत दूर से देखते हैं, तो उनका सिग्नल शून्य होकर गायब हो जाता है। एक बार जब आप पीछे हट जाते हैं, तो वे सब कुछ भूल जाते हैं। लेकिन यैट न्यूरॉन एक "परछाई" छोड़ देता है। दूर से भी, यह याद रखता है कि डेटा किस दिशा में इशारा कर रहा था।
उपमा: एक कैंपफायर (पुराना न्यूरॉन) की कल्पना करें। यदि आप दूर चले जाते हैं, तो गर्मी गायब हो जाती है। अब एक लाइटहाउस बीम (यैट न्यूरॉन) की कल्पना करें। भले ही आप समुद्र में मीलों दूर हों, आप अभी भी बीम देख सकते हैं और जान सकते हैं कि वह किस दिशा में इशारा कर रही है। यैट न्यूरॉन उस "दिशात्मक स्मृति" को बनाए रखता है जिसे अन्य खो देते हैं।

5. एक अंतर्निहित "सुरक्षा जांच" (गणितीय गारंटी)

AI को प्रशिक्षित करने में सबसे बड़ी समस्याओं में से एक यह जानना है कि यह नए डेटा पर कैसा प्रदर्शन करेगा जिसे इसने पहले नहीं देखा है। आमतौर पर, हमें अनुमान लगाने या मोटे अनुमानों का उपयोग करने की आवश्यकता होती है।

दावा: क्योंकि यैट न्यूरॉन एक विशिष्ट गणितीय संरचना (जिसे रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस कहा जाता है) पर आधारित है, लेखकों ने यह गणना करने के लिए एक क्लोज्ड-फॉर्म फॉर्मूला पाया है कि न्यूरॉन कितना "जटिल" या "जोखिम भरा" है।
उपमा: आमतौर पर, यह जांचने के लिए कि क्या एक पुल सुरक्षित है, भारी ट्रकों के साथ परीक्षण करने के लिए एक टीम भेजनी पड़ती है। यैट न्यूरॉन के साथ, ब्लूप्रिंट में ही एक कैलकुलेटर होता है जो आपको बिना परीक्षण किए ठीक-ठीक बताता है कि यह कितना भार सह सकता है। यह AI के भविष्यवाणियों के लिए एक सटीक "सुरक्षा रेटिंग" देता है।

सारांश: यह पेपर क्या करता है (और क्या नहीं करता है)

यह क्या करता है: यह AI के लिए एक नया गणितीय निर्माण खंड (building block) पेश करता है, सिद्ध करता है कि यह किसी भी आकार को बना सकता है, दिखाता है कि यह पुराने ब्लॉकों से कैसे संबंधित है, यह सिद्ध करता है कि यह "दिशात्मक स्मृति" रखता है, और इसकी सुरक्षा को मापने के लिए एक सटीक गणितीय सूत्र प्रदान करता है।
यह क्या नहीं करता है: पेपर यह दावा नहीं करता है कि यह बीमारियों का इलाज करेगा, मानव डॉक्टरों की जगह लेगा, या तुरंत सेल्फ-ड्राइविंग कारों को सुरक्षित बनाएगा। यह एक सैद्धांतिक गणितीय पेपर है।
प्रयोग: लेखकों ने यह दिखाने के लिए कुछ छोटे परीक्षण भी किए (जैसे कि एक स्थिर डेटासेट से छवियों को वर्गीकृत करना) कि गणित व्यवहार में कैसे काम करता है। उन्होंने पाया कि नए न्यूरॉन्स ने इन परीक्षणों में मानक न्यूरॉन्स के समान ही प्रदर्शन किया, जिससे यह सिद्ध हुआ कि सिद्धांत काम करता है, लेकिन उन्होंने यह दावा नहीं किया कि यह दुनिया को बदलने वाले तरीके से "बेहतर" है।

संक्षेप में: यह पेपर AI के लिए एक नया, गणितीय रूप से सुदृढ़ "परमाणु" बनाता है जो दूरी-आधारित और दिशा-आधारित सीखने को जोड़ता है, सिद्ध करता है कि यह सब कुछ कर सकता है जो पुराने परमाणु कर सकते हैं (और उससे भी अधिक), और हमें इसकी सुरक्षा को मापने के लिए एक सटीक पैमाना देता है।

तकनीकी सारांश: एक्शन एट अ डिस्टेंस: पॉलिनोमियल एलाइनमेंट और IMQ डिस्टेंस से एक यूनिवर्सल रिप्रोडिंग कर्नेल हिल्बर्ट स्पेस

समस्या विवरण (Problem Statement)

मानक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) परतों में एक कैनोनिकल हिल्बर्ट-स्पेस नॉर्म (norm) का अभाव होता है। प्रशिक्षित नेटवर्क के सामान्यीकरण बाउंड्स (generalization bounds) आमतौर पर वेट मैट्रिक्स के लिप्सचिट्ज़ (Lipschitz) या स्पेक्ट्रल सरोगेट्स पर निर्भर करते हैं, जो कि फंक्शन-लेवल ऑब्जेक्ट्स हैं और विशिष्ट यूनिट्स से असंबद्ध हैं। यह संरचनात्मक अंतराल इसलिए उत्पन्न होता है क्योंकि मानक स्केलर एक्टिवेशन्स (जैसे ReLU, GELU, sigmoid) एक इनर प्रोडक्ट $\sigma(w^\top x)$ के फलन हैं, न कि संयुक्त चर $(w, x)$ के सममित कर्नेल सेक्शन (symmetric kernel sections) के। फलस्वरूप, एक प्रशिक्षित परत का रीड-आउट किसी भी रिप्रोडिंग कर्नेल हिल्बर्ट स्पेस (RKHS) का परिमित तत्व (finite element) नहीं होता, जिससे मॉडल को क्लोज्ड-फॉर्म नॉर्म्स, फिक्स्ड-कर्नेल यूनिवर्सलिटी और कैरेक्टेरिस्टिकनेस जैसे उपकरणों से वंचित कर दिया जाता है।

मौजूदा मर्सेर-सेक्शन प्रिमिटिव्स एक ट्रेड-ऑफ से ग्रस्त हैं:

रेडियल कर्नेल्स (Gaussian RBF, Inverse Multiquadric/IMQ) में लोकैलिटी (locality) और हिल्बर्ट संरचना होती है लेकिन उनमें "एलाइनमेंट" का अभाव होता है (कर्नेल डायगोनल स्थिर रहता है, और पॉलिनोमियल एलाइनमेंट टर्म $(w^\top x + b)^2$ की कोई भूमिका नहीं होती)।
एलिग्नड कर्नेल्स (universal dot-product kernels) में एलाइनमेंट और हिल्बर्ट संरचना होती है लेकिन उनमें डिस्टेंस लोकैलिटी का अभाव होता है (कोई $\|x-w\|$ डिके नहीं होता)।

पेपर एक परिमित, ट्रेन करने योग्य हिडन-यूनिट प्रिमिटिव की आवश्यकता की पहचान करता है जो लोकैलिटी, एलाइनमेंट, और हिल्बर्ट संरचना को एक साथ जोड़ सके।

कार्यप्रणाली (Methodology)

लेखक एक यैट कर्नेल ( $k_\Upsilon$ ) पेश करते हैं, जो एक रेशनल हिडन-यूनिट प्रिमिटिव है जिसे इस प्रकार परिभाषित किया गया है:
$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$
यह कर्नेल एक पॉलिनोमियल एलाइनमेंट न्यूमेरेटर $p_b(x, w) = (x^\top w + b)^2$ और एक इनवर्स मल्टीक्वाड्रिक (IMQ) डिनोमिनेटर $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$ का शूर प्रोडक्ट (Schur product) है।

कार्यप्रणाली चार मुख्य सैद्धांतिक स्तंभों के माध्यम से आगे बढ़ती है:

मर्सेर संरचना और यूनिवर्सलिटी (Mercer Structure and Universality): पेपर स्थापित करता है कि $b \ge 0$ के लिए, कर्नेल पॉजिटिव सेमीडेफिनिट (PSD) है और इस प्रकार एक मर्सेर कर्नेल है। महत्वपूर्ण रूप से, $b > 0$ के लिए, यैट कर्नेल एक स्केल्ड IMQ कर्नेल को लोवनर-डोमिनेट करता है ( $b^2 h_\varepsilon \preceq k_{b,\varepsilon}$ )। अरोंज़्सन के इंक्लूजन थ्योरम के अनुसार, इसका अर्थ है कि यैट RKHS ( $\mathcal{H}_{b,\varepsilon}$ ) में IMQ RKHS शामिल है, जिससे यह इसकी यूनिवर्सलिटी और कैरेक्टेरिस्टिकनेस गुणों को विरासत में प्राप्त करता है।
नॉनरेडियल एलाइनमेंट स्ट्रक्चर (Nonradial Alignment Structure): शुद्ध रेडियल कर्नेल्स के विपरीत, यैट एटम्स अनंत पर एक "डायरेक्शनल क्वाड्रेटिक शैडो" बनाए रखते हैं। एक रे $ru $के अनुदिश एसिम्प्टोटिक ट्रेस$ T_\infty g_\varepsilon(u) = (u^\top w)^2 $है, जो$ b $और$ \varepsilon$ से स्वतंत्र है। यह नॉनरेडियल एलाइनमेंट चैनलों को खोलता है जो परिमित IMQ एक्सपेंशन में अनुपस्थित होते हैं, जो अनंत पर शून्य तक क्षय (decay) हो जाते हैं।
एल्जेब्रिक IMQ एम्बेडिंग (Algebraic IMQ Embedding): पेपर एक रचनात्मक प्रमाण प्रदान करता है कि किसी भी IMQ एटम को तीन यैट एटम्स के माध्यम से एक सेकंड-ऑर्डर फाइनाइट डिफरेंस के माध्यम से सटीक रूप से रिकवर किया जा सकता है:
$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$
यह पहचान शार्प है; दो एटम्स एक IMQ सेक्शन को पुनरुत्पादित करने के लिए अपर्याप्त हैं।
लेयर-लोकल RKHS कैपेसिटी (Layer-Local RKHS Capacity): साझा $(b, \varepsilon)$ वाली एक प्रशिक्षित परत के लिए, एक परिमित एक्सपेंशन $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ का स्क्वेर्ड RKHS नॉर्म एक क्लोज्ड-फॉर्म एक्सप्रेशन को एडमिट करता है: $\|f\|^2 = \alpha^\top K \alpha$ , जहाँ $K$ प्रशिक्षित वेट्स का ग्राम मैट्रिक्स है। यह एक सीधा रेडमेकर जनरलाइजेशन बाउंड प्रदान करता है जो स्पष्ट रूप से कर्नेल डायगोनल $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$ द्वारा संचालित होता है।

मुख्य योगदान (Key Contributions)

यैट कर्नेल (The Yat Kernel): एक रेशनल, परिमित, ट्रेन करने योग्य प्रिमिटिव जो पॉलिनोमियल एलाइनमेंट और IMQ लोकैलिटी को एकीकृत करता है।
फिक्स्ड-कर्नेल यूनिवर्सलिटी (Fixed-Kernel Universality): यह प्रमाण कि एक एकल फिक्स्ड यैट कर्नेल (बशर्ते $b>0$ ) प्रत्येक कॉम्पैक्ट डोमेन पर यूनिवर्सल है, न कि केवल एक यूनिवर्सल फैमिली का सदस्य।
डायरेक्शनल फार-फील्ड ट्रेस (Directional Far-Field Trace): एक संरचनात्मक इनवेरिएंट की पहचान जहाँ यैट एटम्स एक नॉन-जीरो क्वाड्रेटिक ट्रेस बनाए रखते हैं, जो उन्हें सभी परिमित रेडियल कॉम्बिनेशन से अलग करता है।
सटीक IMQ रिकवरी (Exact IMQ Recovery): एक एल्जेब्रिक पहचान जो दिखाती है कि IMQ एटम्स तीन यैट एटम्स से सटीक रूप से निर्मित किए जा सकते हैं (विड्थ-ओवरहेड के फैक्टर-3 के साथ)।
क्लोज्ड-फॉर्म नॉर्म और बाउंड्स (Closed-Form Norm and Bounds): एक सटीक RKHS नॉर्म ( $\alpha^\top K \alpha$ ) का व्युत्पन्न और एक सिंगल-लेयर रेडमेकर बाउंड जो स्पष्ट रूप से हाइपरपैरामीटर्स $b$ और $\varepsilon$ और इनपुट नॉर्म $\|x\|$ पर निर्भर करता है, जो मानक MLPs में अनुपलब्प्त पारदर्शिता प्रदान करता है।

परिणाम (Results)

सैद्धांतिक गुण (Theoretical Properties): पेपर स्थापित करता है कि यैट कर्नेल्स PSD, कैरेक्टेरिस्टिक और $b > 0$ के लिए स्ट्रिक्टली पॉजिटिव डेफिनिट हैं। वे एक स्ट्रिक्ट RKHS कंटेनमेंट $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$ को संतुष्ट करते हैं।
एप्रोक्सिमेशन रेट्स (Approximation Rates): फाइनाइट-डिफरेंस आइडेंटिटी के माध्यम से, कोई भी IMQ एप्रोक्सिमेशन रेट यैट में ट्रांसफर होता है। इसके विपरीत, पेपर एक "विड्थ-कॉम्प्लेक्सिटी गैप" प्रदर्शित करता है: एक एकल यैट एटम किसी भी सटीकता तक एक क्वाड्रेटिक रिज फंक्शन को एप्रोक्सिमेट कर सकता है, जबकि एक बाउंडेड-वेरिएशन IMQ एक्सपेंशन को एम्बिएंट डायमेंशन में एक्सपोनेंशियल रूप से कई एटम्स की आवश्यकता होती है।
जनरलाइजेशन बाउंड्स (Generalization Bounds): व्युत्पन्न रेडमेकर बाउंड $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$ के रूप में स्केल करता है। Gaussian RBF (कांस्टेंट डायगोनल) या IMQ (कांस्टेंट डायगोनल $\varepsilon^{-1}$ ) के विपरीत, यैट डायगोनल $\|x\|$ पर पॉलिनोमियल रूप से निर्भर करता है, जिससे $b$ और $\varepsilon$ स्पष्ट रेगुलराइजेशन टारगेट बन जाते हैं।
एम्पिरिकल डायग्नोस्टिक्स (Empirical Diagnostics):
- CLIP प्रोब: फ्रोजन CLIP फीचर्स के साथ ImageNet-1k पर, एक सिंगल-लेयर यैट क्लासिफायर (ट्रेन्ड सेंटर्स) ने 73.9% एक्यूरेसी हासिल की, जिसने प्योर पॉलिनोमियल कर्नेल (72.5%) और फ्रोजन रैंडम सेंटर्स वाले यैट वेरिएंट (69.5%) को पीछे छोड़ दिया, जिससे IMQ डिनोमिनेटर और सेंटर ऑप्टिमाइजेशन के लाभों को आइसोलेट किया गया।
- कॉज़ल लैंग्वेज मॉडल: GELU MLP ब्लॉक्स को यैट प्रिमिटिव के साथ बदलने वाला एक 261M पैरामीटर कॉज़ल LM, विकिटेक्स-103 (WikiText-103) और लॉन्ग-रेंज टास्क पर लोअर परप्लेक्सिटी प्राप्त करते हुए GELU बेसलाइन एक्यूरेसी रिजीम (सीड वेरिएंस के बराबर) तक पहुँच गया। क्लोज्ड-फॉर्म RKHS नॉर्म प्रति लेयर लागू रहने योग्य था।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यैट कर्नेल पहला परिमित, ट्रेन करने योग्य हिडन-यूनिट प्रिमिटिव है जो एक साथ निम्नलिखित गुणों को रखता है:

$b \ge 0$ के लिए PSD/मर्सेर संरचना।
लोवनर डोमिनेशन के माध्यम से $b > 0$ के लिए फिक्स्ड-कर्नेल यूनिवर्सलिटी।
एक नॉन-जीरो डायरेक्शनल फार-फील्ड ट्रेस के साथ नॉनरेडियल एलाइनमेंट।
सटीक एल्जेब्रिक एम्बेडिंग (तीन एटम्स पर शार्प)।
$\|x\|$ पर स्पष्ट निर्भरता के साथ एक क्लोज्ड-फॉर्म, लेयर-लोकल RKHS नॉर्म।

लेखक इस बात पर जोर देते हैं कि हालांकि ये गुण एक एकल परत के लिए मान्य हैं, वे डीप नेटवर्क्स के लिए एक ग्लोबल थ्योरी के रूप में विस्तारित नहीं होते हैं। एक ऐसा पैरामीटर-इंडिपेंडेंट मर्सेर कर्नेल नहीं है जो डीप यैट स्टैक के ग्राम स्ट्रक्चर को कैप्चर कर सके। डीप-लेयर थ्योरी केवल निम्नलिखित तक सीमित है:

प्रीफिक्स-कंडीशन्ड पुलबैक: यदि पूर्ववर्ती परतें फिक्स्ड हैं तो वैध RKHS संरचनाएं मौजूद हैं।
एम्बिएंट सोबोलेव कंटेनमेंट: बाउंडेड-डेप्थ स्टैक्स एक फिक्स्ड सोबोलेव RKHS में स्थित होते हैं, लेकिन उनकी क्षमता बाउंड्स गुणात्मक हैं और डेप्थ के साथ सुपर-एक्सपोनेंशियल ग्रोथ से ग्रस्त होते हैं।

यह कार्य यैट को सभी संदर्भों में मानक MLPs के विकल्प के रूप में नहीं, बल्कि एक सैद्धांतिक रूप से सुदृढ़ विकल्प के रूप में स्थापित करता है जो न्यूरल यूनिट्स और RKHS थ्योरी के बीच संबंध को बहाल करता है, जिससे स्पष्ट नॉर्म्स और जनरलाइजेशन बाउंड्स मिलते हैं जो मानक एक्टिवेशन्स के लिए उपलब्ध नहीं हैं।