📊 statistics

Wahkon: A Statistically Principled Deep RKHS Superposition Network

यह शोध पत्र Wahkon को प्रस्तुत करता है, जो एक डीप RKHS सुपरपोजिशन नेटवर्क है जो कोलोमोगोरोव के सुपरपोजिशन सिद्धांत को RKHS नियमितीकरण (regularization) के साथ एकीकृत करता है ताकि एक सांख्यिकीय रूप से सुव्यवस्थित ढांचा प्रदान किया जा सके जो परिमित-नमूना गारंटी (finite-sample guarantees), कैलिब्रेटेड अनिश्चितता और मिनिमैक्स-इष्टतम अभिसरण दरें (minimax-optimal convergence rates) प्रदान करता है और मौजूदा डीप लर्निंग एवं कर्नेल-आधारित विधियों से अनुभवजन्य रूप से बेहतर प्रदर्शन करता है।

मूल लेखक: Yongkai Chen, Wenxuan Zhong, Ping Ma

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongkai Chen, Wenxuan Zhong, Ping Ma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को डेटा के एक विशाल ढेर के आधार पर भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आपके पास इसे करने के दो मुख्य विचार हैं:

"डीप लर्निंग" (Deep Learning) स्कूल: ये विशाल, लचीले स्पंज की तरह हैं। ये पैटर्न याद करने और भविष्यवाणी करने में अद्भुत हैं (जैसे किसी फोटो में बिल्ली को पहचानना)। हालाँकि, ये अक्सर "ब्लैक बॉक्स" होते हैं। हमें वास्तव में यह नहीं पता होता कि उन्होंने कोई निर्णय क्यों लिया, और वे आपको यह नहीं बता सकते कि वे कितने आश्वस्त हैं। वे अनुमान लगाने में बहुत अच्छे हैं, लेकिन समझाने में खराब हैं।
"सांख्यिकीय" (Statistical) स्कूल: ये कठोर, नियम-बद्ध गणितज्ञों की तरह हैं। वे बहुत सावधान होते हैं। वे आपको बिल्कुल बता सकते हैं कि वे अपनी भविष्यवाणी के बारे में कितने निश्चित हैं और अपने तर्क की व्याख्या कर सकते हैं। लेकिन, वे अक्सर तब संघर्ष करते हैं जब डेटा बहुत बड़ा या बहुत जटिल होता है, और वे चर (variables) की भारी संख्या से भ्रमित हो जाते हैं।

Wahkon एक नया आविष्कार है जो दोनों दुनियाओं का सर्वश्रेष्ठ बनने की कोशिश करता है। यह एक सुपर-रोबोट बनाने जैसा है जिसमें एक स्पंज का लचीलापन और एक गणितज्ञ का सावधानीपूर्ण, व्याख्या योग्य तर्क है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "एक समय में एक चीज़" का जादू (कोलमोगोरोव का सिद्धांत)

यह शोध पत्र गणितज्ञ कोलमोगोरोव के एक प्रसिद्ध विचार से शुरू होता है। उन्होंने सिद्ध किया कि किसी भी जटिल, बहु-आयामी समस्या (जैसे तापमान, आर्द्रता, हवा और दबाव के आधार पर मौसम की भविष्यवाणी करना) को वास्तव में सरल, एक-आयामी समस्याओं की एक श्रृंखला में तोड़ा जा सकता है।

इसे एक जटिल रेसिपी की तरह समझें। एक साथ एक विशाल कटोरे में सभी सामग्रियों को मिलाने के बजाय, आप उन्हें एक-एक करके तैयार करते हैं: प्याज काटें, फिर पानी उबालें, फिर मांस तलें। कोलमोगोरोव ने कहा था कि आप इस तरह से किसी भी जटिल फलन (function) को बना सकते हैं, बस सरल, एकल-चर वाले चरणों को एक के ऊपर एक रखकर।

2. "सीखने योग्य" सक्रियण (The "Learnable" Activations)

अधिकांश मानक AI नेटवर्क (जिन्हें न्यूरल नेटवर्क कहा जाता है) इन चरणों के लिए निश्चित नियमों का उपयोग करते हैं। कल्पना कीजिए कि एक फैक्ट्री असेंबली लाइन है जहाँ प्रत्येक कार्यकर्ता को मजबूर किया जाता है कि वह चाहे वह कुछ भी बना रहा हो, हमेशा एक ही हथौड़े का उपयोग करे। यह कुशल है, लेकिन बहुत स्मार्ट नहीं है।

Wahkon नियमों को बदल देता है। इन चरणों के लिए एक निश्चित हथौड़ा उपयोग करने के बजाय, हर कार्यकर्ता (या नेटवर्क में "लिंक") को डेटा के आधार पर अपना कस्टम टूल (उपकरण) सीखने का मौका मिलता है।

यदि डेटा एक वक्र (curve) जैसा दिखता है, तो टूल एक वक्र बनने के लिए सीखता है।
यदि डेटा एक सीधी रेखा जैसा दिखता है, तो टूल एक सीधी रेखा बनने के लिए सीखता है।

यह नेटवर्क को बहुत अधिक अनुकूलनीय बनाता है। यह हर कार्यकर्ता को एक टूलबॉक्स देने और उन्हें विशिष्ट कार्य के लिए सही उपकरण चुनने देने जैसा है।

3. "सुरक्षा जाल" (RKHS Regularization)

यहाँ पेचीदा हिस्सा आता है: यदि आप हर कार्यकर्ता को अपना खुद का टूल आविष्कार करने देते हैं, तो वे बहुत पागल हो सकते हैं। एक ऐसा टूल बना सकता है जो इतना ज्यादा हिलता-डुलता है कि मशीन ही तोड़ दे (इसे AI में "ओवरफिटिंग" कहा जाता है)।

Wahkon एक "सुरक्षा जाल" का उपयोग करता है जिसे RKHS regularization कहा जाता है। इसे एक सख्त सुपरवाइजर के रूप में समझें जो कहता है, "आप अपना टूल आविष्कार कर सकते हैं, लेकिन इसे चिकना और तर्कसंगत होना चाहिए। कोई टेढ़ा-मेढ़ा, पागलपन भरा उतार-चढ़ाव नहीं चाहिए।"

यह सुपरवाइजर यह सुनिश्चित करता है कि नेटवर्क केवल प्रशिक्षण डेटा को याद न करे, बल्कि अंतर्निहित पैटर्न को वास्तव में सीखे।
यह नेटवर्क को एक "कॉन्फिडेंस स्कोर" (विश्वास स्कोर) भी देता है। क्योंकि इस सुरक्षा जाल के पीछे का गणित अच्छी तरह से समझा गया है, Wahkon आपको बता सकता है, "मुझे 95% यकीन है कि यह भविष्यवाणी सही है," जो कि मानक AI आमतौर पर नहीं कर पाता।

4. "डीप रिप्रेंटर थ्योरम" (The Shortcut)

आप सोच सकते हैं, "यदि प्रत्येक कार्यकर्ता अनंत संख्या में संभावित उपकरणों को सीख रहा है, तो कंप्यूटर वास्तव में इसे कैसे कैलकुलेट कर सकता है? इसमें तो सदियों लग जाएंगे!"

शोध पत्र एक शानदार शॉर्टकट सिद्ध करता है जिसे Deep Representer Theorem कहा जाता है। यह दिखाता है कि भले ही उपकरण अनंत रूप से जटिल हो सकते हैं, लेकिन नेटवर्क को वास्तव में जिन सर्वोत्तम उपकरणों की आवश्यकता होती है, वे वास्तव में पहले से देखे गए डेटा के आधार पर सरल आकृतियों के सीमित संयोजन मात्र हैं।

उपमा: कल्पना कीजिए कि आप एक आदर्श चित्र बनाने की कोशिश कर रहे हैं। आपको लग सकता है कि आपको अनंत पेंसिलों की आवश्यकता है। थ्योरम कहता है, "नहीं, आपको केवल 100 विशिष्ट पेंसिलों के एक सेट की आवश्यकता है जो उस व्यक्ति की विशेषताओं से मेल खाते हैं जिसका आप चित्र बना रहे हैं।"
यह एक असंभव गणितीय समस्या को एक हल करने योग्य समस्या में बदल देता है, जिससे कंप्यूटर तेजी से प्रशिक्षित हो पाता है।

5. "बायेसियन" (Bayesian) कनेक्शन

शोध पत्र यह भी दिखाता है कि Wahkon गणितीय रूप से एक Hierarchical Gaussian Process के समान है।

सरल अनुवाद: इसका मतलब है कि Wahkon केवल सर्वोत्तम उपकरणों का "अनुमान" नहीं लगा रहा है; यह इसे सांख्यिकीय रूप से पूर्ण तरीके से कर रहा है। यह सीखने की प्रक्रिया को प्रायिकता (probability) के खेल की तरह मानता है, जहाँ यह एक "सर्वोत्तम अनुमान" के साथ शुरू होता है और जैसे-जैसे यह अधिक डेटा देखता है, यह अपने अनुमान को अपडेट करता रहता है, और हमेशा अपनी अनिश्चितता का हिसाब रखता है।

उन्होंने क्या पाया?

लेखकों ने Wahkon का परीक्षण तीन अन्य लोकप्रिय तरीकों के विरुद्ध किया:

MLP (मानक न्यूरल नेटवर्क): लचीले स्पंज।
NTK (Neural Tangent Kernels): न्यूरल नेटवर्क का एक बहुत ही कठोर, सैद्धांतिक संस्करण।
KAN (Kolmogorov-Arnold Networks): एक नया तरीका जो सीखने योग्य उपकरणों का उपयोग करता है लेकिन इसमें "सुरक्षा जाल" की कमी है।

परिणाम:

सटीकता (Accuracy): Wahkon ने अन्य सभी की तुलना में लगातार कम गलतियाँ कीं, विशेष रूप से तब जब सीखने के लिए बहुत कम डेटा उपलब्ध था।
दक्षता (Efficiency): इसने तेजी से सीखा और अच्छे परिणाम प्राप्त करने के लिए कम डेटा की आवश्यकता पड़ी।
वास्तविक दुनिया का परीक्षण: उन्होंने जीव विज्ञान की एक समस्या पर इसे आजमाया: आनुवंशिक डेटा के आधार पर कोशिकाओं में प्रोटीन के स्तर की भविष्यवाणी करना। Wahkon सबसे सटीक था, जिसने अन्य तरीकों से बेहतर प्रदर्शन किया।

मुख्य निष्कर्ष

Wahkon एक नए प्रकार का AI है जो डीप लर्निंग की शक्ति (जटिल डेटा को संभालने की) को शास्त्रीय सांख्यिकी की विश्वसनीयता (यह जानने कि वे कितने आश्वस्त हैं और क्यों) के साथ जोड़ता है। यह जटिल समस्याओं को सरल, सीखने योग्य चरणों में तोड़कर और सब कुछ नियंत्रण से बाहर होने से रोकने के लिए एक सख्त गणितीय "सुरक्षा जाल" का उपयोग करके ऐसा करता है। यह एक ऐसा ढांचा है जिसका लक्ष्य AI को न केवल स्मार्ट, बल्कि भरोसेमंद और व्याख्या योग्य बनाना है।

तकनीकी सारांश: Wahkon – एक सांख्यिकीय रूप से सिद्धांत-आधारित डीप RKHS सुपरपोजिशन नेटवर्क

समस्या विवरण
आधुनिक डीप लर्निंग भविष्यवाणी में उत्कृष्ट है, लेकिन अक्सर इसमें परिमित-नमूना (finite-sample) सैद्धांतिक गारंटी और कैलिब्रेटेड अनिश्चितता मात्रा निर्धारण (uncertainty quantification) का अभाव होता है। इसके विपरीत, रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) पर आधारित शास्त्रीय नॉनपैरामेट्रिक विधियाँ कठोर स्मूथनेस नियंत्रण, इष्टतम अभिसरण दरें (convergence rates) और बेयसियन व्याख्याएँ (गाऊसी प्रक्रियाओं के माध्यम से) प्रदान करती हैं, फिर भी वे स्थिर कर्नेल संरचनाओं के कारण उच्च-आयामी, विषम डेटा के अनुकूल होने में संघर्ष करती हैं। न्यूरल टेंगेंट कर्नेल (NTK) सिद्धांत डीप नेटवर्क्स को कर्नेल से जोड़ता है, लेकिन यह आमतौर पर "लेजी ट्रेनिंग" व्यवस्थाओं पर निर्भर करता है जहाँ फीचर्स को सीखा नहीं जाता है। चुनौती डीप आर्किटेक्चर की अनुकूलन योग्य प्रतिनिधित्व शक्ति को RKHS नियमितीकरण (regularization) की सांख्यिकीय कठोरता और व्याख्यात्मकता के साथ एकीकृत करने की है।

कार्यप्रणाली
लेखक Wahkon का प्रस्ताव करते हैं, जो एक डीप RKHS सुपरपोजिशन नेटवर्क है जो कोलमोगोरोव के सुपरपोजिशन सिद्धांत को वाहबा के स्मूथिंग-स्प्लाइन फ्रेमवर्क के साथ एकीकृत करता है।

आर्किटेक्चर: Wahkon एक डीप कंपोजिशनल संरचना अपनाता है जहाँ नेटवर्क $L$ परतों के माध्यम से एक बहुभिन्नोंक प्रतिगमन फलन (multivariate regression function) $\eta(x)$ का अनुमान लगाता है। मानक मल्टीलेयर पर्सेप्ट्रॉन्स (MLPs) के विपरीत जो निश्चित सक्रियण फलनों (जैसे ReLU) का उपयोग करते हैं, Wahkon नेटवर्क के प्रत्येक किनारे (edge) के साथ एकदिशीय लिंक फलनों (univariate link functions) $\phi^{(l)}_{jk}$ को सीखता है।
RKHS बाधा (Constraint): प्रत्येक सीखा गया लिंक फलन एक साझा RKHS $\mathcal{H}_K$ के भीतर रहने के लिए बाधित है। नेटवर्क आउटपुट इन एकदिशीय फलनों के योग का संयोजन है:
$x^{(l)}_j = \sum_{k=1}^{D_{l-1}} \phi^{(l)}_{jk}(x^{(l-1)}_k)$
दंडित अनुमान (Penalized Estimation): मॉडल को एक दंडित न्यूनतम वर्ग उद्देश्य (penalized least-squares objective) को कम करके प्रशिक्षित किया जाता है। दंड पद (penalty term) लिंक फलनों पर RKHS नॉर्म्स को लागू करता है, जिसे परत-विशिष्ट नियमितीकरण मापदंडों $\lambda_l$ द्वारा नियंत्रित किया जाता है:
$J(\eta_{\text{Wahkon}}) = \sum_{l=1}^L \lambda_l \sum_{j=1}^{D_l} \sum_{k=1}^{D_{l-1}} \|\phi^{(l)}_{jk}\|^2_{\mathcal{H}_K}$
डीप रिप्रजेंटर प्रमेय (Deep Representer Theorem): प्रत्येक लिंक फलन के लिए अनंत-आयामी फंक्शन स्पेस के बावजूद, लेखक सिद्ध करते हैं कि मिनीमाइज़र एक परिमित-आयामी प्रतिनिधित्व स्वीकार करता है। विशेष रूप से, प्रत्येक लिंक फलन को पिछले परत के फिट किए गए इनपुट्स पर केंद्रित कर्नेल मूल्यांकन के रैखिक संयोजन के रूप में व्यक्त किया जा सकता है। यह अनुकूलन को गुणांक टेंसरों (coefficient tensors) के एक परिमित संग्रह तक कम कर देता है।
प्रोफाइल उद्देश्य (Profile Objective): अनुकूलन दक्षता में सुधार के लिए, लेखक एक प्रोफाइल उद्देश्य व्युत्पन्न करते हैं जहाँ निचले-परत के गुणांकों पर निर्भर निचली-परत के गुणांकों को विश्लेषणात्मक रूप से (एक मानक कर्नेल रिज रिग्रेशन के रूप में) हल किया जाता है। यह अनुमति देता है कि ग्रेडिएंट-आधारित अपडेट निचले स्तरों में फीचर प्रतिनिधित्व सीखने पर ध्यान केंद्रित कर सकें।
बेयसियन व्याख्या: दंडित एस्टिमेटर को एक पदानुक्रमित गाऊसी प्रक्रिया (Hierarchical Gaussian Process - GP) प्रायर के तहत MAP अनुमान के रूप में सटीक रूप से दिखाया गया है, जहाँ प्रत्येक परत में लिंक फलनों के लिए स्वतंत्र शून्य-माध्य GP असाइन किए गए हैं।

प्रमुख योगदान

डीप रिप्रजेंटर प्रमेय: यह पेपर डीप RKHS सुपरपोजिशन नेटवर्क्स के लिए एक परिमित-आयामी रिप्रजेंटर प्रमेय स्थापित करता है। यह KAN (कोलमोगोरोव-आर्नोल्ड नेटवर्क) प्रतिमान को एक सिद्धांत-आधारित RKHS सेटिंग में विस्तारित करता है, जो निश्चित B-स्प्लाइन आधारों और ह्यूरिस्टिक दंडों के स्थान पर कठोर RKHS नियमितीकरण का उपयोग करता है, जिससे परिमित-नमूना अभिसरण गारंटी सक्षम होती है।
स्प्लाइन/GP द्वैत विस्तार: लेखक प्रदर्शित करते हैं कि दंडित Wahkon एस्टिमेटर एक डीप पदानुक्रमित GP प्रायर के तहत MAP अनुमान के साथ मेल खाता है। यह शास्त्रीय स्मूथिंग स्प्लाइन्स और GPs के बीच द्वैत को गहरे कंपोजिशनल स्ट्रक्चर तक विस्तारित करता है, जो मॉडल को एक बेयसियन आधार प्रदान करता है।
मिनिमैक्स-इष्टतम अभिसरण दरें: सौम्य स्मूथनेस धारणाओं के तहत, पेपर मिनिमैक्स-इष्टतम अभिसरण दरें व्युत्पन्न करता है। विश्लेषण स्पष्ट रूप से लिंक फलनों की स्मूथनेस के साथ नेटवर्क की गहराई, चौड़ाई और RKHS नियमितीकरण के बीच के ट्रेड-ऑफ को चरित्रित करता है, यह दिखाते हुए कि सांख्यिकीय जटिलता को नियंत्रित करने के लिए वास्तुशिल्प वृद्धि को RKHS नियमितीकरण के साथ कैसे संतुलित किया जाना चाहिए।

अनुभवजन्य परिणाम (Empirical Results)

सिंथेटिक बेंचमार्क: Wahkon का मूल्यांकन चार बेंचमार्क फलनों पर किया गया जो नॉनलीनियर, रेडियल, एडिटिव और नेस्टेड कंपोजिशनल संरचनाओं को दर्शाते हैं। इसने लगातार MLPs, NTK और मानक KAN की तुलना में कम टेस्ट RMSE प्राप्त किया।
- MLPs समान पैरामीटर गणना के बावजूद खराब प्रदर्शन करते रहे, जो सुझाव देता है कि एक RKHS के भीतर एकदिशीय लिंक सीखना निश्चित एक्टिवेशन की तुलना में अधिक सैंपल-कुशल है।
- KAN ने बड़े सैंपल साइज पर बेहतर प्रदर्शन दिखाया, लेकिन स्पष्ट RKHS नियमितीकरण की कमी के कारण परिमित-नमूना व्यवहार में पीछे रह गए।
- NTK छोटे नमूनों पर प्रतिस्पर्धी रहा लेकिन जल्दी ही स्थिर (plateau) हो गया।
वास्तविक दुनिया का अनुप्रयोग: एक सिंगल-सेल CITE-seq अध्ययन (RNA डेटा से सतह प्रोटीन प्रचुरता की भविष्यवाणी करना) में, Wahkon ने 25 प्रोटीन लक्ष्यों में MLP, KAN और NTK को पछाड़ दिया। इसने विशेष रूप से CD45 आइसोफॉर्म्स की भविष्यवाणी करने में सफलता दिखाई, जो नैइव और मेमोरी T कोशिकाओं के बीच अंतर करते हैं, जिसमें रैंडम डेटा स्प्लिट्स के बीच कम परिवर्तनशीलता देखी गई।
पूर्व व्यवहार (Prior Behavior): पदानुक्रमित GP प्रायर के सिमुलेशन ने दर्शाया कि गहरी परतें गैर-गाऊसी व्यवहार और एक "स्पाइक-एंड-स्लैब" जैसे वितरण को प्रदर्शित करती हैं, जो कई लिंक्स के स्वचालित संकुचन (shrinkage) का सुझाव देती हैं जबकि एक उपसमूह की सक्रिय रहने की क्षमता को बनाए रखती हैं।

महत्व और दावे
यह पेपर दावा करता है कि Wahkon कोलमोगोरोव के सुपरपोजिशन सिद्धांत को RKHS नियमितीकरण के साथ सफलतापूर्वक एकीकृत करता है ताकि एक ऐसा डीप मॉडल बनाया जा सके जो एक साथ अभिव्यंजक (expressive) और सांख्यिकीय रूप से नियंत्रित है। एकदिशीय लिंक फलनों को सीखा गया (learned) और नियमित (regularized) बनाकर, Wahkon एक ऐसा ढांचा प्रदान करता है जो निम्नलिखित प्रदान करता है:

सटीकता: बॉथ सिंथेटिक और जैविक बेंचमार्क पर बेहतर भविष्य कहने वाला प्रदर्शन।
व्याख्यात्मकता: एकदिशीय लिंक फलनों का उपयोग व्यक्तिगत फीचर ट्रांसफॉर्मेशन के निरीक्षण की अनुमति देता है।
सांख्यिकीय कठोरता: मॉडल परिमित-नमूना गारंटी, स्पष्ट जटिलता नियंत्रण और MAP समतुल्यता के माध्यम से एक सिद्धांत-आधारित बेयसियन व्याख्या प्रदान करता है।

लेखक Wahkon को ऐसे डीप मॉडल्स के निर्माण के लिए एक टेम्पलेट के रूप में प्रस्तुत करते हैं जो न केवल सटीक हैं बल्कि विश्वसनीय और व्याख्या योग्य भी हैं, जो आधुनिक प्रतिनिधित्व शिक्षण और शास्त्रीय सांख्यिकीय अनुमान के बीच के अंतर को पाटते हैं। वे कम्प्यूटेशनल लागत को एक सीमा के रूप में स्वीकार करते हैं, जो भविष्य के लिए अनुमानित कर्नेल और लो-रैंक संरचनाओं का सुझाव देते हैं, और नोट करते हैं कि स्केलेबल पोस्टीरियर इन्फरेंस अभी भी एक खुला प्रश्न है।