🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

यह शोध पत्र 'लर्नेबल एक्टिवेशन फंक्शन्स के साथ रैंडम फीचर मॉडल' (RFLAF) को प्रस्तुत करता है, जो एक्टिवेशन फंक्शन्स को बेसिस फंक्शन्स के वेटेड सम्स (weighted sums) का उपयोग करके पैरामीटराइज करता है ताकि मॉडल की एक्सप्रेसिविटी को महत्वपूर्ण रूप से बढ़ाया जा सके और पारंपरिक फिक्स्ड-एक्टिवेशन रैंडम फीचर मॉडल्स की तुलना में बेहतर प्रदर्शन और दक्षता प्राप्त की जा सके।

मूल लेखक: Zailin Ma, Jiansheng Yang, Yaodong Yang

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zailin Ma, Jiansheng Yang, Yaodong Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि किसी फोटो में बिल्ली और कुत्ते के बीच अंतर करना। इसके लिए, रोबोट एक गणितीय "अनुवादक" का उपयोग करता है जिसे रैंडम फीचर मॉडल (Random Feature Model) कहा जाता है। इसे एक फैक्ट्री असेंबली लाइन की तरह समझें।

एक मानक फैक्ट्री (पारंपरिक मॉडल) में, कर्मचारी (एक्टिवेशन फंक्शन्स) हर बार बिल्कुल एक ही दोहराव वाली गति करते हैं। वे कठोर होते हैं। यदि कार्य थोड़ा बदल जाता है, तो फैक्ट्री तालमेल बिठाने के लिए संघर्ष करती है क्योंकि कर्मचारी अपनी दिनचर्या नहीं बदल सकते।

यह पेपर एक नया, अधिक स्मार्ट फैक्ट्री पेश करता है जिसे RFLAF (लर्नेबल एक्टिवेशन फंक्शन्स के साथ रैंडम फीचर मॉडल) कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: कठोर कर्मचारी

पुराने तरीके में, फैक्ट्री डेटा को प्रोसेस करने के लिए एक निश्चित "उपकरण" (एक फिक्स्ड एक्टिवेशन फंक्शन) का उपयोग करती है। यह टायर पंचर ठीक करने के लिए हथौड़े का उपयोग करने जैसा है। यह कुछ चीजों के लिए काम कर सकता है, लेकिन अन्य चीजों के लिए यह बहुत बुरा है। मॉडल यह नहीं सीख सकता कि कौन सा उपकरण सबसे अच्छा है; यह बस उसी का उपयोग करता है जिसके साथ वह पैदा हुआ था।

2. समाधान: आकार बदलने वाला टूलकिट

लेखक फैक्ट्री कर्मचारियों को एक आकार बदलने वाला टूलकिट (Shape-Shifting Toolkit) देने का प्रस्ताव देते हैं। एक निश्चित उपकरण के बजाय, श्रमिकों के पास बुनियादी निर्माण खंडों (जिन्हें "बेसिस फंक्शन्स" कहा जाता है) का एक सेट होता है। ये ब्लॉक इस प्रकार हैं:

रेडियल बेसिस फंक्शन्स (RBFs): इन्हें चिकनी, घंटी के आकार की वक्र रेखाओं (जैसे एक सौम्य पहाड़ी) के रूप में सोचें।
स्प्लाइन्स (Splines): इन्हें लचीले, मुड़ने वाले स्केल की तरह समझें।
पॉलीनोमियल्स (Polynomials): इन्हें घुमावदार, टेढ़ी-मेढ़ी रेखाओं की तरह समझें।

RFLAF का जादू यह है कि मॉडल इन ब्लॉक्स को मिलाना और जोड़ना सीखता है। यह समझ जाता है कि, "इस विशिष्ट कार्य के लिए, मुझे 30% एक पहाड़ी, 50% एक लचीला स्केल और 20% एक टेढ़ी-मेढ़ी रेखा चाहिए।" यह ऑन-द-फ्लाई एक कस्टम टूल बनाता है जो डेटा के साथ पूरी तरह फिट बैठता है।

3. "एकल पहाड़ी" की खोज

जटिल टूलकिट बनाने से पहले, लेखकों ने अध्ययन किया कि क्या होता है यदि आप केवल एक "पहाड़ी" आकार (एक एकल रेडियल बेसिस फंक्शन) का उपयोग करते हैं।

निष्कर्ष: उन्होंने एक छिपा हुआ गणितीय सूत्र (एक "कर्नेल") खोजा जो बताता है कि यह एकल पहाड़ी डेटा के साथ कैसे इंटरैक्ट करती है।
सीमा: उन्होंने पाया कि केवल एक पहाड़ी का उपयोग करना मॉडल को सुपर स्मार्ट बनाने के लिए पर्याप्त नहीं है। यह अभी भी थोड़ा सीमित है, जैसे आपके पास केवल एक प्रकार का पेचकस हो।

4. मिश्रण की शक्ति

असली सफलता तब होती है जब आप इन कई पहाड़ियों को सीखने योग्य भार (learnable weights) के साथ मिलाते हैं।

परिणाम: कई पहाड़ियों को एक साथ मिलाकर, मॉडल बहुत अधिक विविध आकृतियों और पैटर्न का प्रतिनिधित्व कर सकता है। यह अविश्वसनीय रूप से अभिव्यंजक (expressive) हो जाता है, जिसका अर्थ है कि यह पुराने कठोर मॉडलों की तुलना में जटिल डेटा को बहुत बेहतर ढंग से समझ सकता है।
लागत: लेखक गणितीय रूप से सिद्ध करते हैं कि यह करने के लिए आपको एक विशाल फैक्ट्री की आवश्यकता नहीं है। प्रदर्शन में भारी उछाल पाने के लिए आपको केवल थोड़े से अधिक "स्पेस" (पैरामीटर्स) की आवश्यकता है। यह एक छोटे कार इंजन को बेहतर फ्यूल इंजेक्शन सिस्टम के साथ अपग्रेड करने जैसा है ताकि आपको रेस-कार की गति मिल सके।

5. दौड़: पहाड़ बनाम स्केल

टीम ने वास्तविक दुनिया के डेटा (जैसे हस्तलिखित संख्याओं को पहचानना या घरों की कीमतों का अनुमान लगाना) का उपयोग करके अपने नए फैक्ट्री का पुराने मॉडलों के साथ परीक्षण किया।

विजेता: पहाड़ियों (RBFs) और लचीले स्केल (Splines) का उपयोग करने वाले मॉडलों ने पुराने कठोर मॉडलों को लगातार पछाड़ दिया।
गतिमान (Speedster): हालांकि पहाड़ और स्केल दोनों अच्छे थे, लेकिन पहाड़ (RBFs) स्पष्ट विजेता थे। वे स्केल की तुलना में गणना करने में तीन गुना तेज़ थे, जबकि बेहतरीन परिणाम भी दे रहे थे।
हारने वाले: "टेढ़ी-मेढ़ी रेखाएं" (पॉलीनोमियल्स) अस्थिर थीं और अक्सर कार्य बहुत जटिल होने पर टूट जाती थीं।

6. "फ्रोजन" बनाम "अनफ्रोजन" टेस्ट

अंत में, लेखकों ने एक अंतिम प्रयोग किया। उन्होंने अपने नए "स्मार्ट फैक्ट्री" को लिया और उसे सब कुछ बदलने दिया, न कि केवल उपकरणों को, बल्कि असेंबली लाइन के शुरुआती सेटअप को भी (पहले-लेयर के पैरामीटर्स को अनफ्रीज़ करना)।

परिणाम: मानक, आधुनिक न्यूरल नेटवर्क (वर्तमान अत्याधुनिक तकनीक) के साथ तुलना करने के बावजूद, उनका "स्मार्ट फैक्ट्री" दृष्टिकोण मजबूती से खड़ा रहा और अक्सर बेहतर प्रदर्शन किया। यह साबित करता है कि "उपकरण को सीखना" किसी भी न्यूरल नेटवर्क के लिए एक शक्तिशाली अपग्रेड है।

सारांश

संक्षेप में, यह पेपर कहता है: "हर चीज़ के लिए हथौड़ा इस्तेमाल करना बंद करें। अपने AI को आकृतियों का एक टूलबॉक्स दें, इसे उन्हें मिलाना सीखने दें, और आपको एक स्मार्ट, तेज़ और अधिक अनुकूलन योग्य मॉडल मिलेगा।" विशेष रूप से, "पहाड़ी के आकार" के मिक्सर (RBFs) का उपयोग करना कम कंप्यूटिंग पावर के साथ सर्वोत्तम प्रदर्शन प्राप्त करने का सबसे सटीक तरीका है।

तकनीकी सारांश: पैरामीट्राइज्ड एक्टिवेशन के माध्यम से एक्सप्रेसिव रैंडम फीचर मॉडल सीखना

1. समस्या विवरण (Problem Statement)

रैंडम फीचर (RF) मॉडल, जिन्हें कर्नेल विधियों के एक स्केलेबल विकल्प के रूप में पेश किया गया है, एक सीमित संख्या में रैंडम फीचर्स का उपयोग करके कर्नेल फंक्शन का अनुमान लगाते हैं। हालांकि ये गणनात्मक रूप से कुशल हैं, मानक RF मॉडल आमतौर पर फिक्स्ड एक्टिवेशन फंक्शन्स (जैसे ReLU, Sigmoid, Cosine) का उपयोग करते हैं। यह कठोरता उनकी अनुकूलन क्षमता को सीमित करती है, जिससे वे विशिष्ट डेटा वितरणों के अनुकूल होने के लिए इष्टतम एक्टिवेशन फंक्शन खोजने में असमर्थ रहते हैं। इसके विपरीत, लर्नबल एक्टिवेशन मॉड्यूल के हालिया विकास, जैसे कि कोलमोगोरोव-आर्नोल्ड नेटवर्क (KANs), प्रभावशीलता तो दिखाते हैं लेकिन अक्सर स्केलेबिलिटी या ऑप्टिमाइजेशन की चुनौतियों का सामना करते हैं। यह शोध पत्र फिक्स्ड RF मॉडल की दक्षता और लर्नबल एक्टिवेशन नेटवर्क की एक्सप्रेसिविटी के बीच के अंतर को पाटने के लिए एक फ्रेमवर्क प्रस्तावित करके इस समस्या का समाधान करता है, जो रैंडम फीचर सेटिंग के भीतर एक्टिवेशन फंक्शन को पैरामीट्राइज करता है।

2. कार्यप्रणाली (Methodology)

लेखक लर्नबल एक्टिवेशन फंक्शन्स के साथ रैंडम फीचर मॉडल (RFLAF) पेश करते हैं।

मॉडल फॉर्मुलेशन (Model Formulation)

RFLAF में, एक्टिवेशन फंक्शन $\sigma$ फिक्स्ड नहीं है, बल्कि इसे रैंडम फीचर फ्रेमवर्क के भीतर बेसिस फंक्शन्स $\{B_i(x)\}_{i=1}^N$ के एक वेटेड सम के रूप में पैरामीट्राइज किया गया है। मॉडल को इस प्रकार परिभाषित किया गया है:
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
जहाँ:

$w_m \sim \mathcal{N}(0, I_d)$ एक गॉसियन डिस्ट्रीब्यूशन से लिए गए फिक्स्ड रैंडम फीचर्स हैं।
$B_i(x)$ बेसिस फंक्शन्स (जैसे रेडियल बेसिस फंक्शन्स, B-splines, Polynomials) हैं जिनके सेंटर और विड्थ (widths) पूर्व-निर्धारित हैं।
$a = (a_1, \dots, a_N)$ और $v = (v_1, \dots, v_M)$ लर्नबल पैरामीटर्स हैं।

लेखक सैद्धांतिक विश्लेषण के लिए प्रतिनिधि बेसिस के रूप में रेडियल बेसिस फंक्शन्स (RBFs) पर ध्यान केंद्रित करते हैं, जिन्हें $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ के रूप में परिभाषित किया गया है।

सैद्धांतिक दृष्टिकोण (Theoretical Approach)

सिंगल RBF विश्लेषण: लेखक पहले एक सिंगल RBF एक्टिवेशन द्वारा प्रेरित कर्नेल का स्पष्ट विश्लेषणात्मक रूप (analytic form) प्राप्त करते हैं। वे इस रोटेशन-इनवेरिएंट कर्नेल के टेलर एक्सपेंशन को स्थापित करते हैं और संबंधित रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस (RKHS) का लक्षण वर्णन करते हैं।
मल्टीपल RBFs और एप्रोक्सिमेशन: कई RBFs तक विस्तार करते हुए, वे गॉसियन यूनिवर्सल एप्रोक्सिमेशन थ्योरम का उपयोग करते हैं। वे सिद्ध करते हैं कि RBFs का वेटेड सम किसी भी निरंतर टार्गेट एक्टिवेशन फंक्शन (जिसका सपोर्ट कॉम्पैक्ट हो) को एक इच्छित त्रुटि $\epsilon$ तक एप्रोक्सिमेट कर सकता है।
जनरलाइजेशन बाउंड्स (Generalization Bounds): रेडमेकर कॉम्प्लेक्सिटी का उपयोग करते हुए, लेखक लर्निंग प्रक्रिया के लिए जनरलाइजेशन बाउंड्स निकालते हैं। वे कम एक्स्ट्रा रिस्क प्राप्त करने के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी का विश्लेषण करते हैं, यह दिखाते हुए कि इष्टतम प्रदर्शन के लिए रैंडम फीचर्स की संख्या $M$ को सैंपल साइज $n$ के वर्गमूल के साथ स्केल होना चाहिए ( $M = \Theta(\sqrt{n})$ ), जो मानक RF मॉडल्स के सबसे सटीक परिणामों से मेल खाता है।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

नया कर्नेल डेरिवेशन: लेखक एक सिंगल RBF को एक्टिवेशन फंक्शन के रूप में उपयोग करने से प्रेरित कर्नेल के पहले विश्लेषणात्मक रूप की पहचान करते हैं और उसे प्रदान करते हैं, जो सामान्य नॉन-सेंटर्ड मामलों के लिए पिछले परिणामों का विस्तार करता है।
सैद्धांतिक गारंटी: वे RFLAF के लिए कठोर एप्रोक्सिमेशन और जनरलाइजेशन बाउंड्स प्रदान करते हैं। सिद्धांत यह गारंटी देता है कि मॉडल मानक RF मॉडल्स की तुलना में पैरामीटर्स की संख्या के दोगुने से भी कम लागत के साथ अपनी रिप्रेजेंटेशनल क्षमता में सुधार करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि विभिन्न वर्गीकरण (classification) और रिग्रेशन कार्यों में फिक्स्ड एक्टिवेशन वाले RFLAFs, मानक RF मॉडल्स की तुलना में लगातार बेहतर प्रदर्शन करते हैं।
दक्षता विश्लेषण: अध्ययन इस बात पर प्रकाश डालता है कि RBF-आधारित RFLAFs, B-spline-आधारित RFLAFs की तुलना में लगभग तीन गुना अधिक कम्प्यूटेशनल रूप से कुशल हैं, जबकि बेहतर या तुलनीय प्रदर्शन प्राप्त करते हैं।
न्यूरल नेटवर्क में विस्तार: RFLAF के फर्स्ट-लेयर पैरामीटर्स को अनफ्रीज करके, लेखक रेगुलर टू-लेयर न्यूरल नेटवर्क (जिसे LAN कहा जाता है) पर लर्नबल एक्टिवेशन कंपोनेंट्स की एक्सप्रेसिविटी एडवांटेज को प्रमाणित करते हैं, जो यह दिखाते हैं कि वे कन्वर्जेंस स्पीड और स्टेबिलिटी के मामले में मानक MLPs और KANs से बेहतर हो सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सात वास्तविक दुनिया के डेटासेट्स (MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs) और सिंथेटिक डेटासेट्स पर RFLAF का मूल्यांकन किया।

प्रदर्शन: RBFs और B-splines के साथ RFLAF ने फिक्स्ड एक्टिवेशन (ReLU, Cos, Tanh, Sigmoid) वाले मानक RF मॉडल्स (RFMLP) की तुलना में लगातार कम टेस्ट लॉस और उच्च सटीकता प्राप्त की।
दक्षता: हालांकि B-splines ने अच्छा प्रदर्शन किया, लेकिन पाया गया कि RBFs ट्रेनिंग और टेस्टिंग समय में 2–4 गुना तेज़ थे। उदाहरण के लिए, "Workloads" डेटासेट पर, RBFs ने बेस्ट फिक्स्ड एक्टिवेशन (Sigmoid) की तुलना में ~70% बेहतर टेस्ट लॉस दिया, जबकि समय में 30% से कम की वृद्धि हुई।
ग्रिड साइज सेंसिटिविटी: प्रयोगों ने दिखाया कि बेसिस फंक्शन्स की एक छोटी संख्या ( $N=16$ या $32$) मानक RF मॉडल्स को महत्वपूर्ण रूप से पछाड़ने के लिए पर्याप्त है, जो प्रदर्शन और कम्प्यूटेशनल लागत के बीच एक अच्छा संतुलन प्रदान करती है।
एक्टिवेशन रिकवरी: सिंथेटिक कार्यों पर, RFLAF ने डेटा से ग्राउंड-ट्रुथ एक्टिवेशन फंक्शन्स को सफलतापूर्वक रिकवर किया, जो ग्रिड सर्च के बिना इष्टतम नॉन-लिनियैरिटी सीखने की इसकी क्षमता को प्रदर्शित करता है।
टू-लेयर नेटवर्क: रेगुलर टू-लेयर नेटवर्क (LAN) पर लागू होने पर, RBF-आधारित मॉडल्स ने LAN, MLP और KAN के बीच सर्वश्रेष्ठ प्रदर्शन किया, जो KAN की तुलना में तेज़ कन्वर्जेंस और MLP से बेहतर प्रदर्शन दिखाते हैं।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र आधुनिक न्यूरल नेटवर्क आर्किटेक्चर के भीतर लर्नबल एक्टिवेशन कंपोनेंट्स की गहरी समझ प्रदान करने का दावा करता है। लर्नबल एक्टिवेशन को रैंडम फीचर फ्रेमवर्क में एकीकृत करके, यह कार्य कर्नेल मेथड्स की सैद्धांतिक दक्षता और डीप लर्निंग की अनुकूलन क्षमता के बीच के अंतर को पाटता है।

लेखक RFLAF को एक ऐसे तरीके के रूप में प्रस्तुत करते हैं जो:

फंक्शन स्पेस का विस्तार करता है: यह कम्प्यूटेशनल जटिलता में आनुपातिक वृद्धि के बिना, फिक्स्ड RF मॉडल्स की तुलना में प्रतिनिधित्व किए गए फंक्शन स्पेस का काफी विस्तार करता है।
न्यूनतम ओवरहेड प्रदान करता है: यह पैरामीटर काउंट और ट्रेनिंग टाइम में न्यूनतम वृद्धि के साथ महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है।
लर्नबल एक्टिवेशन को प्रमाणित करता है: यह प्रमाण प्रदान करता है कि लर्नबल एक्टिवेशन मॉड्यूल न केवल KAN जैसे जटिल आर्किटेक्चर में, बल्कि सरल, अधिक स्केलेबल टू-लेयर स्ट्रक्चर में भी प्रभावी हैं।

निष्कर्षतः, यह कार्य रैंडम फीचर मॉडल्स के भविष्य के दिशाओं को खोलता है, यह सुझाव देते हुए कि एक्टिवेशन को पैरामीट्राइज करना कर्नेल मेथड्स और न्यूरल नेटवर्क दोनों में एक्सप्रेसिविटी बढ़ाने के लिए एक व्यवहार्य और कुशल रणनीति है।