🤖 AI

Rational Neural Networks have Expressivity Advantages

यह शोध पत्र प्रदर्शित करता है कि प्रशिक्षित निम्न-डिग्री परिमेय सक्रियण कार्यों (low-degree rational activation functions) का उपयोग करने वाले न्यूरल नेटवर्क, मानक स्थिर सक्रियणों की तुलना में काफी अधिक अभिव्यक्ति क्षमता और पैरामीटर दक्षता प्राप्त करते हैं, जो घातांकीय सन्निकटन लाभ प्रदान करते हैं जो सैद्धांतिक रूप से सिद्ध और अनुभवजन्य रूप से मान्य दोनों हैं।

मूल लेखक: Maosen Tang, Alex Townsend

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maosen Tang, Alex Townsend

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट का दिमाग (एक न्यूरल नेटवर्क) बना रहे हैं ताकि वह जटिल पहेलियों को हल कर सके। इस दिमाग को स्मार्ट बनाने के लिए, आपको इसे "एक्टिवेशन फंक्शन्स" (activation functions) देने की आवश्यकता है। इन्हें दिमाग के स्विच या गेट के रूप में समझें जो यह तय करते हैं कि सूचना एक लेयर से दूसरी लेयर तक कैसे प्रवाहित होगी।

वर्षों से, इंजीनियरों ने दो मुख्य प्रकार के स्विचों का उपयोग किया है:

"पीसवाइज" (Piecewise) स्विच: एक सीढ़ी की तरह। यह तीखा और कोणीय होता है (जैसे ReLU)।
"स्मूथ" (Smooth) स्विच: एक कोमल, लुढ़कती हुई पहाड़ी की तरह (जैसे GELU, Swish, Sigmoid)। ये आधुनिक AI के चैंपियन हैं।

बड़ी खोज
यह शोध पत्र एक नए प्रकार के स्विच का परिचय देता है जिसे रैशनल एक्टिवेशन (Rational Activation) कहा जाता है। एक निश्चित आकार (जैसे कि पहले से बने प्लास्टिक के सांचे) के बजाय, ये स्विच ट्रेनेबल (trainable) हैं। ये "रैशनल फंक्शन्स" (पॉलीनोमियल के अंशों) से बने होते हैं, जिसका अर्थ है कि AI प्रशिक्षण के दौरान अपने स्वयं के स्विचों को उस विशिष्ट पहेली के अनुरूप ढालने के लिए उन्हें नया आकार देना सीख सकता है।

लेखक दावा करते हैं कि ये नए स्विच पुराने स्मूथ स्विचों की तुलना में दो प्रमुख तरीकों से बेहतर हैं:

1. "मैजिक लेंस" की उपमा (दक्षता)

कल्पना कीजिए कि आप एक नुकीली पहाड़ी की चोटी का चित्र बनाना चाहते हैं।

स्मूथ स्विच (पुराना तरीका): यदि आप केवल कोमल, लुढ़कती पहाड़ियों का उपयोग करके एक नुकीली पहाड़ी बनाने की कोशिश करते हैं, तो आपको तीखेपन का भ्रम पैदा करने के लिए हजारों छोटी पहाड़ियों को एक के ऊपर एक रखना होगा। इसमें बहुत अधिक प्रयास और सामग्री (पैरामीटर्स) की आवश्यकता होती है।
रैशनल स्विच (नया तरीका): यह स्विच एक जादुई लेंस की तरह है जो स्वाभाविक रूप से तीखे कोनों और अचानक गिरावटों को पकड़ सकता है। आप केवल कुछ ही परतों के साथ वही पहाड़ बना सकते हैं।

गणितीय जादू: शोध पत्र यह सिद्ध करता है कि समान सटीकता प्राप्त करने के लिए, इन नए रैशनल स्विचों का उपयोग करने वाले नेटवर्क को मानक स्मूथ स्विचों की तुलना में घातांकीय रूप से कम (exponentially fewer) पैरामीटर्स की आवश्यकता होती है।

यदि एक स्मूथ नेटवर्क को सटीक होने के लिए $X$ आकार की आवश्यकता है, तो एक रैशनल नेटवर्क को केवल $\log(\log(X))$ आकार की आवश्यकता हो सकती है।
साधारण शब्दों में: यह एक कहानी बताने के लिए पुस्तकालय भर किताबों की आवश्यकता होने बनाम केवल एक, बेहतरीन लिखी गई पृष्ठ की आवश्यकता होने के बीच का अंतर है।

2. "स्विस आर्मी नाइफ" बनाम "फिक्स्ड टूल"

फिक्स्ड स्विच (GELU, ReLU, आदि): ये एक हथौड़े की तरह हैं। वे कील ठोकने के लिए बहुत अच्छे हैं, लेकिन यदि आपको लकड़ी काटनी हो या पेंच घुमाना हो, तो वे संघर्ष करते हैं। उनका एक निश्चित आकार होता है जो बदल नहीं सकता।
रैशनल स्विच: ये एक स्विस आर्मी नाइफ की तरह हैं जो अपने ब्लेड को खुद नया आकार दे सकते हैं। यदि डेटा एक चिकनी वक्र (curve) जैसा दिखता है, तो स्विच स्मूथ हो जाता है। यदि डेटा में एक तीखा स्पाइक है, तो स्विच तुरंत एक तीखा कोना बनाने के लिए बदल सकता है। चूंकि वे अपने आकार को अनुकूलित कर सकते हैं, इसलिए वे जटिल पैटर्न को बहुत कुशलता से दर्शा सकते हैं।

प्रयोगों ने क्या दिखाया

लेखकों ने केवल गणित नहीं किया; उन्होंने वास्तविक दुनिया में इसका परीक्षण किया:

इमेज रिकग्निशन (CIFAR-10 और Tiny ImageNet): जब उन्होंने इमेज क्लासिफायर में मानक स्विचों को रैशनल स्विचों से बदला, तो AI तेजी से सीखा और अधिक सटीक हुआ।
- रोचक तथ्य: एक प्रयोग में, उन्होंने यह देखने के लिए "नॉर्मलाइजेशन लेयर्स" (AI में एक मानक सुरक्षा तंत्र) को हटाने की कोशिश की कि क्या रैशनल स्विच अकेले इसे संभाल सकते हैं। पुराने स्विच विफल हो गए, लेकिन रैशनल स्विच काम करते रहे और वास्तव में बेहतर प्रदर्शन किया।
रोबोट कंट्रोल (रीइन्फोर्समेंट लर्निंग): उन्होंने रोबोट्स के चलने (एक सिमुलेशन में) सीखने पर इसका परीक्षण किया। रैशनल स्विचों ने रोबोट्स को समान कंप्यूटिंग शक्ति के साथ बेहतर रणनीतियाँ सीखने में मदद की।

सावधानी (द "सेफ्टी वाल्व" इश्यू)

शोध पत्र ने एक चेतावनी भी दी है। रैशनल स्विच बहुत लचीले हैं, लेकिन वे संवेदनशील भी हैं।

उपमा: एक बहुत ही संवेदनशील माइक्रोफ़ोन की कल्पना करें। यदि आप इसे ऐसे स्पीकर के ठीक बगल में रखते हैं जो ध्वनि को भी बढ़ा रहा है (जैसे कि एक "नॉर्मलाइजेशन" लेयर), तो यह एक तेज़, चीखने वाला फीडबैक लूप बनाता है जो रिकॉर्डिंग को खराब कर देता है।
समाधान: लेखकों ने पाया कि इन रैशनल स्विचों के सर्वोत्तम रूप से काम करने के लिए, कभी-कभी आपको उन मानक "नॉर्मलाइजेशन" लेयर्स को बंद करने की आवश्यकता होती है जो आमतौर पर उनके सामने स्थित होती हैं। जब उन्होंने ऐसा किया, तो रैशनल स्विच और भी बेहतर चमके।

सारांश

यह शोध पत्र तर्क देता है कि ट्रेनेबल रैशनल एक्टिवेशन फंक्शन्स, आज के स्मूथ और फिक्स्ड स्विचों की तुलना में AI बनाने के लिए एक अधिक शक्तिशाली, कुशल और लचीला उपकरण हैं। वे बहुत कम "दिमागी शक्ति" (पैरामीटर्स) के साथ वही काम कर सकते हैं और उन तीखे, जटिल पैटर्न के अनुकूल हो सकते हैं जिन्हें अन्य स्विचों को दोहराने में संघर्ष करना पड़ता है। यह फिक्स्ड प्लास्टिक मोल्डों के एक सेट से स्व-आकार लेने वाली मिट्टी के एक सेट में अपग्रेड करने जैसा है जो AI की आवश्यकता के अनुसार कुछ भी बन सकती है।

तकनीकी सारांश: तर्कसंगत न्यूरल नेटवर्क (Rational Neural Networks) के पास अभिव्यंजनात्मक लाभ (Expressivity Advantages) हैं

समस्या विवरण

डीप न्यूरल नेटवर्क अभिव्यंजकता (expressivity) और प्रशिक्षण योग्यता (trainability) को नियंत्रित करने के लिए गैर-रेखीय सक्रियण कार्यों (nonlinear activation functions) के चयन पर अत्यधिक निर्भर करते हैं। जबकि आधुनिक आर्किटेक्चर मुख्य रूप से निश्चित, सुचारू सक्रियणों (जैसे GELU, Swish/SiLU, Mish, ELU/SELU/CELU) या खंडित-रेखीय (piecewise-linear) कार्यों (जैसे ReLU और उसके वेरिएंट) का उपयोग करते हैं, ये विकल्प उन कार्यों को अनुमानित करने की दक्षता पर विशिष्ट सीमाएँ लगाते हैं जिनमें तीव्र संक्रमण (sharp transitions), मोड़ (kinks), या निकटवर्ती जटिल विलक्षणताएं (complex singularities) होती हैं। यह शोध इस बात की जांच करता है कि क्या इन निश्चित सक्रियणों को प्रशिक्षण योग्य निम्न-डिग्री तर्कसंगत सक्रियण कार्यों (trainable low-degree rational activation functions) से बदलने से पैरामीटर दक्षता और अभिव्यंजक शक्ति के मामले में सैद्धांतिक और व्यावहारिक लाभ मिलता है।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक मानक सुचारू या खंडित-रेखीय सक्रियणों से बने नेटवर्क और तर्कसंगत न्यूरल नेटवर्क के बीच 'अनुमान-सिद्धांतिक पृथक्करण' (approximation-theoretic separations) स्थापित करते हैं।

तर्कसंगत नेटवर्क (Rational Networks): इन्हें फीडफॉरवर्ड नेटवर्क के रूप में परिभाषित किया गया है जहाँ प्रत्येक परत पर स्केलर नॉनलिटियटी एक प्रशिक्षण योग्य तर्कसंगत फलन $r(x) = P(x)/Q(x)$ है जिसमें निम्न-डिग्री बहुपद $P$ और $Q$ होते हैं। इनके गुणांकों (coefficients) को प्रशिक्षण के दौरान सीखा जाता है।
अनुमान मेट्रिक्स (Approximation Metrics): अभिव्यंजकता को एक निश्चित कॉम्पैक्ट डोमेन (जैसे, $[-1, 1]^d$ ) पर एक निश्चित त्रुटि $\epsilon$ प्राप्त करने के लिए आवश्यक प्रशिक्षण योग्य मापदंडों (नेटवर्क आकार) की संख्या द्वारा मापा जाता है।
मुख्य सैद्धांतिक उपकरण:
- तर्कसंगत अनुमान सिद्धांत (Rational Approximation Theory): शास्त्रीय परिणामों (जैसे, Trefethen, Gonchar) का लाभ उठाना जो दिखाते हैं कि तर्कसंगत फलन, बहुपद या सुचारू सरोगेट्स की तुलना में गैर-सुचारू विशेषताओं (जैसे $|x|$ या ReLU) और निकटवर्ती विलक्षणताओं वाले कार्यों को घातीय रूप से अधिक कुशलता से अनुमानित कर सकते हैं।
- रचनात्मक प्रमाण (Constructive Proofs): पेपर सुचारू सक्रियणों (जैसे GELU) को तर्कसंगत नेटवर्क का उपयोग करके अनुमानित करने के लिए ज़ोलोटारेव कार्यों (Zolotarev functions), अंकगणितीय-ज्यामितीय माध्य (AGM) पुनरावृत्तियों और हैली के मेथड (Halley's method) का उपयोग करके स्पष्ट निर्माण प्रदान करता है।
- निम्न सीमाएं (Lower Bounds): यह सिद्ध करना कि कुछ तर्कसंगत लक्ष्यों (विशेष रूप से वे जिनके पोल वास्तविक रेखा के पास हैं) को सीमित-पैरामीटर वाले सुचारू नेटवर्क का उपयोग करके अनुमानित करने के लिए वक्रता बाधाओं (curvature constraints) के कारण काफी अधिक मापदंडों की आवश्यकता होती है।

प्रयोगात्मक सेटअप

लेखक तीन अलग-अलग डोमेन में तर्कसंगत सक्रियणों का मूल्यांकन करते हैं, जहाँ आर्किटेक्चर, ऑप्टिमाइज़र और प्रशिक्षण बजट को स्थिर रखा जाता है जबकि केवल सक्रियण कार्य को बदला जाता है:

सुपरवाइज्ड विज़न: VGG4 और VGG8 आर्किटेक्चर का उपयोग करके CIFAR-10 इमेज क्लासिफिकेशन, और ट्रांसफार्मर-आधारित मॉडल (ViT, CaiT, Swin) का उपयोग करके Tiny ImageNet क्लासिफिकेशन।
ऑफलाइन सुदृढीकरण सीखना (Offline Reinforcement Learning): Minari मीडियम डेटासेट्स और IQL एवं TD3+BC एल्गोरिदम का उपयोग करके निरंतर-नियंत्रण लोकोमोशन बेंचमार्क (HalfCheetah, Hopper, Walker2d)।
सामान्यीकरण विश्लेषण (Normalization Analysis): अनुकूलित तर्कसंगत सक्रियणों और सामान्यीकरण परतों (BatchNorm, LayerNorm) के बीच परस्पर क्रिया की जांच करना, विशेष रूप से ट्रांसफॉर्मर में "no-LayerNorm" वेरिएंट का परीक्षण करना।

मुख्य योगदान

पैरामीटर जटिलता में घातीय पृथक्करण (Exponential Separation in Parameter Complexity):
- सुचारू $\to$ तर्कसंगत: मानक सुचारू सक्रियणों (GELU, Swish, SiLU, आदि) से बना कोई भी नेटवर्क एक तर्कसंगत नेटवर्क द्वारा केवल $O(\text{poly}(\log \log(1/\epsilon)))$ आकार ओवरहेड के साथ समान रूप से अनुमानित किया जा सकता है। विशेष रूप से, पेपर GELU के लिए $O(\log^3 \log(1/\epsilon))$ का आकार बाउंड प्रदान करता है।
- तर्कसंगत $\to$ सुचारू: इसके विपरीत, एक बदतर स्थिति वाले तर्कसंगत फलनों (निकटवर्ती पोल वाले) को सीमित-पैरामीटर वाले सुचारू नेटवर्क का उपयोग करके अनुमानित करने के लिए कम से कम $\Omega(\log(1/\epsilon))$ के आकार की आवश्यकता होती है।
- परिणाम: यह अभिव्यंजकता में एक घातीय अंतर स्थापित करता है, जहाँ तर्कसंगत नेटवर्क गैर-सुचारू संरचना वाले परिदृश्यों में सुचारू-सक्रियण नेटवर्क की तुलना में बहुत कम मापदंडों के साथ समान सटीकता प्राप्त कर सकते हैं।
जटिल आर्किटेक्चर का विस्तार:
- पृथक्करण परिणामों को पूर्ण फीडफॉरवर्ड नेटवर्क, गेटेड सक्रियण और ट्रांसफार्मर-शैली के आर्किटेक्चर (विशेष रूप से MLP सबलेयर्स) तक विस्तारित किया गया है।
- पेपर प्रदर्शित करता है कि तर्कसंगत नेटवर्क कम ओवरहेड के साथ गेटेड सुचारू मॉडलों को अनुमानित कर सकते हैं, जबकि इसके विपरीत उच्च ओवरहेड की आवश्यकता होती है।
सामान्यीकरण और पहचान क्षमता (Normalization and Identifiability):
- लेखक औपचारिक रूप से बताते हैं कि मानक सामान्यीकरण परतें अनुकूलित तर्कसंगत सक्रियणों के लिए हानिकारक हो सकती हैं। सामान्यीकरण ऐसे सीखे गए एफाइन ट्रांसफॉर्म पेश करता है जिन्हें तर्कसंगत गुणांकों द्वारा अवशोषित किया जा सकता है, जिससे गैर-पहचान क्षमता (non-identifiability) और खराब कंडीशनिंग होती है।
- इसके अलावा, सामान्यीकरण में डेटा-निर्भर स्टोकेस्टिसिटी (जैसे BatchNorm) तर्कसंगत गुणांकों की बहुपद संवेदनशीलता के कारण ग्रेडिएंट शोर को बढ़ाता है।
- निष्कर्ष: सामान्यीकरण को हटाना (जैसे "no-LayerNorm" ट्रांसफॉर्मर) तर्कसंगतों को सीखने योग्य रीस्केलिंग तंत्र के रूप में कार्य करने की अनुमति देता है, जो अक्सर वहां प्रशिक्षण को स्थिर करता है जहां निश्चित सक्रियण विफल हो जाते हैं।
रचनात्मक प्रमाण:
- पेपर शास्त्रीय अनुमान सिद्धांत पर आधारित रचनात्मक प्रमाण प्रदान करता है, जिसमें जटिल नॉन-लिनियरिटी को कुशलतापूर्वक साकार करने के लिए ज़ोलोटारेव कार्यों और AGM निर्माणों का उपयोग शामिल है।

प्रयोगात्मक परिणाम

CIFAR-10: तर्कसंगत सक्रियणों ने VGG4 और VGG8 दोनों मॉडलों में उच्चतम Top-1 टेस्ट सटीकता लगातार प्राप्त की, जो ReLU, LeakyReLU, Swish और GELU से बेहतर रही। संवर्धित (augmented) प्रशिक्षण पाइपलाइन में, तर्कसंगत वेरिएंट (जो LeakyReLU या GELU की नकल करने के लिए प्रारंभ किए गए थे) शीर्ष प्रदर्शन करने वाले रहे, भले ही GroupNorm लागू किया गया था, हालांकि GroupNorm ने निश्चित सक्रियणों की तुलना में तर्कसंगतों के लिए बड़ा प्रदर्शन ड्रॉप प्रेरित किया।
ऑफलाइन RL: MuJoCo मीडियम डेटासेट्स पर, तर्कसंगत सक्रियणों ने 6 में से 5 सेटिंग्स (HalfCheetah, Hopper, Walker2d पर IQL और TD3+BC) में सर्वश्रेष्ठ निश्चित सक्रियणों के बराबर या उनसे बेहतर प्रदर्शन किया। विशेष रूप से, छोटे विड्थ (128) वाले तर्कसंगत मॉडल बहुत बड़े GELU मॉडल्स (384 विड्थ) के प्रतिस्पर्धी या उनसे बेहतर थे, जो पैरामीटर-दक्षता परिकल्पना की पुष्टि करते हैं।
Tiny ImageNet (Transformers): तर्कसंगत सक्रियणों ने ViT, CaiT और Swin मॉडलों के लिए सर्वश्रेष्ठ EMA वैलिडेशन सटीकता के बराबर या उसमें सुधार किया। महत्वपूर्ण रूप से, एक "no-LayerNorm" ViT वेरिएंट में, निश्चित सक्रियण (ReLU, GELU) NaNs की ओर विचलित हो गए, जबकि तर्कसंगत वेरिएंट स्थिर रहा और उच्च सटीकता (61.24%) प्राप्त की, जो इस दावे का समर्थन करता है कि सामान्यीकरण प्रतिबंधात्मक हो सकता है।
सीखे गए आकार (Learned Shapes): सीखे गए तर्कसंगत फलनों के विज़ुअलाइज़ेशन ने दिखाया कि वे उच्च-घनत्व वाले इनपुट क्षेत्रों में वक्रता (curvature) को जल्दी से पुनर्वितरित करते हैं, अक्सर सफल निश्चित सक्रियणों जैसे Swish और Mish के समान स्थानीयकृत गैर-एकदिष्ट (non-monotone) "गेटिंग" आकार विकसित करते हैं।

महत्व और दावे

पेपर का दावा है कि तर्कसंगत न्यूरल नेटवर्क डीप लर्निंग के लिए एक गणितीय रूप से स्वाभाविक और कम्प्यूटेशनल रूप से कुशल आधार प्रदान करते हैं। मुख्य महत्व इसकी अभिव्यंजनात्मक लाभ (expressivity advantage) में निहित है: तर्कसंगत सक्रियण बहुत कम मापदंडों का उपयोग करके तीव्र संक्रमण और जटिल विलक्षणताओं वाले फलनों का प्रतिनिधित्व कर सकते हैं।

लेखक तर्क देते हैं कि यह सैद्धांतिक लाभ सीधे व्यवहार में अनुवादित होता है, जिसके परिणामस्वरूप निम्नलिखित प्राप्त होता है:

उच्च सटीकता: समान आर्किटेक्चर के साथ विज़न और RL कार्यों पर बेहतर प्रदर्शन प्राप्त करना।
तेजी से अभिसरण (Faster Convergence): प्रशिक्षण के दौरान मजबूत प्रदर्शन तक जल्दी पहुँचना।
पैरामीटर दक्षता: छोटे नेटवर्क विड्थ के साथ तुलनीय या बेहतर परिणाम प्राप्त करना।
सामान्यीकरण-मुक्त व्यवस्था में मजबूती: बिना सामान्यीकरण परतों के गहरे ट्रांसफॉर्मर को प्रशिक्षित करने में सक्षम बनाना, एक ऐसी व्यवस्था जहाँ निश्चित सक्रियण अक्सर विफल हो जाते हैं।

यह कार्य सुझाव देता है कि क्षेत्र को निश्चित सुचारू सक्रियणों के प्रभुत्व पर पुनर्विचार करना चाहिए, और प्रस्तावित करता है कि प्रशिक्षण योग्य तर्कसंगत फलन एक सिद्धांतवादी विकल्प प्रदान करते हैं जो जटिल डेटा वितरणों की संरचनात्मक आवश्यकताओं के साथ बेहतर तालमेल बिठाते हैं।