💬 NLP

Polynomial, trigonometric, and tropical activations

यह शोध पत्र ऑर्थोनॉर्मल आधारों (orthonormal bases) से व्युत्पन्न बहुपद (polynomial), त्रिकोणमितीय (trigonometric) और ट्रॉपिकल (tropical) सक्रियण फलनों (activation functions) के एक परिवार को प्रस्तुत करता है जो, वेरिएंस-प्रिजर्विंग इनिशियलाइजेशन (variance-preserving initialization) के साथ मिलकर, ग्रेडिएंट अस्थिरता को कम करते हुए, बहुपद व्याख्यात्मकता (polynomial interpretability) प्रदान करते हुए और हर्मिट इंटरपोलेशन (Hermite interpolation) के माध्यम से फाइन-ट्यूनिंग को सुगम बनाते हुए, GPT-2 और ConvNeXt जैसे गहरे मॉडलों के सफल प्रशिक्षण को सक्षम करते हैं।

मूल लेखक: Ismail Khalfaoui-Hassani, Stefan Kesselheim

प्रकाशित 2026-03-03

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ismail Khalfaoui-Hassani, Stefan Kesselheim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, बहु-मंजिला गगनचुंबी इमारत (एक डीप न्यूरल नेटवर्क) बना रहे हैं ताकि बिल्लियों की पहचान करने या वाक्य में अगले शब्द का अनुमान लगाने जैसी जटिल समस्याओं को हल किया जा सके।

पारंपरिक निर्माण में, हर मंजिल सूचना को गुजरने देने के लिए बिल्कुल एक ही प्रकार के "दरवाजे" का उपयोग करती है। एआई (AI) में, इन दरवाजों को एक्टिवेशन फंक्शन (activation functions) कहा जाता है। वर्षों तक, उद्योग का मानक एक दरवाजा रहा है जिसे ReLU (या उसका शानदार रिश्तेदार GELU) कहा जाता है। यह एक सरल, विश्वसनीय दरवाजा है जो केवल तभी खुलता है जब सिग्नल सकारात्मक (positive) हो। यह अच्छा काम करता है, लेकिन यह थोड़ा कठोर है।

यह शोध पत्र एक क्रांतिकारी नए विचार का प्रस्ताव देता है: क्या होगा यदि हम उन मानक दरवाजों को पॉलिनॉमियल (polynomials), तरंगों (waves) और ट्रॉपिकल ज्योमेट्री (tropical geometry) पर आधारित गणितीय "सुपर-दरवाजों" के टूलबॉक्स से बदल दें?

यहाँ उनकी खोज का विवरण दिया गया है, जिसे रोजमर्रा के उपमाओं के माध्यम से समझाया गया है।

1. समस्या: "विस्फोटक लिफ्ट" (The "Exploding Elevator")

एक डीप नेटवर्क में, सूचना जमीनी मंजिल से शीर्ष मंजिल तक यात्रा करती है। यदि प्रत्येक मंजिल के "दरवाजे" बहुत आक्रामक हैं, तो सिग्नल इतना बढ़ जाता है कि वह फट जाता है (जैसे माइक्रोफोन की चीख)। यदि वे बहुत कमजोर हैं, तो सिग्नल शीर्ष तक पहुँचने से पहले ही मर जाता है।

लंबे समय तक, लोगों ने सोचा था कि पॉलिनॉमियल दरवाजे (वे दरवाजे जो $x^2$ या $x^3$ जैसे जटिल गणितीय सूत्रों का उपयोग करते हैं) खतरनाक थे क्योंकि वे सिग्नल को विस्फोटित करने की प्रवृत्ति रखते हैं। इसे ठीक करने के लिए, इंजीनियरों को आमतौर पर चीजों को स्थिर रखने के लिए "क्लैम्प्स" या सुरक्षा वाल्व (जैसे ReLU) जोड़ने पड़ते थे।

शोध पत्र की अंतर्दृष्टि: लेखकों ने महसूस किया कि समस्या दरवाजे के प्रकार में नहीं थी, बल्कि उन्हें कैसे स्थापित किया गया था इसमें थी। उन्होंने इन जटिल पॉलिनॉमियल दरवाजों को स्थापित करने का एक तरीका खोजा जिससे सिग्नल बिना किसी सुरक्षा क्लैंप के, मंजिल-दर-मंजिल, पूरी तरह से संतुलित रहता है।

2. समाधान: "ऑर्थोनॉर्मल" ब्लूप्रिंट (The "Orthonormal" Blueprint)

लेखक तीन नए प्रकार के दरवाजे पेश करते हैं, जो सभी ऑर्थोगोनल बेसिस (orthogonal bases) नामक विशेष गणितीय परिवारों पर आधारित हैं। इन्हें ऐसे समझें जैसे कि ये पूरी तरह से ट्यून किए गए संगीत वाद्ययंत्र हैं जो एक-दूसरे के साथ हस्तक्षेप नहीं करते हैं।

हर्मिट एक्टिवेशन (The "Gaussian" Door):
- उपमा: एक बेल कर्व (सामान्य वितरण का आकार) की कल्पना करें। हर्मिट पॉलिनॉमियल्स (Hermite polynomials) उन पूरी तरह से ट्यून किए गए स्प्रिंग्स के सेट की तरह हैं जो इस बेल कर्व के साथ बिल्कुल तालमेल में कंपन करते हैं।
- यह क्यों काम करता है: क्योंकि वे "ऑर्थोगोनल" (स्वतंत्र) हैं, इसलिए सिग्नल के बढ़ने की गणना करने का गणित अविश्वसनीय रूप से सरल है। लेखकों ने गुणांकों (दरवाजे के सेटिंग्स) के लिए एक विशिष्ट "नुस्खा" खोजा जो यह गारंटी देता है कि सिग्नल का आकार गुजरते समय समान बना रहे।
फूरियर एक्टिवेशन (The "Wave" Door):
- उपमा: ध्वनि तरंगों या समुद्र की लहरों के बारे में सोचें। ये दरवाजे साइन (sine) और कोसाइन (cosine) तरंगों का उपयोग करते हैं।
- यह क्यों काम करता है: यदि आपका डेटा समान रूप से फैला हुआ है (जैसे एक यूनिफॉर्म डिस्ट्रीब्यूशन), तो ये तरंगें एकदम सटीक फिट बैठती हैं। वे ऊर्जा को संरक्षित करने के तरीके से दोलन (oscillate) करती हैं, जिससे सिग्नल के मरने या फटने की संभावना नहीं रहती।
ट्रॉपिकल एक्टिवेशन (The "Lego" Door):
- उपमा: यह सबसे विचित्र वाला है। चिकनी वक्र रेखाओं (smooth curves) के बजाय, सपाट, सीधी लेगो ब्लॉक्स से बनी छत की कल्पना करें। "ट्रॉपिकल मैथ" में, जोड़ना "अधिकतम लेना" बन जाता है, और गुणा "जोड़ना" बन जाता है।
- यह क्यों काम करता है: यह एक ऐसी आकृति बनाता है जो जुड़े हुए रैंप की श्रृंखला की तरह दिखती है। यह डेटा को प्रोसेस करने का एक बहुत ही कुशल, "पीसवाइज लीनियर" तरीका है, जो ReLU के समान है लेकिन अधिक लचीलापन प्रदान करता है। यह अनिवार्य रूप से एक पॉलिनॉमियल का "मैक्स-प्लस" संस्करण है।

3. जादू का नुस्खा: "वैरिएंस-प्रिजर्विंग इनिशियलाइजेशन" (Variance-Preserving Initialization)

लेखकों ने केवल नए दरवाजे ही नहीं बनाए; उन्होंने एक नया स्थापना मैनुअल भी बनाया।

आमतौर पर, जब आप जटिल गणितीय कार्यों का उपयोग करते हैं, तो आपको शुरुआती सेटिंग्स का अनुमान लगाना पड़ता है। यदि आप गलत अनुमान लगाते हैं, तो इमारत ढह जाती है। लेखकों ने एक गणितीय सूत्र (इन विशिष्ट बेसिस के गुणों पर आधारित) निकाला है जो आपको प्रशिक्षण शुरू करने से पहले ही दरवाजे के नॉब (knobs) को सेट करने का सटीक तरीका बताता है।

परिणाम: जब आप उनके "जादुई नुस्खे" का उपयोग करते हैं, तो दरवाजे में प्रवेश करने वाले सिग्नल का "वॉल्यूम" (वैरिएंस) बाहर निकलने वाले सिग्नल के बराबर होता है। यह आपको बिना सिग्नल खोए या शोर मचाए, अविश्वसनीय रूप से गहरे नेटवर्क (जैसे भाषा के लिए GPT-2 या छवियों के लिए ConvNeXt) बनाने की अनुमति देता है।

4. वास्तविक दुनिया का प्रमाण: यह वास्तव में काम करता है

लेखकों ने केवल व्हाइटबोर्ड पर गणित नहीं किया; उन्होंने गगनचुंबी इमारतें बनाईं।

इमेज क्लासिफिकेशन: उन्होंने एक अत्याधुनिक इमेज मॉडल (ConvNeXt) में मानक दरवाजों को अपने नए पॉलिनॉमियल दरवाजों से बदल दिया। लाखों बिल्ली/कुत्ते/कार की तस्वीरों वाले विशाल ImageNet डेटासेट पर, इन नए दरवाजों ने मानक दरवाजों की तुलना में बेहतर प्रदर्शन किया।
लैंग्वेज मॉडलिंग: उन्होंने अगले शब्द का अनुमान लगाने वाले एक लैंग्वेज मॉडल (GPT-2) के लिए भी ऐसा ही किया। फिर से, नए दरवाजों ने प्रदर्शन में सुधार किया।

"फाइन-ट्यूनिंग" बोनस:
इनमें से एक सबसे शानदार विशेषता यह है कि इन नए दरवाजों को शुरुआत में पुराने मानक दरवाजों (जैसे GELU) की तरह दिखने के लिए "आकार" दिया जा सकता है। कल्पना कीजिए कि आपके पास पहले से बना हुआ GELU दरवाजों वाला एक भवन है। आप उन्हें अपने नए पॉलिनॉमियल दरवाजों से बदल सकते हैं, लेकिन आप नए दरवाजों को पहले कुछ सेकंड के लिए पुराने वाले जैसा ही "मोल्ड" करते हैं। यह आपको मौजूदा एआई मॉडल को बिना तोड़े अपग्रेड करने और फिर नए दरवाजों को और भी बेहतर बनने देने की अनुमति देता है।

5. यह क्यों महत्वपूर्ण है

सरलता: यह साबित करता है कि गहरे नेटवर्क को प्रशिक्षित करने के लिए आपको जटिल "सुरक्षा क्लैंप" (जैसे ReLU) की आवश्यकता नहीं है। आपको बस सही गणितीय आधार की आवश्यकता है।
व्याख्यात्मकता (Interpretability): लेखक दिखाते हैं कि पॉलिनॉमियल दरवाजों वाला नेटवर्क अनिवार्य रूप से एक विशाल, बहु-चर (multi-variable) पॉलिनॉमियल समीकरण है। यह एआई के "ब्लैक बॉक्स" को थोड़ा अधिक पारदर्शी बनाता है, जिससे यह एक ऐसे गणितीय समस्या में बदल जाता है जिसका हम विश्लेषण कर सकते हैं।
दक्षता (Efficiency): हालांकि इनमें से कुछ दरवाजे ReLU की तुलना में गणना करने में थोड़े धीमे हैं, फिर भी वे आधुनिक हार्डवेयर पर आश्चर्यजनक रूप से तेज़ हैं, और प्रदर्शन में होने वाला लाभ अक्सर इसकी लागत से कहीं अधिक होता है।

सारांश

यह शोध पत्र इस खोज की तरह है कि आपको गगनचुंबी इमारत बनाने के लिए मानक, कठोर ईंटों की आवश्यकता नहीं है। आप लचीले, गणितीय रूप से सटीक स्प्रिंग्स (Hermite), तरंगों (Fourier), या इंटरलॉकिंग रैंप (Tropical) का उपयोग कर सकते हैं। जब तक आप नए स्थापना मैनुअल (वैरिएंस-प्रिजर्विंग इनिशियलाइजेशन) का पालन करते हैं, ये लचीली सामग्रियां पुराने कठोर ईंटों की तुलना में अधिक ऊंची, मजबूत और स्मार्ट संरचनाएं बनाती हैं।

उन्होंने प्रभावी रूप से एक नए युग के द्वार खोल दिए हैं जहाँ न्यूरल नेटवर्क को केवल ब्लैक बॉक्स के रूप में नहीं, बल्कि सुंदर, सीखने योग्य पॉलिनॉमियल मैपिंग के रूप में देखा जाता है।

यहाँ खालफ़ावी-हस्सानी और केसेलहेम के शोध पत्र "पॉलीनोमियल, ट्रिगोनोमेट्रिक, एंड ट्रॉपिकल एक्टिवेशन्स" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क (DNNs) पारंपरिक रूप से गैर-पॉलीनोमियल सक्रियण कार्यों (जैसे ReLU, GELU, SiLU) पर निर्भर करते हैं ताकि गैर-रैखिकता (non-linearity) पेश की जा सके। हालाँकि ये सफल रहे हैं, लेकिन पॉलीनोमियल सक्रियणों (polynomial activations) के उपयोग को ऐतिहासिक रूप से हतोत्साहित किया गया है क्योंकि यूनिवर्सल एप्रोक्सिमेशन थ्योरम यह सुझाव देता है कि यूनिवर्सल एप्रोक्सिमेशन के लिए गैर-पॉलीनोमियल फलन आवश्यक हैं। इसके अलावा, पॉलीनोमियल नेटवर्क अक्सर निम्नलिखित समस्याओं से जूझते हैं:

विस्फोटक या लुप्त होते सक्रियण और ग्रेडिएंट (Exploding or vanishing activations and gradients): सावधानीपूर्वक इनिशियलाइजेशन के बिना, संकेतों और ग्रेडिएंट्स का वेरिएंस परतों (layers) में विचलित हो सकता है, जिससे प्रशिक्षण अस्थिर हो जाता है।
क्लोज्ड-फॉर्म इनिशियलाइजेशन का अभाव: पिछले प्रयास (जैसे यांग और वांग, 2025) जो सीखने योग्य (learnable) रैशनल या पॉलीनोमियल सक्रियणों का उपयोग करते थे, दूसरे क्रम के मोमेंट्स (second-order moments) के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करने में संघर्ष करते रहे, जिसके लिए अक्सर शास्त्रीय सक्रियणों के ह्यूरिस्टिक फिटिंग की आवश्यकता होती है।
सीमित सैद्धांतिक समझ: पॉलीनोमियल सक्रियणों के साथ डीप नेटवर्क के संरचनात्मक गुणों को उनके मैपिंग क्षमताओं के संदर्भ में पूरी तरह से स्पष्ट नहीं किया गया था।

यह शोध पत्र यह प्रदर्शित करने का लक्ष्य रखता है कि ऑर्थोगोनल पॉलीनोमियल और ट्रिगोनोमेट्रिक बेसिस, एक विशिष्ट वेरिएंस-प्रिजर्विंग इनिशियलाइजेशन के साथ मिलकर, सहायक स्थिरीकरण तंत्रों (जैसे क्लैम्पिंग या नॉर्मलाइजेशन) के बिना गहरे मॉडलों (जैसे GPT-2 और ConvNeXt) को सफलतापूर्वक प्रशिक्षित कर सकते हैं।

2. कार्यप्रणाली (Methodology)

मुख्य कार्यप्रणाली तीन स्तंभों के इर्द-गिर्द घूमती है: ऑर्थोगोनल बेसिस फंक्शन्स, वेरिएंस-प्रिजर्विंग इनिशियलाइजेशन, और ट्रॉपिकल ज्योमेट्री।

A. वेरिएंस-प्रिजर्विंग इनिशियलाइजेशन (Variance-Preserving Initialization)

लेखक हे एट अल. (2015) के कार्य का विस्तार करते हैं ताकि यह सुनिश्चित किया जा सके कि आउटपुट सिग्नल का वेरिएंस और ग्रेडिएंट का वेरिएंस परतों के पार स्थिर (यूनिटरी) बना रहे।

फॉरवर्ड गेन ( $\alpha$ ): इसे $Var[x] \cdot E[F(x)^2]^{-1}$ के रूप में परिभाषित किया गया है।
बैकवर्ड गेन ( $\alpha'$ ): इसे $Var[x] \cdot E[F'(x)^2]^{-1}$ के रूप में परिभाषित किया गया है।
लक्ष्य: सीखने योग्य गुणांकों (coefficients) को इस तरह इनिशियलाइज़ करना कि $\alpha = \alpha' = 1$ (या एक स्थिर स्केलिंग फैक्टर) हो, जिससे सिग्नल के विस्फोट/लुप्त होने को रोका जा सके।

B. तीन नवीन सक्रियण परिवार (Three Novel Activation Families)

यह शोध पत्र तीन विशिष्ट सक्रियण परिवारों का प्रस्ताव करता है, जिनमें से प्रत्येक एक विशिष्ट इनपुट डिस्ट्रीब्यूशन के लिए उपयुक्त एक ऑर्थोनॉर्मल बेसिस से व्युत्पन्न है:

हर्मिट सक्रियण (Hermite Activations - Polynomial):
- बेसिस: प्रोबेबिलिस्ट हर्मिट पॉलीनोमियल्स ( $He_n$ )।
- इनपुट डिस्ट्रीब्यूशन: स्टैंडर्ड नॉर्मल $N(0, 1)$ ।
- इनिशियलाइजेशन: गुणांकों को इस तरह इनिशियलाइज़ किया जाता है कि $k \ge 1$ के लिए $a_k = 1$ और $a_0 = \sqrt{1 - 1/n!}$ हो। सीमा (limit) में, गुणांकों को $1/\sqrt{e}$ द्वारा स्केल किया जाता है।
- गुणधर्म: गाऊसी वेट फंक्शन के सापेक्ष हर्मिट पॉलीनोमियल्स की ऑर्थोगोनैलिटी दूसरे मोमेंट $E[F(x)^2]$ की क्लोज्ड-फॉर्म गणना की अनुमति देती है।
फूरियर सक्रियण (Fourier Activations - Trigonometric):
- बेसिस: साइन और कोसाइन फंक्शन्स (फूरियर सीरीज़)।
- इनपुट डिस्ट्रीब्यूशन: यूनिफॉर्म $U(-\pi, \pi)$ ।
- इनिशियलाइजेशन: गुणांकों को 1 के रूप में इनिशियलाइज़ किया गया है, जिसे सीमा में $1/\sqrt{I_0(2)}$ (जहाँ $I_0$ मॉडिफाइड बेसेल फंक्शन है) द्वारा स्केल किया गया है।
- गुणधर्म: यूनिफॉर्म इंटरवल पर ऑर्थोगोनैलिटी यूनिफॉर्म इंटरवल पर क्लोज्ड-फॉर्म मोमेंट गणना को सक्षम बनाती है। दक्षता के लिए कार्यान्वयन 'एम्प्लीट्यूड-फेज' फॉर्मूलेशन का उपयोग करता है।
ट्रॉपिकल सक्रियण (Tropical Activations - Max-Plus):
- बेसिस: मैक्स-प्लस सेमिरिंग ( $\max, +$ ) में परिभाषित ट्रॉपिकल पॉलीनोमियल्स।
- परिभाषा: $F(x) = \max_{k} \{a_k + kx\}$ ।
- व्याख्या: ये एक सीखने योग्य फलन के डिस्क्रीट कॉन्वेक्स कंजुगेट के रूप में कार्य करते हैं, जो उसके एप ग्राफ (epigraph) के कॉन्वेक्स हल (convex hull) को एनकोड करते हैं। ये ReLU का सामान्यीकरण करते हैं (जो डिग्री 1 का एक ट्रॉपिकल पॉलीनोमियल है)।
- इनिशियलाइजेशन: गुणांकों को 1 के रूप में इनिशियलाइज़ किया गया है, जिसमें यूनिटरी गेन के लिए $\sqrt{2/n}$ का स्केलिंग फैक्टर है।

C. कार्यान्वयन विवरण (Implementation Details)

लर्नेबल कोएफिशिएंट्स (Learnable Coefficients): फिक्स्ड एक्टिवेशन्स के विपरीत, गुणांक ( $a_k$ ) सीखने योग्य पैरामीटर हैं।
कोई वेट डिके नहीं (No Weight Decay): शून्य की ओर झुकाव को रोकने के लिए गुणांकों को बिना वेट डिके के प्रशिक्षित किया जाता है।
कुशल कर्नेल्स (Efficient Kernels): लेखकों ने कस्टम PyTorch/CUDA कर्नेल्स विकसित किए हैं। हर्मिट के लिए, वे जटिलता को $O(d^2)$ से घटाकर $O(d)$ करने के लिए रिकरेंस रिलेशन ( $He_{n+1} = x He_n - n He_{n-1}$ ) का उपयोग करते हैं।
हर्मिट इंटरपोलेशन के माध्यम से इनिशियलाइजेशन: प्री-ट्रेंड मॉडलों को फाइन-ट्यून करने के लिए, लेखक साधारण लैग्रेंज इंटरपोलेशन के बजाय हर्मिट इंटरपोलेशन (फलन और डेरिवेटिव दोनों मानों को मैच करना) का उपयोग करके शास्त्रीय सक्रियणों (जैसे GELU) को फिट करने का प्रस्ताव देते हैं, जो डेरिवेटिव्स में एलियासिंग (aliasing) से बचाता है।

3. मुख्य योगदान (Key Contributions)

नवीन इनिशियलाइजेशन स्कीम: एक गणितीय रूप से व्युत्पन्न, वेरिएंस-प्रिजर्विंग इनिशियलाइजेशन जो ऑर्थोगोनल लर्नबल एक्टिवेशन्स के लिए सुनिश्चित करता है कि क्लैम्पिंग के बिना स्थिर प्रशिक्षण डायनेमिक्स बना रहे।
पॉलीनोमियल मैपिंग का सैद्धांतिक प्रमाण: पेपर यह सिद्ध करता है (परिशिष्ट F) कि पॉलीनोमियल एक्टिवेशन्स के साथ डीप न्यूरल नेटवर्क मल्टीवेरिएट पॉलीनोमियल मैपिंग के समकक्ष हैं। यह इस धारणा को चुनौती देता है कि पॉलीनोमियल्स डीप लर्निंग के लिए अनुपयुक्त हैं और एक ज्यामितीय व्याख्या (एल्जेब्रिक वैरायटीज़) प्रदान करता है।
ट्रॉपिकल व्याख्या: दर्शाता है कि ट्रॉपिकल एक्टिवेशन्स एक फलन के एप ग्राफ के कॉन्वेक्स हल को एनकोड करते हैं, जो ट्रॉपिकल ज्योमेट्री को न्यूरल नेटवर्क निर्णय सीमाओं (decision boundaries) से जोड़ता है।
बड़े पैमाने के मॉडलों पर अनुभवजन्य सत्यापन: इन सक्रियणों का उपयोग करके ConvNeXt-T को ImageNet-1k पर और GPT-2 को OpenWebText पर सफलतापूर्वक प्रशिक्षित किया गया, जिससे GELU/SiLU बेसलाइन के बराबर या बेहतर प्रदर्शन प्राप्त हुआ।
ओपन सोर्स लाइब्रेरी: इन सक्रियणों को torchortho लाइब्रेरी में लागू किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने इमेज क्लासिफिकेशन और लैंग्वेज मॉडलिंग कार्यों पर सक्रियणों का मूल्यांकन किया:

ImageNet-1k (ConvNeXt-T):
- हर्मिट (डिग्री 3): 82.22% टॉप-1 सटीकता प्राप्त की (GELU के 82.06% के मुकाबले)।
- ट्रॉपिकल (डिग्री 6): 82.17% टॉप-1 सटीकता प्राप्त की।
- फूरियर (डिग्री 6): 81.64% टॉप-1 सटीकता प्राप्त की।
- महत्व: सभी प्रस्तावित सक्रियणों ने सांख्यिकीय महत्व ( $p < 0.05$ ) के साथ GELU बेसलाइन को पछाड़ दिया।
OpenWebText (GPT-2 124M):
- हर्मिट (डिग्री 3): 18.678 ट्रेनिंग PPL और 18.821 वैलिडेशन PPL प्राप्त किया (GELU के 19.003/19.319 के मुकाबले)।
- ट्रॉपिकल (डिग्री 6): 18.840 ट्रेनिंग PPL प्राप्त किया।
- फूरियर (डिग्री 6): 18.761 ट्रेनिंग PPL प्राप्त किया।
- महत्व: सभी प्रस्तावित सक्रियणों ने GELU और SiLU की तुलना में परप्लेक्सिटी (perplexity) को काफी कम किया।
एब्लेशन स्टडीज (Ablation Studies):
- डिग्री: उच्च डिग्री ने आम तौर पर प्रदर्शन में सुधार किया।
- लर्नेबिलिटी: गुणांकों को सीखने योग्य बनाना महत्वपूर्ण था; फिक्स्ड गुणांक खराब प्रदर्शन करते थे।
- इनिशियलाइजेशन: प्रस्तावित वेरिएंस-प्रिजर्विंग इनिशियलाइजेशन ने GELU को फिट करने वाले इनिशियलाइजेशन से बेहतर प्रदर्शन किया।
- क्लैम्पिंग: क्लैम्पिंग तंत्र को हटाने से प्रशिक्षण अस्थिर नहीं हुआ, जो इनिशियलाइजेशन की प्रभावकारिता की पुष्टि करता है।
दक्षता (Efficiency):
- पैरामीटर ओवरहेड नगण्य है (उदाहरण के लिए, हर्मिट ~0.0002% पैरामीटर जोड़ता है)।
- कम्प्यूटेशनल लागत डिग्री के साथ रैखिक रूप से स्केल करती है ( $O(d)$ )। GPUs पर, वेक्टरलाइजेशन के कारण लो-डिग्री वेरिएंट लगभग स्थिर स्केलिंग दिखाते हैं।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य इस धारणा को चुनौती देता है कि पॉलीनोमियल सक्रियण स्वाभाविक रूप से अस्थिर या अनुपयुक्त हैं। यह दिखाता है कि सही गणितीय ढांचे (ऑर्थोगोनल बेसिस + वेरिएंस प्रिजर्वेशन) के साथ, वे अत्यधिक प्रभावी हैं।
व्याख्यात्मकता (Interpretability): DNN को पॉलीनोमियल मैपिंग के रूप में फ्रेम करके, यह पेपर न्यूरल नेटवर्क को एल्जेब्रिक ज्योमेट्री (न्यूरोमैनिफोल्ड्स और न्यूरोवैरायटीज़) के लेंस से विश्लेषण करने का द्वार खोलता है, जो संभावित रूप से मॉडल की व्याख्यात्मकता और पहचान क्षमता (identifiability) में सुधार करता है।
फाइन-ट्यूनिंग: शास्त्रीय सक्रियणों को हर्मिट इंटरपोलेशन के माध्यम से अनुमानित करने की क्षमता, सीखने योग्य सक्रियणों का उपयोग करके प्री-ट्रेंड मॉडलों से ज्ञान को नई आर्किटेक्चर में स्थानांतरित करने के लिए एक मजबूत रणनीति प्रदान करती है।
भविष्य की दिशाएं: लेखक वेवलेट्स (हर्मिटियन और मोरलेट) तक इस ढांचे को विस्तारित करने और फूरियर सक्रियणों के कॉम्प्लेक्स रूप के माध्यम से कॉम्प्लेक्स-वैल्यूड न्यूरल नेटवर्क का पता लगाने का सुझाव देते हैं।

निष्कर्षतः, यह शोध पत्र स्थिर सक्रियण कार्यों को सीखने योग्य ऑर्थोगोनल और ट्रॉपिकल बेसिस से बदलने के लिए एक कठोर सैद्धांतिक और अनुभवजन्य आधार प्रदान करता है, जो अधिक कुशल, व्याख्यात्मक और स्थिर डीप लर्निंग मॉडल की ओर एक मार्ग प्रशस्त करता है।