Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

यहाँ शोध पत्र "SWISH-T: ENHANCING SWISH ACTIVATION WITH TANH BIAS FOR IMPROVED NEURAL NETWORK PERFORMANCE" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप लर्निंग में गैर-रैखिकता (non-linearity) लाने के लिए एक्टिवेशन फंक्शन मौलिक हैं। जबकि ReLU कुशल है, यह "डाइंग ReLU" (dying ReLU) की समस्या से ग्रस्त है (न्यूरॉन्स निष्क्रिय हो जाते हैं)। Leaky ReLU और PReLU जैसे वेरिएंट इसे हल करने का प्रयास करते हैं, लेकिन वे शून्य पर गैर-अवकलनीयता (non-differentiability) पेश करते हैं। GELU, Swish, और Mish जैसे सुचारू अनुमानों (smooth approximations) ने बेहतर प्रदर्शन किया है, लेकिन वे अभी भी अनुकूलन क्षमता और ग्रेडिएंट प्रवाह नियंत्रण में सीमाओं का सामना करते हैं।

लेखक पहचानते हैं कि मौजूदा एक्टिवेशन फंक्शनों में इनपुट मानों के आधार पर एक्टिवेशन थ्रेशोल्ड और बायस (bias) को एक सुचारू, सीमित तरीके से गतिशील रूप से समायोजित करने के लिए तंत्र की कमी है। विशेष रूप से, वे निम्नलिखित लक्ष्यों को लक्षित करते हैं:

• प्रारंभिक प्रशिक्षण के दौरान नकारात्मक मानों की व्यापक स्वीकृति की अनुमति देकर "डाइंग ReLU" की समस्या को दूर करना।
• मूल Swish की तुलना में अधिक सुचारू, गैर-एकदिष्ट (non-monotonic) वक्र प्रदान करना।
• कंप्यूटेशनल दक्षता से समझौता किए बिना विविध नेटवर्क आर्किटेक्चरों में ग्रेडिएंट स्थिरता और अनुकूलन क्षमता को बढ़ाना।

2. कार्यप्रणाली: स्विश-टी (Swish-T) परिवार

मुख्य प्रस्ताव Swish-T परिवार है, जो एक Tanh बायस टर्म जोड़कर मानक Swish फंक्शन ($x \cdot \sigma(\beta x)$) को उन्नत करता है।

2.1 मुख्य डिजाइन सिद्धांत

बायस फंक्शन का चयन तीन मानदंडों के आधार पर किया गया था:

1. शून्य-केंद्रित (Zero-centered): मूल Swish के शून्य-केंद्रित गुण को बनाए रखने के लिए।
2. गैर-रैखिकता (Non-linearity): इनपुट $x$ के आधार पर बायस को गतिशील रूप से समायोजित करने के लिए।
3. सीमित (Bounded): यह सुनिश्चित करने के लिए कि बायस मूल फंक्शन के गुणों को बाधित न करे, जिसे हाइपरपैरामीटर $\alpha$ द्वारा स्केल किया गया है।

लेखकों ने पाया कि Swish + $\alpha \tanh(x)$ का संयोजन सबसे अच्छा प्रदर्शन (CIFAR-100 पर ResNet-18 के साथ 79.02% Top-1) देता है।

2.2 वेरिएंट्स (Variants)

पेपर प्रदर्शन, कंप्यूटेशनल गति और स्थिरता को संतुलित करने के लिए चार विशिष्ट वेरिएंट प्रस्तावित करता है:

1. Swish-T (Base):

   • सूत्र: $f(x) = x\sigma(\beta x) + \alpha \tanh(x)$
   • विशेषताएँ: यह एक ट्रेन करने योग्य पैरामीटर $\beta$ और हाइपरपैरामीटर $\alpha$ जोड़ता है। यह नकारात्मक क्षेत्रों में $\pm\alpha$ पर अभिसरण (converge) करता है, जिससे नकारात्मक इनपुट को अधिक सुचारू रूप से संभालना संभव होता है।

2. Swish-TA (Efficiency):

   • सूत्र: $f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$
   • विशेषताएँ: यह गुणांकों को 1 में एकीकृत करके मूल समीकरण को सरल बनाता है। इसमें कोई ट्रेन करने योग्य पैरामीटर नहीं है, जो इसे कंप्यूटेशनल रूप से तेज़ बनाता है और उन परिदृश्यों के लिए उपयुक्त बनाता जहाँ दक्षता महत्वपूर्ण है।

3. Swish-TB (Adaptability):

   • सूत्र: $f_B(x) = \sigma(\beta x)(x + 2\alpha) - \alpha$
   • विशेषताएँ: यह Swish-TA में ट्रेन करने योग्य पैरामीटर $\beta$ को पुन: पेश करता है। बायस $x$ और $\beta$ दोनों पर निर्भर करता है, जिससे विविध इनपुट विशेषताओं के प्रति गतिशील अनुकूलन संभव होता है।

4. Swish-TC (Stability & Symmetry):

   • सूत्र: $f_C(x) = \sigma(\beta x)(x + \frac{2\alpha}{\beta}) - \frac{\alpha}{\beta}$
   • विशेषताएँ: यह सुनिश्चित करने के लिए डिज़ाइन किया गया है कि जब $\beta$ का चिह्न बदलता है तो समरूपता (symmetry) बनी रहे। यह अधिकतम ग्रेडिएंट को तेजी से बढ़ने से रोकता है (जो Swish-TB में एक संभावित समस्या है) और सबसे स्थिर ग्रेडिएंट प्रवाह प्रदान करता है।

2.3 ग्रेडिएंट विश्लेषण (Gradient Analysis)

लेखकों ने सभी वेरिएंट के विश्लेषणात्मक ग्रेडिएंट निकाले हैं। विशेष रूप से, Swish-TC ग्रेडिएंट गणना में $\alpha$ और $\beta$ के सीधे गुणन से बचता है, जो ग्रेडिएंट प्रवाह को स्थिर करता है और बैकप्रोपैगेशन के दौरान ग्रेडिएंट विस्फोट (exploding gradients) को रोकता है।

3. प्रमुख योगदान

• नवीन एक्टिवेशन परिवार: Swish-T परिवार का परिचय, जो एक स्मूथ, नॉन-मोनोटोनिक एक्टिवेशन कर्व बनाने के लिए Tanh बायस को एकीकृत करता है, जो Swish की तुलना में नकारात्मक मानों को अधिक प्रभावी ढंग से स्वीकार करता है।
• विशेषज्ञता वाले वेरिएंट: विशिष्ट आवश्यकताओं के लिए तैयार किए गए तीन अलग-अलग वेरिएंट (TA, TB, TC) का विकास: कंप्यूटेशनल गति (TA), गतिशील अनुकूलन क्षमता (TB), और ग्रेडिएंट स्थिरता (TC)।
• गैर-पैरामीट्रिक दक्षता: यह प्रदर्शन दिखाना कि इन फंक्शन्स को $\beta$ को फिक्स करके गैर-पैरामीट्रिक फंक्शन के रूप में उपयोग किया जा सकता है, जिससे महत्वपूर्ण प्रदर्शन हानि के बिना तेज़ प्रशिक्षण गति और कम मेमोरी उपयोग प्राप्त होता है।
• व्यापक अनुभवजन्य सत्यापन: कई डेटासेट्स और आर्किटेक्चरों पर व्यापक परीक्षण, जो ReLU, GELU, Swish, Mish, और SMU जैसे स्टेट-ऑफ-द-आर्ट फंक्शनों पर श्रेष्ठता सिद्ध करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने MNIST, Fashion MNIST, SVHN, CIFAR-10, और CIFAR-100 पर ResNet-18, ShuffleNetV2, SENet-18, EfficientNetB0, MobileNetV2, और DenseNet-121 जैसे आर्किटेक्चरों का उपयोग करके Swish-T परिवार का मूल्यांकन किया।

• CIFAR-10 प्रदर्शन:
  • Swish-TC ने ShuffleNetV2 (2.x) के साथ 94.27% Top-1 सटीकता प्राप्त की, जो ReLU से 2.34% अधिक है।
  • DenseNet-121 पर, Swish-TC ने SMU की टॉप सटीकता (94.95%) के बराबर प्रदर्शन किया, लेकिन तेज़ प्रशिक्षण समय प्रदर्शित किया।
• CIFAR-100 प्रदर्शन:
  • Swish-TC ने ResNet-18 के साथ 79.06% Top-1 सटीकता प्राप्त की (जब $\beta$ को 6.0 पर फिक्स किया गया था), जो ReLU से 4.12% अधिक है।
  • Swish-T वेरिएंट्स ने लगभग सभी आर्किटेक्चरों में ReLU, GELU, SiLU, Swish, और Mish से लगातार बेहतर प्रदर्शन किया।
• एब्लेशन स्टडी (Fixed $\beta$):
  • अध्ययन से पता चला कि कुछ आर्किटेक्चरों (जैसे ResNet-18) में, ट्रेन करने योग्य $\beta$ प्रशिक्षण के दौरान इष्टतम मानों तक अभिसरण करने में संघर्ष करता है।
  • $\beta$ को 6.0 पर फिक्स करने से (एक "मैजिक नंबर" जो अभिसरण विश्लेषण से प्राप्त हुआ), नॉन-पैरामीट्रिक संस्करणों (Swish-TC-6 और Swish-TB-6) ने अपने पैरामीट्रिक समकक्षों की तुलना में उच्च सटीकता प्राप्त की और प्रशिक्षण ओवरहेड को कम किया।

5. महत्व और निष्कर्ष

Swish-T परिवार Swish फंक्शन में एक सीमित, गैर-रैखिक बायस को सफलतापूर्वक एकीकृत करके एक्टिवेशन फंक्शन डिज़ाइन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

• प्रदर्शन: यह विविध बेंचमार्क पर पारंपरिक और आधुनिक एक्टिवेशन फंक्शनों से लगातार बेहतर प्रदर्शन करता है।
• लचीलापन: यह परिवार गति (Swish-TA) और प्रदर्शन (Swish-TC) के बीच एक ट्रेड-ऑफ प्रदान करता है, जिससे अभ्यासकर्ता अपनी विशिष्ट बाधाओं के आधार पर चुनाव कर सकते हैं।
• व्यावहारिकता: यह खोज कि ये फंक्शन नॉन-पैरामीट्रिक (फिक्स्ड $\beta$) फंक्शन के रूप में असाधारण रूप से अच्छा प्रदर्शन करते हैं, अत्यंत महत्वपूर्ण है। इसका तात्पर्य यह है कि Swish-T को मानक ReLU या Swish के ऊपर एक "प्लग-एंड-प्ले" सुधार के रूप में, एक्टिवेशन पैरामीटर्स को अपडेट करने की कंप्यूटेशनल लागत के बिना प्रोडक्शन मॉडल में तैनात किया जा सकता है।

निष्कर्ष यह है कि Swish-T, विशेष रूप से Swish-TC वेरिएंट, आधुनिक डीप लर्निंग आर्किटेक्चर के लिए एक मजबूत, बहुमुखी और उच्च-प्रदर्शन वाला विकल्प प्रदान करता है, जो ग्रेडिएंट स्थिरता, सीखने की गति और मॉडल सटीकता को प्रभावी ढंग से संतुलित करता है।