🤖 machine learning

Activation-Free Backbones for Image Recognition: Polynomial Alternatives within MetaFormer-Style Vision Models

यह शोध पत्र PolyNeXt को प्रस्तुत करता है, जो कि एक्टिवेशन-मुक्त विजन बैकबोन का एक परिवार है जो मेटाफॉर्मर-शैली के आर्किटेक्चर के भीतर हैडामार्ड उत्पादों का उपयोग करके मानक नॉनलिनैरिटीज़ को बहुपद विकल्पों से बदल देता है, जिससे इमेज रिकग्निशन और सेगमेंटेशन कार्यों में कंप्यूटेशनल लागत को कम करते हुए अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट बना रहे हैं जो किसी तस्वीर को देखकर आपको ठीक-ठीक बता सके कि उसमें क्या है। वर्षों से, इन रोबोटों को बनाने वाले इंजीनियरों ने "एक्टिवेशन फंक्शन्स" (जैसे ReLU या GELU) नामक "मैजिक स्विच" के एक विशिष्ट सेट पर भरोसा किया है। ये स्विच ट्रैफिक लाइट या गेट की तरह काम करते हैं; वे तय करते हैं कि कौन सी जानकारी रोबोट के दिमाग में जाएगी और किसे रोका जाएगा। उद्योग का मानक यह रहा है कि इन विशिष्ट गेटों के बिना, रोबोट जटिल पैटर्न नहीं सीख सकता।

यह पेपर, जिसका शीर्षक "Activation-Free Backbones for Image Recognition" है, इस लंबे समय से चली आ रही धारणा को चुनौती देता है। लेखक, जेफरी वांग और उनके सहयोगियों का कहना है: "वास्तव में, आपको उन विशिष्ट ट्रैफिक लाइट्स की आवश्यकता नहीं है। आप पूरी तरह से एक अलग प्रकार के गणित का उपयोग करके एक स्मार्ट और अधिक कुशल रोबोट बना सकते हैं।"

यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और यह क्यों महत्वपूर्ण है, रोजमर्रा के उदाहरणों का उपयोग करते हुए।

1. समस्या: "ट्रैफिक लाइट" का बॉटलनेक (रुकावट)

आधुनिक AI में, रोबोट का दिमाग परतों (layers) से बना होता है। जानकारी इन परतों के माध्यम से बहती है, और हर कदम पर, यह एक "ट्रैफिक लाइट" (एक एक्टिवेशन फंक्शन) से टकराती है जो सिग्नल को चालू या बंद करती है या उसका आकार बदल देती है।

पुराना तरीका: रोबंतु एक संख्या की गणना करता है, एक ट्रैफिक लाइट से टकराता है, और फिर आगे बढ़ जाता है।
समस्या: लेखकों का तर्क है कि जटिलता पैदा करने के लिए केवल ये ट्रैफिक लाइट ही एकमात्र तरीका नहीं हैं। वास्तव में, वे अक्षम हो सकते हैं और कभी-कभी बाधा भी बन सकते हैं।

2. समाधान: "स्विच" के बजाय "रेसिपी"

ट्रैफिक लाइट का उपयोग करने के बजाय, लेखकों ने उन्हें पॉलीनोमियल्स (polynomials) से बदल दिया।

उदाहरण: कल्पना कीजिए कि आप एक केक बना रहे हैं।
- पुराना तरीका (एक्टिवेशन): आप सामग्री मिलाते हैं, फिर एक विशिष्ट नियम (एक ट्रैफिक लाइट) की जांच करने के लिए रुकते हैं कि क्या आपको और चीनी डालनी चाहिए।
- नया तरीका (पॉलीनोमियल्स): आप बस सामग्रियों को एक विशिष्ट गणितीय रेसिपी में एक साथ मिला देते हैं। जटिलता इस बात से आती है कि आप उन्हें कैसे मिलाते हैं, न कि किसी नियम की जांच करने के लिए रुकने से।

विशेष रूप से, उन्होंने "रुकने और जांचने" वाले चरणों को हादामर्ड प्रोडक्ट्स (Hadamard products) से बदल दिया।

यह क्या है? कल्पना कीजिए कि आपके पास संख्याओं की दो सूचियाँ हैं। उन्हें जोड़ने के बजाय, आप उन्हें तत्व-दर-तत्व (element by element) गुणा करते हैं।
जादू: जब आप दो सूचियों को गुणा करते हैं, तो आप बिना किसी विशेष "ट्रैफिक लाइट" स्विच के, स्वचालित रूप से एक जटिल, घुमावदार संबंध (एक पॉलीनोमियल) बना देते हैं। यह वैसा ही है जैसे लाल और नीले रंग को मिलाने से स्वाभाविक रूप से बैंगनी रंग बनता है, बिना किसी "बैंगनी स्विच" के।

3. तीन नए उपकरण

टीम ने रोबोट के दिमाग में पुराने उपकरणों को बदलने के लिए तीन नए उपकरण बनाए:

PolyMLP: मानक "फीडफॉरवर्ड" लेयर (वह हिस्सा जो जानकारी को प्रोसेस करता है) को बदल देता है। गेट के बजाय, यह डेटा की दो धाराओं को आपस में गुणा करता है।
PolyConv: "कन्वोल्यूशन" लेयर (वह हिस्सा जो किनारों या बनावट जैसे आकार ढूँढता है) को बदल देता है। यह गुणा का उपयोग करके छवि के विभिन्न दृश्यों को मिलाता है।
PolyAttn: "अटेंशन" मैकेनिज्म (वह हिस्सा जो तय करता है कि छवि के कौन से हिस्से महत्वपूर्ण हैं) को बदल देता है। एक जटिल घातांकीय (exponential) गणितीय कार्य (जैसे एक खड़ी ढलान) के बजाय, यह एक चिकनी पॉलीनोमियल वक्र (curve) का उपयोग करता है।

4. चुनौती: "स्नोबॉल इफेक्ट" (बर्फ के गोले का प्रभाव)

इस नए दृष्टिकोण के साथ एक बड़ी समस्या थी।

उदाहरण: यदि आप दो बड़ी संख्याओं को गुणा करते हैं, तो आपको एक बहुत बड़ी संख्या प्राप्त होती है। यदि आप अगले लेयर में ऐसा फिर से करते हैं, तो आपको एक विशाल संख्या प्राप्त होती है। यदि आप 100 परतों तक ऐसा करते रहते हैं, तो संख्याएँ इतनी बड़ी हो जाती हैं कि वे विस्फोट कर जाती हैं (जैसे पहाड़ से नीचे लुढ़कता हुआ बर्फ का गोला जो नियंत्रण से बाहर हो जाता है)। इसके कारण रोबोट का प्रशिक्षण क्रैश हो गया।

समाधान: लेखकों ने स्नोबॉल को फटने से रोकने के लिए एक "स्थिरीकरण रेसिपी" (stabilization recipe) बनाई:

Sigmoid-Scale: उन्होंने एक छोटा सा "डिमर स्विच" जोड़ा जो स्वचालित रूप से आवाज़ को कम कर देता है यदि संख्याएँ बहुत तेज़ हो जाती हैं।
Multi-Input Skips: उन्होंने "बायपास रोड" बनाए जो दो चरणों पहले की जानकारी को एक लेयर को छोड़कर आगे जाने देते हैं, जिससे यह सुनिश्चित होता है कि सिग्नल खो न जाए या विकृत न हो जाए।
Deep and Narrow: उन्होंने पाया कि रोबोट के दिमाग को बहुत गहरा (कई परतें) लेकिन संकीर्ण (कम चौड़ा) बनाना, सामान्य चौड़े और उथले डिज़ाइन की तुलना में बेहतर काम करता है।

5. परिणाम: तेज़, मजबूत और अधिक सक्षम

उन्होंने अपने नए "PolyNeXt" रोबोट्स का परीक्षण छवियों के एक विशाल डेटासेट (ImageNet) पर किया।

प्रदर्शन: उनके पॉलीनोमियल रोबोट्स ने पुराने "ट्रैफिक लाइट" स्विच वाले सर्वश्रेष्ठ रोबोट्स के समान या उनसे बेहतर प्रदर्शन किया।
दक्षता: उन्होंने कम पैरामीटर्स (कम मस्तिष्क द्रव्यमान) और कम कंप्यूटिंग पावर के साथ ये परिणाम प्राप्त किए।
मजबूती (Robustness): जब उन्होंने रोबोट्स को धुंधली, शोर वाली या अजीब तरह से बनाई गई छवियां दिखाईं (आउट-ऑफ-डिस्ट्रीब्यूशन डेटा), तो पॉलीनोमियल रोबोट्स आश्चर्यजनक रूप से पुराने रोबोट्स की तुलना में सही अनुमान लगाने में बेहतर थे।
गोपनीयता क्षमता: चूंकि उन्होंने जटिल "एक्सपोनेंशियल" गणित और विभाजन चरणों को हटा दिया है, इसलिए ये रोबोट्स फुली होमॉर्मोरफिक एन्क्रिप्शन (FHE) के साथ संगत होने के बहुत करीब हैं।
- FHE क्या है? यह एन्क्रिप्टेड डेटा पर बिना उसे डिक्रिप्ट किए गणित करने का एक तरीका है। गोपनीयता के लिए यह बहुत बड़ा है; पुराने "ट्रैफिक लाइट" स्विच एन्क्रिप्शन के साथ उपयोग करना कठिन थे; ये नए पॉलीनोमियल स्विच इसके लिए बहुत अनुकूल हैं।

6. निष्कर्ष

यह पेपर साबित करता है कि शक्तिशाली इमेज-रिकग्निशन AI बनाने के लिए एक्टिवेशन फंक्शन्स एक मौलिक आवश्यकता नहीं हैं। वे केवल एक इंजीनियरिंग समस्या का एक समाधान हैं। पॉलीनोमियल गणित (गेटिंग के बजाय गुणा) का उपयोग करके और गणित को स्थिर रखने के लिए कुछ सुरक्षा तंत्र जोड़कर, लेखकों ने AI मॉडल्स का एक नया परिवार बनाया जो हैं:

वर्तमान मॉडल्स जितने स्मार्ट (या उससे अधिक स्मार्ट)।
अधिक कुशल (चलाने में सस्ते)।
अधिक मजबूत (अजीब छवियों को संभालने में बेहतर)।
अधिक गोपनीयता-अनुकूल (एन्क्रिप्ट करने में आसान)।

संक्षेप में: उन्होंने रोबोट के दिमाग से "ट्रैफिक लाइट" निकाल दी, उन्हें एक चतुर मिश्रण रेसिपी से बदल दिया, और पाया कि रोबोट वास्तव में बेहतर गाड़ी चलाता है।

तकनीकी सारांश: इमेज रिकग्निशन के लिए एक्टिवेशन-फ्री बैकबोन

समस्या विवरण (Problem Statement)

आधुनिक विजन आर्किटेक्चर, जिसमें मेटाफॉर्मर-शैली के बैकबोन शामिल हैं, नॉन-लिनियरिटी (nonlinearity) को पेश करने के लिए पॉइंटवाइज एक्टिवेशन फंक्शन्स (जैसे, ReLU, GELU, SiLU) और सॉफ्टमैक्स अटेंशन के भीतर एक्सपोनेंशियल ऑपरेशन्स पर बहुत अधिक निर्भर करते हैं। जबकि ये घटक न्यूरल नेटवर्क को जटिल कार्यों को अनुमानित करने में सक्षम बनाते हैं, वे एकमात्र स्रोत नहीं हैं। यह शोध पत्र तर्क देता है कि ये एक्टिवेशन प्रतिस्पर्धी प्रदर्शन के लिए कड़ाई से आवश्यक नहीं हैं। इसके अलावा, नॉन-पॉलीनोमियल ऑपरेशन्स (जैसे एक्सपोनेंशियल और पॉइंटवाइज एक्टिवेशन) पर निर्भरता, फुल्ली होमोमोर्फिक एन्क्रिप्शन (FHE) के लिए महत्वपूर्ण ओवरहेड पैदा करती है, जो एक गोपनीयता-संरक्षण गणना प्रतिमान (privacy-preserving computation paradigm) है जहाँ मानक नेटवर्क अपने नॉन-पॉलीनोमियल स्वभाव के कारण भारी लागत उठाते हैं। मौजूदा पॉलीनोमियल नेटवर्क (जैसे, MONet, DTTN) ने क्षमता प्रदर्शित की है, लेकिन वे अक्सर कस्टम, कसकर जुड़े हुए आर्किटेक्चर की आवश्यकता रखते हैं जो उनकी व्यावहारिक उपयोगिता को सीमित करते हैं और तुलनीय कम्प्यूटेशनल लागत पर एक्टिवेशन-आधारित समकक्षों के प्रदर्शन से मेल खाने में विफल रहते हैं।

कार्यप्रणाली (Methodology)

लेखक मौजूदा मॉड्यूलर विजन बैकबोन के इनपुट-आउटपुट इंटरफेस को संरक्षित करते हुए, मानक नॉन-लिनियरिटीज को पॉलीनोमियल विकल्पों से बदलने के लिए एक फ्रेमवर्क का प्रस्ताव करते हैं। यह दृष्टिकोण पूरे आर्किटेक्चर को पुन: डिजाइन किए बिना स्थापित फ्रेमवर्क्स जैसे कि मेटाफॉर्मर में पॉलीनोमियल मॉड्यूल को एकीकृत करने की अनुमति देता है।

मुख्य प्रिमिटिव्स (Core Primitives)

यह शोध पत्र तीन एक्टिवेशन-फ्री मॉड्यूल पेश करता है जो मानक नॉन-लिनियरिटीज को सीखे गए लीनियर प्रोजेक्शन के हैडामार्ड उत्पाद (Hadamard products - एलिमेंटवाइज मल्टीप्लिकेशन) के साथ प्रतिस्थापित करते हैं:

PolyMLP (चैनल मिक्सिंग): फीडफॉरवर्ड नेटवर्क में पॉइंटवाइज एक्टिवेशन को दो समानांतर लीनियर प्रोजेक्शन के हैडामार्ड उत्पाद द्वारा प्रतिस्थापित करता है: $PolyMLP(x) = W_o ((W_a x) * (W_b x))$ । यह इनपुट फीचर्स में दूसरे-डिग्री के पॉलीनोमियल को जन्म देता है।
PolyConv (स्पेशियल मिक्सिंग): सेपरेबल कनवल्शन्स में एक्टिवेशन को अलग-अलग रिसेप्टिव फील्ड्स वाले समानांतर कनवल्शनल शाखाओं को एलिमेंटवाइज मल्टीप्लिकेशन के माध्यम से फ्यूज करके प्रतिस्थापित करता है। विशेष रूप से, यह एक "कोर्स" (coarse) शाखा (डाइलेटेड डेप्थवाइज़ कनवल्शन) और एक "फाइन" (fine) शाखा (स्टैंडर्ड डेप्थवाइज़ कनवल्शन) को जोड़ता है, और फ्यूजन से पहले फीचर्स को डिकोरिलेट करने के लिए एक शाखा पर चैनल-फ्लिप लागू करता है।
PolyAttn (ग्लोबल स्पेशियल मिक्सिंग): सॉफ्टमैक्स अटेंशन में एक्सपोनेंशियल फंक्शन को एक पॉलीनोमियल कर्नेल द्वारा प्रतिस्थापित करता है: $A = (s \cdot QK^\top + 1)^p$ , जिसके बाद $\ell_1$ नॉर्मलाइजेशन किया जाता है। यह एक एक्टिवेशन-फ्री अटेंशन मैकेनिज्म बनाता है जो विंडो आधारित अटेंशन जैसे स्ट्रक्चरल वेरिएंट्स के साथ संगत रहता है।

स्टेबिलाइजेशन तकनीकें (Stabilization Techniques)

लेखक पहचानते हैं कि हैडामार्ड उत्पाद बड़े मानों को बढ़ा सकते हैं, जिससे गहरे नेटवर्क में ट्रेनिंग अस्थिरता आती है। ~200 परतों तक के नेटवर्क की स्थिर ट्रेनिंग को सक्षम करने के लिए, वे निम्नलिखित पेश करते हैं:

Sigmoid-Scale: एक सिग्मॉइड फंक्शन ( $\sigma(\lambda)$ ) द्वारा सीमित एक लर्न करने योग्य स्केलर जो रेसिडुअल योगदान को स्केल करता है ( $y = x + \sigma(\lambda)f(x)$ ), जिससे अनबाउंडेड ग्रोथ को रोका जा सके।
Multi-Input Skip Connections: NASNet से प्रेरित होकर, प्रत्येक सेल को दो पिछले सेल्स ( $x_{t-1}$ और $x_{t-2}$ ) से इनपुट प्राप्त होता है, जिससे ग्रेडिएंट फ्लो में सुधार होता है।
Depth-over-Width Design: लेखक चौड़े और उथले कॉन्फ़िगरेशन के बजाय संकीर्ण परतों को गहरा स्टैक करने की वकालत करते हैं। यह डिज़ाइन इस तथ्य का लाभ उठाता है कि पॉलीनोमियल डिग्री गहराई के साथ तेजी से बढ़ती है ( $L$ गहराई के लिए $2^L$ ), जो पैरामीटर्स में रैखिक वृद्धि के बिना रिप्रेजेंटेशनल कैपेसिटी को अधिकतम करती है।

आर्किटेक्चर: PolyNeXt

इन मॉड्यूल्स को एक मेटाफॉर्मर-शैली के चार-चरणों वाले पदानुक्रमित (hierarchical) आर्किटेक्चर के भीतर इंस्टैंशिएट किया गया है। दो वेरिएंट प्रस्तावित किए गए हैं:

CPolyNeXt: सभी चरणों में स्पेशियल मिक्सिंग के लिए PolyConv का उपयोग करता है।
APolyNeXt: एक हाइब्रिड डिज़ाइन जो हाई-रेसोल्यूशन चरणों में PolyConv और लो-रेसोल्यूशन चरणों में PolyAttn का उपयोग करता है।

मुख्य परिणाम (Key Results)

मॉडल का मूल्यांकन ImageNet-1K क्लासिफिकेशन, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) रोबस्टनेस और ADE20K सिमेंटिक सेगमेंटेशन पर किया गया।

ImageNet-1K क्लासिफिकेशन: PolyNeXt मॉडल सभी मॉडल स्केल्स (Tiny से Large) में एक्टिवेशन-आधारित मेटाफॉर्मर इंस्टेंशिएशन (ConvFormer, CAFormer) के बराबर या उससे बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, CPolyNeXt-S (26M params) 83.9% Top-1 एक्यूरेसी प्राप्त करता है, जो ConvFormer-S18 (83.0%) और पूर्ववर्ती पॉलीनोमियल नेटवर्क जैसे DTTN-S (79.4%) को महत्वपूर्ण मार्जिन (2-3 प्रतिशत अंक) से पीछे छोड़ देता है, जबकि कम्प्यूटेशनल लागत भी कम होती है।
रोबस्टनेस (Robustness): पॉलीनोमियल बैकबोन ImageNet-C (करप्शन), ImageNet-A (एडवर्सरियल), ImageNet-R (रेन्डिशन) और ImageNet-Sketch पर बेहतर रोबस्टनेस प्रदर्शित करते हैं। CPolyNeXt-B (40M params) कई OOD बेंचमार्क्स पर ConvFormer-B36 (100M params) को पछाड़ देता है।
डेंस प्रेडिक्शन (Dense Prediction): ADE20K सिमेंटिक सेगमेंटेशन पर, CPolyNeX-S, मैच किए गए पैरामीटर काउंट पर दोनों ConvFormer-S18 और CAFormer-S18 को क्रमशः +2.0 और +1.7 mIoU से पछाड़ता है।
फुल्ली पॉलीनोमियल वेरिएंट्स: LayerNorm को पॉलीनोमियल-संगत BatchNorm (डिवीजन से बचने के लिए रनिंग स्टैटिस्टिक्स का उपयोग करते हुए) से बदलकर, लेखकों ने पूरी तरह से पॉलीनोमियल मॉडल बनाए हैं। CPolyNeXt-S (BN) ImageNet पर 82.7% प्राप्त करता है, जो पिछले सर्वश्रेष्ठ पॉलीनोमियल मॉडल (MONet-T BN) की तुलना में 5.0-पॉइंट का सुधार है और एक्टिवेशन-आधारित ConvNeXt-T (82.1%) को भी पीछे छोड़ देता है।

एब्लेशन इनसाइट्स (Ablation Insights)

एक्टिवेशंस हानिकारक हैं: पॉलीनोमियल मॉड्यूल में एक्टिवेशन्स (जैसे, GELU) को फिर से जोड़ने से प्रदर्शन में लगातार गिरावट आती है। लेखक इसका श्रेय हैडामार्ड उत्पाद में निहित "म्युचुअल ग्रेडिएंट कपलिंग" के व्यवधान को देते हैं, जहाँ प्रत्येक ब्रांच का ग्रेडिएंट दूसरी ब्रांच के आउटपुट द्वारा स्केल होता है।
स्टेबिलाइजेशन महत्वपूर्ण है: Sigmoid-Scale या मल्टी-इनपुट स्किप कनेक्शंस को हटाने से प्रदर्शन में भारी गिरावट या ट्रेनिंग कोलैप्स होता है।
रेसिपी सेंसिटिविटी: प्रदर्शन में सुधार मॉड्यूल डिज़ाइन और स्टेबिलाइजेशन तकनीकों के कारण है, न कि किसी अद्वितीय ट्रेनिंग रेसिपी के कारण, क्योंकि मॉड्यूल अन्य आर्किटेक्चर में बदले जाने पर भी अच्छी तरह से काम करते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि एक्टिवेशन फंक्शन आधुनिक विजन बैकबोन के लिए एक रिप्रेजेंटेशनल आवश्यकता नहीं हैं, बल्कि ऑप्टिमाइजेशन चुनौतियों का एक समाधान हैं। ऑप्टिमाइजेशन चुनौतियों को संबोधित करके, पॉलीनोमियल इंटरैक्शन प्रभावी नॉन-लिनियरिटी के स्रोत के रूप में कार्य कर सकते हैं।

मुख्य योगदान निम्नलिखित हैं:

पॉलीनोमियल विकल्प: PolyMLP, PolyConv और PolyAttn का परिचय, जो आर्किटेक्चरल सुधारों के साथ संगत रहते हुए हैडामार्ड उत्पाद के साथ मानक नॉन-लिनियरिटीज को प्रतिस्थापित करते हैं।
अनुभवजन्य प्रमाण (Empirical Evidence): विभिन्न स्केल्स पर सटीकता और रोबस्टनेस में एक्टिवेशन-आधारित समकक्षों के बराबर या उनसे बेहतर प्रदर्शन करते हुए एक्टिवेशन-फ्री बैकबोन (PolyNeXt) का प्रदर्शन।
स्टेबलाइजेशन रेसिपी: एक हल्का सेट जो गहरे (~200 परतों तक) पॉलीनोमियल नेटवर्क की ट्रेनिंग को सक्षम बनाता है।
FHE प्रगति: नॉन-पॉलीनोमियल ऑपरेशन्स को हटाकर फुल्ली होमोमोर्फिक एन्क्रिप्शन-संगत इन्फरेंस की दिशा में एक कदम, जिसमें एक पूरी तरह से पॉलीनोमियल वेरिएंट शामिल है जो पूर्ववर्ती पॉलीनोमियल नेटवर्क से बेहतर प्रदर्शन करता है और एक्टिवेशन-आधारित बेसलाइन्स के करीब पहुंच जाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका कार्य तत्काल सुरक्षा या निष्पक्षता लाभों का संकेत नहीं देता है, यह गोपनीयता-संरक्षण इन्फरेंस की ओर एक मार्ग खोलता है और सुझाव देता है कि क्षेत्र को पारंपरिक एक्टिवेशन फंक्शन्स की आवश्यकता का पुनर्मूल्यांकन करना चाहिए।