🤖 AI

Activation Function Design Sustains Plasticity in Continual Learning

यह शोध पत्र यह प्रदर्शित करता है कि विचारशील एक्टिवेशन फंक्शन डिजाइन, विशेष रूप से स्मूथ-लीकी (Smooth-Leaky) और रैंडमाइज्ड स्मूथ-लीकी (Randomized Smooth-Leaky) नॉनलिनियतिटीज के माध्यम से, बिना किसी अतिरिक्त क्षमता या कार्य-विशिष्ट ट्यूनिंग की आवश्यकता के, निरंतर शिक्षण (continual learning) परिदृश्यों में मॉडल प्लास्टिसिटी को बनाए रखने और अनुकूलन हानि (adaptation loss) को रोकने के लिए एक हल्का, आर्किटेक्चर-अज्ञेय (architecture-agnostic) समाधान प्रदान करता है।

मूल लेखक: Lute Lillo, Nick Cheney

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lute Lillo, Nick Cheney

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कुत्ते को करतब दिखाना सिखा रहे हैं। पहले, आप उसे बैठना सिखाते हैं। फिर, आप उसे हाथ मिलाना सिखाते हैं। अंत में, आप उसे लुढ़कना (रोल ओवर) सिखाते हैं।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे कंटीन्यूअल लर्निंग (Continimal Learning) कहा जाता है। लक्ष्य यह है कि AI अपने पुराने करतबों को भूले बिना नई चीजें सीखता रहे।

लेकिन, AI के साथ एक समस्या है। कभी-कभी, कुछ नए करतब सीखने के बाद, AI "अटक" जाता है। वह पुराने करतबों को पूरी तरह से याद रखता है, लेकिन उसमें नए करतब सीखने की क्षमता खत्म हो जाती है। वह कठोर हो जाता है, जैसे कोई मूर्ति जिसके जोड़ हिल न सकें। वैज्ञानिक इसे "लॉस ऑफ प्लास्टिसिटी" (Loss of Plasticity) कहते हैं।

यह शोध पत्र तर्क देता है कि AI को लचीला बनाए रखने का रहस्य केवल उसे अधिक मस्तिष्क शक्ति या बेहतर प्रशिक्षण विधियाँ देना नहीं है। यह एक्टिवेशन फंक्शन (Activation Function) को बदलने के बारे में है।

"एक्टिवेशन फंक्शन" क्या है?

एक AI को नन्हे श्रमिकों (न्यूरॉन्स) की एक विशाल टीम के रूप में सोचें जो एक-दूसरे को नोट्स पास कर रहे हैं।

इनपुट: एक नोट एक कार्यकर्ता की मेज पर पहुँचता है।
एक्टिवेशन फंक्शन: यह कार्यकर्ता का निर्णय नियम (Decision Rule) है। यह तय करता है: "क्या मैं इस नोट को आगे भेजूँ? क्या मैं इसे चिल्लाकर सुनाऊँ? या क्या मैं इसे कूड़ेदान में फेंक दूँ?"

यदि निर्णय नियम बहुत सख्त है, तो कार्यकर्ता बहुत सारे नोट्स फेंक देता है (AI सीखना बंद कर देता है। यदि नियम बहुत अराजक है, तो कार्यकर्ता सब कुछ चिल्लाकर सुना देता है (AI भ्रमित हो जाता है)।

समस्या: "डेड ज़ोन" (Dead Zone)

आजकल AI में उपयोग किया जाने वाला सबसे आम निर्णय नियम ReLU कहलाता है। कल्पना कीजिए एक ऐसे कार्यकर्ता की जो कहता है:

"यदि नोट सकारात्मक (अच्छी खबर) है, तो मैं इसे आगे भेजूँगा। यदि नोट नकारात्मक (बुरी खबर) है, तो मैं इसे कूड़ेदान में फेंक दूँगा और इसे फिर कभी नहीं देखूँगा।"

एक स्थिर दुनिया में, यह ठीक काम करता है। लेकिन एक बदलती दुनिया में (कंटीन्यूअल लर्निंग), चीजें पेचीदा हो जाती हैं। कभी-कभी, "बुरी खबर" (नकारात्मक संख्याएँ) वास्तव में एक नया करतब सीखने की कुंजी होती है। यदि कार्यकर्ता इसे फेंक देता है, तो AI उस जानकारी को हमेशा के लिए खो देता है। वह कार्यकर्ता एक "डेड यूनिट" बन जाता है—एक ज़ोंबी न्यूरॉन जो फिर कभी सक्रिय नहीं होता। AI का मस्तिष्क इन ज़ोंबी से भर जाता है, और वह कुछ भी नया नहीं सीख पाता।

समाधान: "गोल्डिलॉक्स ज़ोन" (Goldilocks Zone)

लेखकों ने पाया कि सबसे अच्छा निर्णय नियम "सब कुछ या कुछ नहीं" वाला नहीं है। इसे बिल्कुल सही (Just Right) होना चाहिए।

उन्होंने "गोल्डिलॉक्स ज़ोन" की खोज की कि कार्यकर्ताओं को बुरी खबर को कैसे संभालना चाहिए:

इसे पूरी तरह से न फेंकें: भले ही नोट नकारात्मक हो, कार्यकर्ता को अभी भी उसका एक छोटा सा हिस्सा आगे भेजना चाहिए। यह कार्यकर्ता को "जीवित" और सीखने के लिए तैयार रखता है।
इसे बहुत ज़ोर से न चिल्लाएं: यदि कार्यकर्ता नकारात्मक नोट को बहुत ज़ोर से पास करता है, तो इससे अराजकता और अस्थिरता पैदा होती है।
सुचारू (Smooth) बनें: "अच्छी खबर पास करने" से "बुरी खबर पास करने" का संक्रमण एक सुचारू वक्र (smooth curve) होना चाहिए, न कि एक तीखा, ऊबड़-खाबड़ ढलान।

नए उपकरण: स्मूथ-लीकी (Smooth-Leaky) और रैंडमाइज्ड स्मूथ-लीकी (Randomized Smooth-Leaky)

इसी के आधार पर, लेखकों ने दो नए "निर्णय नियम" (एक्टिवेशन फंक्शन) बनाए:

स्मूथ-लीकी (Smooth-Leaky): एक ऐसे कार्यकर्ता की कल्पना करें जो आमतौर पर अच्छी खबर पास करता है, लेकिन जब बुरी खबर आती है, तो वह उसे फेंकता नहीं है। इसके बजाय, वह धीरे से एक छोटे से छेद के माध्यम से थोड़ी सी खबर बाहर निकलने देता है। यह दरवाजे को जाम होने से रोकता है।
रैंडमाइज्ड स्मूथ-लीकी (Randomized Smooth-Leaky): यह ऐसे कार्यकर्ताओं की टीम की तरह है जहाँ, हर बार जब एक नोट आता है, तो वे यादृच्छिक (randomly) रूप से तय करते हैं कि कितनी बुरी खबर लीक करनी है। कभी थोड़ा, कभी थोड़ा ज़्यादा। यह यादृच्छिकता टीम को सतर्क रखती है और उन्हें एक ही ढर्रे में फंसने से रोकती है।

यह क्यों मायने रखता है?

लेखकों ने इन नए नियमों का परीक्षण दो बहुत अलग दुनियाओं में किया:

कक्षा (सुपरवाइज्ड लर्निंग): AI को एक के बाद एक विभिन्न प्रकार की छवियों को पहचानना सिखाना।
वीडियो गेम (रीइन्फोर्समेंट लर्निंग): एक भौतिक सिमुलेशन में AI को चलना, दौड़ना और कूदना सिखाना जो समय के साथ बदलता रहता है।

परिणाम?
दोनों मामलों में, नए "स्मूथ-लीकी" नियमों का उपयोग करने वाला AI बहुत लंबे समय तक नए करतब सीखता रहा। वे "अटक" नहीं गए या अनुकूलन करने की क्षमता नहीं खोई। वे एक मूर्ति की तरह कठोर होने के बजाय, एक जिम्नास्ट की तरह लचीले बने रहे।

मुख्य निष्कर्ष

लंबे समय तक, वैज्ञानिकों को लगा कि AI सीखने की समस्याओं को ठीक करने का तरीका बड़े मस्तिष्क बनाना या बेहतर प्रशिक्षण एल्गोरिदम का उपयोग करना है। यह शोध पत्र कहता है: "इसे बहुत जटिल न बनाएं।"

कभी-कभी, समाधान न्यूरॉन्स के व्यक्तित्व को बदलने जितना सरल होता है। उन्हें "बुरी खबर" (नकारात्मक इनपुट) के प्रति थोड़ा अधिक खुला रखकर और उनकी निर्णय लेने की प्रक्रिया को सुचारू बनाकर, हम AI को हमेशा लचीला और सीखने के लिए तैयार रख सकते हैं।

संक्षेप में: AI को युवा और अनुकूलन योग्य बनाए रखने के लिए, उसके न्यूरॉन्स को सोने न दें। उन्हें कठिन समय में भी काम करते रहने के लिए एक हल्का सा धक्का देते रहें।

यहाँ शोध पत्र "Activation Function Design Sustains Plasticity in Continual Learning" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कंटीन्यूअल लर्निंग (CL) के लिए न्यूरल नेटवर्क को पुराने ज्ञान को मिटाए बिना नए कार्यों (tasks) को क्रमिक रूप से सीखने की आवश्यकता होती है। जबकि कैटास्ट्रोफिक फॉरगेटिंग (पुराने ज्ञान का नुकसान) पर अच्छी तरह से शोध किया गया है, यह शोध पत्र प्लास्टिसिटी के नुकसान (loss of plasticity) पर ध्यान केंद्रित करता है: एक ऐसी घटना जहाँ मॉडल पिछले कौशल तो बनाए रखता है लेकिन नए डेटा या वितरण परिवर्तनों (distribution shifts) के अनुकूल होने की क्षमता धीरे-धीरे खो देता है।

लेखकों का तर्क है कि जबकि i.i.d. सेटिंग्स में एक्टिवेशन फंक्शन को अक्सर माध्यमिक हाइपरपैरामीटर माना जाता है, वे गैर-स्थिर (non-stationary) वातावरण (सुपरवाइज्ड और रिइन्फोर्समेंट लर्निंग दोनों) में प्लास्टिसिटी लॉस को कम करने में एक प्राथमिक, आर्किटेक्चर-अज्ञेय (architecture-agnostic) भूमिका निभाते हैं। ReLU जैसे मानक एक्टिवेशन "डेड यूनिट्स" (शून्य ग्रेडिएंट) से ग्रस्त होते हैं, जबकि सैचुरेटिंग फंक्शन (Sigmoid, Tanh) वैनिशिंग ग्रेडिएंट से ग्रस्त होते हैं, जो डेटा वितरण बदलने पर अनुकूलन (adaptation) में बाधा डालते हैं।

2. कार्यप्रणाली और विश्लेषण (Methodology & Analysis)

लेखकों ने उन ज्यामितीय विशेषताओं की पहचान करने के लिए एक्टिवेशन फंक्शन का व्यवस्थित, प्रॉपर्टी-स्तर का विश्लेषण किया जो प्लास्टिसिटी को बनाए रखते हैं। उनकी कार्यप्रणाली में शामिल था:

केस स्टडी 1: नेगेटिव स्लोप के लिए "गोल्डिलॉक्स ज़ोन" (Goldilocks Zone)।
- उन्होंने विभिन्न एक्टिवेशन परिवारों (Leaky-ReLU, RReLU, PReLU, Swish, GeLU, आदि) में नेगेटिव-साइड स्लोप ( $\bar{s}$ ) का परीक्षण किया।
- निष्कर्ष: नेगेटिव-साइड रिस्पॉन्सिवनेस के लिए एक इष्टतम रेंज मौजूद है, जिसे "गोल्डिलॉक्स ज़ोन" ( $0.6 \lesssim \bar{s} \lesssim 0.9$ ) कहा गया है।
- विफलता के मोड (Failure Modes):
  - यदि $\bar{s} \to 0$ : उच्च मात्रा में "डेड यूनिट्स" (ग्रेडिएंट स्टारवेशन)।
  - यदि $\bar{s} \to 1$ (या अधिक): ऑप्टिमाइज़ेशन अस्थिरता, जो प्रिंसिपल कर्वेचर ( $\lambda_{max}$ ) में तीव्र स्पाइक्स और ग्रेडिएंट ग्राम मैट्रिक्स के कम प्रभावी रैंक द्वारा चिह्नित होती है।
- अनुकूलनशीलता (Adaptivity): बिना किसी बाधा के, लर्नबल स्लोप (जैसे PReLU) प्रशिक्षण के दौरान इस इष्टतम ज़ोन से बाहर जा सकते हैं।
केस स्टडी 2: शॉक के तहत डिसैचुरेशन डायनेमिक्स (Desaturation Dynamics under Shocks)।
- लेखकों ने वितरण परिवर्तनों (distribution shifts) को सिम्युलेट करने के लिए "स्केलिंग शॉक" (प्री-एक्टिवेशंस को $\gamma \in \{0.25, 0.5, 1.5, 2.0\}$ कारकों से गुणा करना) से युक्त एक स्ट्रेस प्रोटोकॉल पेश किया।
- मुख्य मीट्रिक: डेड-बैंड विड्थ (DBW), जिसे इनपुट रेंज के उस हिस्से के रूप में परिभाषित किया गया है जहाँ डेरिवेटिव $|\phi'(x)| < 10^{-3}$ है।
- निष्कर्ष:
  - नॉन-ज़ीरो डेरिवेटिव फ्लोर (जैसे Leaky-ReLU, RReLU) तीव्र डिसैचुरेशन और रिकवरी के लिए महत्वपूर्ण हैं।
  - टू-साइडेड सैचुरेशन (Sigmoid, Tanh) रिकवरी में उच्चतम विफलता दर का कारण बनता है।
  - स्मूथनेस बनाम किंक्स (Smoothness vs. Kinks): हालांकि स्मूथ ट्रांजिशन (C1) आम तौर पर पसंद किए जाते हैं, लेकिन रिकवरी की गति की तुलना में रिकवरी सफलता (स्थायी सैचुरेशन से बचना) सुनिश्चित करने के लिए एक सख्त नॉन-ज़ीरो फ्लोर अधिक महत्वपूर्ण है।

3. प्रस्तावित समाधान (Proposed Solutions)

विश्लेषण के आधार पर, लेखक दो नए "ड्रॉप-इन" एक्टिवेशन फंक्शन प्रस्तावित करते हैं जिन्हें पहचाने गए मानदंडों को पूरा करने के लिए डिज़ाइन किया गया है:

स्ट्रिक्ट नॉन-ज़ीरो डेरिवेटिव फ्लोर: यह सुनिश्चित करता है कि नेगेटिव ब्रांच पर ग्रेडिएंट कभी पूरी तरह से गायब न हो।
मॉडरेट नेगेटिव लीक: $0.6-0.9$ के "गोल्डिलॉक्स ज़ोन" को लक्षित करता है।
C1 स्मूथनेस: ऑप्टिमाइज़ेशन अस्थिरता को कम करने के लिए ओरिजिन पर एक निरंतर प्रथम डेरिवेटिव (continuous first derivative)।

नए एक्टिवेशन:

Smooth-Leaky: Leaky-ReLU के लिए एक $C^1$ विकल्प। यह $x>0$ के लिए लीनियर आइडेंटिटी और $x \ll 0$ के लिए लीनियर लीक को सुरक्षित रखता है, जो एक स्मूथ सिग्मॉइड-आधारित ट्रांजिशन द्वारा जुड़ा होता है।
$f(x) = \alpha x + (1 - \alpha) x \cdot \sigma\left(\frac{cx}{p}\right)$
Randomized Smooth-Leaky: एक ऐसा वेरिएंट जहाँ फॉरवर्ड पास के दौरान लीक पैरामीटर $\alpha$ को यूनिफॉर्म डिस्ट्रीब्यूशन $U(l, u)$ से सैंपल किया जाता है (और इन्फरेंस के समय माध्य (mean) पर फिक्स किया जाता है)। यह टास्क-विशिष्ट लोकल ऑप्टिमा के खिलाफ मजबूती (robustness) में सुधार के लिए हल्का स्टोकेस्टिकिटी (stochasticity) पेश करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. कंटिनुअल सुपरवाइज्ड लर्निंग (Continual Supervised Learning)

पाँच बेंचमार्क (Permuted MNIST, Random Label MN/CIFAR, CIFAR 5+1, Continual ImageNet) पर मूल्यांकन किया गया।

प्रदर्शन: Randomized Smooth-Leaky ने लगातार उच्चतम Total Average Online Task Accuracy प्राप्त की, जो ReLU, Sigmoid, Tanh और यहाँ तक कि Swish और Deep Fourier Features जैसे मजबूत बेसलाइन से काफी बेहतर प्रदर्शन करती है।
गोल्डिलॉक्स वैलिडेशन: सबसे अच्छा प्रदर्शन करने वाले कॉन्फ़िगरेशन (RReLU और PReLU सहित) पहचाने गए नेगेटिव स्लोप रेंज $[0.6, 0.9]$ के आसपास क्लस्टर हुए।
मजबूती (Robustness): प्रस्तावित एक्टिवेशन ने मानक CL रेगुलराइजेशन तकनीकों (L2-Init, SNR, EWC) के साथ मिलकर उच्च प्रदर्शन बनाए रखा, जो यह सुझाव देता है कि एक्टिवेशन डिज़ाइन स्वयं प्लास्टिसिटी के लिए एक मौलिक लीवर है।

B. कंटिनुअल रिइन्फोर्समेंट लर्निंग (RL)

PPO का उपयोग करके एक नॉन-स्टेशनरी MuJoCo सीक्वेंस (HalfCheetah $\to$ Hopper $\to$ Walker2d $\to$ Ant $\to$ repeat) पर मूल्यांकन किया गया।

मीट्रिक्स: रिटर्न के नॉर्मलाइज्ड इंटरक्वाटाइल मीन (Interquartile Mean) का उपयोग करके प्लास्टिसिटी स्कोर और ट्रेन और टेस्ट प्रदर्शन के बीच के अंतर ( $\Delta$ ) के रूप में जनरलाइजेशन गैप का उपयोग किया गया।
परिणाम:
- Randomized Smooth-Leaky ने उच्चतम प्लास्टिसिटी स्कोर ($0.3875$) प्राप्त किया, जो Swish, PReLU और Sigmoid से बेहतर रहा।
- इसने स्थिर वातावरण (Ant, HalfCheetah) में कम जनरलाइजेशन गैप बनाए रखते हुए उत्कृष्ट ट्रेनैबिलिटी (वर्तमान डेटा पर सीखने की क्षमता) प्रदर्शित की, जो यह दर्शाता है कि यह केवल हाल के डेटा पर ओवरफिट नहीं होता है।
- हालांकि Sigmoid ने बाउंडेड आउटपुट के कारण अस्थिर वातावरण (Humanoid) में स्थिरता प्रदान की, लेकिन इसमें पीक प्लास्टिसिटी कम थी।

5. मुख्य योगदान (Key Contributions)

प्रॉपर्टी-लेवल विश्लेषण: नेगेटिव स्लोप के लिए "गोल्डिलॉक्स ज़ोन" और प्लास्टिसिटी बनाए रखने के लिए नॉन-ज़ीरो डेरिवेटिव फ्लोर और लो डेड-बैंड विड्थ के महत्वपूर्ण महत्व की पहचान की।
नए एक्टिवेशन: Smooth-Leaky और Randomized Smooth-Leaky पेश किए, जो बिना किसी अतिरिक्त पैरामीटर या जटिल रेगुलराइजेशन के, आर्किटेक्चरल बदलावों के बिना प्लास्टिसिटी लॉस के लिए एक लाइटवेट, डोमेन-जनरल समाधान प्रदान करते हैं।
स्ट्रेस प्रोटोकॉल: वितरण परिवर्तनों के तहत अनुकूलन क्षमताओं (adaptation capabilities) को एक्टिवेशन शेप से सीधे जोड़ने के लिए एक डायग्नोस्टिक फ्रेमवर्क (स्केलिंग शॉक, DBW विश्लेषण) विकसित किया।
एम्पिरिकल वैलिडेशन: विविध कंटिनुअल सुपरवाइज्ड और RL बेंचमार्क में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्रदर्शित किया, जो यह सिद्ध करता है कि एक्टिवेशन डिज़ाइन प्लास्टिसिटी लॉस को कम करने के लिए एक प्राथमिक कारक है।

6. महत्व (Significance)

यह कार्य इस धारणा को चुनौती देता है कि एक्टिवेशन फंक्शन केवल ऑप्टिमाइज़र के साथ ट्यून किए जाने वाले मानक घटक हैं। यह स्थापित करता है कि एक्टिवेशन ज्योमेट्री प्लास्टिसिटी को संरक्षित करने के लिए एक मौलिक तंत्र है। बिना किसी अतिरिक्त पैरामीटर या जटिल रेगुलराइजेशन के एक सरल, "ड्रॉप-इन" रिप्लेसमेंट प्रदान करके, प्रस्तावित तरीके अधिक मजबूत कंटिनुअल लर्निंग एजेंट बनाने के लिए एक अत्यधिक कुशल मार्ग प्रदान करते हैं। निष्कर्ष बताते हैं कि भविष्य के CL शोध को एक्टिवेशन डिज़ाइन को एक प्रथम-क्रम (first-order) चिंता के रूप में प्राथमिकता देनी चाहिए, विशेष रूप से नॉन-स्टेशनरी RL सेटिंग्स में जहाँ डेटा वितरण गतिशील रूप से विकसित होता है।