🤖 AI

Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning

यह शोध पत्र हेसियन स्पेक्ट्रल कोलैप्स (Hessian spectral collapse) को डीप कॉन्टिनुअल लर्निंग में प्लास्टिसिटी लॉस के मूल कारण के रूप में पहचानता है, NTK डायनेमिक्स को हेसियन कर्वेचर से जोड़ने वाली सैद्धांतिक स्थितियों को व्युत्पन्न करता है, और विभिन्न कार्यों (tasks) में प्लास्टिसिटी को सफलतापूर्वक बनाए रखने के लिए प्रभावी फीचर रैंक संरक्षण और L2 रेगुलराइजेशन के संयोजन का प्रस्ताव करता है।

मूल लेखक: Arjun Prakash, Naicheng He, Kaicheng Guo, Saket Tiwari, Ruo Yu Tao, Tyrone Serapio, Amy Greenwald, George Konidaris

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arjun Prakash, Naicheng He, Kaicheng Guo, Saket Tiwari, Ruo Yu Tao, Tyrone Serapio, Amy Greenwald, George Konidaris

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए एक ऐसे छात्र की जो अविश्वसनीय रूप से बुद्धिमान है और शतरंज, पियानो और फिर फ्रेंच बोलना सीख सकता है। लेकिन कुछ वर्षों के बाद, कुछ अजीब होता है: जब आप उससे कोई नई भाषा, जैसे इतालवी (Italian), सीखने के लिए कहते हैं, तो वह नहीं सीख पाता। वह केवल पुरानी भाषाएं भूल नहीं जाता; बल्कि उसका मस्तिष्क जैसे "लॉक" हो जाता है। वह नई चीज़ को सीखने में शारीरिक रूप से असमर्थ हो जाता है, चाहे वह कितनी भी पढ़ाई क्यों न कर ले।

यह शोध पत्र इस बात की जांच करता है कि क्यों डीप न्यूरल नेटवर्क (AI के पीछे के "मस्तिष्क") इस सटीक समस्या का सामना करते हैं, जिसे प्लास्टिसिटी का नुकसान (loss of plasticity) कहा जाता है। लेखक तर्क देते हैं कि नेटवर्क के सीखने बंद करने का कारण केवल यह नहीं है कि वे पुरानी चीजों को भूल जाते हैं, बल्कि इसलिए है क्योंकि उनकी आंतरिक "सीखने की मशीनरी" टूट जाती है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके उनकी खोज का विवरण दिया गया है:

1. टूटा हुआ दिशा-सूचक यंत्र (स्पेक्ट्रल कोलैप्स - Spectral Collapse)

सीखने के लिए, एक नेटवर्क को यह जानने की आवश्यकता होती है कि अपने आंतरिक सेटिंग्स को बेहतर बनाने के लिए किस दिशा में आगे बढ़ना है। मान लीजिए कि नेटवर्क की सेटिंग्स एक विशाल, बहु-आयामी परिदृश्य (landscape) हैं जिसमें पहाड़ और घाटियाँ हैं। "हेसियन" (Hessian) एक मानचित्र है जो नेटवर्क को बताता है कि हर संभावित दिशा में पहाड़ कितने ऊंचे या ढालू हैं।

एक स्वस्थ नेटवर्क: एक ऐसे परिदृश्य की कल्पना करें जिसमें कई अलग-अलग पहाड़ और घाटियाँ हैं। नेटवर्क आसानी से सुधार करने के लिए ढलान के नीचे का रास्ता ढूंढ सकता है। उसके पास काम करने के लिए कई "वक्रता दिशाएं" (curvature directions) हैं।
एक टूटा हुआ नेटवर्क (स्पेक्ट्रल कोलैप्स): समय के साथ, जैसे-जैसे नेटवर्क एक के बाद एक कार्य सीखता है, यह मानचित्र समतल होता जाता है। लगभग सभी पहाड़ गायब हो जाते हैं, जिससे केवल कुछ छोटे, अलग-थलग उभार ही बचते हैं। मानचित्र "कोलैप्स" (ढह) गया है।
परिणाम: जब नेटवर्क एक नया कार्य सीखने की कोशिश करता है, तो वह इस सपाट मानचित्र को देखता है और उसे आगे बढ़ने का कोई स्पष्ट रास्ता दिखाई नहीं देता। यह एक पूरी तरह से सपाट रेगिस्तान में नेविगेट करने जैसा है जहाँ दिशा-सूचक यंत्र (compass) केवल एक ही दिशा में संकेत दे रहा है। नेटवर्क फंस गया है क्योंकि उसने नई समस्या के आकार को महसूस करने की क्षमता खो दी है।

2. "फास्ट लेन" बनाम "स्टिकी स्लो लेन" (The "Fast Lane" vs. The "Sticky Slow Lane")

लेखकों ने यह सिद्ध करने के लिए एक गणितीय मॉडल (एक न्यूरल नेटवर्क के सरलीकृत संस्करण की तरह) का उपयोग किया कि यह कोलैप्स क्यों घातक है।

फास्ट लेन: कल्पना करें कि नेटवर्क के पास कुछ "फास्ट लेन" हैं (वे दिशाएं जहाँ वह तेजी से सीख सकता है) और कुछ "स्लो लेन" हैं (वे दिशाएं जहाँ सीखना बहुत धीमा है)।
समस्या: एक नया कार्य सीखने के लिए, नेटवर्क को अपनी त्रुटियों (errors) को "फास्ट लेन" में धकेलने की आवश्यकता होती है ताकि वह उन्हें जल्दी ठीक कर सके। लेकिन जैसे-जैसे नेटवर्क पुराना होता है, "फास्ट लेन" गायब होने लगती हैं (वे कोलैप्स हो जाती हैं)।
परिणाम: यदि नए कार्य की त्रुटियां "स्लो लेन" में आती हैं, तो नेटवर्क लंबे समय तक सीखने की कोशिश करेगा, लेकिन समय समाप्त होने से पहले वह पर्याप्त प्रगति नहीं कर पाएगा। यह एक ऐसी ट्रेडमिल पर दौड़ने जैसा है जो "स्लो मोशन" में फंसी हुई है। आप चाहे कितनी भी मेहनत करें, आप इसे पूरा नहीं कर पाएंगे।

3. समाधान: L2-ER (द "ट्यून-अप")

यह शोध पत्र इस समस्या को ठीक करने के लिए L2-ER नामक एक नई विधि का प्रस्ताव करता है। इसे नेटवर्क के इंजन के दो-चरणीय "ट्यून-अप" के रूप में समझें:

L2 रेगुलराइजेशन (द "स्प्रिंग"): यह नेटवर्क के पैरों में स्प्रिंग जोड़ने जैसा है। यह नेटवर्क को बहुत अधिक सख्त या एक ही स्थिति में "फंसने" से रोकता है। यह नेटवर्क को लचीला बनाए रखता है।
इफेक्टिव रैंक (द "एक्सपेंशन"): यह हिस्सा सक्रिय रूप से नेटवर्क को अपनी "फास्ट लेन" खुली रखने के लिए मजबूर करता है। यह एक जिम वर्कआउट की तरह है जो विशेष रूप से उन मांसपेशियों को लक्षित करता है जो कमजोर हो रही हैं। यह सुनिश्चित करता है कि नेटवर्क के पास घूमने के लिए दिशाओं की एक विस्तृत विविधता बनी रहे, जिससे मानचित्र के ढहने (collapse) की प्रक्रिया रुक सके।

4. प्रमाण

लेखकों ने कई "लर्निंग मैराथन" पर इसका परीक्षण किया जहाँ AI को एक के बाद एक सैकड़ों अलग-अलग कार्यों को हल करना था (जैसे अलग-अलग बिखली हुई छवियों को पहचानना या बदलते भौतिकी (physics) वाले वीडियो गेम खेलना)।

सुधार के बिना: AI का आंतरिक मानचित्र समतल हो गया (स्पेक्ट्रल कोलैप्स), और उसने नए कार्य सीखना बंद कर दिया।
L2-ER के साथ: मानचित्र पहाड़ों और घाटियों से भरा रहा। AI ने अपनी "फास्ट लेन" को खुला रखा और पुराने कार्यों को भूले बिना सफलतापूर्वक नए कार्यों को सीखा।

सारांश

शोध पत्र का दावा है कि डीप लर्निंग सिस्टम नई चीजें सीखने में इसलिए विफल नहीं होते क्योंकि वे "भूल रहे" हैं, बल्कि इसलिए क्योंकि उनकी आंतरिक ज्यामिति (geometry) कोलैप्स हो जाती है, जिससे उनके पास आगे बढ़ने के लिए कोई दिशा नहीं बचती। विशिष्ट गणितीय युक्तियों (L2 और इफेक्टिव रैंक रेगुलराइजेशन) का उपयोग करके, वे नेटवर्क के "मानचित्र" को उपयोगी रास्तों से भरा रख सकते हैं, जिससे यह लचीला बना रहता है और निरंतर सीख सकता है, ठीक वैसे ही जैसे एक इंसान करता है।

तकनीकी सारांश: स्पेक्ट्रल कोलैप्स (Spectral Collapse) डीप कॉन्टिनुअल लर्निंग में प्लास्टिसिटी के नुकसान को प्रेरित करता है

समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क कॉन्टिनुअल लर्निंग (continual learning) में एक महत्वपूर्ण विफलता मोड प्रदर्शित करते हैं: प्लास्टिसिटी का नुकसान। स्थिर शिक्षण परिदृश्यों (static learning scenarios) में महत्वपूर्ण प्रगति के बावजूद, ये सिस्टम अक्सर नए कार्यों को सीखने में विफल रहते हैं जब तक कि उनके पैरामीटर्स को पुन: आरंभ (reinitialize) न किया जाए, भले ही कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम कर दिया गया हो। जबकि पिछले शोध ने विभिन्न योगदान देने वाले विकारों (pathologies)—जैसे सुप्त न्यूरॉन्स (dormant neurons), कम फीचर एक्सप्रेसिवनेस (reduced feature expressiveness), और पैरामीटर नॉर्म ग्रोथ (parameter norm growth)—की पहचान की है, लेकिन इस विफलता को चलाने वाले अंतर्निहित तंत्र पर कोई एकीकृत सहमति नहीं थी। यह शोध पत्र यह प्रतिपादित करता है कि ये विवध अवलोकन एक ही घटना के विभिन्न पहलू हैं: हेसियन स्पेक्ट्रल कोलैप्स (Hessian spectral collapse)। यह तब होता है जब नए कार्य के आरंभ (new-task initialization) पर हेसियन आइजनस्पेक्ट्रम (Hessian eigenspectrum) क्षीण हो जाता है, जिससे सार्थक कर्वेचर दिशाएं (meaningful curvature directions) लुप्त हो जाती हैं और ग्रेडिएंट डिसेंट नए कार्यों को सीखने के लिए अप्रभावी हो जाता है।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा: लीनियरलाइज्ड ReLU नेटवर्क और NTK

लेखक प्लास्टिसिटी लॉस का विश्लेषण NTK (Neural Tangent Kernel) शासन के माध्यम से करते हैं, जिसमें वे गहरे नेटवर्क को उनके इनिशियलाइजेशन के आसपास लीनियरलाइज करके अनुमानित करते हैं।

रेसिडुअल डायनेमिक्स (Residual Dynamics): एक लीनियरलाइज्ड ReLU नेटवर्क में स्क्वेयर्ड-एरर लॉस के साथ, ग्रेडिएंट डिसेंट रेसिड्यूल $r$ पर बार-बार $(I - \eta G_\tau)$ से गुणा करके कार्य करता है, जहाँ $G_\tau = J_\tau J_\tau^\top$ ग्राम मैट्रिक्स है और $\eta$ लर्निंग रेट है।
फास्ट बनाम स्लो मोड्स (Fast vs. Slow Modes): लेखक "फास्ट" आइजनवैल्यूज़ को उन आइजनवैल्यूज़ के रूप में परिभाषित करते हैं जो $K$ ट्रेनिंग स्टेप्स के भीतर रेसिड्यूल घटक को $\gamma$ कारक से कम करने के लिए पर्याप्त बड़े हैं। "स्लो" आइजनवैल्यूज़ पर्याप्त रूप से संकुचित होने में विफल रहते हैं।
स्पेक्ट्रल कोलैप्स कंडीशन (Spectral Collapse Condition): एक नए कार्य पर सफल प्रशिक्षण के लिए यह आवश्यक है कि प्रारंभिक लॉस रेसिड्यूल मुख्य रूप से "फास्ट" सबस्पेस में हो। यदि फास्ट आइजनवैल्यूज़ की संख्या ( $\epsilon$ -rank) एक थ्रेशोल्ड से नीचे गिर जाती है, तो आवंटित चरणों के भीतर रेसिड्यूल को कम नहीं किया जा सकता है, जिससे प्रशिक्षण विफल हो जाता है।
परम्यूटेशन इनवेरिएंस (Permutation Invariance): परम्यूटेड MNIST के संदर्भ में, लेखक सिद्ध करते हैं कि अनंत-चौड़ाई वाला NTK ग्राम मैट्रिक्स इनपुट परम्यूटेशन के प्रति इनवेरिएंट है। यह दर्शाता है कि स्पेक्ट्रल कोलैप्स कार्यों के परम्यूटेशन के कारण नहीं, बल्कि पिछले कार्यों के दौरान सीखे गए रिप्रेजेंटेशन के कर्वेचर (यानी "फास्ट सबस्पेस") के क्षरण के कारण होता है।
वर्गीकरण (Classification) में विस्तार: क्रॉस-एन्ट्रॉपी लॉस के लिए, विश्लेषण लॉस-वेटेड ग्राम मैट्रिक्स ( $G_{LW} = C^{1/2} G^{(0)} C^{1/2}$ ) तक विस्तारित होता है, जहाँ $C$ लॉजिट्स के सापेक्ष लॉस का हेसियन है। लेखक स्थापित करते हैं कि $G_{LW}$ , जनरलाइज्ड गौस-न्यूटन (GGN) मैट्रिक्स ( $H_{GGN} = J^\top C J$ ) के स्पेक्ट्रली समकक्ष है, जो फंक्शन-स्पेस NTK डायनेमिक्स को पैरामीटर-स्पेस कर्वेचर के साथ जोड़ता है।

प्रस्तावित समाधान: L2-ER रेगुलराइजेशन

स्पेक्ट्रल कोलैप्स को सीधे लक्षित करने के लिए, लेखक L2-ER का प्रस्ताव करते हैं, जो दो घटकों को संयोजित करने वाली एक रेगुलराइजेशन रणनीति है:

इफेक्टिव रैंक (ER) पेनल्टी: यह पद विभिन्न परतों में इनपुट एक्टिवेशन कोवेरिएंस मैट्रिसेस ( $E[a^{[l-1]} a^{[l-1]\top}]$ ) के प्रभावी रैंक को अधिकतम करता है। चूंकि KFAC-अनुमानित हेसियन का रैंक इनपुट और ग्रेडिएंट कोवेरिएंस के रैंक का गुणनफल होता है, इसलिए उच्च एक्टिवेशन रैंक बनाए रखने से कर्वेचर सबस्पेस की विमा (dimensionality) बनी रहती है।
L2 रेगुलराइजेशन: इस पद को यह सुनिश्चित करने के लिए जोड़ा जाता है कि हेसियन वेल-कंडीशन्ड रहे और उस रेसिड्यूल टर्म को भी कवर करे जिसे GGN एप्रोक्सिमेशन छोड़ देता है।

ऑब्जेक्टिव फंक्शन है:
$\min_\theta \mathcal{L}_\tau(\theta) = \mathbb{E}_{d_\tau}[\ell_\tau(F_\theta(x), y)] + \lambda \|\theta\|_2^2 - \beta \sum_{l \in \mathcal{L}} \text{erank}\left( \mathbb{E}_n [a^{[l-1]}_n a^{[l-1]\top}_n] \right)$

इफेक्टिव रैंक की गणना एक्टिवेशंस के स्लाइडिंग विंडो और एमोर्टाइज्ड SVD का उपयोग करके कुशलतापूर्वक की जाती है, जिससे पूर्ण $P \times P$ हेसियन को बनाने की आवश्यकता नहीं होती।

प्रमुख योगदान (Key Contributions)

स्पेक्ट्रल कोलैप्स की परिभाषा: यह शोध पत्र प्लास्टिसिटी लॉस के केंद्रीय तंत्र के रूप में हेसियन स्पेक्ट्रल कोलैप्स को परिभाषित करता है, जो पिछले स्पष्टीकरणों (जैसे डॉर्मेंट न्यूरॉन्स, रैंक रिडक्शन) को एक एकल ज्यामितीय विफलता मोड के तहत एकीकृत करता है।
सैद्धांतिक व्युत्पत्ति: लेखक लीनियरलाइज्ड ReLU नेटवर्क में सफल प्रशिक्षण के लिए स्पष्ट $\epsilon$ -रैंक स्थितियाँ निकालते हैं, और सिद्ध करते हैं कि लॉस-वेटेड ग्राम मैट्रिक्स, GGN मैट्रिक्स के स्पेक्ट्रली समकक्ष है।
L2-ER एल्गोरिदम: वे एक व्यावहारिक, स्केलेबल रेगुलराइज़र पेश करते हैं जो उच्च प्रभावी फीचर रैंक बनाए रखकर और L2 पेनल्टी लागू करके सीधे हेसियन आइजनस्पेक्टम को लक्षित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सुपरवाइज्ड और रिइंफोर्समेंट लर्निंग बेंचमार्क पर व्यापक प्रयोगों से पता चलता है कि L2-ER वहां भी प्लास्टिसिटी बनाए रखता है जहां अन्य विधियां विफल हो जाती हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार वातावरणों में छह बेसलाइनों (Vanilla BP, L2, ER, CBP, LayerNorm-L2, Spectral Regularization) के विरुद्ध L2-ER का मूल्यांकन किया:

परम्यूटेड MNIST: L2-ER ने 800 कार्यों में उच्च सटीकता बनाए रखी, और उन बेसलाइनों से बेहतर प्रदर्शन किया जो प्लास्टिसिटी लॉस से ग्रस्त थे।
कॉन्टिनुअल इमेजनेट: L2-ER ने 2000 बाइनरी क्लासिफिकेशन कार्य सफलतापूर्वक सीखे, जबकि केवल L2 रेगुलराइजेशन विफल रहा, और CBP ने मिश्रित परिणाम दिखाए।
इन्क्रीमेंटल CIFAR: L2-ER ने 20-टास्क इन्क्रीमेंटल क्लासिफिकेशन कार्य पर सभी बेसलाइनों, जिसमें RESET बेसलाइन (पुनः आरंभ) भी शामिल है, को पछाड़ दिया।
स्लिपरी एंट (Slippery Ant - RL): एक नॉन-स्टेशनरी रिइंफोर्समेंट लर्निंग वातावरण में, L2-ER ने उच्च ऑनलाइन रिटर्न्स बनाए रखा, और घर्षण गुणांक (friction coefficients) में बदलाव के अनुकूल खुद को ढाल लिया, जहाँ अन्य विधियां खराब प्रदर्शन करती रहीं।

मुख्य अवलोकन:

सहसंबंध (Correlation): टास्क इनिशियलाइजेशन पर हेसियन के नॉर्मलाइज्ड $\epsilon$ -रैंक और अंतिम टास्क सटीकता के बीच एक मजबूत सकारात्मक सहसंबंध है।
स्पेक्ट्रल डायग्नोस्टिक्स: जिन एल्गोरिदम ने प्लास्टिसिटी खो दी (जैसे BP, ER), उन्होंने प्रशिक्षण के दौरान एक स्पार्स (sparse) हेसियन आइजनस्पेक्ट्रम (स्पेक्ट्रल कोलैप्स) प्रदर्शित किया। इसके विपरीत, प्लास्टिसिटी बनाए रखने वाले एल्गोरिदम (L2-ER, CBP) ने एक सघन, विस्तृत स्पेक्ट्रल बल्क (spectral bulk) बनाए रखा।
दक्षता (Efficiency): हालांकि स्पेक्ट्रल रेगुलराइजेशन विधियां प्रभावी हैं, उन्हें काफी अधिक प्रशिक्षण समय की आवश्यकता होती है। L2-ER मानक बैकप्रोपैगेशन के करीब कम्प्यूटेशनल लागत के साथ तुलनीय या बेहतर प्रदर्शन प्राप्त करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि स्पेक्ट्रल कोलैप्स डीप कॉन्टिनुअल लर्निंग में प्लास्टिसिटी के नुकसान का एकीकृत स्पष्टीकरण है। इस तंत्र की पहचान करके, लेखक एक व्यावहारिक डायग्नोस्टिक (हेसियन $\epsilon$ -रैंक की निगरानी करना) और एक लक्षित समाधान (L2-ER) प्रदान करते हैं।

लेखक अपने कार्य को अनुकूलन योग्य AI सिस्टम बनाने की दिशा में एक कदम के रूप में देखते हैं, जो लाइफलर्निंग (lifelong learning) के दृष्टिकोण के अनुरूप है। वे स्पष्ट रूप से उल्लेख करते हैं कि हालांकि उनका सैद्धांतिक ढांचा लीनियरलाइज्ड नेटवर्क के NTK विश्लेषण से प्राप्त हुआ है, लेकिन CNN और ResNet सहित गहरे नॉन-लीनियर नेटवर्क पर L2-ER की अनुभवजन्य सफलता यह सुझाव देती है कि यह तंत्र मजबूत (robust) है। शोध पत्र इस बात को स्वीकार करते हुए समाप्त होता है कि इस ढांचे को रिइंफोर्समेंट लर्निंग (जहाँ हेसियन नॉन-स्टेशनरी पॉलिसी से प्रभावित होता है) की अनूठी गतिशीलता के अनुकूल बनाना भविष्य के कार्य की दिशा है।