Dimensionality Controls When Modularity Helps in Continual Learning

तकनीकी सारांश: जब मॉड्यूलरिटी निरंतर शिक्षण (Continual Learning) में सहायक होती है, तब आयामी नियंत्रण (Dimensionality Controls)

समस्या विवरण

निरंतर शिक्षण (Continual Learning) एक मौलिक "स्थिरता-प्लास्टिसिटी द्वंद्व" (stability–plasticity dilemma) का सामना करता है: एक प्रणाली को नया ज्ञान प्राप्त करना चाहिए (प्लास्टिसिटी) और साथ ही पूर्व-सीखे गए निरूपणों (representations) को संरक्षित करना चाहिए (स्थिरता)। यह तनाव तब और बढ़ जाता है जब कार्य (tasks) संरचना साझा करते हैं, जिससे हस्तक्षेप (interference) का जोखिम उत्पन्न होता है जहाँ नया सीखना पूर्व ज्ञान को बाधित कर सकता है। जबकि कार्यों को अलग करने के लिए अक्सर मॉड्यूलर आर्किटेक्चर का प्रस्ताव दिया जाता है, यह स्पष्ट नहीं है कि संरचनात्मक पूर्वाग्रह (structural biases) कार्यात्मक रूप से लाभकारी हैं या केवल अनावश्यक। विशेष रूप से, यह शोध इस बात की जांच करता है कि क्या मॉड्यूलरिटी की उपयोगिता निरूपण शासन (representational regime) पर निर्भर करती है—जो सीखे गए निरूपणों के ज्यामितीय गुण, विशेष रूप से उनकी प्रभावी आयामीता (effective dimensionality) है।

कार्यप्रणाली

प्रयोगात्मक प्रतिमान (Experimental Paradigm)

यह अध्ययन एक अनुक्रमिक A–B–A ट्रांसफर–इंटरफेरेंस प्रतिमान (Holton et al., 2026 से प्रेरित) का उपयोग करता है।

• चरण A1: नेटवर्क कार्य A सीखता है (मौसमी नियम के आधार पर प्लांट संकेतों को डायल स्थितियों से जोड़ना)।
• चरण B: नेटवर्क नए उद्दीपकों (stimuli) पर कार्य B सीखता है। कार्य B, A के समान औपचारिक संरचना साझा करता है, लेकिन नियम की समानता में भिन्न होता है: समान (एक जैसा नियम), निकट (छोटा कोणीय बदलाव), या दूर (बड़ा कोणीय बदलाव)।
• चरण A2: नेटवर्क का कार्य A पर पुन: परीक्षण किया जाता है ताकि प्रतिधारण (retention) और हस्तक्षेप को मापा जा सके।

आर्किटेक्चर (Architectures)

दो आवर्ती आर्किटेक्चर (recurrent architectures) की तुलना की गई:

1. सिंगल-नेटवर्क बेसलाइन: एक एकल आवर्ती आबादी सभी इनपुट को एक साझा रीडआउट के साथ प्रोसेस करती है।
2. टास्क-पार्टीशन मॉड्यूलर नेटवर्क: इनपुट को कार्य पहचान के आधार पर विशिष्ट आवर्ती मॉड्यूल ($M_A$ कार्य A के लिए, $M_B$ कार्य B के लिए) में रूट किया जाता है। मॉड्यूल आउटपुट को एक साझा रीडआउट द्वारा प्रोसेस करने के लिए संयोजित (concatenate) किया जाता है। यह आवर्ती प्रसंस्करण में संरचनात्मक अलगाव को लागू करता है लेकिन आउटपुट स्तर पर युग्मन (coupling) बनाए रखता है।

निरूपण शासन को नियंत्रित करना (Controlling Representational Regimes)

नेटवर्क क्षमता को बदले बिना सीखे गए निरूपणों की प्रभावी आयामीता को बदलने के लिए, लेखकों ने प्रारंभिक वजन स्केल ($\gamma$) को बदला।

• उच्च-आयामी ("लेजी") शासन (High-Dimensional/"Lazy" Regime): बड़े $\gamma$ मान निरूपणों को प्रारंभिक अवस्था के करीब रखते हैं, जिसके परिणामस्वरूप उच्च प्रभावी आयामीता और कम विशिष्ट कोड प्राप्त होते हैं।
• निम्न-आयामी ("रिच") शासन (Low-Dimensional/"Rich" Regime): छोटे $\gamma$ मान निरूपणों को निम्न-आयामी मैनिफोल्ड्स में जाने के लिए मजबूर करते हैं, जिससे संरचित और विशिष्ट कोड प्रेरित होते हैं।
• मेट्रिक: प्रभावी आयामीता को छिपे हुए राज्यों (hidden states) के विचरण (variance) के 99% की व्याख्या करने के लिए आवश्यक मुख्य घटकों (principal components) की संख्या के रूप में मापा गया।

विश्लेषण

प्रदर्शन को कोणीय सटीकता (angular accuracy), ट्रांसफर (कार्य A के आधार पर कार्य B में सुधार), और हस्तक्षेप (कार्य A के व्यवहार में कार्य B के नियमों की ओर बदलाव) के माध्यम से मापा गया। निरूपण ज्यामिति का विश्लेषण प्रभावी आयामीता, कार्य-विशिष्ट उपस्थानों (subspaces) के बीच मुख्य कोणों (principal angles) और कार्य प्रक्षेपवक्रों (task trajectories) के 3D विज़ुअलाइज़ेशन की गणना करने के लिए PCA का उपयोग करके किया गया।

मुख्य परिणाम

1. मॉड्यूलरिटी आयामीता पर आधारित है

मॉड्यूलर आर्किटेक्चर का लाभ सार्वभौमिक नहीं है बल्कि निरूपण शासन द्वारा नियंत्रित होता है:

• उच्च-आयामी ("लेजी") शासन: सिंगल और मॉड्यूलर दोनों नेटवर्क तुलनीय सटीकता, ट्रांसफर और हस्तक्षेप स्तर प्राप्त करते हैं। मॉड्यूलर नेटवर्क का स्पष्ट संरचनात्मक अलगाव कोई महत्वपूर्ण लाभ प्रदान नहीं करता, क्योंकि उच्च-आयामी स्थान सिंगल नेटवर्क को सीमित ज्यामितीय दबाव के साथ कार्यों को एनकोड करने की अनुमति देता है।
• निम्न-आयामी ("रिच") शासन: मॉड्यूलरिटी निर्णायक हो जाती है। मॉड्यूलर नेटवर्क सभी समानता स्थितियों में उच्च कार्य A सटीकता और कम हस्तक्षेप बनाए रखता है। इसके विपरीत, सिंगल नेटवर्क महत्वपूर्ण हस्तक्षेप का शिकार होता है, विशेष रूप से "दूर" (Far) की स्थिति में, क्योंकि इसे अपने सीमित निरूपण स्थान को पूर्व ज्ञान को ओवरराइट किए बिना पुनर्गठित करने में संघर्ष करना पड़ता है।

2. समानता-निर्भर ज्यामिति का उदय

निम्न-आयामी शासन में, मॉड्यूलर नेटवर्क ने निरूपण उपस्थानों का एक क्रमबद्ध, संरचनात्मक संगठन विकसित किया जिसे सिंगल नेटवर्क प्राप्त करने में विफल रहा:

• समान कार्य (Same): निरूपण निकट रूप से संरेखित रहते हैं (ओवरलैपिंग उपस्थान)।
• मध्यम रूप से असंबद्ध कार्य (Near): निरूपण मध्यवर्ती कोणों पर स्थित होते हैं (आंशिक अलगाव)।
• असंबद्ध कार्य (Far): निरूपण दृढ़ता से लंबवत (orthogonal) हो जाते हैं (पृथक उपस्थान)।
  सिंगल नेटवर्क ने कमजोर, कम संरचित निर्भरता प्रदर्शित की, जहाँ कार्य की दूरी के बावजूद उपस्थान अधिक उलझे हुए रहे।

3. निष्कर्षों की मजबूती

मॉड्यूल आकार और इनपुट रूटिंग को बदलने वाले एब्लेशन अध्ययन (ablation studies) पुष्टि करते हैं कि ये प्रभाव मध्यम वास्तुशिल्प विविधताओं के प्रति सुदृढ़ हैं। मुख्य निष्कर्ष—कि आयामीता मॉड्यूलरिटी के कार्यात्मक प्रभाव को नियंत्रित करती है—विभिन्न कॉन्फ़िगरेशनों में बना रहा।

मुख्य योगदान

1. एक गेटिंग वेरिएबल की पहचान: यह शोध पहचानता है कि प्रारंभिक-प्रेरित निरूपण शासन (जो आयामीता के साथ सह-परिवर्तित होता है) वह प्रमुख कारक है जो यह निर्धारित करता है कि निरंतर शिक्षण में संरचनात्मक मॉड्यूलरिटी कब कार्यात्मक रूप से लाभकारी होती है।
2. संरचनात्मक ज्यामिति का लक्षण वर्णन: यह प्रदर्शित करता है कि सीमित (निम्न-आयामी) शासन में, मॉड्यूलर नेटवर्क स्वाभाविक रूप से समानता-निर्भर ज्यामितीय संगठन (ओवरलैपिंग $\to$ आंशिक $\to$ लंबवत) विकसित करते हैं जो संरचनात्मक पुन: उपयोग (compositional reuse) का समर्थन करता है और हस्तक्षेप को कम करता है।
3. निरंतर शिक्षण के लक्ष्यों को फिर से परिभाषित करना: निष्कर्ष इस विचार का समर्थन करते हैं कि निरंतर शिक्षण को "साझाकरण" और "अलगाव" के बीच एक बाइनरी विकल्प के रूप में नहीं, बल्कि निरूपण उपस्थानों के एक अनुकूलन योग्य आवंटन के रूप में देखा जाना चाहिए जहाँ इष्टतम ज्यामिति कार्य की समानता पर निर्भर करती है।

महत्व और दावे

यह शोध तर्क देता है कि निरूपण आयामीता नियंत्रित करती है कि मॉड्यूलरिटी कब मदद करती है। संरचनात्मक पूर्वाग्रह (जैसे मॉड्यूलरिटी) केवल तभी सीखने के व्यवहार और आंतरिक ज्यामिति को नया आकार देते हैं जब निरूपण स्थान पर्याप्त रूप से बाधित (constrained) होता है ताकि ज्यामिति एक बाध्यकारी कारक बन सके। उच्च-आयामी "लेजी" शासन में, नेटवर्क के पास कार्यों को हल करने के लिए पर्याप्त स्वतंत्रता होती है, जिससे उसे स्पष्ट संरचनात्मक अलगाव की आवश्यकता नहीं होती। हालांकि, निम्न-आयामी "रिच" शासन में, नेटवर्क को अपने गणनाओं को विशिष्ट उपस्थानों में व्यवस्थित करने के लिए मजबूर किया जाता है, जिस पर वास्तुशिल्प मॉड्यूलरिटी स्थिरता-प्लास्टिसिटी द्वंद्व को प्रबंधित करने में महत्वपूर्ण लाभ प्रदान करती है।

लेखक निष्कर्ष निकालते हैं कि मजबूत संरचनात्मक निरंतर शिक्षण के लिए ऐसे तंत्रों की आवश्यकता है जो केवल निश्चित वास्तुशिल्प अलगाव पर निर्भर रहने के बजाय, बदलते कार्य संरचनाओं के जवाब में निरूपण आयामीता और उपस्थान संगठन दोनों को गतिशील रूप से विनियमित कर सकें।

नोट: शोध पत्र स्पष्ट रूप से सीमाओं का उल्लेख करता है, जिसमें आंतरिक आयामीता के प्रॉक्सी के रूप में PCA का उपयोग और नियंत्रित लघु कार्य अनुक्रमों तक सीमित होना शामिल है, यह स्वीकार करते हुए कि यह निर्धारित करने के लिए और कार्य की आवश्यकता है कि क्या ये प्रभाव लंबे, अधिक विषम निरंतर शिक्षण बेंचमार्क तक विस्तारित होते हैं।