तकनीकी सारांश: गहरे सूचना प्रसार के लिए स्वतःस्फूर्त सममिति भंग (Spontaneous Symmetry Breaking) और गोल्डस्टोन मोड (Goldstone Modes)

समस्या विवरण

डीप न्यूरल नेटवर्क (DNNs) की परतों के माध्यम से और आवर्ती नेटवर्क (recurrent networks) के टाइमस्टेप्स के ऊपर सूचना का प्रवाह एक मौलिक चुनौती है। मानक आर्किटेक्चर में, सूचना का प्रसार अक्सर अस्थिर होता है: नेटवर्क या तो एक एकल अट्रैक्टर (attractor) की ओर ढह जाता है (जिससे इनपुट सूचना समाप्त हो जाती है) या अराजक व्यवहार (chaotic behavior) प्रदर्शित करता है जो इनपुट को आउटपुट से विसंयोजित (decorrelate) कर देता है। जबकि अवशिष्ट कनेक्शन (residual connections), नॉर्मलाइजेशन (जैसे LayerNorm), और गेटिंग तंत्र (जैसे GRUs/LSTMs में) जैसी तकनीकों को इन मुद्दों को कम करने के लिए विकसित किया गया है, ये आर्किटेक्चरल ह्यूरिस्टिक्स (heuristics) हैं न कि सूचना स्थिरता के प्रथम सिद्धांतों से प्राप्त समाधान।

यह शोध पत्र इस बात की जांच करता है कि क्या सांख्यिकीय भौतिकी के सिद्धांत, विशेष रूप से स्वतःस्फूर्त सममिति भंग (Spontaneous Symmetry Breaking - SSB) और इसके परिणामस्वरूप उत्पन्न होने वाले गोल्डस्टोन मोड (Goldstone modes), मानक स्टेबलाइजर्स पर निर्भर किए बिना, गहरे स्तरों और आवर्ती पुनरावृत्तियों के बीच स्थिर, सुसंगत सूचना प्रसार के लिए एक तंत्र प्रदान कर सकते हैं।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जहाँ न्यूरल नेटवर्क की आंतरिक परतों को एक निरंतर सममिति समूह $G$ (विशेष रूप से $U(1)$ और $O(k)$) के तहत इक्विवैरिएंट (equivariant) बनाया जाता है।

• इक्विवैरिएंट परतें: एक परत $f^l$ जो एक प्रतिनिधित्व $x^l$ पर कार्य करती है, वह संतुष्ट करती है: $\rho_g f^l(x^l) = f^l(\rho_g x^l)$, जहाँ $g \in G$ सभी के लिए $\rho_g$ सममिति समूह का प्रतिनिधित्व है।
• इनपुट/आउटपुट: इनपुट और आउटपुट परतें पूर्णतः सामान्य होती हैं और इक्क्विवैरिएंस को भंग करती हैं, जबकि नेटवर्क का "बल्क" (bulk) इसे संरक्षित रखता है।
• नॉन-लिनियरिटी (Non-linearity): एक्टिवेशन फंक्शनों को इक्क्वैरिएंट चुना जाता है (जैसे $U(1)$ के लिए रेडियल नॉन-लिनियरिटी जैसे $\phi(z) = \tanh(|z|) \frac{z}{|z|}$)।

विश्लेणात्मक दृष्टिकोण (Analytical Approach)

मीन-फील्ड थ्योरी और स्टोकेस्टिक पाथ इंटीग्रल्स ( [9–12] के कार्य का विस्तार करते हुए) के उपकरणों का उपयोग करते हुए, लेखक बड़े-$N$ सीमा (जहाँ $N$ नेटवर्क की चौड़ाई है) में नेटवर्क डायनेमिक्स का विश्लेषण करते हैं।

1. ऑर्डर पैरामीटर (Order Parameter): वे एक ऑर्डर पैरामीटर $c_l$ को परिभाषित करते हैं जो परत $l$ पर एक्टिवेशन के औसत परिमाण का प्रतिनिधित्व करता है।
2. फेज ट्रांजिशन (Phase Transition): वे दो चरणों की पहचान करते हैं:
   • अनब्रोकन सिमेट्री फेज ($\sigma_W < 1$): एक्टिवेशन शून्य की ओर ढह जाते हैं ($c_l \to 0$)। सूचना लुप्त हो जाती है।
   • स्वतःस्फूर्त टूटी हुई सममिति (SSB) फेज ($\sigma_W > 1$): एक्टिवेशन एक गैर-शून्य परिमाण पर स्थिर हो जाते ($c_l > 0$)।
3. गोल्डस्टोन मोड (Goldstone Modes): SSB फेज में, नेटवर्क के पास गोल्डस्टोन मोड के समान एक स्वतंत्रता की डिग्री होती है। विशेष रूप से, जटिल प्रतिनिधित्व (complex representation) का फेज (या $O(k)$ स्पेस में ओरिएंटेशन) परतों के माध्यम से संरक्षित रहता है। लेखक व्युत्पन्न करते हैं कि दो इनपुट्स के बीच कोवेरिएंस का फेज, $\phi_l$, गहराई के बावजूद स्थिर रहता है ($\phi_{l+1} = \phi_l$)।
4. जैकोबियन संरक्षण (Jacobian Protection): वे दिखाते हैं कि इनपुट-आउटपुट जैकोबियन का एक विशिष्ट घटक, जो सममिति रूपांतरण से संबंधित है, SSB फेज में $O(1)$ बना रहता है। यह सामान्य नेटवर्कों के विपरीत है जहाँ जैकोबियन आमतौर पर गहराई के साथ तेजी से लुप्त या विस्फोट (vanish or explode) होते हैं।

अनुभवजन्य दृष्टिकोण (Empirical Approach)

लेखक अपने सैद्धांतिक दावों को निम्नलिखित के माध्यम से प्रयोगों द्वारा सत्यापित करते हैं:

• फीडफॉरवर्ड नेटवर्क: Fashion-MNIST और MNIST पर विभिन्न गहराइयों (100 परतों तक) और सममिति समूहों ($U(1)$, $O(4)$) के साथ गहरे मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) का प्रशिक्षण।
• रिकरेंट नेटवर्क: $U(1)$ और $O(k)$ इक्क्वैरिएंट RNNs और GRUs का कार्यान्वयन।
• कार्य (Tasks):
  • वेरिएबल-डिले कॉपी टास्क (Variable-Delay Copy Task): एक सिंथेटिक कार्य जिसमें नेटवर्क को एक अनुक्रम (sequence) को संग्रहीत करने और एक परिवर्तनशील विलंब $T$ के बाद उसे पुनरुत्पादित करने की आवश्यकता होती है।
  • परम्यूटेड सीक्वेंशियल MNIST (psMNIST): एक पिक्सेल-दर-पिक्सेल वर्गीकरण कार्य जिसमें शॉर्ट-रेंज स्थानिक सहसंबंधों को समाप्त करने के लिए पिक्सेल क्रम को शफल किया गया है, जो दीर्घ-रेंज मेमोरी पर निर्भरता को मजबूर करता है।

मुख्य योगदान (Key Contributions)

1. DNNs में गोल्डस्टोन-समान मोड की पहचान: यह शोध पत्र प्रदर्शित करता है कि आंतरिक इक्क्वैरिएंट परतों वाले न्यूरल नेटवर्क सुसंगत रूप से गहराई (depth) और समय (recurrent steps) के पार सूचना ले जाने वाले गोल्डस्टोन-समान मोड का समर्थन करते हैं।
2. बिना ह्यूरिस्टिक्स के स्थिर सूचना प्रसार: लेखक दिखाते हैं कि SSB फेज में, गहरे नेटवर्क को स्किप कनेक्शन, LayerNorm, या BatchNorm जैसे आर्किटेक्चरल स्टेबलाइजर्स के बिना प्रभावी ढंग से प्रशिक्षित किया जा सकता है। स्वयं सममिति ही सूचना प्रवाह के लिए एक "संरक्षित चैनल" प्रदान करती है।
3. SSB फेज का विश्लेणात्मक लक्षण वर्णन: वे एक मीन-फील्ड व्युत्पत्ति प्रदान करते हैं जो दिखाता है कि SSB फेज में संक्रमण एक क्रिटिकल वेट इनिशियलाइजेशन वेरिएंस ($\sigma_W = 1$) पर होता है और यह फेज गैर-शून्य जैकोबियन घटकों और निरंतर सहसंबंधों का समर्थन करता है।
4. रिकरेंट सेटिंग्स में प्रदर्शन लाभ: यह तंत्र रिकरेंट नेटवर्क में लंबी अनुक्रम मॉडलिंग कार्यों पर प्रदर्शन को महत्वपूर्ण रूप से सुधारता है, जो गैर-इक्विवैरिएंट बेसलाइन की तुलना में बेहतर प्रदर्शन करता है, भले ही बेसलाइन में अधिक ट्रेन करने योग्य पैरामीटर हों।

परिणाम (Results)

• फेज ट्रांजिशन: MLPs पर अनुभवजन्य परिणाम $\sigma_W = 1$ पर सैद्धांतिक फेज ट्रांजिशन की पुष्टि करते हैं। प्रशिक्षण प्रदर्शन केवल तभी नाटकीय रूप से सुधरता है जब नेटवर्क SSB फेज ($\sigma_W > 1$) में प्रवेश करता है, जैसा कि ऑर्डर पैरामीटर $c^*$ द्वारा मापा जाता है।
• डेप्थ स्केलेबिलिटी (Depth Scalability): इक्क्वैरिएंट नेटवर्क गहराई को 100 परतों तक बढ़ाने पर भी Fashion-MNIST पर उच्च टेस्ट सटीकता बनाए रखते हैं, जबकि समान नॉन-लिनियरिटी और बिना किसी स्टेबलाइजर के जेनेरिक (गैर-इक्विवैरिएंट) नेटवर्क विफल हो जाते हैं।
• जैकोबियन स्थिरता: SSB फेज में, जैकोबियन का "संरक्षित" घटक प्रशिक्षण के दौरान $O(1)$ बना रहता है, जबकि जेनेरिक नेटवर्कों का पूर्ण जैकोबियन ढह जाता है।
• रिकरेंट मेमोरी:
  • वेरिएबल-डिले कॉपी टास्क ($T_{max}=100$) पर, $U(1)$-इक्विवैरिएंट GRUs, गैर-इक्विवैरिएंट GRUs की तुलना में काफी बेहतर प्रदर्शन करते हैं, जो कम वास्तविक पैरामीटर्स (6k बनाम 15k) के साथ कम लॉस प्राप्त करते हैं।
  • psMNIST पर, इक्क्वैरिएंट RNNs और GRUs सभी पैरामीटर रेंज में जेनेरिक समकक्षों की तुलना में लगातार बेहतर प्रदर्शन करते हैं। उल्लेखनीय रूप से, एक $O(4)$-इक्विवैरिएंट साधारण RNN (बिना गेटिंग के) गेटेड GRUs के तुल्य प्रदर्शन प्राप्त करता है।
• टोपोलॉजिकल डिफेक्ट्स (Topological Defects): 2D कनवल्शनल RNN प्रयोगों में, लेखक हिडन स्टेट फेज में लंबे समय तक जीवित रहने वाले भंवरों (vortices/topological defects) के उद्भव को देखते हैं, जो मेमोरी स्टोरेज के लिए एक संभावित माध्यमिक तंत्र का सुझाव देते हैं, हालांकि यह प्रारंभिक प्रस्तुति है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि स्वतःस्फूर्त सममिति भंग गहरे सूचना प्रसार के लिए एक नया, सिद्धांत-आधारित तंत्र प्रदान करता है। आंतरिक परतों में इक्क्विवैरिएंस लागू करके, नेटवर्क स्वाभाविक रूप से गोल्डस्टोन-समान मोड का समर्थन करता है जो लंबी दूरी (गहराई) और लंबे समय (रिकरेंट स्टेप्स) के माध्यम से सूचना को सुसंगत रूप से ले जाते हैं।

इसका महत्व इस प्रकार है:

• आर्किटेक्चरल जटिलता को कम करना: यह सुझाव देता है कि बहुत गहरे नेटवर्क को वर्तमान में मानक उपयोग किए जाने वाले जटिल नॉर्मलाइजेशन और रेजिडुअल कनेक्शनों के बिना प्रशिक्षित किया जा सकता है, बशर्ते कि सममिति-भंग (symmetry-breaking) की स्थिति पूरी हो।
• भौतिकी और डीप लर्निंग को जोड़ना: यह निरंतर टूटी हुई सममिति (broken continuous symmetries) के भौतिकी और गहरे न्यूरल नेटवर्क की ट्रेनैबिलिटी के बीच एक ठोस संबंध स्थापित करता है, जो "एज ऑफ केओस" (edge of chaos) प्रतिमान से आगे बढ़ता है।
• दीर्घ-रेंज मेमोरी में वृद्धि: यह तंत्र रिकरेंट नेटवर्क में दीर्घकालिक मेमोरी के लिए एक मजबूत समाधान प्रदान करता है, जो मानक RNNs की ज्ञात कमजोरी को संबोधित करता है।

लेखक विनम्र रहते हुए नोट करते हैं कि उनके प्रयोग वर्तमान में सरल बेंचमार्क तक सीमित हैं और टोपोलॉजिकल डिफेक्ट्स की सटीक भूमिका के लिए और अध्ययन की आवश्यकता है। वे इस कार्य को इक्क्विवैरिएंस के एक नए उपयोग के प्रदर्शन के रूप में देखते हैं—कार्य की सममिति के लिए नहीं, बल्कि सूचना प्रसार के लिए एक आर्किटेक्चरल उपकरण के रूप में।