Identifiable Equivariant Networks are Layerwise Equivariant

तकनीकी सारांश: पहचान योग्य समरूप नेटवर्क (Identifiable Equivariant Networks) परतवार समरूप (Layerwise Equivariant) होते हैं

समस्या विवरण
ज्यामितीय गहन शिक्षण (Geometric Deep Learning) में, एक प्रमुख प्रतिमान (paradigm) स्पष्ट परतवार समरूपता (layerwise equivariance) वाले तंत्रिका नेटवर्क को डिजाइन करना है ताकि पूरा नेटवर्क डेटा की समरूपताओं (symmetries) का सम्मान कर सके। हालाँकि, एक मौलिक सैद्धांतिक प्रश्न बना हुआ है: क्या एक एंड-टू-एंड समरूप (end-to-end equivariant) नेटवर्क के लिए परतवार समरूपता एक आवश्यक शर्त है? अनुभवजन्य रूप से (Empirically), सममित डेटा पर प्रशिक्षित नेटवर्क अक्सर अपनी मध्यवर्ती परतों में लगभग समरूप संरचनाएं विकसित करते हैं, फिर भी इस बात का सैद्धांतिक औचित्य स्पष्ट नहीं था कि एंड-टू-एंड समरूपता, परतवार समरूपता को क्यों अनिवार्य करती है। यह कार्य वैश्विक (end-to-end) समरूपता और स्थानीय (layerwise) समरूपता के बीच के अंतर को संबोधित करता है, विशेष रूप से इस बात की जांच करता है कि क्या एक एंड-टू-एंड समरूप फलन (function) का निर्माण अनिवार्य रूप से समरूप परतों से ही किया जाना चाहिए।

कार्यप्रणाली और औपचारिकता (Methodology and Formalism)
लेखक श्रेणी सिद्धांत (category theory) और बीजगणितीय ज्यामिति (algebraic geometry) पर आधारित एक अत्यधिक अमूर्त, आर्किटेक्चर-अज्ञेय (architecture-agnostic) औपचारिकता विकसित करते हैं ताकि डीप न्यूरल नेटवर्क का विश्लेषण किया जा सके।

1. अमूर्त मॉडल परिभाषा: एक डीप मॉडल को अनुक्रमिक कंपोजिशन (sequential composition) के रूप में परिभाषित किया गया है: $f_i: V_{i-1} \times \Theta_i \to V_i$, जो लेटेंट स्पेस (latent spaces) $V_i$ पर कार्य करने वाली परतों का प्रतिनिधित्व करता है।
2. समरूपताएँ और समूह क्रियाएँ (Symmetries and Group Actions): समरूपताओं को समूह क्रियाओं (group actions) के माध्यम से औपचारिक रूप दिया गया है। इनपुट और आउटपुट स्पेस पर एक समूह $G$ द्वारा क्रिया की जाती है। महत्वपूर्ण रूप से, लेटेंट स्पेस $V_i$ अपने स्वयं के समरूपता समूहों $K_i$ से सुसज्जित हैं।
3. पहचान योग्यता धारणा (Identifiability Assumption): मुख्य सैद्धांतिक धारणा पैरामीटर पहचान योग्यता (parameter identifiability) है। लेखक एक पैरामीटर $\theta$ को तब "दुर्बल रूप से पहचान योग्य" (weakly identifiable) कहते हैं यदि वह एक "सबमॉडल" (submodel) के भीतर एक पहचान योग्य पैरामीटर का प्रतिबिंब (image) है। एक सबमॉडल एक विकृत मामला (degenerate case) है जहाँ न्यूरॉन्स निष्क्रिय या अनावश्यक (cloned) होते हैं।
   • पहचान योग्यता (Identifiability) का तात्पर्य है कि यदि दो पैरामीटर सेट एक ही फलन उत्पन्न करते हैं, तो वे लेटेंट स्पेस की समरूपताओं (विशेष रूप से, उन अंतर-परत रूपांतरणों द्वारा जो एक-दूसरे को रद्द कर देते हैं) द्वारा संबंधित होने चाहिए।
   • यह गुण विभिन्न आर्किटेक्चर (जैसे, Sigmoid, Tanh, या उच्च-डिग्री बहुपद सक्रियण वाले MLPs) के लिए ज्ञात है, लेकिन अन्य (जैसे, ReLU नेटवर्क, हालांकि आंशिक परिणाम मौजूद हैं) के लिए एक अनुमान (conjecture) बना हुआ है।
4. सबमॉडल और क्षय (Submodels and Degeneracy): ढांचा "निष्क्रिय" न्यूरॉन्स (जो फॉरवर्ड पास में भाग नहीं लेते हैं) को सबमॉडल के रूप में मानकर उन्हें स्पष्ट रूप से संभालता है। सिद्धांत यह प्रस्ताव देता है कि कोई भी गैर-पहचान योग्य पैरामीटर ऐसे विकृत संरचनाओं से उत्पन्न होता है।

मुख्य सैद्धांतिक परिणाम
केंद्रीय प्रमेय (Theorem 4.1) वैश्विक और स्थानीय समरूपता के बीच एक सीधा संबंध स्थापित करता है:

• पूर्वधारणा (Premise): एक डीप नेटवर्क पर विचार करें जो इनपुट और आउटपुट पर कार्य करने वाले समूह $G$ के सापेक्ष एंड-टू-एंड समरूप है। मान लें कि नेटवर्क के पैरामीटर दुर्बल रूप से पहचान योग्य (weakly identifiable) हैं।
• निष्कर्ष (Conclusion): मध्यवर्ती लेटेंट स्पेस $V_1, \dots, V_{L-1}$ पर $G$ की ऐसी समूह क्रियाएँ मौजूद हैं कि प्रत्येक परत $f_i$ इन क्रियाओं के सापेक्ष समरूप है।
• निहितार्थ (Implication): समरूप परतों को डिजाइन करना केवल एक ह्यूरिस्टिक (heuristic) नहीं है; यह (निष्क्रिय न्यूरॉन्स को हटाने के अलावा) एक एंड-टू-एंड समरूप नेटवर्क बनाने का एकमात्र तरीका है। यदि कोई नेटवर्क प्रशिक्षण के दौरान एक समरूप समाधान की ओर अभिसरित (converge) होता है, तो समरूपता इसकी परतों के सक्रिय भागों में स्वतः ही उभरनी चाहिए।

प्रमुख योगदान

1. अमूर्त औपचारिकता: पेपर विभिन्न नेटवर्क आर्किटेक्चर और समरूपता समूहों पर लागू होने वाली पहचान योग्यता, समरूपता और सबमॉडल को एक एकीकृत, अमूर्त भाषा में सूत्रबद्ध करता है।
2. आवश्यकता का प्रमाण: यह पहचान योग्यता की धारणा के तहत, यह सिद्ध करता है कि एंड-टू-एंड समरूपता के लिए परतवार समरूपता आवश्यक है। यह खुले प्रश्न को हल करता है कि क्या गैर-परतवार समरूप नेटवर्क वैश्विक समरूपता प्राप्त कर सकते हैं।
3. विशिष्ट आर्किटेक्चर पर अनुप्रयोग:
   • MLPs: इस सिद्धांत को मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) पर लागू किया गया है, जिससे दिखाया गया है कि कैसे लेटेंट समरूपता न्यूरॉन क्रमपरिवर्तन (permutations) और रीस्केलिंग के अनुरूप होती है। यह विभिन्न सक्रियण फलनों (Sigmoid, Tanh, Polynomials, ReLU) के लिए पहचान योग्यता की स्थिति पर चर्चा करता है।
   • अटेंशन नेटवर्क: ढांचे को मल्टी-हेड अटेंशन नेटवर्क तक विस्तारित किया गया है, जहाँ लेटेंट समरूपताओं में हेड क्रमपरिवर्तन और टोकन स्पेस के रैखिक रूपांतरण शामिल हैं।
4. अनुभवजन्य चित्रण (Empirical Illustration): लेखक CIFAR10 पर छोटे MLPs (ऑटोएन्कोडर्स और क्लासिफायर) पर एक समरूपता हानि (equivariance loss) के साथ प्रशिक्षित करके प्रयोग करते हैं। जबकि सिद्धांत सटीक समरूपता मानता है, प्रयोग दर्शाते हैं कि अनुमानित परतवार संरचनाएं (जैसे, सममित या प्रति-सममित फिल्टर) व्यावहारिक, लगभग समरूप सेटिंग्स में उभरती हैं।

महत्व और दावे
पेपर उस घटना को समझाने के लिए एक गणितीय स्पष्टीकरण प्रदान करने का दावा करता है जिसे निरंतर अभ्यास में देखा जाता है: कि सममित डेटा पर प्रशिक्षित तंत्रिका नेटवर्क इन समरूपताओं को अपने लेटेंट स्पेस में रैखिक रूप से संहिताबद्ध (encode) करते हैं।

• यह कार्य समरूपता-आधारित डेटा संवर्धन (symmetry-based data augmentation) और परतवार समरूप डिजाइन के बीच के संबंध को स्पष्ट करता है, यह सुझाव देते हुए कि यदि कोई नेटवर्क एक समरूप फलन सीखता है, तो वह प्रभावी रूप से उस परतवार समरूप संरचना की "खोज" करता है जो इसे सहारा देने के लिए आवश्यक है।
• परिणाम पहचान योग्यता की धारणा पर आधारित हैं। लेखक स्वीकार करते हैं कि जबकि यह कई आर्किटेक्चर के लिए स्थापित है, यह अन्य (विशेष रूप से ReLU नेटवर्क) के लिए एक अनुमान बना हुआ है, और उनके परिणाम पूर्ववर्ती के लिए तुरंत लागू होते हैं और बाद वाले के लिए सशर्त हैं।
• सिद्धांत को आर्किटेक्चर-अज्ञेय के रूप में प्रस्तुत किया गया है, जो विशिष्ट भार विन्यास (weight configurations) के बजाय पैरामेट्रिक मैप्स के संरचनात्मक गुणों पर निर्भर करता है, जिससे ज्यामितीय गहन शिक्षण के लिए एक सामान्य सिद्धांत मिलता है।

सीमाएं और दायरा
लेखक नोट करते हैं कि उनका प्रमाण समूह क्रिया और परत पैरामीटरों के बीच विशिष्ट एडजंक्शन गुणों (adjunction properties) पर निर्भर करता है। हालांकि वे अटेंशन और कनवल्शनल नेटवर्क के लिए सामान्यीकरण पर चर्चा करते हैं, कुछ आर्किटेक्चर जैसे 'डीप सेट्स' (Deep Sets) या विशिष्ट समरूप ग्राफ न्यूरल नेटवर्क, जहाँ रैखिक परतें विशिष्ट समूह क्रियाओं को अवशोषित करती हैं लेकिन मनमाने रूपांतरणों को नहीं, उनके वर्तमान प्रमाण के सीधे दायरे से बाहर हैं। इसके अलावा, दुर्बल पहचान योग्यता पर निर्भरता का अर्थ है कि उनके परिणाम इस बात पर निर्भर हैं कि मॉडल उन विकृत पैरामीटर विन्यासों में न फँसे जो सबमॉडल्स से उत्पन्न नहीं होते हैं।