Expressivity of congruence-based architectures for DNNs on positive-definite matrices

तकनीकी सारांश: धनात्मक-निश्चित मैट्रिसेस (Positive-Definite Matrices) पर DNNs के लिए कॉन्ग्रुएंस-आधारित आर्किटेक्चर की अभिव्यक्तता (Expressivity)

समस्या का निरूपण
सिमेट्रिक पॉजिटिव-डेफिनिट (SPD) मैट्रिसेस वैज्ञानिक और इंजीनियरिंग अनुप्रयोगों में सर्वव्यापक हैं, जो सिग्नल सहसंबंधों (correlations) और कोवेरियन्स (covariances) जैसी द्वितीय-क्रम की जानकारी को एनकोड करते हैं। चूंकि SPD मैट्रिसेस स्वाभाविक रूप से एक रीमानियन मैनिफोल्ड (Riemannian manifold) बनाते हैं, जिससे रीमानियन मशीन लर्निंग तकनीकों का उपयोग संभव होता है, इसलिए इस डेटा के लिए डिज़ाइन किए गए डीप न्यूरल नेटवर्क्स (DNNs) की अभिव्यक्तता (expressivity) अभी भी अपर्याप्त रूप से समझी गई है। विशेष रूप से, यह शोध SPDNet आर्किटेक्चर की जांच करता है, जो "कॉन्ग्रुएंस-जैसे" परतों (BiMap परतों) पर निर्भर करता है जहाँ एक इनपुट मैट्रिक्स $X$ को $X \mapsto WXW^\top$ के रूप में रूपांतरित किया जाता है। SPDNet में एक महत्वपूर्ण बाधा वेट मैट्रिसेस (weight matrices) पर सेमी-ऑर्थोगोनैलिटी (semi-orthogonality) को लागू करना है (अर्थात $WW^\top = I_p$), ताकि अनुकूलन स्थिरता (optimization stability) सुनिश्चित की जा सके। मुख्य समस्या यह है कि क्या यह बाधा, विशिष्ट एक्टिवेशन फंक्शन (जैसे ReEig) के साथ मिलकर, गहरे आर्किटेक्चर की प्रतिनिधि शक्ति (representational power) को सीमित करती है, जिससे वे संभावित रूप से उथले (shallow) नेटवर्क्स के समान हो जाते हैं।

कार्यप्रणाली (Methodology)
लेखक एक सामान्य वर्ग के आर्किटेक्चर का विश्लेषण करते हैं जिसे सिग्नल प्रोपेगेशन समीकरण द्वारा परिभाषित किया गया है:
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
जहाँ $g$ एक मैट्रिक्स एक्टिवेशन फंक्शन (जैसे ReEig) है जो आइगेनवैल्यूज़ (eigenvalues) पर कार्य करता है, और $W_\ell$ वेट मैट्रिसेस हैं। अध्ययन दो मुख्य सैद्धांतिक चरणों में आगे बढ़ता है:

1. ऑर्थोगोनल वेट्स ($W \in O(n)$): लेखक सिद्ध करते हैं कि यदि सभी वेट मैट्रिसेस वर्गाकार (square) और ऑर्थोगोनल हैं, तो नेटवर्क की गहराई अभिव्यक्तता को नहीं बढ़ाती है। वे इस गुण का उपयोग करते हैं कि मैट्रिक्स फंक्शन ऑर्थोगोनल मैट्रिसेस के साथ कॉन्ग्रुएंस के तहत अपरिवर्तित (invariant) रहते हैं।
2. सेमी-ऑर्थोगोनल वेट्स ($W \in St(n, p)$): लेखक आयताकार (rectangular) सेमी-ऑर्थोगोनल मैट्रिसेस तक अपने विश्लेषण का विस्तार करते हैं। वे पोइन्केयर सेपरेशन थ्योरम (Poincaré's Separation Theorem) का लाभ उठाते है, जो यह निर्धारित करता है कि $W^\top A W$ के आइगेनवैल्यूज़, $A$ के आइगेनवैल्यूज़ द्वारा सीमित होते हैं। यह स्पेक्ट्रल कंटेनमेंट (spectral containment) यह दर्शाता है कि आइगेनवैल्यूज़ का प्रसार इनपुट के प्रारंभिक स्पेक्ट्रम से परे नहीं जा सकता।

यह शोध फीचर एक्सट्रैक्टर्स और अंतिम क्लासिफायर्स के बीच की अंतःक्रिया का भी परीक्षण करता है। यह विभिन्न रीमानियन दूरियों (Affine-Invariant, Log-Euclidean, Stein, Bures-Wasserstein, और Euclidean) के साथ कॉन्ग्रुएंस-आधारित फीचर एक्सट्रैक्शन की अनुकूलता का मूल्यांकन करने के लिए उनके इनवेरिएंस गुणों का परीक्षण करता है।

प्रमुख योगदान और परिणाम

• गहरे आर्किटेक्चर का पतन (Collapse of Deep Architectures): यह पेपर प्रदर्शित करता है कि कुछ एक्टिवेशन फंक्शनों के लिए, वेट मैट्रिसेस पर (सेमी-)ऑर्थोगोनैलिटी बाधाएं लगाने से गहरे नेटवर्क एक-हिडन-लेयर समकक्षों (one-hidden-layer equivalents) में बदल जाते हैं, चाहे नेटवर्क की गहराई कुछ भी हो।
  • ऑर्थोगोनल केस: यदि $W$ ऑर्थोगोनल है, तो नेटवर्क एक एकल परत के समान होता है जिसमें एक्टिवेशन फंक्शन $L$ बार कंपोज (compose) किया गया है। यदि स्केलर एक्टिवेशन फंक्शन $\sigma$ इडम्पोटेंट (idempotent) है (जैसे ReLU, hard tanh), तो कंपोजिशन $g^{(L)}$, $g$ में सरल हो जाता है, जिसका अर्थ है कि गहरा नेटवर्क सख्ती से एक सिंगल हिडन लेयर के समान है।
  • सेमी-ऑर्थोगोनल केस: यदि $W$ सेमी-ऑर्थोगोनल है और एक्टिवेशन फंक्शन $\sigma$ उस अंतराल (interval) पर आइडेंटिटी के रूप में कार्य करता है जिसमें इनपुट स्पेक्ट्रम स्थित है (या स्पेक्ट्रम को ऐसे अंतराल में मैप करता है), तो नेटवर्क फिर से एक एकल कॉन्ग्रुएंस ट्रांसफॉर्मेशन में सिमट जाता है। यह पोइन्केयर सेपरेशन थ्योरम का सीधा परिणाम है, जो स्पेक्ट्रल विविधता के विस्तार को रोकता है जो इस विशिष्ट सेटिंग में गहरे पदानुक्रमित फीचर लर्निंग (hierarchical feature learning) के लिए आवश्यक है।
• स्पेक्ट्रल विविधता का नुकसान (Loss of Spectral Diversity): अभिव्यक्तता की कमी का कारण "स्पेक्ट्रल विविधता की हानि" है। सेमी-ऑर्थोगोनल कॉन्ग्रुएंस ट्रांसफॉर्मेशन इनपुट के आइगेनवैल्यू अंतराल के भीतर आउटपुट के आइगेनवैल्यूज़ को सीमित करते हैं। फलस्वरूप, उन एक्टिवेशन फंक्शनों के लिए जो स्पेक्ट्रल विस्तार या संशोधन पर निर्भर करते हैं, गहराई कोई अतिरिक्त विभेदक शक्ति (discriminative power) प्रदान नहीं करती है।
• क्लासिफायर असंगतता (Classifier Incompatibility): अध्ययन प्रकट करता है कि SPD मैट्रिसेस के बीच कई प्रसिद्ध दूरियाँ (Affine-Invariant, Stein, और Euclidean) ऑर्थोगोनल या इन्वर्टिबल मैट्रिसेस के साथ कॉन्ग्रुएंस के तहत इनवेरिएंट (invariant) हैं।
  • यदि क्लासिफायर इन इनवेरिएंट दूरियों (जैसे Minimum Riemannian Distance to Mean) पर निर्भर करता है, और फीचर एक्सट्रैक्टर ऑर्थोगोनल वेट्स के साथ कॉन्ग्रुएंस लेयर्स का उपयोग करता है, तो नेटवर्क के माध्यम से किसी भी दो डेटा पॉइंट्स के बीच की दूरी अपरिवर्तित रहती है।
  • इसका तात्पर्य यह है कि यदि फीचर एक्सट्रैक्शन केवल इन इनवेरिएंट ट्रांसफॉर्मेशन पर निर्भर करता है, तो ऐसे क्लासिफायर विभिन्न वर्गों के डेटा को अलग नहीं कर सकते, क्योंकि डेटा की सापेक्ष ज्यामिति (relative geometry) परिवर्तित होने के बजाय संरक्षित रहती है।

महत्व और दावे
पेपर का दावा है कि SPDNet के मानक डिज़ाइन विकल्प—विशेष रूप से BiMap लेयर्स पर सेमी-ऑर्थोगोनैलिटी बाधा—इस आर्किटेक्चर की अभिव्यक्तता को मौलिक रूप से सीमित करते हैं। लेखक तर्क देते हैं कि यह बाधा एक ऐसी डिजेनरेसी (degeneracy) की ओर ले जाती है जहाँ गहरे नेटवर्क, उथले नेटवर्क्स की तुलना में कोई लाभ नहीं देते हैं, जो पोइन्केयर सेपरेशन थ्योरम के स्पेक्ट्रल प्रतिबंधों द्वारा संचालित है।

इसके अलावा, यह कार्य कॉन्ग्रुएंस-आधारित फीचर एक्सट्रैक्शन और इनवेरिएंट मेट्रिक्स पर आधारित क्लासिफायर्स के बीच एक महत्वपूर्ण बेमेल (mismatch) को उजागर करता है। यदि फीचर एक्सट्रैक्टर डेटा की स्पेक्ट्रल और ज्यामितीय संरचना को सुरक्षित रखता है (ऑर्थोगोनल बाधाओं के कारण), तो इनवेरिएंट दूरियों पर आधारित क्लासिफायर फीचर एक्सट्रैक्शन प्रक्रिया से लाभान्वित होने में विफल रहते हैं। पेपर निष्कर्ष निकालता है कि SPD DNNs के भविष्य के डिजाइनों को इन बाधाओं पर पुनर्विचार करना चाहिए, जिसमें अभिव्यक्तता को बहाल करने के लिए नए एक्टिवेशन फंक्शनों या ऑर्थोगोनैलिटी आवश्यकताओं को शिथिल करने की संभावनाओं की खोज की जानी चाहिए।