Can an MLP Absorb Its Own Skip Connection?

तकनीकी सारांश: "क्या एक MLP अपने स्वयं के स्किप कनेक्शन को अवशोषित कर सकता है?"

लेखक: एंटोनिज मिजोस्की और मार्को कारबेव्स्की
मुख्य शोध प्रश्न: क्या मल्टी-लेयर परसेप्ट्रॉन (MLP) में एक स्किप कनेक्शन (रेसिडुअल कनेक्शन) जोड़ने से उसकी प्रतिनिधित्व क्षमता (representational capacity) का विस्तार होता है, या यह केवल एक पुनर्रूपण (reparameterization) है जिसे समान चौड़ाई वाले मानक, रेसिडुअल-मुक्त MLP में "अवशोषित" किया जा सकता है?

1. समस्या

आधुनिक डीप लर्निंग (Transformers, LLaMA, आदि) में, लगभग प्रत्येक MLP लेयर को एक रेसिडुअल कनेक्शन के साथ लपेटा जाता है: $f(x) = x + \text{MLP}(x)$। जबकि यह सर्वविदित है कि स्किप कनेक्शन अनुकूलन (ऑप्टिमाइजेशन - ग्रेडिएंट फ्लो और लॉस लैंडस्केप स्मूथनिंग) में सुधार करते हैं, लेखक इस संरचना की बीजीय अतिरेकता (algebraic redundancy) की जांच करते हैं।

विशेष रूप से, वे पूछते हैं: क्या एक स्किप-कनेक्टेड MLP $\text{MLP}_{\text{skip}}(x) = x + W_{\text{down}}\sigma(W_{\text{up}}x)$ के लिए एक ऐसा रेसिडुअल-मुक्त MLP $\text{MLP}_{\text{ff}}(x) = V_{\text{down}}\sigma(V_{\text{up}}x)$ मौजूद है, जो समान चौड़ाई का हो और $\text{MLP}_{\text{skip}}(x) = \text{MLP}_{\text{ff}}(x)$ के लिए सभी $x$ हेतु सत्य हो?

2. कार्यप्रणाली

लेखक कार्यात्मक विश्लेषण (functional analysis), पैरिटी अपघटन (parity decomposition), और माप सिद्धांत (measure theory) को संयोजित करते हुए एक कठोर गणितीय दृष्टिकोण अपनाते हैं। वे अवशोषण की सीमाओं का परीक्षण करने के लिए एक्टिवेशन फंक्शन को तीन विशिष्ट समूहों में वर्गीकृत करते हैं:

• होमोजेनियस एक्टिवेशन (Homogeneous activations): ऐसे फंक्शन जहाँ $\sigma(\lambda z) = \lambda^k \sigma(z)$ (जैसे, $\text{ReLU}^2$, $\text{ReGLU}$)।
• गेटेड एक्टिवेशन (Gated activations): आधुनिक आर्किटेक्चर जहाँ एक्टिवेशन एक गेट और एक वैल्यू का गुणनफल होता है (जैसे, $\text{SwiGLU}$, $\text{GeGLU}$)।
• अनगेटेड एक्टिवेशन (Ungated activations): मानक एक्टिवेशन जैसे $\text{ReLU}$ और $\text{GELU}$।

वे यह विश्लेषण करने के लिए पैरिटी अपघटन (एक फंक्शन को उसके सम (even) और विषम (odd) घटकों में विभाजित करना) का उपयोग करते हैं कि कैसे रैखिक पद $x$ (स्किप कनेक्शन) MLP के गैर-रैखिक घटकों के साथ परस्पर क्रिया करता है।

3. मुख्य योगदान और परिणाम

A. आधुनिक स्टेट-ऑफ-द-आर्ट (SOTA) एक्टिवेशन के लिए असंभवता
यह पेपर सिद्ध करता है कि अधिकांश वर्तमान LLMs में उपयोग किए जाने वाले एक्टिवेशन के लिए, अवशोषण पूर्णतः असंभव है।

• होमोजेनियस एक्टिवेशन (Prop 5): डिग्री $k \neq 1$ वाले एक्टिवेशन (जैसे $\text{ReLU}^2$) के लिए, एक डिग्री तर्क यह दर्शाता है कि एक रैखिक मानचित्र और एक डिग्री-$k$ वाला MLP असंगत होमोजेनिटी क्लासेज में रहते हैं।
• गेटेड एक्टिवेशन (Prop 6 & Cor 7): $\text{SwiGLU}$ और $\text{GeGLU}$ जैसे गेटेड एक्टिवेशन के लिए, एक लीनियराइजेशन तर्क दिखाता है कि गेटेड MLP आउटपुट मूल बिंदु (origin) के पास $O(\|x\|^2)$ है। चूंकि स्किप कनेक्शन $O(\|x\|)$ है, वे कभी भी समान नहीं हो सकते। यह परिणाम किसी भी गहराई (arbitrary depth) तक विस्तारित होता है, जिसका अर्थ है कि इन एक्टिवेशन का उपयोग करने वाले गहरे रेसिडुअल नेटवर्क को समान चौड़ाई वाले गहरे रेसिडुअल-मुक्त नेटवर्क द्वारा प्रतिस्थापित नहीं किया जा सकता है।

B. "विशेष मामला" - अनगेटेड ReLU और GELU
मानक $\text{ReLU}$ और $\text{GELU}$ के लिए, अवशोषण गणितीय रूप से संभव है लेकिन गैर-जेनेरिक (non-generic) है।

• सबमैट्रिक्स स्थिति (Theo 8 & 10): अवशोषण तभी होता है जब न्यूरॉन्स का एक उपसमुच्चय $S$ (जहाँ $|S| \geq d$) मौजूद हो जिससे डाउन-प्रोजेक्शन और अप-प्रोजेक्शन वेट्स का गुणनफल इन न्यूरॉन्स के लिए निम्नलिखित को संतुष्ट करे: $W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -\text{Id}$।
• जेनेरिक डिसजॉइंटनेस (Cor 11): क्योंकि यह स्थिति एक बहुत ही विशिष्ट बीजीय संरेखण (algebraic alignment) की मांग करती है, यह लेबेग मेज़र ज़ीरो (Lebesgue measure zero) के साथ घटित होती है। दूसरे शब्दों में, लगभग किसी भी रैंडमली इनिशियलाइज्ड वेट मैट्रिक्स के लिए, एक स्किप-कनेक्टेड MLP और एक रेसिडुअल-मुक्त MLP पूरी तरह से अलग फंक्शन क्लासेज का प्रतिनिधित्व करते हैं।

C. लर्नबल स्किप्स (Learnable Skips) पर सामान्यीकरण
लेखक सिद्ध करते हैं (Lemma 4) कि यदि स्किप कनेक्शन एक लर्नबल इनवर्टिबल लीनियर मैप है (जैसा कि "हाइपर-कनेक्शन्स" में है), तो समस्या आइडेंटिटी स्किप केस में बदल जाती है, जिसका अर्थ है कि उनके असंभवता के परिणाम अभी भी लागू होते हैं।

4. महत्व

यह पेपर एक औपचारिक सैद्धांतिक आधार प्रदान करता है कि क्यों स्किप कनेक्शन केवल एक ऑप्टिमाइजेशन ट्रिक नहीं हैं, बल्कि प्रतिनिधित्व शक्ति (representational power) के लिए एक संरचनात्मक आवश्यकता हैं।

• प्रतिनिधित्व विस्तार (Representational Expansion): यह सिद्ध करता है कि स्किप कनेक्शन फंक्शन स्पेस के उस क्षेत्र तक पहुँच प्रदान करते हैं जहाँ समान चौड़ाई वाला मानक MLP नहीं पहुँच सकता।
• आर्किटेक्चरल डिज़ाइन: इसके परिणाम ट्रांसफॉर्मर्स में रेसिडुअल कनेक्शनों की व्यापकता को न्यायसंगत ठहराते हैं। यदि हम उन्हें हटा देते हैं, तो हम केवल मौजूदा MLP लेयर्स को क्षतिपूर्ति करने के लिए "री-वेट" (re-weight) नहीं कर पाएंगे; हम मौलिक रूप से उनके मॉडल की क्षमता को बदल देंगे।
• सैद्धांतिक सीमा: यह पेपर एक स्पष्ट विभाजन की पहचान करता है: जबकि $\text{ReLU}$ और $\text{GELU}$ दुर्लभ, अत्यधिक विशिष्ट उदाहरणों की अनुमति देते हैं, गेटेड एक्टिवेशन जो वर्तमान AI क्रांति को शक्ति दे रहे हैं ($\text{SwiGLU}$, आदि), स्किप कनेक्शन को बीजीय रूप से अपरिहार्य बनाते हैं।