तकनीकी सारांश: सामान्यीकृत अवशिष्ट नेटवर्क (Normalized Residual Networks) में चौड़ाई स्केलिंग के तंत्र

समस्या विवरण

न्यूरल नेटवर्क की चौड़ाई से संबंधित मौजूदा सिद्धांत मुख्य रूप से या तो अनंत सीमा (जैसे, गाऊसी प्रक्रियाएं, न्यूरल टेंगेंट कर्नेल) या परिमित-चौड़ाई सुधारों (finite-width corrections) का वर्णन करते हैं। हालाँकि, ये ढांचे अक्सर परिमित-नमूना प्रमाणपत्र (finite-sample certificates) प्रदान करने में विफल रहते हैं कि क्या विशिष्ट परिमित प्रशिक्षण डेटा से पहचाना गया एक स्थानीय विस्तार दिशा (local expansion direction) अनदेखे परीक्षण डेटा पर भी लाभकारी बनी रहेगी। यह अंतराल मॉडल विकास रणनीतियों (जैसे, Net2Net, प्रोग्रेसिव स्टैकिंग, लर्नड ग्रोथ ऑपरेटर्स) के लिए महत्वपूर्ण है, जहाँ यह निर्धारित करना आवश्यक होता है कि प्रशिक्षित मॉडल में प्रस्तावित समावेशन (insertion) क्या प्रशिक्षण सेट से परे सामान्यीकरण (generalization) में सुधार करेगा।

सामान्यीकृत अवशिष्ट नेटवर्क पर पिछले कार्यों ने एक गुणात्मक तंत्र स्थापित किया था: एक शून्य-आउटपुट इनिशियलाइजेशन पर डाला गया अवशिष्ट ब्लॉक (residual block) एक अवरोहण दिशा (descent direction) बनाता है यदि उसके फीचर्स समावेशन-बिंदु त्रुटि संकेत (insertion-point error signal) के लंबवत (orthogonal) नहीं हैं। हालाँकि, इस दिशा की मात्रात्मक परिमित-नमूना अवलोकन क्षमता (quantitative finite-sample observability) अनसुलझी रही, जो अक्सर कोवेरियेंस स्पेक्ट्रा, कुल विचरण (total variance) और निर्धारित चौड़ाई-वृद्धि दरों के संबंध में कड़े अनुमानों पर निर्भर थी।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक प्रभावी संरेखण आयाम ($d_{\text{align}}$) को पेश करते हैं, जो एक विशिष्ट समावेशन बिंदु पर सक्रियण ग्रेडिएंट्स (activation gradients) की सिग्नल-शोर ज्यामिति (signal–noise geometry) का वर्णन करने वाला एक मापने योग्य परिमाण है।

1. सक्रियण-ग्रेडिएंट सिग्नल: एक प्रशिक्षित संदर्भ मॉडल $f^*_{\text{old}} = f_{\text{top}} \circ f_{\text{bot}}$ और एक समावेशन बिंदु के लिए, सक्रियण ग्रेडिएंट को इस प्रकार परिभाषित किया जाता है: $q(x, y) = \nabla_z \ell(f_{\text{top}}(z), y)|_{z=f_{\text{bot}}(x)}$।
2. संरेखण सांख्यिकी (Alignment Statistic): अध्ययन प्रशिक्षण सेट के अनुभवजन्य सक्रियण-ग्रेडिएंट औसत ($\mu_M$) और एक स्वतंत्र परीक्षण सेट ($g_K$) के बीच आंतरिक गुणनफल (inner product) का विश्लेषण करता है। मिसअलाइनमेंट (misalignment) तब होता है जब $\mu_M^\top g_K \leq 0$ हो।
3. सटीक लक्षण वर्णन: लेखक इस आंतरिक गुणनफल के सटीक माध्य और विचरण को व्युत्पन्न करते हैं:
   • $\mathbb{E}[\mu_M^\top g_K] = \|\bar{\mu}\|_2^2$
   • $\text{Var}(\mu_M^\top g_K) = (\frac{1}{M} + \frac{1}{K})\bar{\mu}^\top \Sigma \bar{\mu} + \frac{1}{MK}\text{tr}(\Sigma^2)$
     जहाँ $\bar{\mu}$ जनसंख्या माध्य है और $\Sigma$ सक्रियण ग्रेडिएंट का जनसंख्या कोवेरियेंस है।
4. प्रभावी आयाम (Effective Dimensions): सिग्नल-टू-नॉइज़ अनुपात के आधार पर दो आयामहीन मात्राएँ परिभाषित की गई हैं:
   • दिशात्मक प्रभावी आयाम: $d_\parallel = \frac{\|\bar{\mu}\|_2^4}{\bar{\mu}^\top \Sigma \bar{\mu}}$
   • कोवेरियेंस-ऊर्जा प्रभावी आयाम: $d_2 = \frac{\|\bar{\mu}\|_2^4}{\text{tr}(\Sigma^2)}$
   • प्रभावी संरेखण आयाम: $d_{\text{align}} = \min\{d_\parallel, d_2\}$

मुख्य सैद्धांतिक परिणाम

प्रमेय 1 (परिमित-नमूना संरेखण सीमा):
स्वतंत्र नमूनाकरण और परिमित द्वितीय क्षणों (nonzero population mean के साथ) के अनुमान के तहत, मिसअलाइनमेंट की प्रायिकता इस प्रकार सीमित है:
$$\Pr(\mu_M^\top g_K \leq 0) \leq \frac{1}{1 + n_{\text{eff}}(M, K) d_{\text{align}}}$$
जहाँ $n_{\text{eff}}(M, K) = \frac{MK}{M+K+1}$ प्रभावी नमूना आकार है।

मुख्य सैद्धांतिक गुण:

• न्यूनतम अनुमान: इस सीमा के लिए केवल परिमित द्वितीय क्षणों और एक गैर-शून्य जनसंख्या माध्य की आवश्यकता है। इसके लिए कोवेरियेंस स्पेक्ट्रा, चतुर्थ-क्षण (fourth-moment) स्थितियों, या निर्धारित चौड़ाई-वृद्धि दरों की आवश्यकता नहीं है।
• चौड़ाई की भूमिका: चौड़ाई सीधे प्रमाणपत्र में प्रवेश नहीं करती है। इसके बजाय, यह सक्रियण-ग्रेडिएंट वितरण को बदलकर, जिससे $d_{\text{align}}$ बदल जाता है, प्रमाणपत्र को प्रभावित करती है। यदि चौड़ाई के साथ $d_{\text{align}}$ बढ़ता है, तो मिसअलाइनमेंट की प्रायिकता कम हो जाती है।
• पूर्व परिणामों की प्राप्ति: पूर्व कार्य में उपयोग की गई मजबूत स्थितियों (कोवेरियेंस स्पेक्ट्रम और सिग्नल वृद्धि) के तहत, प्रभावी संरेखण आयाम चौड़ाई के साथ रैखिक रूप से बढ़ता है ($d_{\text{align}} = \Omega(N)$), जिससे पिछले अनंत-चौड़ाई दरों की प्राप्ति होती है। हालाँकि, नया ढांचा इन वृद्धि स्थितियों को आवश्यक के बजाय पर्याप्त (sufficient) मानता है।

प्रमेय 2 (प्रत्यक्ष ट्रेन-टेस्ट विस्तार):
प्रत्यक्ष ट्रेन-टेस्ट विस्तार ढांचे में संरेखण प्रमाणपत्र को एकीकृत करने से, परीक्षण-जोखिम सुधार के लिए एक उच्च-प्रायिकता स्थिति प्राप्त होती है। यदि संरेखण सकारात्मक है (जो $1 - B_{\text{align}}$ की प्रायिकता के साथ होता है), और अन्य शर्तें (अनुकूलन लाभ, सामान्यीकरण नियंत्रण) पूरी होती हैं, तो विस्तारित मॉडल परीक्षण जोखिम में स्पष्ट रूप से सुधार करता है।

प्रयोगात्मक सत्यापन

लेखक तीन मॉडल परिवारों में सिद्धांत को मान्य करते हैं: चौड़ाई-नियंत्रित LLaMA-शैली के ट्रांसफॉर्मर, Pythia सूट, और ResNet-20।

1. सक्रियण-ग्रेडिएंट ज्यामिति का चौड़ाई स्केलिंग

• LLaMA-शैली के ट्रांसफॉर्मर: चौड़ाई $N \in \{512, \dots, 3072\}$ के साथ प्रयोगों से पता चलता है कि $d_{\text{align}}$ चौड़ाई के साथ निरंतर बढ़ता है ($N=512$ पर $\approx 3.9$ से $N=3072$ पर $\approx 9.5$ तक)।
• Pythia: नियंत्रित गहराई-भीतर तुलनाएँ (6-लेयर और 32-लेयर शासन) पुष्टि करती हैं कि हिडन विड्थ (hidden width) बढ़ाने से सक्रियण-ग्रेडिएंट सांख्यिकी और $d_{\text{align}}$ दोनों बढ़ते हैं।
• ResNet-20: CIFAR-10/100 पर चैनल-चौड़ाई मल्टीप्लायर्स में बदलाव निरंतर रूप से चौड़ाई बढ़ने के साथ $d_{\text{align}}$ में वृद्धि दिखाता है।

2. ग्रेडिएंट-मिसअलाइनमेंट प्रायिकता

• अनुभवजन्य रुझान: जब नमूना बजट ($M, K$) स्थिर रहता है, तो मॉडल की चौड़ाई बढ़ने के साथ मिसअलाइनमेंट की अनुभवजन्य प्रायिकता कम हो जाती है।
• प्रमाणपत्र समझौता: सैद्धांतिक प्रमाणपत्र ($B_{\text{exact}}$ और $B_{\text{align}}$) अनुभवजन्य मिसअलाइनमेंट प्रायिकताओं का बारीकी से अनुसरण करते हैं, जहाँ सरल प्रमाणपत्र एक रूढ़िवादी एकल-अंक (one-scalar) लक्षण वर्णन प्रदान करता है।
• नमूना आकार निर्भरता: $M$ और $K$ को बढ़ाने से मिसअलाइनमेंट और कम हो जाता है, जो मॉडल की चौड़ाई (ज्यामिति में सुधार) और नमूना आकार (अनुमान अनिश्चितता को कम करना) की पूरक भूमिकाओं को प्रदर्शित करता है।

3. प्रत्यक्ष अवशिष्ट हस्तक्षेप (Direct Residual Interventions)

• हस्तक्षेप सेटअप: लेखक एक शून्य-इनिशियलाइज्ड अवशिष्ट पैरामीटर डालते हैं और वास्तविक होल्ड-आउट लॉस में परिवर्तन को मापते हैं।
• भविष्यवाणी सटीकता: संरेखण सांख्यिकी ($\mu_M^\top g_K$) लॉस परिवर्तन के चिह्न (sign) और स्थानीय परिमाण (local magnitude) दोनों की सटीक भविष्यवाणी करता है। सकारात्मक संरेखण ने लगातार होल्ड-आउट लॉस में कमी की भविष्यवाणी की, जिसमें देखे गए परिमाण छोटे विक्षोभ पैमानों (perturbation scales) के लिए अनुमानित मूल्यों का 96-99% बनाए रखते हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह सामान्यीकृत अवशिष्ट नेटवर्क में प्रशिक्षण-पहचाने गए विस्तार दिशाओं के परीक्षण डेटा पर स्थानांतरणीयता (transferability) के लिए पहला इंस्टेंस-विशिष्ट, परिमित-नमूना प्रमाणपत्र प्रदान करता है।

1. मात्रात्मक तंत्र: यह गुणात्मक या अनंत-सीमा तर्कों के स्थान पर एक मात्रात्मक सीमा प्रदान करता है जो प्रभावी संरेखण आयाम और प्रभावी नमूना आकार द्वारा नियंत्रित है।
2. चौड़ाई का सशर्त लाभ: यह कार्य स्पष्ट करता है कि चौड़ाई बढ़ाना सशर्त है, स्वचालित नहीं। चौड़ाई केवल तभी सामान्यीकरण में सुधार करती है जब वह सक्रियण ग्रेडिएंट्स के सापेक्ष सिग्नल-शोर ज्यामिति ($d_{\text{align}}$) को बेहतर बनाती है।
3. व्यावहारिक अनुमान: प्रभावी संरेखण आयाम को बड़े कोवेरियेंस मैट्रिक्स को स्पष्ट रूप से बनाए बिना, एक प्रशिक्षित मॉडल से कुछ फॉरवर्ड-बैकवर्ड पास का उपयोग करके अनुमानित किया जा सकता है, जिससे यह मीट्रिक मॉडल विकास निर्णयों के लिए क्रियाशील बन जाता है।
4. मजबूती: सैद्धांतिक गारंटी को कोवेरियेंस स्पेक्ट्रा या वृद्धि दरों पर प्रतिबंधात्मक अनुमानों की आवश्यकता नहीं है, यह केवल परिमित द्वितीय क्षणों पर निर्भर करती है।

लेखक निष्कर्ष निकालते हैं कि देखे गए अनुभवजन्य रुझान—जहाँ व्यापक मॉडल बड़ा $d_{\text{align}}$ और कम मिसअलाइनमेंट प्रदर्शित करते हैं—प्रस्तावित तंत्र का समर्थन करते हैं: $N \uparrow \implies d_{\text{align}}(N) \uparrow \implies p_{\text{misalignment}}(N) \downarrow$। यह इस बात का सैद्धांतिक आधार प्रदान करता है कि व्यवहार में चौड़ाई स्केलिंग अक्सर बेहतर सामान्यीकरण क्यों देती है, विशेष रूप से परिमित-नमूना दिशात्मक स्थिरता (finite-sample directional stability) के लेंस से।