🤖 machine learning

When Can Depth Replace Precision? A Resource Theory of Quantized Neural Computation

यह शोध पत्र एक संसाधन सिद्धांत (resource theory) स्थापित करता है जो यह मात्रात्मक रूप से निर्धारित करता है कि कब और कैसे लो-बिट क्वांटाइज्ड न्यूरल नेटवर्क की गहराई बढ़ाना कम संख्यात्मक परिशुद्धता (numerical precision) की भरपाई कर सकता है, जिससे सटीक संरचनात्मक सीमाएं, अभिसरण दरें (convergence rates), और निष्पादन-निर्भर दंड (execution-dependent penalties) प्राप्त होते हैं जो विशिष्ट परिचालन बाधाओं के तहत परिशुद्धता को गहराई से बदलने की व्यवहार्यता को निर्धारित करते हैं।

मूल लेखक: Mojtaba Soltanalian

प्रकाशित 2026-07-28

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mojtaba Soltanalian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

महान समझौता: क्यों अधिक कदम हमेशा एक कच्चे मानचित्र को ठीक नहीं कर सकते

कल्पना कीजिए कि आप एक पहाड़ का सटीक चित्र बनाने की कोशिश कर रहे हैं। आपके पास दो उपकरण हैं: एक सुपर-फाइन, महंगा पेन जो अविश्वसनीय सटीकता के साथ चित्र बनाता है, और एक सस्ता, मोटा क्रेयॉन जिसमें केवल कुछ ही रंग हैं और जो मोटी, ब्लॉक जैसी रेखाएं बनाता है। आमतौर पर, यदि आप सस्ते क्रेयॉन के साथ बेहतर चित्र बनाना चाहते हैं, तो आपको बस अधिक मेहनत करनी होगी। आप शायद हजारों छोटे, सावधानीपूर्ण कदम उठाकर पहाड़ को बनाने की कोशिश करेंगे, इस उम्मीद में कि यदि आप पर्याप्त छोटे, ब्लॉक जैसे कदमों को एक साथ जोड़ देंगे, तो वे अंततः वास्तविक पहाड़ के चिकने वक्र (curve) जैसा दिखने लगेंगे। यह "क्वांटाइज्ड न्यूरल नेटवर्क" (quantized neural networks) के पीछे के मूल विचार के समान है, जो कंप्यूटर विज्ञान का एक क्षेत्र है जहाँ हम कृत्रिम बुद्धिमत्ता (AI) को कम संख्या (कम परिशुद्धता/low precision) का उपयोग करके सरल, सस्ते हार्डवेयर पर चलाने की कोशिश करते हैं।

लंबे समय तक, शोधकर्ताओं का मानना था कि यदि आप कम-परिशुद्धता वाले AI में पर्याप्त "गहराई" (अधिक परतें या अधिक कदम) जोड़ देते हैं, तो यह अंततः उच्च-परिशुद्धता वाले AI के प्रदर्शन की नकल कर सकता है। यह ऐसा ही था जैसे यह सोचना कि, "यदि मैं पर्याप्त छोटे, अनाड़ी कदम उठाता हूँ, तो मैं एक सुंदर नर्तक की तरह बिल्कुल चल सकूँगा।" लेकिन यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: क्या अनाड़ी कदमों द्वारा सुंदरता की नकल करने की एक सीमा है? लेखक, जो मोजताबा सोल्तानानियन (Mojtaba Solathanalian) के नेतृत्व में हैं, इसे केवल एक कोडिंग समस्या के रूप में नहीं, बल्कि एक भौतिकी (physics) की समस्या के रूप में देखते हैं। वे पूछते हैं: एक लो-बिट सिस्टम (low-bit system) अधिकतम कितना अच्छा हो सकता है, चाहे वह कितना भी गहरा क्यों न हो जाए? और क्या जिस तरह से कंप्यूटर वास्तव में गणित करता है (उसका "अरिथमेटिक"), उत्तर को बदल देता है?

शोध पत्र की बड़ी खोज: "स्ट्रक्चरल फ्लोर" (Structural Floor)

शोध पत्र का मुख्य निष्कर्ष यह है कि एक कठोर सीमा है, जिसे लेखक "स्ट्रक्चरल फ्लोर" कहते हैं। इस फ्लोर को एक स्विमिंग पूल के तल की तरह समझें। यदि आप गहराई तक जाने की कोशिश कर रहे हैं, तो आप नीचे तैरते रह सकते हैं, लेकिन एक बार जब आप तल से टकरा जाते हैं, तो आप चाहे कितनी भी जोर से लात मारें, उससे अधिक गहरा नहीं जा सकते। AI की दुनिया में, यह फ्लोर उस दूरी का प्रतिनिधित्व करता है जो आपके वांछित सटीक उत्तर और आपके विशिष्ट लो-परिशुद्धता उपकरणों द्वारा प्राप्त किए जा सकने वाले सर्वोत्तम संभव उत्तर के बीच होती है।

लेखक सिद्ध करते हैं कि लो-बिट उपकरणों के एक दिए गए सेट (एक "डिक्शनरी" या संचालन का समूह) के लिए, यदि लक्ष्य जिसे आप प्राप्त करने की कोशिश कर रहे हैं वह उन उपकरणों के आकार में पूरी तरह से फिट नहीं बैठता है, तो आप इस फ्लोर से टकरा जाएंगे। अधिक परतें (गहराई) जोड़ने से यह हटाया नहीं जा सकता। यह केवल चौकोर लेगो (Lego) ईंटों का उपयोग करके एक पूर्ण वृत्त बनाने की कोशिश करने जैसा है; आप कितने भी ईंटों का उपयोग करें, किनारे हमेशा टेढ़े-मेढ़े ही रहेंगे। शोध पत्र दिखाता है कि यह "टेढ़ापन" आपके द्वारा चुने गए उपकरणों की एक स्थायी विशेषता है, न कि निर्माता की विफलता।

हालाँकि, शोध पत्र यह भी पाता है कि यदि आपका लक्ष्य आपके उपकरणों के आकार में फिट बैठता है, तो गहराई जोड़ना मदद करता है। इस मामले में, त्रुटि (गलती) घटती जाती है जैसे-जैसे आप अधिक कदम जोड़ते हैं, जो एक अनुमानित नियम का पालन करती है: यदि आप गहराई को दोगुना करते हैं, तो त्रुटि लगभग आधी हो जाती है। लेकिन यह तभी काम करता है जब लक्ष्य "सुसंगत" (coherent) हो, जिसका अर्थ है कि लो-बिट कदम वास्तव में एक एकल, सुचारू पथ को परिष्कृत कर रहे हैं, न कि केवल बेतरतीब ढंग से आपस में उलझ रहे हैं।

"फ्रीजिंग" का जाल: जब अधिक कदम चीजों को बदतर बना देते हैं

इस शोध पत्र का सबसे दिलचस्प और आश्चर्यजनक हिस्सा वह है जो तब होता है जब आप वास्तव में एक वास्तविक कंप्यूटर पर गणित चलाते हैं। लेखक दिखाते हैं कि केवल अधिक कदम जोड़ने से कभी-कभी AI वास्तव में खराब हो सकता है, बेहतर नहीं। वे एक परिदृश्य का वर्णन करते हैं जिसे "फुल-स्टेट राइट-बैक" (full-state write-back) कहा जाता है।

कल्पड़ी कीजिए कि आप एक कमरे में चल रहे हैं, छोटे कदम उठा रहे हैं। लेकिन हर बार जब आप एक कदम उठाते हैं, तो आपको रुकना पड़ता है और अपनी सटीक स्थिति एक कागज पर लिखनी पड़ती है जो केवल बड़े वर्गों (squares) वाले ग्रिड पर आधारित है। यदि आपका कदम ग्रिड के वर्गों से छोटा है, तो कागज उसे देख नहीं पाएगा! यह बस लिखेगा "आप अभी भी यहीं हैं।" यदि आप लाखों छोटे कदम उठाते हैं, लेकिन कागज उन्हें देख नहीं पाता क्योंकि वे ग्रिड के लिए बहुत छोटे हैं, तो आप एक जगह स्थिर खड़े रह जाते हैं। लेखक सिद्ध करते हैं कि यदि आपके कंप्यूटर का "ग्रिड" (उसकी परिशुद्धता) बहुत मोटा है, तो अधिक गहराई जोड़ने से वास्तव में AI की प्रगति रुक (freeze) सकती है। छोटे अपडेट राउंड होकर गायब हो जाते हैं।

इसे ठीक करने के लिए, शोध पत्र एक चतुर तकनीक का सुझाव देता है जिसे "इन्क्रीमेंट एरर फीडबैक" (increment error feedback) कहा जाता है। हर बार अपनी पूरी स्थिति लिखने के बजाय, आप यह लिखते हैं कि आपने कितना बदलाव किया और उन छोटे हिस्सों के लिए एक छोटा "कैरी" (carry) नोट रखते हैं जो लिखने के लिए बहुत छोटे थे। आप उस नोट को अगले कदम में जोड़ देते हैं। इस तरह, छोटे हिस्से गायब नहीं होते; वे जमा होते रहते हैं जब तक कि वे इतने बड़े न हो जाएं कि देखे जा सकें। शोध पत्र सिद्ध करता है कि इस पद्धति के साथ, AI गहराई बढ़ने के साथ सुधार करना जारी रख सकता है, जिससे "फ्रीजिंग" के जाल से बचा जा सकता है।

खेल के नियम: यह केवल "बिट्स" के बारे में नहीं है

शोध पत्र का तर्क है कि हमें AI परिशुद्धता को केवल "बिट्स" (जैसे 4-बिट या 8-बिट) की संख्या के रूप में सोचना बंद कर देना चाहिए। इसके बजाय, हमें इसे एक संसाधन सिद्धांत (resource theory) के रूप में देखना चाहिए। जैसे आपके पास धन का बजट होता है, वैसे ही आपके पास निम्नलिखित के लिए बजट होता है:

गहराई (Depth): आप कितने कदम उठाते हैं।
मेटाडेटा (Metadata): "निर्देश पुस्तिका" या कोडबुक जो AI को बताती है कि किन उपकरणों का उपयोग करना है।
अरिथमेटिक (Arithmetic): कंप्यूटर वास्तव में गणित को कैसे संभालता है (क्या यह राउंड अप करता है, राउंड डाउन करता है, या 'कैरी' नोट रखता है?)।

लेखक बताते हैं कि आप एक के बदले दूसरे को स्वतंत्र रूप से नहीं बदल सकते। यदि आपकी निर्देश पुस्तिका (मेटाडेटा) खराब है, तो अधिक गहराई जोड़ने से कोई मदद नहीं मिलेगी। यदि आपके कंप्यूटर का गणित बहुत "अनाड़ी" (खराब अरिथमेटिक) है, तो गहराई जोड़ने से सिस्टम फ्रीज हो सकता है। वे सूत्रों और "प्रमाणपत्रों" (certificates) का एक सेट प्रदान करते हैं जो इंजीनियरों को AI प्रशिक्षित करना शुरू करने से पहले यह जांचने की अनुमति देते हैं कि क्या उनके लक्ष्य तक पहुँचना संभव है। यह एक लंबी पैदल यात्रा शुरू करने से पहले अपने मानचित्र की जांच करने जैसा है ताकि यह देखा जा सके कि आपके पास मौजूद गियर के साथ गंतव्य तक पहुँचना संभव है या नहीं।

निर्णय: क्या काम करता है और क्या नहीं

शोध पत्र बहुत स्पष्ट है कि इसने क्या सिद्ध किया है और क्या नहीं।

सिद्ध किया गया: उन्होंने गणितीय रूप से सिद्ध किया है कि कुछ प्रकार के लो-बिट सिस्टम के लिए एक "स्ट्रक्चरल फ्लोर" होता है। उन्होंने सिद्ध किया कि "फुल-स्टेट राइट-बैक" प्रगति को रोक सकता है, जबकि "एरर फीडबैक" इसे बचा सकता है। उन्होंने सिद्ध किया कि विशिष्ट, सरल लक्ष्यों के लिए, आपको एक ऐसी गहराई की आवश्यकता होती है जो उस परिशुद्धता के साथ रैखिक रूप से (linearly) बढ़ती है जिसे आप मैच करना चाहते हैं।
अनुकरण/मापा गया (Simulated/Measured): उन्होंने वास्तविक AI मॉडल (जैसे DistilBERT) पर प्रयोग चलाए और पाया कि सिद्धांत कायम रहता है। जब उन्होंने एक ऐसे मॉडल को परिष्कृत करने की कोशिश की जो पहले से ही "सुसंगत" (coherent) था, तो गहराई जोड़ने से मदद मिली। जब उन्होंने एक ऐसे मॉडल को परिष्कृत करने की कोशिश की जो सुसंगत नहीं था, तो यह विफल रहा, ठीक वैसा ही जैसा सिद्धांत ने भविष्यवाणी की थी।
सिद्ध नहीं किया गया: वे यह दावा नहीं करते हैं कि किसी भी AI को कम परिशुद्धता के साथ काम करने के लिए बनाया जा सकता है। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि आप केवल अधिक गहराई डालकर एक टूटे हुए सिस्टम को ठीक कर सकते हैं। यदि "फ्लोर" बहुत ऊँचा है, तो कितनी भी ट्रेनिंग से वह लक्ष्य प्राप्त नहीं किया जा सकता।

संक्षेप में, यह शोध पत्र हमें बताता है कि "अधिक गहराई" कोई जादुई छड़ी नहीं है। यह एक शक्तिशाली उपकरण है, लेकिन केवल तभी जब आपके पास सही मानचित्र, सही दिशा-सूचक (compass) और छोटे कदमों का हिसाब रखने का तरीका हो ताकि वे खो न जाएं। यदि आप खेल के नियमों की अनदेखी करते हैं, तो आप एक मिलियन कदम उठाने के बाद भी कहीं नहीं पहुँच पाएंगे।

तकनीकी सारांश: क्वांटाइज्ड न्यूरल कंप्यूटेशन का एक रिसोर्स थ्योरी (संसाधन सिद्धांत)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र क्वांटाइज्ड न्यूरल नेटवर्क में एक मौलिक वास्तुशिल्प प्रश्न को संबोधित करता है: एक निश्चित इनपुट-आउटपुट मैप के लिए, अतिरिक्त लो-बिट रेसिडुअल कंप्यूटेशन (डेप्थ) कब लुप्त संख्यात्मक परिशुद्धता (numerical precision) की जगह ले सकता है?

पारंपरिक क्वांटाइजेशन परिशुद्धता हानि को एक स्थानीय सन्निकटन (local approximation) समस्या के रूप में देखता है (जैसे, वेट्स को लो-बिट मानों से बदलना)। यह शोध पत्र इस समस्या को एक लक्ष्य-विशिष्ट संसाधन सिद्धांत (target-specific resource theory) के रूप में पुनर्गठित करता है। यह पूछता है:

एक निश्चित क्षितिज (horizon) पर एक लो-बिट सिस्टम की अनंत-डेप्थ सीमा (infinite-depth limit) क्या है?
डेप्थ बढ़ने के साथ यह सीमा कितनी तेजी से प्राप्त की जाती है?
इस सीमा को वास्तविक निष्पादन (execution) में जीवित रखने के लिए किन संख्यात्मक या रूटिंग संसाधनों (मेटाडेटा, अंकगणितीय सिमेंटिक्स, शेड्यूल) को स्केल करना आवश्यक है?

मुख्य चुनौती संरचनात्मक प्रतिनिधित्व क्षमता (structural representability) (क्या ऑपरेशंस का पुस्तकालय सैद्धांतिक रूप से व्यक्त कर सकता है) और कार्यान्वयन व्यवहार्यता (implementation feasibility) (क्या परिमित अंकगणित और रूटिंग उस अभिव्यक्ति को बनाए रखती है) के बीच अंतर करने की है।

2. कार्यप्रणाली और ढांचा (Methodology and Framework)

शोध पत्र एक डेप्थ- $D$ लो-बिट स्टूडेंट को एक निश्चित क्षितिज $T$ पर घोषित लो-बिट ऑपरेशन लाइब्रेरी $\mathcal{G}_b$ से फील्ड्स चुनने वाले एक शुद्ध शेड्यूलर (pure schedule) के रूप में मॉडल करता है। यह एक रिलैक्स्ड कंट्रोल (relaxed control) ढांचे को पेश करता है जहाँ प्रत्येक क्षण लाइब्रेरी फील्ड्स पर एक प्रोबेबिलिटी वेक्टर की अनुमति दी जाती है, जो एक क्लोज्ड रिलैक्स्ड रीचेबल सेट $\mathcal{R}_{\Omega, \text{rel}}$ को परिभाषित करता है।

मुख्य मॉडलिंग घटक:

लिफ्टेड स्टेट स्पेस (Lifted State Space): स्टेट को एक बानाच स्पेस (Banach space) $Z = C(\Xi; \mathbb{R}^q)$ में लिफ्ट किया जाता है, जो एक एकल प्रक्षेपवक्र (trajectory) के बजाय एक पूर्ण इनपुट-इंडेक्स्ड मैप का प्रतिनिधित्व करता है। यह स्पष्ट रूप से घोषित किए बिना विभिन्न इनपुट्स के लिए अलग-अलग शेड्यूल्स चुनने से रोकता है।
स्ट्रक्चरल फ्लोर (Structural Floor): टारगेट मैप $F^\star$ और क्लोज्ड रिलैक्स्ड रीचेबल सेट के बीच की दूरी, जिसे $E_{\Omega, \infty}(F^\star)$ द्वारा दर्शाया गया है। यह सटीक स्पर्शोन्मुखी सीमा (asymptotic limit) है; दिए गए लाइब्रेरी के लिए कोई भी डेप्थ वृद्धि इस फ्लोर से कम त्रुटि को कम नहीं कर सकती।
संसाधन अपघटन (Resource Decomposition): कुल त्रुटि को तीन विशिष्ट रेडियस में विभाजित किया गया है:
1. सिंथेसिस एरर ( $C_{\text{syn}}/D$ ): रिलैक्स्ड सेट को एक परिमित शुद्ध शेड्यूलर के साथ सन्निकट करने की लागत।
2. मेटाडेटा एरर ( $C_{\text{meta}} 2^{-s/m}$ ): $s$ बिट्स के साथ एक सीखे हुए डिक्शनरी को वर्णित करने की लागत।
3. अंकगणितीय/निष्पादन त्रुटि ( $A_D$ ): परिमित परिशुद्धता, संचय (accumulation), सैचुरेशन और रूटिंग के कारण होने वाला नुकसान।

सैद्धांतिक उपकरण:

बैलेंस्ड स्विचिंग (ऑनलाइन सिम्प्लेक्स राउंडिंग): एक लेम्मा जो यह सुनिश्चित करता है कि एक शुद्ध शेड्यूलर एक सीमित प्रीफिक्स विसंगति (prefix discrepancy) के साथ रिलैक्स्ड कंट्रोल को ट्रैक कर सकता है, जिससे प्रथम-क्रम अभिसरण दर (first-order convergence rates) प्राप्त होती है।
होल्डर रेगुलैरिटी (Hölder Regularity): अभिसरण दरों को $O(D^{-\vartheta} + D^{-1})$ तक विस्तारित करता है जब फील्ड डिपेंडेंस बाउंडेड वेरिएशन के बजाय $\vartheta$ -होल्डर हो।
हाइब्रिड सिस्टम थ्योरी: रूट-चेंजिंग नेटवर्क (जैसे, Mixture-of-Experts) का विश्लेषण करने के लिए ट्रांसवर्सलिटी कंडीशंस और स्मॉल-गेन थ्योरम्स का उपयोग करता है ताकि रूटिंग मिसमैच के कारण स्टेट एरर को बाउंड किया जा सके।
प्राइमल-डुअल सर्टिफिकेशन: प्रशिक्षण से पहले स्ट्रक्चरल फ्लोर पर कठोर निचली और ऊपरी सीमाएँ प्रदान करने के लिए HJB सबसोल्यूशन, सपोर्ट विटनेस और ऑक्यूपेशन मेजर्स का उपयोग करता है।

3. मुख्य योगदान और परिणाम

A. स्ट्रक्चरल फ्लोर निर्णायक इनवेरिएंट है

शोध पत्र सिद्ध करता है कि घोषित डिक्शनरी फैमिली के लिए, एक परिमित-डेप्थ सिस्टम की त्रुटि क्लोज्ड रिलैक्स्ड रीचेबल सेट से दूरी की ओर अभिसरित होती है।

परिणाम: यदि स्ट्रक्चरल फ्लोर धनात्मक है, तो कोई भी ऑप्टिमाइज़र या डेप्थ वृद्धि इसे हटा नहीं सकती। यदि यह शून्य है, तो टारगेट संरचनात्मक रूप से प्रतिनिधित्व योग्य (representable) है।
निहितार्थ: व्यवहार्यता संचालन लाइब्रेरी की टारगेट के सापेक्ष ज्यामिति द्वारा निर्धारित होती है, न कि केवल नाममात्र बिट चौड़ाई द्वारा।

B. फर्स्ट-ऑर्डर डेप्थ प्राइस आवश्यक है

शोध पत्र स्थापित करता है कि विशिष्ट स्थितियों के तहत, त्रुटि ठीक $O(D^{-1})$ के रूप में घटती है।

फिक्स्ड-टीचर कॉनवर्स (Fixed-Teacher Converse): एक निर्मित बाइनरी रेसिडुअल रिकर्सन (और ReLU MLPs एवं नॉन-यूनिफॉर्म अटेंशन में इसके न्यूरल रियलाइजेशन) यह प्रदर्शित करता है कि एक निश्चित टारगेट के लिए $D^{-1}$ त्रुटि दर की आवश्यकता होती है।
मैचिंग लॉ (Matching Law): एक सुसंगत उच्च-परिशुद्धता तुलनाकार (comparator) के लिए $\Theta(L^{-1})$ त्रुटि और शून्य स्ट्रक्चरल फ्लोर वाले लो-बिट सिस्टम के लिए, सटीकता मिलान हेतु $D = \Theta(L)$ की आवश्यकता होती है।

C. निष्पादन अंकगणित (Execution Arithmetic) डेप्थ के लाभ को उलट सकता है

एक महत्वपूर्ण निष्कर्ष यह है कि एक विशिष्ट निष्पादन मॉडल के बिना "डेप्थ परिशुद्धता की जगह लेती है" कहना गलत है।

फुल-स्टेट राइट-बैक (Full-State Write-Back): यदि प्रत्येक माइक्रोस्टेप पूरे स्टेट को एक निश्चित ग्रिड पर लिखता है, तो एरर एनवेलप $E \approx E_\infty + C/D + D\rho_z$ हो जाता है। यह एक U-आकार का एनवेलप बनाता है जिसमें एक परिमित इष्टतम डेप्थ होती है; गहरे नेटवर्क रेसिडुअल अपडेट को फ्रीज कर सकते हैं और प्रदर्शन में गिरावट ला सकते हैं।
इन्क्रीमेंट एरर फीडबैक (Increment Error Feedback): क्वांटाइजेशन रेसिडुअल को कैरी रजिस्टर में स्टोर करने से त्रुटि टेलिस्कोप (telescope) हो जाती है। यह $O(D^{-1})$ नियम को बनाए रखता है और एक सामान्य लैटिस पर एक सटीक इंटीजर रियलाइजेशन की अनुमति देता है जिसकी रजिस्टर्स की चौड़ाई सीमित होती है।

D. मेटाडेटा और डेप्थ अलग-अलग संसाधन हैं

सीखे हुए डिक्शनरीज (कोडबुक्स) और शेड्यूल डेप्थ अलग-अलग संसाधन हैं।

एलोकेशन लॉ: एक कुल बजट के तहत, लॉगरिदमिक मेटाडेटा ग्रोथ ( $s \sim \log D$ ) पर्याप्त है ताकि कोडबुक डिस्क्रीटाइजेशन को प्रथम-क्रम सिंथेसिस डेप्थ के अनुरूप रखा जा सके।
पैकिंग कॉनवर्स (Packing Converse): सूचना-सैद्धांतिक सीमाएं दिखाती हैं कि लक्ष्यों के एक परिवार को अनुमानित करने के लिए शेड्यूल लेबल्स और ग्लोबल मेटाडेटा दोनों के लिए भुगतान करना आवश्यक है।

E. रूटिंग के लिए हाइब्रिड स्थिरता की आवश्यकता है

हार्ड रूटिंग (जैसे, MoE) वाले नेटवर्क के लिए, साधारण मार्जिन तर्क अपर्याप्त हैं।

ट्रांसवर्सलिटी (Transversality): रूट परिवर्तन आइसोलेटेड और ट्रांसवर्सल होने चाहिए।
स्मॉल-गेन कंडीशन: शोध पत्र एक हाइब्रिड स्थिरता स्थिति व्युत्पन्न करता है जहाँ स्टेट-एरर-टू-इवेंट-विड्थ कन्वर्जन और इवेंट-विड्थ-टू-स्टेट-फोर्सिंग कन्वर्जन का गुणनफल एक से कम होना चाहिए ताकि प्रथम-क्रम अभिसरण सुनिश्चित हो सके।

F. प्रशिक्षण से पहले प्रमाणन (Certification Before Training)

शोध पत्र एक वर्कफ़्लो प्रस्तावित करता है कि प्रशिक्षण से पहले व्यवहार्यता तय कैसे करें:

फ्लोर को ब्रैकेट करना: प्राइम (व्यवहार्य प्रक्षेपवक्र) और ड्यूल (HJB/SOS विटनेस) सर्टिफिकेट का उपयोग करके स्ट्रक्चरल फ्लोर को बाउंड करना।
निर्णय नियम:
- व्यवहार्य (Feasible): यदि ऊपरी सीमा + कार्यान्वयन रेडियस $\le$ टारगेट टॉलरेंस।
- असंभव (Impossible): यदि निचली सीमा - कार्यान्वयन रेडियस > टारगेट टॉलरेंस।
- अनसुलझा (Unresolved): यदि अंतराल टॉलरेंस के साथ ओवरलैप होता है (यह एक जानबूझकर किया गया परिणाम है जो बेहतर बाउंड्स की आवश्यकता को दर्शाता है)।

4. प्रयोगात्मक और सत्यापित साक्ष्य

शोध पत्र स्पष्ट प्रमाणों, व्यापक परिमित जाँचों, नियंत्रित सिमुलेशन और प्री-ट्रेन्ड डायग्नोस्टिक्स के बीच अंतर करता है:

सटीक विटनेस (Exact Witnesses): सॉफ्ट-थ्रेशोल्ड नेटवर्क और अटेंशन सिस्टम के लिए सत्यापित रैशनल सर्टिफिकेट्स यह पुष्टि करते हैं कि असंगत लक्ष्यों के लिए धनात्मक स्ट्रक्चरल फ्लोर मौजूद है और संगत लक्ष्यों के लिए शून्य फ्लोर है।
फिक्स्ड-टीचर कॉनवर्स: डेप्थ 12 तक के शेड्यूल्स के व्यापक एन्यूमरेशन से विशिष्ट अटेंशन और MLP आर्किटेक्चर के लिए सटीक $D^{-1}$ एस्पेक्टोट (asymptote) और गैर-शून्य लिमिटिंग कांस्टेंट की पुष्टि होती है।
प्री-ट्रेन्ड डायग्नोस्टिक्स: डिस्टिलबर्ट (SST-2) पर एक अध्ययन दिखाता है कि एक प्रशिक्षित ब्लॉक को क्वांटाइजेशन के बिना विभाजित करना मूल मैप से दूर ले जाता है (इनकोहेरेंट), जबकि एक सुसंगत लक्ष्य को रिफाइन करना त्रुटि को कम करता है। यह लक्ष्य सुसंगतता (target coherence) की आवश्यकता को मान्य करता है।
ऑप्टिमाइजेशन गैप्स: प्रयोग दिखाते हैं कि लोकल सर्च (कोऑर्डिनेट डिसेंट) ग्लोबल ऑप्टिमम से कई गुना पीछे रह सकता है, जो यह सिद्ध करता है कि प्रतिनिधित्व क्षमता (एक शेड्यूलर का अस्तित्व) और प्रशिक्षण क्षमता (trainability) अलग-अलग हैं।

5. महत्व और दावे

शोध पत्र दावा करता है कि यह एक एकीकृत, लक्ष्य-विशिष्ट संसाधन सिद्धांत प्रदान करता है जो कार्यान्वयन विवरणों से संरचनात्मक सीमाओं को अलग करता है। इसका महत्व निम्नलिखित में निहित है:

"डेप्थ रिप्लेस प्रिसिजन" को पुनर्परिभाषित करना: यह स्पष्ट करता है कि यह ट्रेड-ऑफ ऑपरेशन लाइब्रेरी, निष्पादन अर्थशास्त्र (विशेष रूप से कैरी बनाम सैचुरेशन) और रूटिंग मॉडल पर निर्भर है। यह एक सार्वभौमिक नियम नहीं है।
संरचनात्मक बनाम अनुकूलन: यह क्या प्रतिनिधित्व किया जा सकता है (स्ट्रक्चरल फ्लोर) और क्या पाया जा सकता है (ऑप्टिमाइजेशन) के बीच के प्रश्न को कठोरता से अलग करता है, जिससे विफल प्रशिक्षण को संरचनात्मक असंभवता के रूप में गलत समझने से रोका जा सके।
कार्यवाही योग्य प्रमाणन (Actionable Certification): यह प्रशिक्षण से पहले व्यवहार्यता या असंभवता को प्रमाणित करने के लिए प्राइम-ड्यूल बाउंड्स और स्पष्ट अंकगणितीय रेडियस का उपयोग करके एक गणितीय ढांचा प्रदान करता है।
निष्पादन-जागरूक डिज़ाइन: यह रेखांकित करता है कि मानक क्वांटाइजेशन मेट्रिक्स (बिट विड्थ) अपर्याप्त हैं; संचय (accumulation) के सिमेंटिक्स (कैरी बनाम सैचुरेशन) और रूटिंग (ट्रांसवर्सलिटी) ही वास्तविक निर्धारक हैं कि क्या डेप्थ कम परिशुद्धता की भरपाई कर सकता है।

शोध पत्र स्पष्ट रूप से कहता है कि यह दावा नहीं करता कि मनमाने ढंग से लेयर जोड़ने से मैप सुरक्षित रहता है, पैरामीटर-बिट बचत से लेटेंसी/ऊर्जा बचत होती है, या एक विफल ऑप्टिमाइज़र गैर-प्रतिनिधित्व को सिद्ध करता है। यह संरचनात्मक और अंकगणितीय सीमाओं पर केंद्रित है।