📊 statistics

Quantitative Gaussian-Process limits of Tensor Programs

यह शोध पत्र टेंसर प्रोग्राम फ्रेमवर्क का उपयोग करते हुए, वेट-शेयरिंग स्कीम्स सहित मनमाने आर्किटेक्चर वाले रैंडम न्यूरल नेटवर्क के अनंत-चौड़ाई वाले गाऊसी-प्रक्रिया (गॉसियन-प्रोसेस) सीमाओं के लिए एक मात्रात्मक अभिसरण सिद्धांत स्थापित करता है, जिसमें वासरस्टीन दूरी (वॉसरस्टीन डिस्टेंस) में $O(1/\sqrt{N})$ क्रम के स्पष्ट परिमित-चौड़ाई त्रुटि बाउंड प्रदान किए गए हैं।

मूल लेखक: Andrea Agazzi, Eloy Mosig García, Dario Trevisan

प्रकाशित 2026-07-08

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Agazzi, Eloy Mosig García, Dario Trevisan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल केक बना रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "केक" एक न्यूरल नेटवर्क है, जो एक कंप्यूटर प्रोग्राम है जिसे पैटर्न सीखने के लिए डिज़ाइन किया गया है। इसके "सामग्री" (ingredients) संख्याएँ हैं जिन्हें वेट्स (weights) कहा जाता है, और केक की "परतें" (layers) वह जगह हैं जहाँ जादू होता है।

आमतौर पर, केक बनाने के लिए आपको आटे और चीनी की एक विशिष्ट, सीमित मात्रा की आवश्यकता होती है। AI में, इसे फाइनाइट-विड्थ नेटवर्क (finite-width network) कहा जाता है। इसमें प्रत्येक परत में न्यूरॉन्स की एक निश्चित संख्या (जैसे कि मिक्सिंग बाउल की एक निश्चित संख्या) होती है।

लेकिन गणितज्ञों को यह पूछना पसंद है: "यदि हम इस केक को अनंत चौड़ा कर दें तो क्या होगा?" यदि हमारे पास अनंत संख्या में मिक्सिंग बाउल हों तो क्या होगा?

मुख्य विचार: "अनंत केक" की सीमा (The "Infinite Cake" Limit)

अगाज़ी, गार्सिया और ट्रेविसन का यह शोध पत्र एक वास्तविक, सीमित केक (जिसे हम वास्तव में बना सकते हैं और कंप्यूटर पर चला सकते हैं) और एक सैद्धांतिक, अनंत केक (एक आदर्श, चिकनी गणितीय वस्तु जिसे गौसियन प्रोसेस (Gaussian Process) कहा जाता है) के बीच के संबंध को समझने के बारे में है।

लंबे समय से, हम जानते थे कि जैसे-जैसे आप अधिक परतें जोड़ते हैं या परतों को चौड़ा करते हैं, सीमित नेटवर्क इस चिकने, अनंत गणितीय रूप के और अधिक समान दिखने लगता है। यह बिल्कुल वैसा ही है जैसे कि एक पिक्सेलेटेड छवि करीब से देखने पर दानेदार और ऊबड़-खाबड़ दिखती है, लेकिन जब आप काफी दूर से देखते हैं, तो यह एक चिकनी, पूर्ण तस्वीर बन जाती है।

समस्या: पिछले अध्ययनों ने हमें बताया कि वे अभिसरण (converge) करते हैं, लेकिन उन्होंने यह नहीं बताया कि वे कितनी तेज़ी से या किसी विशिष्ट आकार पर वे कितने करीब हैं। यह ऐसा था जैसे यह कहना कि, "आपका केक अंततः एक आदर्श केक जैसा स्वाद देगा," बिना यह बताए कि आपको कितने अतिरिक्त अंडे चाहिए या 1,000।

समाधान: यह पेपर एक मात्रात्मक रेसिपी (quantitative recipe) प्रदान करता है। यह "त्रुटि" (स्वाद में अंतर) के लिए एक सटीक सूत्र देता है जो सीमित नेटवर्क और अनंत आदर्श के बीच का अंतर है।

"टेन्सर प्रोग्राम" का दृष्टिकोण (The "Tensor Program" Lens)

इसे हल करने के लिए, लेखक टेन्सर प्रोग्राम्स (Tensor Programs) नामक उपकरण का उपयोग करते हैं। इसे एक सार्वभौमिक अनुवादक (universal translator) के रूप में समझें।

उपमा: कल्पना कीजिए कि आपके पास अलग-अलग प्रकार के LEGO सेट हैं: एक साधारण घर, एक जटिल अंतरिक्ष यान और एक रोबोट। वे सभी अलग दिखते हैं, लेकिन वे सभी बुनियादी नियमों का उपयोग करके बनाए गए हैं: ब्लॉकों को आपस में जोड़ना (मैट्रिक्स मल्टीप्लिकेशन) और उन्हें पेंट करना (नॉन-लीनियर फंक्शन्स)।
पेपर की तरकीब: प्रत्येक व्यक्तिगत LEGO सेट का विश्लेषण करने के बजाय, लेखकों ने एक "मास्टर भाषा" (टेन्सर प्रोग्राम्स) बनाई जो किसी भी नेटवर्क संरचना का वर्णन करती है—चाहे वह एक सरल फीड-फॉरवर्ड नेटवर्क हो, एक रिकरेंट नेटवर्क (मेमोरी लूप की तरह), या यहाँ तक कि ट्रांसफॉर्मर (आधुनिक AI चैटबॉट्स के पीछे की तकनीक) का हिस्सा हो।
यह क्यों महत्वपूर्ण है: यह उन्हें एक बड़ा प्रमेय (theorem) सिद्ध करने की अनुमति देता है जो इन सभी विभिन्न आर्किटेक्चर को एक साथ कवर करता है, न कि प्रत्येक नए आविष्कार किए गए नेटवर्क प्रकार के लिए एक नया प्रमाण लिखना पड़ता है।

मुख्य परिणाम: "स्क्वायर रूट" का नियम (The "Square Root" Rule)

इस पेपर की सबसे महत्वपूर्ण खोज त्रुटि के बारे में एक विशिष्ट नियम है।

यदि आपके पास $n$ चौड़ाई (प्रत्येक परत में न्यूरॉन्स की संख्या) वाला एक नेटवर्क है, तो आपके सीमित नेटवर्क और पूर्ण अनंत नेटवर्क के बीच का अंतर $1/\sqrt{n}$ की दर से घटता है।

रूपक: कल्पना कीजिए कि आप एक शहर के लोगों की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।
- यदि आप 4 लोगों से पूछते हैं, तो आपका अनुमान बहुत गलत हो सकता है।
- यदि आप 100 लोगों से पूछते हैं, तो आप बहुत करीब होते हैं।
- यदि आप 10,000 लोगों से पूछते हैं, तो आप बहुत करीब होते हैं।
- यह पेपर सिद्ध करता है कि इन न्यूरल नेटवर्क्स के लिए, "निकटता" ठीक उसी गति से सुधरती है जिस गति से न्यूरॉन्स की संख्या का वर्गमूल (square root) बढ़ता है। यदि आप अपने नेटवर्क का आकार चार गुना कर देते हैं, तो आप त्रुटि को आधा कर देते हैं।

"जटिल" हिस्सों को संभालना

यह पेपर दो विशिष्ट जटिलताओं को भी संबोधित करता है जो वास्तविक दुनिया के नेटवर्क्स को अव्यवस्थित बनाती हैं:

वेट शेयरिंग (Weight Sharing): कुछ नेटवर्क्स में (जैसे कि वे जो समय के साथ चीजों को याद रखते हैं, या "रिकरेंट न्यूरल नेटवर्क"), वेट्स का एक ही सेट कई बार पुन: उपयोग किया जाता है, जैसे कि अलग-अलग कटोरे चलाने के लिए एक ही चम्मच का उपयोग करना। लेखक दिखाते हैं कि उनका गणित तब भी पूरी तरह से काम करता है जब एक ही "चम्मच" का बार-बार उपयोग किया जाता है।
अटेंशन मैकेनिज्म (Attention Mechanisms): आधुनिक AI (जैसे कि मॉडल जो निबंध या कोड लिखते हैं) इनपुट के विशिष्ट भागों पर ध्यान केंद्रित करने के लिए "अटेंशन" का उपयोग करते हैं। इसमें "कर्नेल" (यह गणना करना कि डेटा का एक हिस्सा दूसरे हिस्से की कितनी परवाह करता है) की गणना शामिल है। लेखकों ने इन "स्केलर" वेरिएबल्स को शामिल करने के लिए अपने गणित का विस्तार किया, यह सिद्ध करते हुए कि ये जटिल, आधुनिक आर्किटेक्चर भी उसी $1/\sqrt{n}$ नियम का पालन करते हैं।

"प्रूफ" रणनीति: लाइन दर लाइन निर्माण

उन्होंने इसे कैसे सिद्ध किया? उन्होंने पूरे विशाल केक को एक साथ देखने की कोशिश नहीं की। इसके बजाय, उन्होंने इसे लाइन दर लाइन देखा।

कल्पना कीजिए कि नेटवर्क एक लंबी असेंबली लाइन है।

वे शुरुआत से शुरू करते हैं (इनपुट)।
वे सिद्ध करते हैं कि यदि पहला चरण आदर्श के करीब है, तो दूसरा चरण भी करीब होगा।
वे कपलिंग (coupling) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि आपके पास दो बेकर्स हैं: एक वास्तविक केक (सीमित) बना रहा है और दूसरा आदर्श केक (अनंत) बना रहा है। लेखक दिखाते हैं कि वे हर चरण में एक ही यादृच्छिक सामग्री (रैंडम नॉइज़) का उपयोग कैसे कर सकते हैं। क्योंकि वे एक ही रैंडम नॉइज़ का उपयोग करते हैं, इसलिए अंतिम केक में कोई भी अंतर केवल नेटवर्क के आकार के कारण होता है, न कि रैंडम किस्मत के कारण।

उन्होंने क्या टेस्ट किया (प्रयोग)

यह सुनिश्चित करने के लिए कि उनका गणित केवल सिद्धांत नहीं है, उन्होंने कंप्यूटर सिमुलेशन चलाए। उन्होंने विभिन्न आकारों के नेटवर्क बनाए (उथले, गहरे, रिकरेंट और रेसिडुअल) और मापा कि उनका आउटपुट सैद्धांतिक आदर्श के कितना करीब था।

उन्होंने पाया कि जैसे-जैसे उन्होंने अपने नेटवर्क्स को चौड़ा किया, वास्तविक आउटपुट और पूर्ण आउटपुट के बीच की "दूरी" ठीक उसी तरह कम हुई जैसा कि उनके गणित ने भविष्यवाणी की थी। ग्राफों ने एक लॉग-स्केल पर एक स्पष्ट, सीधी रेखा दिखाई, जिससे पुष्टि हुई कि $1/\sqrt{n}$ नियम आधुनिक AI संरचनाओं के लिए भी सही है।

सारांश

संक्षेप में, यह पेपर एक गणितीय गारंटी है। यह हमें बताता है कि आपका न्यूरल नेटवर्क आर्किटेक्चर कितना भी जटिल क्यों न हो (जब तक कि वह उनके "टेन्सर प्रोग्राम" नियमों के भीतर आता है), यदि आप इसे चौड़ा करते हैं, तो यह एक पूर्ण, चिकनी गणितीय वस्तु के करीब पहुँच जाएगा। और वे आपको बताते हैं कि सटीकता का एक विशिष्ट स्तर प्राप्त करने के लिए आपको कितना अधिक चौड़ा होने की आवश्यकता है। यह "बड़ा होना बेहतर है" के अस्पष्ट वादे को एक सटीक, गणना योग्य नियम में बदल देता है।

तकनीकी सारांश: टेंसर प्रोग्राम्स के मात्रात्मक गॉसियन-प्रोसेस सीमाएँ

समस्या विवरण
यह शोध पत्र अनंत-चौड़ाई की सीमा में रैंडम न्यूरल नेटवर्क के गॉसियन प्रोसेस (GPs) में अभिसरण (convergence) को संबोधित करता है। जबकि पूर्णतः जुड़े हुए (fully connected) नेटवर्क और न्यूरल टेंगेंट कर्नेल (NTK) रिजीम के लिए गुणात्मक सेंट्रल लिमिट थ्योरम (CLT) परिणाम अच्छी तरह से स्थापित हैं, वेट-शेयरिंग स्कीम्स (जैसे रिकरेंट नेटवर्क, ट्रांसफॉर्मर) और जटिल कम्प्यूटेशनल ग्राफ्स वाले व्यापक वर्ग के आर्किटेक्चर के लिए कठोर, मात्रात्मक अभिसरण दरों (convergence rates) की आवश्यकता है। लक्ष्य वेट-शेयरिंग वाले नेटवर्क और उनके अनंत-चौड़ाई वाले गॉसियन-प्रोसेस समकक्षों के बीच वासरस्टीन मेट्रिक (Wasserstein metric) में परिमित-चौड़ाई (finite-width) त्रुटि सीमाओं को स्पष्ट रूप से निर्धारित करना है।

कार्यप्रणाली
लेखक न्यूरल नेटवर्क आर्किटेक्चर को एब्स्ट्रैक्ट करने के लिए टेंसर प्रोग्राम्स फॉर्मलिज्म, विशेष रूप से नेट्सोर (Netsor) भाषा का उपयोग करते हैं। यह ढांचा नेटवर्क को विशिष्ट प्रकार के वेरिएबल्स (H-vars छिपे हुए अवस्थाओं के लिए, A-vars वेट्स के लिए, और G-vars प्री-एक्टिवेशन्स के लिए) पर कार्य करने वाले मौलिक ऑपरेशन्स (MatMul और NonLin) के अनुक्रम के रूप में मानता है।

मुख्य कार्यप्रणाली में शामिल है:

दोहरी निष्पादन नियम (Dual Execution Rules): एक नेट्सोर प्रोग्राम के लिए दो निष्पादन मोड को परिभाषित करना:
- परिमित-चौड़ाई (Finite-width): मानक मैट्रिक्स-वेक्टर गुणन जिसमें गॉसियन-इनिशियलाइज्ड वेट्स ( $W_{ij} \sim N(0, 1/m)$ ) का उपयोग होता है।
- अनंत-चौड़ाई (Infinite-width): एक सीमा जहाँ मैट्रिक्स गुणन को उनके गॉसियन सेंट्रल-लिमिट एप्रोक्सिमेशन्स द्वारा प्रतिस्थापित किया जाता है, जिसमें G-vars को रिकर्सिव कर्नेल्स द्वारा परिभाषित सह-प्रसरण (covariances) के साथ संयुक्त रूप से गॉसियन रैंडम वेरिएबल्स के रूप में माना जाता है।
मात्रात्मक कपलिंग (Quantitative Coupling): प्रमाण प्रोग्राम की संरचना पर लाइन-दर-लाइन इंडक्शन का उपयोग करता है। लेखक परिमित-चौड़ाई और अनंत-चौड़ाई के निष्पादनों के बीच एक स्पष्ट कपलिंग का निर्माण करते हैं।
- NonLin ऑपरेशन्स के लिए, त्रुटि को एक्टिवेशन फंक्शन्स की लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) के माध्यम से नियंत्रित किया जाता है।
- MatMul ऑपरेशन्स के लिए, दोनों निष्पादन पिछले हिडन स्टेट्स के दिए गए (conditional) होने पर कंडिशनली गॉसियन होते हैं। लेखक उसी मानक गॉसियन नॉइज़ का उपयोग करके इन कंडिशनल लॉज़ को कपल करते हैं। परिणामी त्रुटि को कंडिशनल मीन्स और कंडिशनल वेरिएंस के वर्गमूल के बीच अंतर का अनुमान लगाने तक कम कर दिया जाता है।
संरचनात्मक लेम्मा (Structural Lemmas): प्रमाण संरचना लेम्मा पर निर्भर करता है जो दिखाते हैं कि कंडिशनल मीन्स और कोवेरियन्स, पैरेंट वेरिएबल्स के ग्राम मैट्रिसेस के परिमित-आयामी फलन (finite-dimensional functions) हैं। लेखक इन फलनों की इन्फिनिट-विड्थ पॉइंट पर अवकलनीयता (differentiability) का उपयोग करते हैं (डिजेनरेट मामलों को कम करने के बाद) और विचलन को बांधने के लिए एक मात्रात्मक कर्नेल लॉ ऑफ लार्ज नंबर्स (LLN) लागू करते हैं।
NetsorK तक विस्तार: अटेंशन मैकेनिज्म और नॉर्मलाइजेशन लेयर्स को कवर करने के लिए, ढांचे को NetsorK तक विस्तारित किया गया है, जो स्केलर कर्नेल वेरिएबल्स और स्केलर-पैरामीट्रिक नॉनलिनिटीज़ पेश करता है। इसके लिए स्थानीय लिप्सचिट्ज़ स्थितियों को संभालना और गॉसियन लिमिट्स की गैर-अपभ्रंशता (non-degeneracy) सुनिश्चित करना आवश्यक है।

मुख्य योगदान

टेंसर प्रोग्राम्स के लिए मात्रात्मक CLT: मुख्य परिणाम (थ्योरम 1.2) यह स्थापित करता है कि $L$ लाइनों वाले एक नेट्सोर प्रोग्राम के लिए, स्केल्ड परिमित-चौड़ाई निष्पादन और अनंत-चौड़ाई गॉसियन प्रोसेस के बीच वासरस्टीन दूरी ( $W_p$ ), $O(\sum_{m \in n_{hidd}} m^{-1/2})$ द्वारा सीमित है, जहाँ $n_{hidd}$ छिपी हुई चौड़ाई को दर्शाता है। यह एक स्पष्ट इनवर्स स्क्वायर-रूट अभिसरण दर प्रदान करता है।
आर्किटेक्चर-अज्ञेयवादी ढांचा (Architecture-Agnostic Framework): परिणाम किसी भी आर्किटेक्चर पर लागू होते हैं जो नेट्सोर प्रोग्राम के रूप में व्यक्त किया जा सकता है, जिसमें फीड-फॉरवर्ड नेटवर्क, वेट-शेयरिंग वाले रिकरेंट न्यूरल नेटवर्क (RNNs), और कई इनपुट्स पर एक साथ मूल्यांकित नेटवर्क शामिल हैं।
कर्नेल LLN: शोध पत्र एम्पिरिकल कर्नेल्स के लिए एक मात्रात्मक लॉ ऑफ लार्ज नंबर्स (Corollary 1.3) को व्युत्पन्न करता है, जो दिखाता है कि हिडन स्टेट्स के एम्पिरिकल इनर प्रोडक्ट्स अपने अनंत-चौड़ाई वाले अपेक्षाओं (expectations) के साथ समान $O(n^{-1/2})$ दर से अभिसरित होते हैं।
अटेंशन तक विस्तार: NetsorK भाषा का परिचय और थ्योरम 2.4, स्केलर कर्नेल वेरिएबल्स (जैसे अटेंशन स्कोर) और स्केलर-पैरामीट्रिक नॉनलिनिटीज़ (जैसे लेयरनॉर्म, सॉफ्टमैक्स) वाले आर्किटेक्चर तक इन मात्रात्मक गारंटियों को विस्तारित करता है, बशर्ते कि विशिष्ट गैर-अपभ्रंशता (non-degeneracy) और लिप्सचिट्ज़ स्थितियाँ पूरी हों।

परिणाम

अभिसरण दरें (Convergence Rates): सैद्धांतिक सीमाएँ पुष्टि करती हैं कि परिमित-चौड़ाई वाले नेटवर्क और उनके GP लिमिट्स के बीच त्रुटि, छिपी हुई परतों की चौड़ाई के इनवर्स स्क्वायर रूट के रूप में स्केल होती है।
संख्यात्मक सत्यापन (Numerical Validation): सेक्शन 5 मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs), टाइम-अनरोल्ड RNNs, और रेसिडुअल नेटवर्क पर संख्यात्मक प्रयोग प्रस्तुत करता है। स्लाइसड वासरस्टीन-1 दूरी का उपयोग करते हुए, लेखक देखते हैं कि अभिसरण दरें (log-log स्लोप) $-0.5$ (सैंपलिंग नॉइज़ फ्लोर) से काफी अधिक तीव्र हैं, जो पुष्टि करती है कि आर्किटेक्चरल अभिसरण सिग्नल दृश्यमान है। उदाहरण के लिए, डीप MLPs ने $-0.916 $का स्लोप दिखाया, और रेसिडुअल नेटवर्क ने$ -0.797$ दिखाया।
अपभ्रंशता हैंडलिंग (Degeneracy Handling): शोध पत्र यह प्रदर्शित करता है कि कैसे डिजेनरेट MatMul लाइन्स (जहाँ कंडिशनल वेरिएंस शून्य हो जाता है) को NonLin लाइन्स में कैसे बदला जाए, जिससे गैर-अपभ्रंशता धारणाओं के तहत मात्रात्मक सीमाओं की वैधता सुनिश्चित हो सके।

महत्व और दावे
लेखक इस कार्य को यांग के 'मास्टर थ्योरम फॉर टेंसर प्रोग्राम्स' द्वारा प्रदान किए गए गुणात्मक लिमिट थ्योरी के एक मात्रात्मक समकक्ष के रूप में प्रस्तुत करते हैं। जबकि यांग का प्रमेय व्यापक गुणात्मक विवरण प्रदान करता है, यह पेपर आर्किटेक्चर के एक समृद्ध वर्ग के लिए स्पष्ट, जांच योग्य त्रुटि सीमाएं प्रदान करता है।

महत्व निम्नलिखित में निहित है:

कठोर परिमित-चौड़ाई विश्लेषण: केवल एसिम्प्टोटिक कथनों से आगे बढ़कर व्यावहारिक, परिमित-चौड़ाई वाले नेटवर्क के लिए ठोस त्रुटि अनुमान प्रदान करना।
वेट शेयरिंग को संभालना: रिकरेंट और शेयर्ड-वेट आर्किटेक्चर के लिए आवश्यक कंडिशनल गॉसियन स्ट्रक्चर को कैप्चर करके लेयर-दर-लेयर स्वतंत्र CLTs की सीमाओं को संबोधित करना।
भविष्य के कार्य के लिए आधार: Netsor और NetsorK के लिए एक मात्रात्मक ढांचा स्थापित करके, यह शोध पत्र आधुनिक आर्किटेक्चर (जैसे ट्रांसफॉर्मर) के विश्लेषण के लिए आधार तैयार करता है और संभावित रूप से ट्रेनिंग डायनेमिक्स तक इन सीमाओं को बढ़ाने की क्षमता रखता है, हालांकि वर्तमान कार्य मुख्य रूप से इनिशियलाइजेशन (फॉरवर्ड पास) रिजीम पर केंद्रित है।

शोध पत्र अपने दावों में विनम्र रहता है, यह नोट करते हुए कि नेट्सोर भाषा बिना विस्तार के आधुनिक आर्किटेक्चर के सभी ऑपरेशन्स को कवर नहीं करती है, और मात्रात्मक सीमाएं विशिष्ट रेगुलैरिटी धारणाओं (लिप्सचिट्ज़ निरंतरता) और गैर-अपभ्रंशता स्थितियों पर निर्भर करती हैं।