तकनीकी सारांश: डीप लर्निंग का हैमिल्टन-जेकोबी सिद्धांत (The Hamilton–Jacobi Theory of Deep Learning)

समस्या विवरण (Problem Statement)

यह शोध पत्र डीप लर्निंग के एक मौलिक सैद्धांतिक अंतराल को संबोधित करता है: जबकि न्यूरल नेटवर्क का उपयोग अक्सर आंशिक अवकल समीकरणों (Partial Differential Equations - PDEs) के समाधान को अनुमानित करने के लिए किया जाता है, यह प्रश्न कि एक प्रशिक्षित न्यूरल नेटवर्क वास्तव में किस विशिष्ट समीकरण को हल करता है, काफी हद तक अनुत्तरित रहा है। पारंपरिक दृष्टिकोण PDE को लॉस फंक्शन्स (जैसे, फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स) के माध्यम से लागू किए गए एक बाहरी प्रतिबंध के रूप में देखते हैं। यह कार्य प्रस्तावित करता है कि आर्किटेक्चर स्वयं, विशेष रूप से Log-Sum-Exp (LSE) सक्रियण (activations) का उपयोग करने वाली परतें, एक विस्कस हैमिल्टन-जेकोबी (viscous Hamilton–Jacobi) समीकरण के समाधान को अंतर्निहित रूप से एनकोड करती हैं। मुख्य चुनौती एक एकल विरूपण पैरामीटर (deformation parameter) $\epsilon$ द्वारा एकीकृत, एक एकल गणितीय ढांचे के माध्यम से न्यूरल नेटवर्क संचालन और HJ PDEs, ट्रॉपिकल बीजगणित (tropical algebra), और उत्तल अनुकूलन (convex optimization) की संरचनाओं के बीच एक सटीक, गैर-अनुमानित पत्राचार स्थापित करना है।

कार्यप्रणाली (Methodology)

लेखक मास्लोव डीक्वांटाइजेशन (Maslov dequantization) और हॉपफ-कोले रूपांतरण (Hopf–Cole transformation) पर केंद्रित एक एकीकृत गणितीय ढांचे का उपयोग करते हैं।

1. विरूपण पैरामीटर ($\epsilon$): शोध पत्र $\epsilon$ (सॉफ्टमैक्स तापमान) को एक विरूपण पैरामीटर के रूप में पहचानता है जो दो बीजगणितीय दुनियाओं के बीच मध्यस्थता करता है:

   • $\epsilon > 0$: मानक अंकगणितीय सेमिरिंग $(\mathbb{R}, +, \times)$, जहाँ नेटवर्क एक सुचारू, एंट्रॉपी-नियमित प्रणाली के रूप में कार्य करता है।
   • $\epsilon \to 0$: ट्रॉपिकल सेमिरिंग $(\mathbb{R}, \max, +)$, जहाँ नेटवर्क एक मैक्स-एफाइन स्प्लाइन (MASO) या निर्णय वृक्ष (decision tree) में बदल जाता है।
     यह संक्रमण एक सटीक सेमिरिंग होमोमोर्फिज्म (semiring homomorphism) है, न कि केवल एक संख्यात्मक अनुमान।

2. LSE परत एक PDE सॉल्वर के रूप में: लेखक प्रदर्शित करते हैं कि LSE सक्रियण के साथ एक एकल फीडफॉरवर्ड परत, जिसे $f_\epsilon(x) = \epsilon \log \sum_j \exp((W_j \cdot x + b_j)/\epsilon)$ के रूप में परिभाषित किया गया है, एक विस्कस हैमिल्टन-जेकोबी समीकरण के हॉपफ-कोले समाधान के बीजगणितीय रूप से समान है:
   $$\partial_t u + H(\nabla u) = \epsilon \Delta u$$
   विशेष रूप से, एक द्विघातीय हैमिल्टनियन (quadratic Hamiltonian) $H(p) = |p|^2$ के लिए, परत का आउटपुट एक द्विघातीय शिफ्ट $f_\epsilon(x) = |x|^2/(4t) - u_\epsilon(x,t)$ के माध्यम से सीधे $u_\epsilon(x,t)$ से संबंधित है। वेट्स $W$ और बायस $b$, PDE के प्रारंभिक डेटा $g(y)$ और सपोर्ट पॉइंट्स $y_j$ को एनकोड करते हैं।

3. आर्किटेक्चरल सामान्यीकरण (Architectural Generalization): यह ढांचा साधारण फीडफॉरवर्ड नेटवर्क से परे विस्तार करता है:

   • ResNets: इन्हें HJ समीकरण के विशेषता (characteristic) ODEs के यूलर विविक्तकरण (Euler discretizations) के रूप में व्याख्यायित किया गया है।
   • Transformers: अटेंशन तंत्र को एक विशिष्ट तापमान स्केलिंग ($\epsilon = \sqrt{d}$) के तहत वेक्टर-मान वाले हॉपफ-कोले औसत (Gibbs expectations) के रूप में पहचाना गया है।
   • RNNs/SSMs: इन्हें समय-निर्भर विशेषता समीकरणों (time-dependent characteristic equations) के विविक्तकरण के रूप में देखा जाता है।

4. क्रमविनिमेय आरेख (Commutative Diagram): शोध पत्र एक क्रमविनिमेय आरेख का निर्माण करता है जो चार दृष्टिकोणों को जोड़ता है: न्यूरल नेटवर्क, ट्रॉपिकल बीजगणित, विस्कस/इनविस्कस PDEs, और उत्तल अनुकूलन (Convex Optimization)। लिप्शिट्ज़ स्थितियों के तहत $\epsilon \to 0$ (अल्ट्राडिसक्रेटाइजेशन) और $N \to \infty$ (अनंत चौड़ाई) के सीमा मान (limits) आपस में विनिमय योग्य (commute) हैं।

प्रमुख योगदान (Key Contributions)

शोध पत्र पांच प्राथमिक सैद्धांतिक परिणाम स्थापित करता है:

1. सटीक बीजगणितीय पहचान (Theorem 4.1): यह सिद्ध करता है कि LSE-सक्रियित परत केवल एक अनुमान नहीं है, बल्कि एक विस्कस HJ समीकरण के हॉपफ-कोले समाधान का एक सटीक डिस्क्रीट-मेजर इंस्टेंशिएशन है। इसमें किसी अवशेष हानि (residual loss) की आवश्यकता नहीं है; PDE निर्माण द्वारा ही संतुष्ट होता है।
2. ट्रोपिकल सीमा और उत्तल अनुकूलन (Theorem 5.1): यह कठोरता से दिखाता है कि जैसे-जैसे $\epsilon \to 0$ होता है, नेटवर्क हॉपफ-लैक्स फॉर्मूला की ओर अभिसरित होता है, जो कि इनविस्कस HJ समीकरण के अद्वितीय विस्कसिटी समाधान, एक ट्रॉपिकल इनर प्रोडक्ट, और एक लीनियर प्रोग्राम (MASO) के रूप में भी कार्य करता है।
3. एकीकृत क्रमविनिमेय आरेख (Theorem 7.1): यह चार दृष्टिकोणों (NN, Tropical, PDE, Optimization) को एक एकल ढांचे में एकीकृत करता है जहाँ सीमाओं (limits) का आदान-प्रदान किया जा सकता है। यह पुष्टि करता है कि नेटवर्क एक "यूनिवर्सल क्लासिकल HJ सिम्युलेटर" है।
4. मात्रात्मक परिणाम (Quantitative Consequences):
   • सामान्यीकरण (Generalization) (Theorem 8.1): एप्रोक्सिमेशन एरर (quadrature) और एस्टीमेशन एरर के बीच संतुलन बनाकर $O(n^{-1/(d+2)})$ का मिनिमैक्स ऑप्टिमल जनरलाइजेशन रेट प्राप्त करता है, जो इष्टतम विस्कॉसिटी $\epsilon^*$ को नेटवर्क की चौड़ाई $N$ और डेटा आयाम $d$ से जोड़ता है।
   • एडवर्सरियल रोबस्टनेस (Adversarial Robustness) (Corollary 8.2): एक प्रमाणित रोबस्टनेस बाउंड प्रदान करता है जहाँ हेसियन (Hessian) नॉर्म $\epsilon$ के व्युत्क्रमानुपाती है, यह सिद्ध करता है कि विस्कॉसिटी नेटवर्क की गड़बड़ी (perturbations) के प्रति संवेदनशीलता को नियंत्रित करती है।
   • बैकप्रोपैगेशन (Backpropagation) (Theorem 8.4): बैकप्रोपैगेशन को नेटवर्क को नियंत्रित करने वाले हैमिल्टनियन सिस्टम के को-स्टेट समीकरण (adjoint system) के रूप में पहचानता है, जो प्रशिक्षण को औपचारिक रूप से पोंट्र्यागिन मैक्सिमम प्रिंसिपल (PMP) से जोड़ता है।
   • स्केलिंग लॉ (Scaling Laws) (Proposition 8.8): डेटा मैनिफोल्ड के अंतर्निहित आयाम $d_{eff}$ के परिणामस्वरूप अनुभवजन्य स्केलिंग लॉ की व्याख्या करता है, जो $\alpha = 1/d_{eff}$ की भविष्यवाणी करता है।
5. इन्फ्लुएंस फंक्शन और बाइफर्केशन (Influence Functions and Bifurcation) (Theorem 8.9): सॉफ्टमैक्स वेट्स के लिए एक क्लोज्ड-फॉर्म $O(N)$ इन्फ्लुएंस फंक्शन निकालता है और "एट्रिब्यूशन एंट्रॉपी लैंडस्केप" को लक्षणित करता है, यह दिखाते हुए कि जैसे-जैसे $\epsilon$ बढ़ता है, एट्रिब्यूशन बेसिन आपस में मिल जाते हैं (fold bifurcations)।

परिणाम (Results)

शोध पत्र अपने सैद्धांतिक दावों को विश्लेषणात्मक प्रमाणों और संख्यात्मक प्रयोगों दोनों के माध्यम से मान्य करता है:

• पहचान सत्यापन (Identity Verification): संख्यात्मक जांच पुष्टि करती है कि LSE-PDE पहचान विभिन्न $\epsilon$ मानों और आयामों में मशीन प्रिसिजन ($\sim 10^{-16}$) तक बनी रहती है।
• क्वाड्रेचर अभिसरण (Quadrature Convergence): सिंथेटिक डेटा पर प्रयोग दर्शाते हैं कि एप्रोक्सिमेशन एरर $O(N^{-1/d})$ के रूप में घटता है, जो सैद्धांतिक क्वाड्रचर बाउंड्स की पुष्टि करता है।
• स्केलिंग लॉ: प्रशिक्षित नेटवर्क डेटा के अंतर्निहित आयाम के अनुरूप स्केलिंग एक्सपोनेंट प्रदर्शित करते हैं, जो PDE क्वाड्रचर थ्योरी और अनुभवजन्य स्केलिंग लॉ के बीच संबंध को मान्य करते हैं।
• रोबस्टनेस: MNIST और CIFAR-10 पर प्रयोग पुष्टि करते हैं कि $\epsilon$ बढ़ाने से हेसियन का स्पेक्ट्रल नॉर्म कम होता है और प्रमाणित एडवर्सरियल रेडियस बढ़ता है, जो सैद्धांतिक बाउंड्स से मेल खाता है।
• बाइफर्केशन विश्लेषण: एट्रिब्यूशन एंट्रॉपी लैंडस्केप के विज़ुअलाइज़ेशन भविष्यित फोल्ड बाइफर्केशन्स की पुष्टि करते हैं, जो "पार्टिकल-लाइक" (तीव्र, असतत एट्रिब्यूशन) से "वेव-लाइक" (विसरित, समान एट्रिब्यूशन) शासन में संक्रमण को दर्शाते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह डीप लर्निंग का एक एकीकृत गणितीय सिद्धांत प्रदान करता है जो इस प्रश्न को हल करता है कि "एक न्यूरल नेटवर्क क्या समीकरण हल करता है?" एक सटीक उत्तर के साथ: एक प्रशिक्षित LSE नेटवर्क एक विस्कस हैमिल्टन-जेकोबी इनिशियल-वैल्यू प्रॉब्लम को हल करता है।

• एकीकरण: यह मास्लोव डीक्वांटाइजेशन, हॉपफ-कोले लीनियराइजेशन, ResNet-as-ODE, और स्केलिंग लॉ जैसे अलग-अलग क्षेत्रों को एक एकल क्रमविनिमेय आरेख में जोड़ता है।
• सटीकता: पिछले कार्यों के विपरीत, जो नेटवर्क को PDE के एप्रोक्सिमेटर के रूप में देखते हैं, यह कार्य दावा करता है कि नेटवर्क स्वयं PDE समाधान ऑपरेटर है।
• डिजाइन सिद्धांत: यह सिद्धांत कार्रवाई योग्य निर्देश देता है, जैसे कि जनरलाइजेशन एरर को कम करने के लिए इष्टतम तापमान $\epsilon^* \approx N^{-1/d}$ सेट करना और रोबस्टनेस-एक्सप्रेसिवनेस ट्रेड-ऑफ को नियंत्रित करने के लिए $\epsilon$ का उपयोग करना।
• भौतिक समानता: ढांचा न्यूरल कंप्यूटेशन और भौतिकी के बीच एक सटीक समानांतर खींचता है: नेटवर्क एक "यूनिवर्सल क्लासिकल HJ सिम्युलेटर" है (फेनमैन के यूनिवर्सल क्वांटम सिम्युलेटर के समान), जहाँ गिब्स मेजर (Gibbs measure) पॉजिटिव है (क्लासिकल रूप से सुलभ), क्वांटम मैकेनिक्स में विग्नर फंक्शन के विपरीत।

लेखक इस बात पर जोर देते हैं कि हालांकि सटीक पत्राचार द्विघातीय हैमिल्टोनियन (LSE लेयर्स) के लिए सत्य है, लेकिन संरचनात्मक अंतर्दृष्टि व्यापक आर्किटेक्चर (ResNets, Transformers, RNNs) तक विस्तृत होती है, जो HJ कैरेक्टरिस्टिक्स के विविक्तकरण के रूप में कार्य करती है, जिससे PDE थ्योरी के लेंस से डीप लर्निंग डायनेमिक्स, जनरलाइजेशन और रोबस्टनेस को समझने के लिए एक कठोर आधार मिलता है।