तकनीकी सारांश: SGD, ब्राउनियन मोशन (Brownian Motion) क्यों नहीं है

समस्या विवरण (Problem Statement)

स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) डीप लर्निंग के लिए आधारभूत अनुकूलन एल्गोरिदम (optimization algorithm) है, फिर भी इसकी सैद्धांतिक समझ अधूरी है। शोध की एक प्रमुख धारा SGD को लैंग्विन डायनेमिक्स (Langevin dynamics) के एक विविक्तीकरण (discretization) के रूप में मॉडल करती है, जो मिनीबैच शोर (minibatch noise) को एक स्थिर क्षमता (औसत लॉस) पर कार्य करने वाले ब्राउनियन मोशन के रूप में मानती है। यह ढांचा एक निरंतर-समय सीमा (continuous-time limit) और एक विशिष्ट $\sqrt{\eta}$ शोर स्केलिंग को मानता है ताकि एक स्थिर गिब्स वितरण (Gibbs distribution) प्राप्त किया जा सके।

हालाँकि, यह शोध पत्र तर्क देता है कि मानक लैंग्विन सन्निकटन (Langevin approximation) परिमित लर्निंग रेट ($\eta$) पर वास्तविक विविक्त (discrete) SGD डायनेमिक्स को सटीक रूप से प्रस्तुत करने में विफल रहता है। मुख्य विसंगति स्टोकैस्टिसिटी (stochasticity) के स्केलिंग में निहित है: वास्तविक विविक्त अपडेट में, शोर $\eta$ के क्रम (order) में प्रवेश करता है (मिनीबैच लॉस के माध्यम से), जबकि लैंग्विन फॉर्मूलेशन निरंतर समय में प्रसार (diffusion) को बनाए रखने के लिए $\sqrt{\eta}$ स्केलिंग लागू करता है। फलस्वरूप, लैंग्विन सन्निकटन $\eta^2$ के क्रम वाले पदों को छोड़ देता है जो सटीक विविक्त डायनेमिक्स में मौजूद होते हैं, जिससे स्थिर वितरण के अस्तित्व और क्रिटिकल पॉइंट्स के पास पैरामीटर वेरिएंस के व्यवहार के संबंध में गुणात्मक रूप से गलत भविष्यवाणियां होती हैं।

कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा प्रस्तावित करते हैं जो SGD को एक निश्चित क्षमता (fixed potential) में ब्राउनियन मोशन के रूप में नहीं, बल्कि एक उतार-चढ़ाव वाले लॉस लैंडस्केप (fluctuating loss landscape) में नियतात्मक डायनेमिक्स (deterministic dynamics) के रूप में मानता है। यादृच्छिकता (randomness) स्वाभाविक रूप से मिनीबैच के नमूनाकरण (sampling) से उत्पन्न होती है, जो हर चरण पर ऑब्जेक्टिव फंक्शन को बदल देती है।

कार्यप्रणाली इस प्रकार है:

1. सटीक मास्टर समीकरण (Exact Master Equation): सटीक विविक्त SGD अपडेट नियम $w_{n+1} = w_n - \eta \nabla L_n(w_n)$ से शुरू करते हुए, लेखक पैरामीटर वितरण $p_n(w)$ के विकास के लिए एक सटीक मास्टर समीकरण व्युत्पन्न करते हैं।
2. विविक्त फोकर-प्लैंक व्युत्पत्ति (Discrete Fokker–Planck Derivation): मास्टर समीकरण का $\eta$ की घातों में विस्तार करके और दूसरे क्रम तक ट्रंकेट (truncate) करके, वे एक विविक्त फोकर-प्लैंक समीकरण व्युत्पन्न करते हैं। यह समीकरण निरंतर-समय सन्निकटन का उपयोग किए बिना पैरामीटर घनत्व के विकास को कैप्चर करता है।
3. स्थानीय विश्लेषण (Local Analysis): इस ढांचे को औसत लॉस के क्रिटिकल पॉइंट के समीप लागू किया जाता है। औसत हेसियन (mean Hessian) के आइगेनबेसिस (eigenbasis) में पैरामीटर माध्य (mean) और कोवेरियेंस (covariance) के डायनेमिक्स का विश्लेषण करने के लिए लॉस लैंडस्केप के स्थानीय द्विघाती सन्निकटन (local quadratic approximation) का उपयोग किया जाता है।
4. मान्यताएं (Assumptions): सुलभ क्लोज्ड-फॉर्म अभिव्यक्तियों को प्राप्त करने के लिए, विश्लेषण निम्नलिखित धारणाएं लेता है:
   • प्रतिस्थापन के साथ स्वतंत्र मिनीबैच सैंपलिंग (Independent minibatch sampling with replacement)।
   • मीन-हेसियन आइगेनबेसिस में हेसियन फ्लक्चुएशन की अनुमानित विकर्णता (approximate diagonality)।
   • एक अनुभवजन्य संबंध जहाँ ग्रेडिएंट शोर कोवेरियेंस, हेसियन संरचना के समानुपाती है ($E[G_i G_j] \approx \gamma E[H_{ij}]$)।

मुख्य योगदान (Key Contributions)

1. विविक्त फोकर-प्लैंक ढांचा (Discrete Fokker–Planck Framework)

शोध पत्र पैरामीटर घनत्व विकास का एक दूसरा-क्रम विस्तार (Equation 4) व्युत्पन्न करता है जो मानक लैंग्विन-आधारित फोकर-प्लैंक समीकरण से भिन्न है। विशेष रूप से, विविक्त विस्तार में $\eta^2$ के क्रम पर $(\nabla \bar{L})^2$ के समानुपाती एक अतिरिक्त पद शामिल है। मानक लैंग्विन फॉर्मूलेशन इस पद को छोड़ देता है क्योंकि यह $\sqrt{\eta}$ शोर स्केलिंग मानता है, जो परिमित $\eta$ पर विविक्त अपडेट के साथ असंगत है।

2. लैंग्विन डायनेमिक्स के साथ बेमेल (Mismatch with Langevin Dynamics)

लेखक प्रदर्शित करते हैं कि यह विलोपन केवल एक मात्रात्मक सुधार नहीं है बल्कि गुणात्मक अंतर भी पैदा कर सकता है। एक एक-आयामी खिलौना उदाहरण (one-dimensional toy example) में, मानक लैंगिव सन्निकटन ऐसी स्थितियों में एक सीमित वेरिएंस के साथ स्थिर अवस्था की भविष्यवाणी करता है जहाँ सटीक विविक्त SGD डायनेमिक्स वेरिएंस के घातांकीय विकास (exponential growth) की भविष्यवाणी करते हैं (अस्थिरता)। यह विसंगति इसलिए उत्पन्न होती है क्योंकि लैंग्विन ट्रंकेशन उन पदों को हटा देता है जो रिटेन किए गए डिफ्यूजन टर्म के समान औपचारिक क्रम (formal order) के होते हैं।

3. SGD डायनेमिक्स की एकीकृत तस्वीर (Unified Picture of SGD Dynamics)

विश्लेषण प्रकट करता है कि SGD डायनेमिक्स मीन-हेसियन के आइगेनवैल्यू ($\lambda_i$) के आधार पर अलग-अलग शासन (regimes) में विभाजित होते हैं:

• कन्फाइंड/शार्प दिशाएं (Confined/Sharp Directions): पर्याप्त सकारात्मक वक्रता (positive curvature) वाली दिशाओं के लिए, पैरामीटर वेरिएंस एक परिमित स्थिर सीमा तक अभिसरित होता है। सीमित वेरिएंस लगभग लर्निंग रेट $\eta$ के समानुपाती है और वक्रता के परिमाण से स्वतंत्र है (यह इनवर्स वेरिएंस-फ्लैटनेस संबंध के अनुरूप है)।
• डिफ्यूसिव/फ्लैट दिशाएं (Diffusive/Flat Directions): लगभग-सपाट दिशाओं ($\lambda_i \approx 0$) के लिए, वेरिएंस देखे गए समय क्षितिज के भीतर एक स्थिर वितरण में अभिसरित नहीं होता है। इसके बजाय, यह समय के साथ रैखिक रूप से बढ़ता है ($\propto n$), जो लॉस लैंडस्केप की घाटियों (valleys) के साथ प्रभावी प्रसार (effective diffusion) के अनुरूप है।

4. अनुभवजन्य सत्यापन (Empirical Validation)

सैद्धांतिक भविष्यवाणियों को कंप्यूटर विजन (MNIST पर MLP) और नेचुरल लैंग्वेज प्रोसेसिंग (Shakespeare और WikiText-2 पर NanoGPT) के न्यूरल नेटवर्क मॉडल पर सत्यापित किया गया है।

• लघु-स्तरीय प्रयोग: सटीक डेंस हेसियन का उपयोग करके, लेखक पुष्टि करते हैं कि पैरामीटर कोवेरियेंस मीन-हेसियन आइगेनबेसिस में लगभग विकर्ण (diagonal) है और वेरिएंस प्रोफाइल सैद्धांतिक भविष्यवाणियों से मेल खाता है, जो संतृप्त (saturating) और गैर-संतृप्त दिशाओं के बीच स्पष्ट अलगाव दिखाता है।
• बड़े पैमाने के प्रयोग: 6.6M-पैरामीटर वाले NanoGPT मॉडल पर, हेसियन स्पेक्ट्रा का अनुमान लगाने के लिए स्टोकेस्टिक लैंकोज़ (stochastic Lanczos) का उपयोग करते हुए, अनुभवजन्य वेरिएंस संतृप्ति स्तर (empirical variance saturation levels) विविक्त भविष्यवाणी (Equation 19) के अनुरूप हैं और लर्निंग रेट बढ़ने के साथ मानक लैंगिव भविष्यवाणी से महत्वपूर्ण रूप से विचलित होते हैं।

परिणाम और महत्व (Results and Significance)

शोध पत्र का दावा है कि SGD को एक निश्चित क्षमता में ब्राउनियन मोशन के बजाय एक उतार-चढ़ाव वाले लॉस लैंडस्केप में नियतात्मक डायनेमिक्स के रूप में अधिक सटीक रूप से समझा जा सकता है। यह परिप्रेक्ष्य परिमित लर्निंग रेट पर देखे गए सिद्धांत और व्यवहार के बीच की विसंगतियों को हल करता है।

इस कार्य का महत्व यहाँ निहित है:

• सैद्धांतिक आधार को सुधारना: यह रेखांकित करता है कि मानक लैंगिव सन्निकटन व्यावहारिक लर्निंग रेट पर विविक्त SGD के लिए एक खराब सन्निकटन है, जो महत्वपूर्ण $\eta^2$ पदों को छोड़ देता है जो स्थिरता और स्टेशनैरिटी को निर्धारित करते हैं।
• डायनामिकल रेजिम्स की व्याख्या करना: यह एक एकीकृत स्पष्टीकरण प्रदान करता है कि क्यों SGD शार्प दिशाओं में कन्फाइंड व्यवहार और फ्लैट दिशाओं में निरंतर डिफ्यूजन प्रदर्शित करता है, एक ऐसी घटना जो अक्सर अनुभवजन्य रूप से देखी जाती है लेकिन संतुलन सांख्यिकीय भौतिकी (equilibrium statistical physics) मॉडलों द्वारा पूरी तरह से कैप्चर नहीं की जाती है।
• फिनिट-स्टेप प्रभाव (Finite-Step Effects): यह अनुकूलन डायनेमिक्स में विविक्त-समय प्रभावों के महत्व पर जोर देता है, यह सुझाव देते हुए कि SGD में "शोर" एल्गोरिदम की संरचना और लॉस लैंडस्केप ज्यामिति का एक अंतर्निहित परिणाम है, न कि एक बाहरी स्टोकेस्टिक फोर्सिंग टर्म।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें स्थानीय द्विघातीय सन्निकटन पर निर्भरता, हेसियन फ्लक्चुएशन की स्वतंत्रता के बारे में धारणाएं, और प्रतिस्थापन के साथ सैंपलिंग तक सीमित होना शामिल है। हालाँकि, विभिन्न आर्किटेक्चर और कार्यों में अनुभवजन्य साक्ष्य बताते हैं कि व्युत्पन्न डायनामिकल रेजिम्स उच्च-आयामी अनुकूलन परिदृश्यों का एक सामान्य गुण है।