तकनीकी सारांश: रैंडमाइज्ड ज्योमेट्रिक प्रोबिंग के माध्यम से सिंगुलैरिटी-जागरूक अनुकूलन (Singularity-aware Optimization)

1. समस्या विवरण (Problem Statement)

डीप लर्निंग अनुकूलन सिद्धांत पारंपरिक रूप से लिप्सचिट्ज़-निरंतर ग्रेडिएंट (Lipschitz-continuous gradients) की धारणा पर निर्भर करता है, जो स्थिर अवरोहण (descent) और अभिसरण (convergence) सुनिश्चित करता है। हालांकि, आधुनिक न्यूरल आर्किटेक्चर गैर-चिकनी (non-smooth) घटकों जैसे कि ReLU एक्टिवेशन, क्वांटिज़ेशन ऑपरेटर्स (क्वांटिज़ेशन-अवेयर ट्रेनिंग (QAT) में), और स्पैरसिटी-प्रेरित रेगुलराइज़र के माध्यम से इस धारणा का व्यवस्थित रूप से उल्लंघन करते हैं।

इन गैर-चिकनी स्थितियों में, स्थानीय ज्यामिति (local geometry) एक एकल ग्रेडिएंट द्वारा नहीं, बल्कि क्लार्क सबडिफरेंशियल ($\partial_C f(x)$) द्वारा निर्धारित होती है, जो कि सीमित ग्रेडिएंटों का एक उत्तल सेट (convex set) है। जब इस सेट का व्यास (diameter) बड़ा होता है, तो मोमेंटम-आधारित एडेप्टिव ऑप्टिमाइज़र जैसे Adam, ग्रेडिएंट चैटरिंग (gradient chattering) से ग्रस्त होते हैं। यह घटना परस्पर विरोधी दिशात्मक संकेतों के कारण होने वाले हिंसक दोलनों (oscillations) से जुड़ी है, जिससे खराब अभिसरण, तीखे कम-लॉस बेसिनों (sharp low-loss basins) में बैठने में विफलता और उप-इष्टतम सामान्यीकरण (suboptimal generalization) होता है।

मौजूदा उपचार अपर्याप्त हैं:

• प्रॉक्सिमल विधियाँ (Proximal methods): इनके लिए स्पष्ट प्रॉक्सिमल मैपिंग की आवश्यकता होती है, जो क्वांटाइज़्ड न्यूरल नेटवर्क (QNNs) में पाए जाने वाले नेस्टेड गैर-चिकने कार्यों के लिए अक्सर अव्यवहार्य (intractable) होती हैं।
• रैंडमाइज्ड स्मूथिंग तकनीकें (Randomized smoothing techniques): ये आमतौर पर मूल ग्रेडिएंट को एक सरोगेट (surrogate) से बदल देती हैं, जिससे प्रदर्शन को कम करने वाला अनुमानित पूर्वाग्रह (estimation bias) और उच्च विचरण (variance) उत्पन्न होता है।
• शार्पनेस-अवेयर मिनिमाइजेशन (SAM): यह प्रथम-क्रम टेलर विस्तार (first-order Taylor expansions) पर निर्भर करता है जो गैर-विभेदक बिंदुओं (non-differentiable points) पर सैद्धांतिक रूप से अमान्य हैं।

2. कार्यप्रणाली: सिंगुलैरिटी-अवेयर एडम (S-Adam)

लेखक S-Adam का प्रस्ताव करते हैं, जो स्वयं ऑब्जेक्टिव फंक्शन को स्मूथ किए बिना, स्थानीय ज्यामितीय अस्थिरता के आधार पर स्टेप साइज़ को गतिशील रूप से मॉड्युलेट करके प्रशिक्षण को स्थिर करता है।

2.1 स्थानीय ज्यामितीय अस्थिरता (LGI) मीट्रिक

मुख्य नवाचार LGI मीट्रिक ($\rho_t$) है, जो क्लार्क सबडिफरेंशियल व्यास का एक गणनात्मक रूप से कुशल अनुमानक है। हेसियन (Hessian) या स्पष्ट सबग्रेडिएंट की गणना करने के बजाय, S-Adam रैंडमाइज्ड ज्योमेट्रिक प्रोबिंग का उपयोग करता है:

1. प्रत्येक इटरेशन $t$ पर, यूनिट स्फीयर $U(S^{d-1})$ से $k$ रैंडम दिशाएँ $\{u_1, \dots, u_k\}$ ली जाती हैं।
2. दिशात्मक डेरिवेटिव $D_i$ की गणना फाइनाइट डिफरेंस (finite differences) के माध्यम से की जाती है: $D_i = \frac{f(x_t + \delta u_i) - f(x_t)}{\delta}$।
3. LGI स्कोर इन दिशात्मक डेरिवेटिव के सामान्यीकृत विचरण (normalized variance) के रूप में परिभाषित किया गया है:
   $$\rho_t(x_t) = \frac{\text{Var}_{u_i \sim \{u\}}[D_i]}{\mathbb{E}[D_i^2] + \epsilon}$$
   सैद्धांतिक रूप से, यह मीट्रिक एक स्मूथ सरोगेट के सापेक्ष वक्रता (relative curvature) का अनुमान लगाता है और क्लार्क सबडिफरेंशियल के व्यास के साथ सह-संबंधित है। एक उच्च $\rho_t$ उच्च ज्यामितीय अस्थिरता (एक सिंगुलैरिटी) वाले क्षेत्र को इंगित करता है।

2.2 एडेप्टिव ज्योमेट्रिक ब्रेक (Adaptive Geometric Brake)

S-Adam मानक Adam अपडेट नियम को एक एक्सपोनेंशियल डैम्पिंग फैक्टर (ज्यामितीय ब्रेक) पेश करके संशोधित करता है जो वास्तविक समय में लर्निंग रेट को स्केल करता है:
$$\hat{\eta}_t = \eta_t \cdot \exp(-\lambda \rho_t)$$

• उच्च अस्थिरता ($\rho_t \gg 0$): एक्सपोनेंशियल टर्म छोटा हो जाता है, जिससे सिंगुलैरिटी के पार दोलनों को रोकने के लिए अपडेट को आक्रामक रूप से धीमा कर दिया जाता है।
• चिकने क्षेत्र ($\rho_t \to 0$): डैम्पिंग फैक्टर 1 के करीब पहुँच जाता है, जिससे S-Adam तेज़ अभिसरण के लिए मानक Adam में बदल जाता है।

यह तंत्र एक निहित प्रॉक्सिमल विधि के रूप में कार्य करता है जिसमें डायनेमिक रेगुलराइजेशन शामिल है, जो मूल ग्रेडिएंट दिशा को संरक्षित करते हुए स्टेप साइज को अनुकूल रूप से नियंत्रित करता है।

3. मुख्य योगदान

1. LGI मीट्रिक: स्थानीय ज्यामितीय अस्थिरता का एक विचरण-आधारित अनुमानक जिसे किसी हेसियन गणना की आवश्यकता नहीं है और जो ग्रेडिएंट सरोगेट्स के पूर्वाग्रह से बचता है।
2. एडेप्टिव डैम्पिंग मैकेनिज्म: एक ज्यामितीय ब्रेक $\exp(-\lambda \rho_t)$ जो चिकने बेसिनों में दक्षता बनाए रखते हुए सिंगुलर क्षेत्रों में प्रशिक्षण को स्थिर करता है।
3. कठोर अभिसरण विश्लेषण (Rigorous Convergence Analysis): डिफरेंशियल इनक्लूजन के ढांचे का उपयोग करते हुए, लेखक सिद्ध करते हैं कि S-Adam $O(1/\sqrt{T})$ की इष्टतम स्टोकेस्टिक नॉन-स्मूथ दर के साथ $(\delta, \epsilon)$-क्लार्क स्टेशनरी पॉइंट्स तक लगभग निश्चित रूप से (almost surely) अभिसरित होता है।
4. अनुभवजन्य मजबूती (Empirical Robustness): अत्यधिक गैर-चिकनी सेटिंग्स, विशेष रूप से लो-बिट QAT और हाई-नॉइज़ स्मॉल-बैच लर्निंग में श्रेष्ठता प्रदर्शित की गई।

4. प्रयोगात्मक परिणाम

पेपर AdamW और Prox-SGD के विरुद्ध दो प्राथमिक प्रयोगात्मक सेटअपों पर S-Adam का मूल्यांकन करता है:

4.1 क्वांटिज़ेशन-अवेयर ट्रेनिंग (QAT)

CIFAR-100 (2-bit), TinyImageNet और Imagewoof2-160 (4-bit), और ImageNet (8-bit) पर मूल्यांकन किया गया।

• सटीकता में वृद्धि (Accuracy Gains): S-Adam ने लगातार बेसलाइन्स से बेहतर प्रदर्शन किया। CIFAR-100 पर, इसने 18.67% सटीकता प्राप्त की (AdamW के 15.94% के मुकाबले)। TinyImageNet पर, इसने 23.18% तक पहुँच (AdamW के 18.91% के मुकाबले) प्राप्त की।
• स्थिरता: जहाँ AdamW और Prox-SGD गंभीर दोलन या विचलन (जैसे, CIFAR-100 पर <10% सटीकता के साथ Prox-SGD का गिरना) प्रदर्शित करते हैं, वहीं S-Adam ने निचले लॉस फ्लोर तक स्थिर अभिसरण बनाए रखा।
• दक्षता: लो-कॉस्ट सेटिंग ($k=2$ प्रोब्स) में न्यूनतम ओवरहेड (जैसे, ImageNet पर वॉल-क्लॉक टाइम में 1.4% की वृद्धि) हुआ, जबकि महत्वपूर्ण सटीकता सुधार प्रदान किए।

4.2 हाई-नॉइज़ स्मॉल-बैच लर्निंग

स्टोकेस्टिक ग्रेडिएंट नॉइज़ को अधिकतम करने के लिए बैच साइज $N=2$ तक कम करके ResNet-18 पर मूल्यांकन किया गया।

• अत्यधिक शोर प्रतिरोध (Extreme Noise Resilience): $N=2$ पर, S-Adam ($k=8$) ने AdamW (75.87% बनाम 51.18%) की तुलना में Imagewoof2-160 पर सटीकता में +24.69% का सुधार किया।
• बैच साइज स्केलिंग: प्रदर्शन का अंतर सबसे अस्थिर व्यवस्थाओं (छोटे बैच आकार) में सबसे अधिक था और जैसे-जैसे बैच आकार बढ़े और लॉस लैंडस्केप चिकना हुआ, यह कम होता गया, जो कि ज्योमेट्रिक ब्रेक की अनुकूलन क्षमता की पुष्टि करता है।
• लर्निंग रेट संवेदनशीलता: S-Adam ने लर्निंग रेट की एक विस्तृत श्रृंखला ($10^{-4}$ से $10^{-3}$) में AdamW से बेहतर प्रदर्शन किया, जो हाइपरपैरामीटर विकल्पों के प्रति मजबूती प्रदर्शित करता है।

5. महत्व और दावे

यह पेपर S-Adam को गैर-चिकने अनुकूलन सिद्धांत और व्यावहारिक डीप लर्निंग स्केलेबिलिटी के बीच एक सेतु के रूप में स्थापित करता है। इसका प्राथमिक महत्व है:

• सैद्धांतिक आधार (Theoretical Grounding): गैर-चिकनी डीप लर्निंग सेटिंग्स में क्लार्क स्टेशनरी पॉइंट्स तक सिद्ध अभिसरण गारंटी के साथ पहला एडेप्टिव ऑप्टिमाइज़र प्रदान करना, जो केवल ह्यूरिस्टिक्स से आगे जाता है।
• व्यावहारिक प्रयोज्यता (Practical Applicability): एक "ड्रॉप-इन" रिप्लेसमेंट के रूप में Adam को पेश करना जो नेस्टेड नॉन-स्मूथनेस (जैसे, क्वांटिज़ेशन) को संभाल सकता है, बिना जटिल प्रॉक्सिमल मैपिंग की आवश्यकता के या ग्रेडिएंट सरोगेट्स के माध्यम से अनुकूलन गतिकी को बदले।
• ज्यामितीय अंतर्दृष्टि (Geometric Insight): यह प्रदर्शित करना कि स्टोकेस्टिक ग्रेडिएंट सांख्यिकी स्थानीय अस्थिरता के बारे में कार्रवाई योग्य ज्यामितीय जानकारी को एनकोड करती है, जिससे ऑप्टिमाइज़र को स्टोकेस्टिक शोर और टोपोलॉजिकल सिंगुलैरिटी के बीच अंतर करने में सक्षम बनाया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि S-Adam प्रभावी रूप से ग्रेडिएंट चैटरिंग को कम करता है, जिससे लो-बिट क्वांटिज़ेशन और हाई-नॉइज़ रिजीम्स जैसे महत्वपूर्ण अनुप्रयोगों में स्थिर प्रशिक्षण सक्षम होता है जहाँ मानक ऑप्टिमाइज़र विफल हो जाते हैं।