🔢 mathematics

RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization

यह शोधपत्र RanSOM का प्रस्ताव करता है, जो एक एकीकृत अनुकूलन ढांचा (unified optimization framework) है जो रैंडमाइज्ड स्टेप साइज़ और स्टाइन-टाइप आइडेंटिटीज़ का उपयोग करके मोमेंटम विधियों में कर्वेचर-प्रेरित पूर्वाग्रह (curvature-induced bias) को समाप्त करता है ताकि बिना किसी महंगे सहायक सैंपलिंग की आवश्यकता के, बाधित (constrained) और अबाधित (unconstrained) दोनों समस्याओं के लिए इष्टतम अभिसरण दर (optimal convergence rates) प्राप्त की जा सके।

मूल लेखक: El Mahdi Chayti

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: El Mahdi Chayti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "पुराना नक्शा" (The "Stale Map")

कल्पना कीजिए कि आप घने कोहरे में एक पहाड़ से नीचे उतर रहे हैं (यह एक जटिल AI मॉडल को प्रशिक्षित करने का प्रतिनिधित्व करता है)। आप जितनी जल्दी हो सके नीचे पहुँचना चाहते हैं।

मानक हाइकिंग रणनीतियाँ (जिन्हें मोमेंटम मेथड्स कहा जाता है) इस तरह काम करती हैं: आप देखते हैं कि आप किस ढलान पर खड़े हैं, एक कदम उठाते हैं, और फिर उसी दिशा में कुछ देर तक चलते रहते हैं क्योंकि आपने गति बना ली है। यह चिकने, सीधे रास्तों के लिए बहुत अच्छा है।

हालाँकि, पहाड़ घुमावदार होते हैं। जैसे-जैसे आप चलते हैं, ज़मीन झुकती और मुड़ती है। जिस दिशा में आप एक क्षण पहले चल रहे थे (आपका "मोmentum"), वह अब पुराना (stale) हो चुका है। वह उस दिशा को दर्शाता है जहाँ ज़मीन पहले थी, न कि जहाँ वह अभी है। यह एक "बायस" (bias) पैदा करता है—आप गलत दिशा में धक्का दे रहे हैं क्योंकि आपका नक्शा पुराना हो गया है। AI की दुनिया में, यह प्रशिक्षण को अटकने या बहुत धीमे होने का कारण बनता है।

पुराने समाधान: महंगे या त्रुटिपूर्ण

वैज्ञानिकों ने इस "पुराने नक्शे" की समस्या को ठीक करने की कोशिश पहले भी की है, लेकिन उनके पास दो मुख्य समस्याएँ थीं:

"डबल-चेक" विधि: कुछ लोगों ने नया इलाका देखने के लिए एक दूसरा कदम उठाने और फिर अपना रास्ता सुधारने की कोशिश की। यह काम तो करता है, लेकिन यह आपके काम को दोगुना कर देता है, जिससे आपकी हाइकिंग (यात्रा) दोगुनी धीमी हो जाती है।
"परफेक्ट वेदर" धारणा: अन्य तरीकों ने माना कि पहाड़ पूरी तरह से चिकना और अनुमानित है। लेकिन असली पहाड़ (और AI मॉडल) ऊबड़-खाबड़ और अप्रत्याशित होते हैं। जब इलाका कठिन हो जाता है, तो ये तरीके विफल हो जाते हैं।

नया समाधान: RanSOM (द "रैंडमाइज्ड स्टेप")

लेखकों ने RanSOM नामक एक नई विधि प्रस्तावित की है। एक निश्चित, अनुमानित कदम उठाने के बजाय, वे एक रैंडमाइज्ड स्टेप (यादृच्छिक कदम) लेने का सुझाव देते हैं।

इसे इस तरह सोचें: यह कहने के बजाय कि, "मैं ठीक 1 मीटर आगे चलूँगा," आप कहते हैं, "मैं एक रैंडम दूरी तय करूँगा, लेकिन औसतन, यह 1 मीटर होगा।" आप एक छोटा कदम ले सकते हैं, या एक बड़ी छलांग, लेकिन औसत वही रहता है।

रैंडमनेस (यादृच्छिकता) क्यों मदद करती है?
यही जादुई ट्रिक है। अपने कदम को रैंडम बनाकर, गणित इस बात की अनुमति देता है कि हाइकर एक चालाक शॉर्टकट (जिसे "स्टीन आइडेंटिटी" कहा जाता है) का उपयोग करके यह पता लगा सके कि ज़मीन कितनी मुड़ी है, बिना उस महंगे "डबल-चेक" वाले कदम के।

यह एक जादुई कंपास रखने जैसा है जो आपको बताता है, "ज़मीन X मात्रा से झुकी है," केवल यह देखकर कि आप अपनी रैंडम छलांग के बाद कहाँ उतरे हैं, बजाय इसके कि आपको चारों ओर देखने के लिए सीढ़ी चढ़नी पड़े।

यह दो परिदृश्यों में कैसे काम करता है

लेखक इलाके के आधार पर इस हाइकिंग रणनीति के दो संस्करण प्रदान करते हैं:

1. RanSOM-E (खुले मैदानों के लिए / अनकन्स्ट्रेंड)

परिदृश्य: आप एक खुले मैदान में हैं जहाँ आप कहीं भी चल सकते हैं।
ट्रिक: आप अपने कदमों के लिए एक्सपोनेंशियल डिस्ट्रीब्यूशन (Exponential distribution) का उपयोग करते हैं। इसका मतलब है कि आप आमतौर पर छोटे कदम लेते हैं, लेकिन कभी-कभार एक बहुत लंबी छलांग लगाते हैं।
परिणाम: यह AI को अपनी दिशा को तुरंत सुधारने की अनुमति देता है, जिससे गति उच्च और पथ सटीक बना रहता है।

2. RanSOM-B (दीवारों वाले बगीचों के लिए / कंस्ट्रेंड)

परिदृश्य: आप बाड़ वाले एक बगीचे में हैं। आप दीवारों के बाहर नहीं जा सकते। यदि आप एक रैंडम छलांग लगाते हैं, तो आप दीवार से टकरा सकते हैं।
ट्रिक: आप बीटा डिस्ट्रीब्यूशन (Beta distribution) का उपयोग करते हैं। यह एक विशेष प्रकार की रैंडमनेस है जो गारंटी देती है कि आपका कदम हमेशा बगीचे के अंदर ही रहेगा, कभी बाहर नहीं। यह एक "सेफ रैंडम वॉक" की तरह है।
परिणाम: आपको खुले मैदान वाले लाभों जैसी गति और सटीकता मिलती है, लेकिन आप कभी भी बगीचे के नियमों (बाधाओं) को नहीं तोड़ते हैं।

यह एक बड़ी बात क्यों है?

लेखक तीन प्रमुख जीत का दावा करते हैं:

यह तेज़ है (कोई अतिरिक्त काम नहीं): पिछले तरीकों के विपरीत जिन्हें अतिरिक्त "लुक-अहेड" कदमों की आवश्यकता थी (जिसने उन्हें धीमा कर दिया), RanSOM सुधार उसी कदम का उपयोग करके करता है जो वह पहले से ही लेने की योजना बना रहा था। यह "सेकंड-ऑर्डर" (वक्रता) की जानकारी मुफ्त में प्राप्त करता है।
यह मजबूत है (कठिन इलाके को संभालता है): यह तब भी काम करता है जब पहाड़ ऊबड़-खाबड़ (non-smooth) हो या कोहरा अराजक (heavy-tailed noise) हो। इसे उन "परफेक्ट वेदर" धारणाओं की आवश्यकता नहीं है जिनकी पुराने तरीकों को आवश्यकता थी।
यह सर्वोत्तम संभव गति है: गणितीय रूप से, उन्होंने सिद्ध किया कि यह विधि कठिन परिस्थितियों में भी पहाड़ के नीचे पहुँचने की सैद्धांतिक रूप से संभव सबसे तेज़ गति प्राप्त करती है।

वास्तविक दुनिया का परीक्षण

लेखकों ने डिजिटल "पहाड़ों" (MNIST1D और MovieLens जैसे डेटासेट) पर इसका परीक्षण किया।

परिणाम: उनकी विधि (RanSOM) वर्तमान सर्वोत्तम तरीकों (जैसे STORM या Muon) की तुलना में तेज़ी से और अधिक स्थिरता से ऊपर चढ़ी।
अवलोकन: जहाँ अन्य तरीके लड़खड़ाते और डगमगाते थे (अस्थिरता), वहीं RanSOM ने एक स्थिर, तेज़ गति बनाए रखी, जिससे यह साबित हुआ कि "रैंडमाइज्ड स्टेप" वाली ट्रिक वास्तव में व्यवहार में काम करती है।

सारांश

RanSOM AI को प्रशिक्षित करने का एक नया तरीका है जो रैंडमाइज्ड स्टेप्स लेकर "पुराने दिशाओं" की समस्या को ठीक करता है। यह रैंडमनेस एक गणितीय शॉर्टकट के रूप में कार्य करती है, जिससे AI बिना अतिरिक्त काम किए या बिना आदर्श स्थितियों की आवश्यकता के अपनी दिशा को तुरंत सुधार सकता है। यह तेज़ है, अधिक मजबूत है, और खुले स्थानों और प्रतिबंधित क्षेत्रों दोनों में काम करता है।

तकनीकी सारांश: RanSOM

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डीप लर्निंग के लिए मानक मोमेंटम विधियों (जैसे कि पोलीक का हेवी बॉल - Polyak's Heavy Ball) में गैर-उत्तल (non-convex) परिदृश्यों पर लागू होने वाली एक मौलिक सीमा को संबोधित करता है: वक्रता-प्रेरित पूर्वाग्रह (curvature-induced bias)।

स्टोकेस्टिक सेटिंग्स में, मोमेंटम वेक्टर $m_t$ पिछले इटरेशन से प्राप्त ग्रेडिएंट्स को संचित करता है। जैसे ही ऑप्टिमाइज़र $x_{t-1}$ से $x_t$ की ओर बढ़ता है, लॉस लैंडस्केप की वक्रता (curvature) ग्रेडिएंट की दिशा को बदल देती है। फलस्वरूप, $m_{t-1}$ वर्तमान ग्रेडिएंट $\nabla f(x_t)$ का एक "पुराना" (stale) एस्टिमेटर बन जाता है। यह पूर्वाग्रह, जो अपडेट पथ के साथ हेसियन (Hessian) के समाकलन (integral) के समानुपाती होता है, मानक मोमेंटम विधियों को गैर-उत्तल अनुकूलन के लिए आवश्यक इष्टतम $O(\epsilon^{-3})$ सैंपल कॉम्प्लेक्सिटी प्राप्त करने से रोकता है, और अक्सर उन्हें उप-इष्टतम $O(\epsilon^{-4})$ दरों तक सीमित कर देता है।

मौजूदा सुधार रणनीतियाँ एक "बायस-वैरिएंस बॉटलनेक" (bias-variance bottleneck) का सामना करती हैं:

अंतर-आधारित एस्टिमेटर्स (जैसे STORM): इनके लिए व्यक्तिगत सैंपल स्मूथनेस की आवश्यकता होती है (जो अक्सर ReLU एक्टिवेशन द्वारा बाधित होती है) या ये उच्च वैरिएंस (high variance) से ग्रस्त होते हैं।
डिटरमिनिस्टिक सेकंड-ऑर्डर मोमेंटम (SOM): इसके लिए हेसियन पर मजबूत वैश्विक लिप्सचिट्ज़ धारणाओं (हेसियन के बाउंडेड थर्ड डेरिवेटिव्स) की आवश्यकता होती है।
स्टोकेस्टिक SOM (SOM-Unif): यह स्मूथनेस धारणाओं को शिथिल करता है लेकिन प्रति इटरेशन सहायक "लुक-अहेड" (look-ahead) क्वेरीज़ (3 फॉरवर्ड/बैकवर्ड पास) की आवश्यकता के कारण अत्यधिक कम्प्यूटेशनल ओवरहेड का सामना करता है।

2. कार्यप्रणाली: RanSOM फ्रेमवर्क (Methodology: The RanSOM Framework)

लेखक RanSOM (रैंडमाइज्ड सेकंड-ऑर्डर मोमेंटम) प्रस्तावित करते हैं, जो एक एकीकृत फ्रेमवर्क है जो बिना किसी अतिरिक्त धारणा या कम्प्यूटेशनल ओवरहेड के वक्रता पूर्वाग्रह को समाप्त करता है। मुख्य नवाचार डिटरमिनिस्टिक स्टेप साइज़ के स्थान पर विशिष्ट वितरणों (distributions) से लिए गए रैंडमाइज्ड स्टेप साइज़ का उपयोग करना है।

2.1 रैंडमाइज्ड इंटीग्रेशन बाय पार्ट्स (Randomized Integration by Parts)

एक निश्चित स्टेप $\eta_t$ के बजाय, स्टेप साइज $s_t$ को एक रैंडम वेरिएबल के रूप में माना जाता है जिसका माध्य $\mathbb{E}[s_t] = \eta_t$ है। स्टीन-टाइप आइडेंटिटीज (इंटीग्रेशन-बाय-पार्ट्स फॉर्मूला) का लाभ उठाते हुए, यह विधि ग्रेडिएंट के फाइनाइट डिफरेंस (पूर्वाग्रह) को रैंडम एंडपॉइंट पर एकल हेसियन-वेक्टर प्रोडक्ट (HVP) से जोड़ती है।

फ्रेमवर्क दो विशिष्ट आइडेंटिटीज का उपयोग करता है:

एक्सपोनेंशियल आइडेंटिटी (अनकन्स्ट्रेंड): यदि $s \sim \text{Exp}(\lambda)$ , तो:
$\mathbb{E}[g(s) - g(0)] = \frac{1}{\lambda} \mathbb{E}[g'(s)]$
यह $\nabla f(x_{t+1}) - \nabla f(x_t)$ के पूर्वाग्रह को $x_{t+1}$ पर HVP को $\eta_t$ से स्केल करके अनुमानित करने की अनुमति देता है।
बीटा आइडेंटिटी (कन्स्ट्रेंड): यदि $s \sim \text{Beta}(1, K)$ , तो:
$\mathbb{E}[g(s) - g(0)] = \mathbb{E}\left[ \frac{1-s}{K} g'(s) \right]$
यह बीटा वितरण के कॉम्पैक्ट सपोर्ट (compact support) को ध्यान में रखता है, जिससे कन्स्ट्रेंड ऑप्टिमाइजेशन में व्यवहार्यता सुनिश्चित होती है।

2.2 एल्गोरिदम इंस्टेंशिएशन (Algorithmic Instantiations)

इस फ्रेमवर्क को दो एल्गोरिदम में स्थापित किया गया है:

RanSOM-E (Unconstrained): एक्सपोनेंशियल-डिस्ट्रीब्यूटेड स्टेप्स का उपयोग करता है। यह विभिन्न ज्यामितीय अपडेट्स को एकीकृत करने के लिए एक लीनियर मिनिमाइजेशन ऑरेकल (LMO) के साथ जुड़ता है, जिससे नॉर्मलाइज्ड SGD ( $L_2$ -ball), SignSGD ( $L_\infty$ -ball), और Muon-स्टाइल स्पेक्ट्रल अपडेट्स प्राप्त होते हैं।
RanSOM-B (Constrained): $[0, 1]$ पर बीटा-डिस्ट्रीब्यूटेड स्टेप्स का उपयोग करता है। यह सुनिश्चित करता है कि अपडेट $x_{t+1} = (1-s_t)x_t + s_t v_t$ (जहाँ $v_t$ LMO दिशा है) उत्तल फिक्स्ड सेट $C$ के भीतर ही रहे, जिससे प्रोजेक्शन ऑपरेशन्स से बचा जा सके।

2.3 कम्प्यूटेशनल दक्षता (Computational Efficiency)

RanSOM का एक महत्वपूर्ण लाभ इसकी कम्प्यूटेशनल लागत है। करेक्शन टर्म के लिए $x_{t+1}$ पर एक HVP की आवश्यकता होती है। आधुनिक ऑटोमैटिक डिफरेंशिएशन फ्रेमवर्क्स (जैसे PyTorch, JAX) में, इस HVP को स्टैंडर्ड ग्रेडिएंट कम्प्यूटेशन के साथ एक कंबाइंड बैकवर्ड पास के माध्यम से पियरलमटर ट्रिक (Pearlmutter's trick) का उपयोग करके निकाला जा सकता है।

लागत: $2(F_c + B_c)$ (दो फॉरवर्ड/बैकवर्ड पास के बराबर)।
तुलना: यह STORM जैसे मानक वेरिएंस-रिड्यूस्ड मेथड्स की लागत से मेल खाता है और SOM-Unif (जिसके लिए $3(F_c + B_c)$ की आवश्यकता होती है) की तुलना में काफी सस्ता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत फ्रेमवर्क: एक विधि जो रैंडमाइज्ड स्टेप साइज़ और स्टीन आइडेंटिटीज का उपयोग करके वक्रता-प्रेरित पूर्वाग्रह को समाप्त करती है, जो अनकन्स्ट्रेंड और कन्स्ट्रेंड दोनों ऑप्टिमाइजेशन के लिए लागू है।
इष्टतम अभिसरण दरें (Optimal Convergence Rates): सैद्धांतिक विश्लेषण सिद्ध करता है कि RanSOM मानक बाउंडेड नॉइज़ धारणाओं के तहत इष्टतम $O(\epsilon^{-3})$ सैंपल कॉम्प्लेक्सिटी प्राप्त करता है।
हैवी टेल्स के प्रति मजबूती (Robustness to Heavy Tails): यह विधि हैवी-टेल्ड ग्रेडिएंट नॉइज़ ( $p \in (1, 2]$ ) और जनरलाइज्ड $(L_0, L_1)$ -स्मूथनेस (जहाँ हेसियन का नॉर्म ग्रेडिएंट के नॉर्म के साथ बढ़ता है) वाले चुनौतीपूर्ण सेटिंग्स तक विस्तारित होती है, जिसमें हेसियन का लिप्सचिट्ज़ निरंतर होना आवश्यक नहीं है।
कोई अतिरिक्त ओवरहेड नहीं: पूर्ववर्ती सेकंड-ऑर्डर करेक्शन के विपरीत, RanSOM के लिए कोई सहायक "लुक-अहेड" पॉइंट्स की आवश्यकता नहीं है, जिससे इसकी मानक क्वेरी कॉम्प्लेक्सिटी $2(F_c + B_c)$ बनी रहती है।
क्लिपिंग-मुक्त (Clipping-Free): यह विधि स्पष्ट ग्रेडिएंट क्लिपिंग के बिना इष्टतम दर प्राप्त करती है, जो LMO अपडेट्स के अंतर्निहित नॉर्मलाइजेशन और रैंडमाइज्ड स्टेप्स के सांख्यिकीय गुणों पर निर्भर करती है।

4. सैद्धांतिक परिणाम (Theoretical Results)

यह शोध पत्र निम्नलिखित स्थितियों के तहत गैर-उतल अनुकूलन के लिए अभिसरण (convergence) स्थापित करता है:

धारणाएं (Assumptions): ऑब्जेक्टिव नीचे से बाउंडेड है और पॉइंटवाइज $(L_0, L_1)$ -स्मूथनेस को संतुष्ट करता है। स्टोकेस्टिक ग्रेडिएंट्स और HVPs एफाइन हैवी-टेल्ड नॉइज़ (मोमेंट्स $p, q \in (1, 2]$ ) के साथ अनबायस्ड हैं।
अनकन्स्ट्रेंड (RanSOM-E): एक स्टेशनरी पॉइंट पर इस दर से अभिसरित होता है:
$\frac{1}{T} \sum_{t=0}^{T-1} \mathbb{E}[\|\nabla f(x_t)\|_*] \leq O\left( T^{-\frac{q(p-1)}{2q(p-1)+p}} \right)$
मानक केस ( $p=q=2$ ) के लिए, यह इष्टतम $O(T^{-1/3})$ दर प्राप्त करता है।
कन्स्ट्रेंड (RanSOM-B): फ्रैंक-वोल्के गैप $G(x)$ के संदर्भ में उसी इष्टतम दर $O(T^{-1/3})$ के साथ अभिसरित होता है (जब $p=q=2$ हो)।

विश्लेषण मोमेंटम पैरामीटर $\beta$ के एसिमेट्रिक स्केलिंग को उजागर करता है: छोटा $\beta$ हाई-वैरिएंस ग्रेडिएंट्स को औसत करने में मदद करता है, जबकि बड़ा $\beta$ वक्रता सुधार (curvature correction) को अधिक प्रभावशाली बनाता है। इष्टतम $\beta$ इन प्रभावों के बीच संतुलन बनाता है।

5. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन गैर-उतल कार्यों पर RanSOM का मूल्यांकन किया है:

बाइनरी क्लासिफिकेशन (SPLICE): RanSOM-E (Muon वेरिएंट) ने उच्चतम टेस्ट एक्यूरेसी (84.90%) प्राप्त की, जो STORM (73.35% ± 10.77%) की तुलना में काफी कम वैरिएंस के साथ थी।
सीक्वेंस क्लासिफिकेशन (MNIST1D): RanSOM-E (Muon) ने 91.90% एक्यूरेसी प्राप्त की, जो STORM (88.83%) और क्लासिक SOM को पीछे छोड़ते हुए उच्च स्थिरता (std dev ±0.36 बनाम STORM के लिए ±1.38) बनाए रखता है।
कन्स्ट्रेंड मैट्रिक्स कम्प्लीशन (MovieLens): RanSOM-B, स्टोकेस्टिक फ्रैंक-वोल्के बेसलाइन्स (SFW-Polyak, SFW-SOM) की तुलना में कम फाइनल RMSE तक अभिसरित हुआ, जो जटिल कंस्ट्रेंट ज्योमेट्री में नेविगेट करने में इसकी प्रभावशीलता को दर्शाता है।

6. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि RanSOM सेकंड-ऑर्डर मोमेंटम करेक्शन के "दुविधा" को हल करता है: यह लिप्सचिट्ज़ हेसियन या व्यक्तिगत सैंपल स्मूथनेस की प्रतिबंधात्मक धारणाओं के बिना, और बिना किसी अतिरिक्त कम्प्यूटेशनल ओवरहेड के, $O(\epsilon^{-3})$ की इष्टतम अभिसरण दर प्राप्त करता है।

स्टेप साइज़ को रैंडम वेरिएबल मानकर, RanSOM एक ऐसा रोबस्ट सेकंड-ऑर्डर बायस करेक्शन सक्षम करता है जो:

कम धारणाओं वाला है (Assumption-light): नॉन-स्मूथ इंडिविजुअल लॉस (जैसे ReLU नेटवर्क) और हैवी-टेल्ड नॉइज़ को संभालता है।
कम्प्यूटेशनल रूप से कुशल है: यह स्टैंडर्ड SGD विद मोमेंटम की लागत के बराबर है।
ज्यामितीय रूप से लचीला है: यह LMOs के माध्यम से नॉर्मलाइज्ड ऑप्टिमाइज़र्स और कन्स्ट्रेंड सेटिंग्स में स्वाभाविक रूप से सामान्यीकृत होता है।

लेखक RanSOM को आधुनिक गैर-उत्तल अनुकूलन के लिए एक एकीकृत समाधान के रूप में प्रस्तुत करते हैं, विशेष रूप से उन डीप लर्निंग आर्किटेक्चर के लिए जहाँ मानक स्मूथनेस धारणाएं विफल हो जाती हैं और कम्प्यूटेशनल दक्षता सर्वोपरि होती है।