🤖 machine learning

Beyond $\ell_2$ -norm and $\ell_\infty$ -norm: A Curvature-Inspired $\ell_p$ -Norm Scheme for Deep Neural Networks

यह शोध पत्र एक नवीन वक्रता-प्रेरित (curvature-inspired) $\ell_p$ -नॉर्म अनुकूलन योजना प्रस्तावित करता है जिसमें एक गतिशील रूप से क्षय होता (dynamically decaying) $p$ पैरामीटर है जो उच्च-वक्रता प्रभुत्व को दबाने से लेकर स्थिर अपडेट सक्षम करने तक संक्रमण करता है, जिसके परिणामस्वरूप LPSGD और LPSGDM ऑप्टिमाइज़र प्राप्त होते हैं जो विभिन्न डीप न्यूरल नेटवर्क आर्किटेक्चर और डेटासेट में $O(T^{-1/2})$ अभिसरण (convergence) और बेहतर सामान्यीकरण (generalization) प्राप्त करते हैं।

मूल लेखक: Jianhao Xu, Zhuang Yang

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jianhao Xu, Zhuang Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: बदलते परिदृश्य में रास्ता खोजना

कल्पना कीजिए कि आप एक भारी गाड़ी को पहाड़ से नीचे घाटी के बिल्कुल निचले हिस्से (एक AI मॉडल के लिए आदर्श समाधान) तक ले जाने की कोशिश कर रहे हैं। इस पहाड़ का भूभाग (terrain) एक डीप न्यूरल नेटवर्क (DNN) का "लॉस लैंडस्केप" (loss landscape) है।

समस्या यह है कि जैसे-जैसे आप यात्रा करते हैं, यह पहाड़ अपना आकार बदलता रहता है:

शुरुआत में (प्रारंभिक प्रशिक्षण): परिदृश्य जंगली और ऊबड़-खाबड़ होता है। कुछ रास्ते बेहद खड़ी चट्टानों (उच्च वक्रता/high curvature) वाले होते हैं, जबकि अन्य हल्के, समतल ढलान (कम वक्रता/low curvature) वाले होते हैं।
अंत में (देर से प्रशिक्षण): परिदृश्य चिकना हो जाता है। चट्टानें गायब हो जाती हैं, और जमीन अपेक्षाकृत समतल और एकसमान हो जाती है।

यह शोध पत्र तर्क देता है कि जो उपकरण हम आमतौर पर गाड़ी को निर्देशित करने के लिए उपयोग करते हैं (ऑप्टिमाइज़र), वे केवल एक ही प्रकार के पहिए का उपयोग करने में फंसे हुए हैं, जो एक स्थिति में तो अच्छा काम करता है लेकिन दूसरी स्थिति में विफल हो जाता है।

समस्या: दो खराब पहिए

लेखक बताते हैं कि वर्तमान AI प्रशिक्षण विधियाँ आम तौर पर दो "ज्यामिति" (दूरी और दिशा मापने के तरीके) पर निर्भर करती हैं:

ℓ2-नॉर्म (मानक पहिया):
- यह कैसे काम करता है: यह धक्का (push) के आकार के आधार पर हर दिशा को समान मानता है।
- दोष: ऊबड़-खाबड़ पहाड़ी के ऊपर यह पहिया फंस जाता है। यदि एक दिशा में खड़ी चट्टान है, तो यह पहिया डर जाता है और गिरने से बचने के लिए सब कुछ धीमा कर देता है। यह उन हल्के, समतल ढलानों को अनदेखा कर देता है जहाँ यह वास्तव में तेजी से चल सकता था। यह एक ऐसी कार चलाने जैसा है जिसके ब्रेक बहुत संवेदनशील हैं और एक मामूली झटके से ही लॉक हो जाते हैं, जिससे वह सीधी सड़कों पर भी रफ्तार नहीं पकड़ पाती।
ℓ∞-नॉर्म ("साइन" पहिया):
- यह कैसे काम करता है: यह धक्के के आकार को पूरी तरह से अनदेखा करता है और केवल दिशा (बाएं या दाएं, ऊपर या नीचे) को देखता है। यह हर दिशा में बिल्कुल एक ही आकार के कदम लेता है।
- दोष: यह ऊबड़-खाबड़ चट्टानों पर बहुत अच्छा काम करता है क्योंकि इसे ढलान की परवाह नहीं होती; यह बस आगे बढ़ता रहता है। हालाँकि, एक बार जब आप समतल घाटी के फर्श पर पहुँच जाते हैं, तो यह पहिया बेकार हो जाता है। क्योंकि यह हर जगह एक ही बड़े कदम लेता है, यह इधर-उधर उछलने (oscillate करने) लगता है और घाटी के बिल्कुल निचले बिंदु पर धीरे से स्थिर नहीं हो पाता।

समाधान: "आकार बदलने वाला" पहिया

लेखकों ने ℓp-नॉर्म शेड्यूलिंग नामक एक नई विधि प्रस्तावित की है। एक ही पहिया चुनने के बजाय, उन्होंने एक आकार बदलने वाला पहिया बनाया है जो आपकी स्थिति के आधार पर अपना आकार बदल लेता है।

रणनीति: वे समय के साथ पहिए का आकार बदलने के लिए एक "कोसाइन शेड्यूल" (एक चिकना, लहर जैसा वक्र) का उपयोग करते हैं।
- शुरुआती दिन (ऊबड़-खाबड़ पहाड़): पहिया एक ऐसे आकार से शुरू होता है जो ℓ∞-नॉर्म की तरह काम करता है। यह अत्यधिक ढलान को अनदेखा करता है और ऊबड़-खाबड़ इलाके से कुशलतापूर्वक पार पा लेता है, जिससे "लॉक-अप" की समस्या नहीं होती।
- अंतिम दिन (समतल घाटी): जैसे-जैसे प्रशिक्षण आगे बढ़ता है, यह धीरे-धीरे मानक ℓ2-नॉर्म के आकार में बदल जाता है। अब जब जमीन समतल है, तो यह बिना उछले, सटीक और कोमल कदम उठाकर बिल्कुल निचले बिंदु पर स्थिर हो सकता है।

इसे एक हाइकर के जूतों की तरह समझें:

शुरुआत में, वे मजबूत, स्पाइक्ड बूट्स पहनते हैं ताकि पथरीली, असमान चट्टानों पर पकड़ बना सकें और आगे बढ़ते रहें।
जैसे ही वे नीचे के समतल मैदान में पहुँचते हैं, वे नरम, लचीली चप्पलें पहन लेते हैं ताकि वे शांति से चल सकें और बिना लड़खड़ाए मैदान के ठीक केंद्र को खोज सकें।

उन्होंने इसे कैसे सिद्ध किया

शोध पत्र केवल अनुमान नहीं लगाता; उन्होंने दो चीजें कीं:

गणितीय प्रमाण: उन्होंने गणित का उपयोग करके यह सिद्ध किया कि यह "आकार बदलने वाली" विधि अंततः घाटी के निचले हिस्से को खोजने की गारंटी देती है, और उन्होंने यह भी गणना की कि यह वहां कितनी तेजी से पहुंचेगी।
वास्तविक दुनिया के परीक्षण: उन्होंने अपने नए ऑप्टिमाइज़र (LPSGD और LPSGDM) का परीक्षण प्रसिद्ध इमेज डेटासेट्स (जैसे CIFAR और ImageNet) पर मानक AI मॉडल (जैसे ResNet) का उपयोग करके किया।
- परिणाम: उनकी "आकार बदलने वाली" विधि ने लगातार मानक विधियों को पछाड़ दिया। इसने शुरुआत में तेजी से सीखा और अंत में उच्च सटीकता प्राप्त की। उदाहरण के लिए, एक परीक्षण में, इसने मौजूदा सर्वोत्तम विधियों की तुलना में सटीकता में लगभग 2% का सुधार किया—जो AI की दुनिया में एक बड़ी उपलब्धि है।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "पूरे काम के लिए एक ही उपकरण का उपयोग न करें।"

AI को प्रशिक्षित करना एक ऐसे परिदृश्य के माध्यम से यात्रा करने जैसा है जो एक ऊबड़-खाबड़ पहाड़ से एक समतल मैदान में बदल जाता है। लेखकों ने एक स्मार्ट ऑप्टिमाइज़र बनाया है जो "कहीं भी चढ़ने" वाले मोड से शुरू होता है और धीरे-धीरे "सटीक चाल" वाले मोड में बदल जाता है। यह AI को तेजी से सीखने और एक एकल, अपरिवर्तित विधि के बजाय अधिक सटीक और स्मार्ट मॉडल बनाने में सक्षम बनाता है।

तकनीकी सारांश: $\ell_2$ -norm और $\ell_\infty$ -norm से परे: डीप न्यूरल नेटवर्क्स के लिए एक कर्वेचर-प्रेरित $\ell_p$ -Norm स्कीम

समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क (DNNs) का प्रशिक्षण अक्सर कर्वेचर एनिसोट्रॉपी (curvature anisotropy) द्वारा बाधित होता है, जो एक ऐसी घटना है जहाँ लॉस लैंडस्केप (loss landscape) पैरामीटर आयामों में बहुत अलग-अलग कर्वेचर प्रदर्शित करता है। शोध पत्र पहचानता है कि मौजूदा ऑप्टिमाइज़र आमतौर पर निश्चित ज्यामितीय धारणाओं (fixed geometric assumptions) पर निर्भर करते हैं जो प्रशिक्षण के दौरान एनिसोट्रॉपी की गतिशील प्रकृति के साथ तालमेल बिठाने में विफल रहते हैं:

$\ell_2$ -norm आधारित ऑप्टिमाइज़र (जैसे SGD): ये उच्च-कर्वेचर दिशाओं (high-curvature directions) द्वारा हावी होते हैं। शुरुआती प्रशिक्षण चरणों में जहाँ कर्वेचर एनिसोट्रॉपी प्रबल होती है (जिसे बड़े हेसियन आइजनवैल्यू आउटलेर्स द्वारा पहचाना जाता है), $\ell_2$ -आधारित अपडेट फ्लैट दिशाओं में प्रगति को प्रतिबंधित करते हैं, जिससे अभिसरण (convergence) धीमा हो जाता है।
$\ell_\infty$ -norm आधारित ऑप्टिमाइज़र (जैसे Lion, signSGD जैसे साइन-आधारित तरीके): ये ग्रेडिएंट संकेतों (gradient signs) के आधार पर समन्वय परिमाण (coordinate magnitude) को समान रूप से अपडेट करते हैं। हालांकि अत्यधिक एनिसोट्रोपिक क्षेत्रों में प्रभावी हैं, लेकिन वे मैग्निट्यूड स्केलिंग की कमी के कारण बाद के चरणों (फ्लैट क्षेत्रों) में दोलन (oscillations) का कारण बन सकते हैं।

हेसियन आइजनवैल्यू वितरण के हालिया विश्लेषण (जैसे ResNet-18 पर CIFAR-10 और ResNet-50 पर ImageNet-1K) प्रकट करते हैं कि लॉस लैंडस्केप शुरुआती इपोक में अत्यधिक आइजनवैल्यू के साथ एक अत्यधिक एनिसोट्रोपिक, नॉन-कॉन्वेक्स अवस्था से बदलकर बाद के इपोक में एक फ्लैट, कमजोरly एनिसोट्रोपिक और लगभग कॉनवेक्स क्षेत्र में विकसित होता है। केंद्रीय समस्या यह है कि क्या पूरी प्रशिक्षण प्रक्रिया के लिए एक एकल निश्चित नॉर्म ज्योमेट्री ( $\ell_2$ या $\ell_\infty$ ) पर्याप्त है, या क्या बदलते हुए कर्वेचर स्ट्रक्चर के साथ मेल खाने के लिए एक गतिशील योजना की आवश्यकता है।

कार्यप्रणाली (Methodology)

लेखक एक कोसाइन $\ell_p$ -Norm स्कीम का प्रस्ताव करते हैं जो प्रशिक्षण प्रक्रिया के दौरान बदलते कर्वेचर एनिसोट्रॉपी के साथ संरेखित करने के लिए नॉर्म पैरामीटर $p$ को गतिशील रूप से समायोजित करता है।

1. सैद्धांतिक प्रेरणा (Theoretical Motivation)

$\ell_p$ -स्मूथनेस मॉडल के आधार पर, $\ell_p$ ज्योमेट्री में स्टैपेस्ट डिसेंट (steepest descent) के लिए अपडेट दिशा में एक कोर्डिनेट-वाइज स्केलिंग फैक्टर $|g^{(i)}|^{p-2}$ शामिल होता है।

जब $p=2$ (यूक्लिडियन) हो, तो अपडेट ग्रेडिएंट मैग्निट्यूड के साथ रैखिक रूप से स्केल होता है।
जब $p > 2$ हो, तो स्केलिंग सबलीनियर ( $\alpha = \frac{1}{p-1} < 1$ ) हो जाती है, जो दिशात्मक असंतुलन को संकुचित करती है और उच्च-कर्वेचर दिशाओं के प्रभुत्व को दबाती है।
जैसे-जैसे $p \to \infty$ होता है, अपडेट एक साइन-आधारित रूप ( $\ell_\infty$ ) के करीब पहुँच जाता है, जो मैग्निट्यूड को पूरी तरह से अनदेखा कर देता है।

लेखक तर्क देते हैं कि शुरुआती प्रशिक्षण में मजबूत एनिसोट्रॉपी को संभालने के लिए एक बड़ा $p$ (जैसे, $p > 2$ ) फायदेमंद है, जबकि बाद के चरणों (फ्लैट क्षेत्रों) में स्थिर, रिफाइंड अपडेट सुनिश्चित करने के लिए एक छोटा $p$ (2 के करीब) बेहतर है।

2. प्रस्तावित एल्गोरिदम (The Proposed Algorithms)

इस स्कीम को SGD और मोमेंटम के साथ SGD (SGDM) में एकीकृत करके दो नए ऑप्टिमाइज़र बनाए गए हैं: LPSGD और LPSGDM।

डायनेमिक शेड्यूलिंग (Dynamic Scheduling): एपोक $s$ पर नॉर्म पैरामीटर $p_s$ को कोसाइन एनीलिंग रणनीति का उपयोग करके शेड्यूल किया जाता है:
$p_s = 2 + (p_{\max} - 2) \cdot \frac{1 + \cos(\pi \frac{s-1}{S-1})}{2}$
जहाँ $p_{\max} \geq 2$ प्रारंभिक अधिकतम नॉर्म है, और $S$ कुल एपोक की संख्या है। यह शेड्यूल $p_{\max}$ से शुरू होता है और 2 तक सुचारू रूप से घटता है।
अपडेट नियम (Update Rule): एक स्टोकेस्टिक ग्रेडिएंट $g_t$ (या LPSGDM में मोमेंटम बफ़र $m_t$ ) के लिए, अपडेट दिशा $u_t$ को एक नॉनलीनियर स्केलिंग मैप के माध्यम से कंप्यूट किया जाता है:
$u_t = \frac{g_t}{(|g_t| + \epsilon)^{\rho_s}}$
जहाँ $\rho_s = \frac{p_s - 2}{p_s - 1}$ और $\epsilon$ एक स्थिरता स्थिरांक (stability constant) है। फिर पैरामीटर्स को $\theta_{t+1} = \theta_t - \eta u_t$ (वेट डिके के साथ LPSGDM में) के रूप में अपडेट किया जाता है।

3. अभिसरण विश्लेषण (Convergence Analysis)

यह शोध पत्र नॉन-कॉन्वेक्स स्टोकेस्टिक ऑप्टिमाइज़ेशन के लिए सैद्धांतिक गारंटी प्रदान करता है:

मानक मान्यताओं ( $\ell_p$ -स्मूथनेस, अनबायस्ड ग्रेडिएंट्स, बाउंडेड नॉइज़) के तहत, लेखक सिद्ध करते हैं कि LPSGD और LPSGDM अपेक्षित स्क्वेयर्ड ग्रेडिएंट नॉर्म के लिए $O(T^{-1/2})$ का अभिसरण दर (convergence rate) प्राप्त करते हैं, जहाँ $T$ इटरेशन की संख्या है।
यह विश्लेषण रूपांतरित अपडेट दिशाओं के लिए कंडीशनल एलाइनमेंट और बाउंडेड सेकंड मोमेंट्स स्थापित करने पर निर्भर करता है।

मुख्य योगदान (Key Contributions)

कर्वेचर इवोल्यूशन का लक्षण वर्णन: यह कार्य DNN प्रशिक्षण के दौरान हेसियन आइजनवैल्यू वितरण के विकास का अनुभवजन्य रूप से लक्षण वर्णन करता है, जो मजबूत एनिसोट्रॉपी से कमजोर एनिसोट्रॉपी में बदलाव को उजागर करता है।
कोसाइन $\ell_p$ -Norm स्कीम: एक नवीन शेड्यूलिंग रणनीति जो नगण्य कम्प्यूटेशनल ओवरहेड के साथ ऑप्टिमाइज़र की ज्योमेट्री को हाई- $p$ नॉर्म (आउटलियर कर्वेचर प्रभुत्व को दबाने के लिए) से यूक्लिडियन नॉर्म (फ्लैट क्षेत्रों में स्थिरता सुनिश्चित करने के लिए) में बदल देती है।
नए ऑप्टिमाइज़र (LPSGD/LPSGDM): इस स्कीम को मानक फर्स्ट-ऑर्डर मेथड्स में एकीकृत करना, जिसके परिणामस्वरूप ऐसे एल्गोरिदम प्राप्त होते हैं जो मौजूदा बेसलाइन से बेहतर प्रदर्शन करते हैं।
सैद्धांतिक गारंटी: नॉन-कॉन्वेक्स सेटिंग्स में प्रस्तावित एल्गोरिदम के लिए $O(T^{-1/2})$ अभिसरण दर का कठोर प्रमाण।

प्रयोगात्मक परिणाम (Experimental Results)

विभिन्न आर्किटेक्चर (VGG-11, ResNet-18, ResNet-50) का उपयोग करके विभिन्न बेंचमार्क डेटासेट्स (CIFAR-10, CIFAR-100, ImageNet-1K) पर व्यापक प्रयोग किए गए। प्रस्तावित विधियों की तुलना SGD w/Momentum, AdamW, और Lion से की गई।

CIFAR-10: LPSGDM ने सभी मॉडलों और चेकपॉइंट्स में लगातार उच्चतम Top-1 सटीकता प्राप्त की। उदाहरण के लिए, ResNet-18 पर, इसने 200 एपोक पर 94.81% सटीकता प्राप्त की, जो SGD (93.15%), AdamW (94.09%), और Lion (94.04%) से बेहतर है।
CIFAR-100: इस अधिक चुनौतीपूर्ण सेटिंग में प्रदर्शन का अंतर बढ़ गया। LPSGDM ने ResNet-18 पर 77.98% और ResNet-50 पर 76.78% प्राप्त किया, जो बेसलाइन (जैसे ResNet-50 पर सर्वश्रेष्ठ बेसलाइन से +1.87%) से काफी बेहतर है।
ImageNet-1K: ResNet-50 पर, LPSGDM ने मध्य और देर के प्रशिक्षण चरणों में सभी बेसलाइन को पछाड़ दिया, और 60वें एपोक पर 74.04% Top-1 सटीकता प्राप्त की, जो AdamW की तुलना में 2.25 प्रतिशत अंक का सुधार है।
सामान्यीकरण (Generalization): उल्लेखनीय रूप से, LPSGDM ने अक्सर उच्च परीक्षण सटीकता प्राप्त की, भले ही प्रशिक्षण नेगेटिव लॉग-लाइक्लीहुड (NLL) सबसे कम नहीं था, जो यह सुझाव देता है कि यह विधि केवल ट्रेनिंग लॉस को कम करने के बजाय समाधान की सामान्यीकरण गुणवत्ता में सुधार करती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि प्रस्तावित कोसाइन $\ell_p$ -norm स्कीम फिक्स्ड-नॉर्म ऑप्टिमाइज़र की सीमा को संबोधित करने में प्रभावी है, क्योंकि यह DNN लॉस लैंडस्केप के अंतर्निहित ज्यामितीय परिवर्तनों के अनुकूल होती है। प्रशिक्षण के शुरुआती चरणों में उच्च-कर्वेचर दिशाओं के प्रभुत्व को दबाकर और बाद के प्रशिक्षण में स्थिर यूक्लिडियन अपडेट में संक्रमण करके, यह विधि बेहतर सामान्यीकरण प्रदर्शन प्राप्त करती है। लेखक इस बात पर जोर देते हैं कि इसके लिए केवल फर्स्ट-ऑर्डर जानकारी की आवश्यकता होती है और इसमें न्यूनतम कम्प्यूटेशनल लागत (एलिमेंट-वाइज रीस्केलिंग) जुड़ती है, जिससे यह मौजूदा ऑप्टिमाइज़ेशन फ्रेमवर्क के लिए एक व्यावहारिक और स्केलेबल संवर्धन बन जाता है। $O(T^{-1/2})$ की सैद्धांतिक अभिसरण दर इस बात की पुष्टि करती है कि इनके अनुभवजन्य लाभ कठोर गणितीय विश्लेषण द्वारा समर्थित हैं।