🔢 mathematics

A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training

यह शोध पत्र बड़े पैमाने के न्यूरल नेटवर्क प्रशिक्षण के लिए एडिटिवली प्रीकंडीशन्ड ट्रस्ट-रीजन स्ट्रैटेजी (NAPTS) के एक नॉन-मोनोटोन वेरिएंट को प्रस्तुत करता है, जो एक नॉनलीनर एडिटिव श्वाज़ प्रीकंडीशनर और एक विंडोड एक्सेप्टेंस क्राइटेरिया का उपयोग करता है ताकि मूल पद्धति की तुलना में CPU समय को 30% कम किया जा सके और अस्वीकृत चरणों को काफी हद तक घटाया जा सके।

मूल लेखक: Andrea Angino, Bindi Çapriqi, Shega Likaj, Ken Trotti, Rolf Krause

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Angino, Bindi Çapriqi, Shega Likaj, Ken Trotti, Rolf Krause

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक न्यूरल नेटवर्क) को बिल्लियों और कुत्तों की तस्वीरों को पहचानना सिखाने की कोशिश कर रहे हैं। इस रोबोट में लाखों छोटे-छोटे नॉब्स (पैरामीटर्स) हैं जिन्हें काम पूरा करने के लिए बिल्कुल सही तरीके से घुमाने की जरूरत है।

इस पेपर में इस काम को करने के लिए नॉब्स को घुमाने का एक नया, अधिक स्मार्ट तरीका पेश किया गया है, जिसे NAPTS कहा जाता है। यह समझने के लिए कि यह क्यों खास है, आइए पुराने तरीकों की समस्याओं को देखें और देखें कि यह नया तरीका उन्हें कैसे ठीक करता है।

समस्या: "बहुत सारे रसोइयों" की दुविधा (The "Too Many Cooks" Dilemma)

अतीत में, इन रोबोटों को तेजी से प्रशिक्षित करने के लिए, वैज्ञानिकों ने काम को विभाजित कर दिया था। कल्पना कीजिए कि आपके पास एक बहुत बड़ी पहेली है, और आप इसके अलग-अलग हिस्सों को एक साथ हल करने के लिए अलग-अलग लोगों (कंप्यूटरों) को सौंप देते हैं। इसे डोमेन डिकंपोजिशन (Domain Decomposition) कहा जाता है।

हालाँकि, इसमें एक पेच था। जब हर कोई अपने स्वयं के हिस्से पर काम कर रहा होता था, तो वे कभी-कभी ऐसे कदम उठाते थे जो स्थानीय रूप से (locally) तो अच्छे दिखते थे लेकिन पूरे चित्र को बिगाड़ देते थे।

पुराना गार्ड (APTS): यह तरीका एक सख्त शिक्षक की तरह था। यदि कोई कदम तुरंत "त्रुटि स्कोर" (error score) को कम नहीं करता था (यानी रोबोट को तुरंत स्मार्ट नहीं बनाता था), तो शिक्षक कहता था, "नहीं! इसे फेंक दो और फिर से कोशिश करो।" इससे कई अच्छे विचारों को केवल इसलिए खारिज करने में बहुत समय बर्बाद होता था क्योंकि वे तुरंत सफल नहीं हुए थे।
सरल तरीका (SGD/Adam): ये मानक तरीके हैं जिनका उपयोग हर कोई करता है। ये तेज़ हैं लेकिन इनके लिए बहुत अधिक मैन्युअल ट्यूनिंग (जैसे रेडियो स्टेशन खोजने के लिए लगातार वॉल्यूम को एडजस्ट करना) की आवश्यकता होती है और ये "मल्टी-डिवाइस" सेटअप का कुशलतापूर्वक उपयोग नहीं करते हैं।

समाधान: "अवसर की खिड़की" (The "Window of Opportunity" - NAPTS)

लेखकों ने NAPTS (Non-monotone Additively Preconditioned Trust-Region Strategy) बनाया है। यह कैसे काम करता है, इसे एक सरल उपमा (analogy) से समझते हैं:

1. टीम दृष्टिकोण (Parallel Subdomains)
कल्पना कीजिए कि रोबोट एक लंबी असेंबली लाइन है। पूरी लाइन की जांच करने के लिए एक व्यक्ति के बजाय, आपके पास तीन टीमें हैं।

टीम A पहले हिस्से को ठीक करती है।
टीम B बीच के हिस्से को ठीक करती है।
टीम C अंतिम हिस्से को ठीक करती है।
वे सभी एक ही समय में काम करते हैं। NAPTS उन्हें कुशलतापूर्वक यह करने की अनुमति देता है कि वे पर्याप्त मात्रा में जानकारी साझा करें (जैसे कि एक बैटन पास करना) ताकि वे एक-दूसरे के रास्ते में न आएं।

2. "स्लाइडिंग विंडो" नियम (Non-Monotone)
यही मुख्य नवाचार है।

पुराना नियम: "आपको अभी के मुकाबले बेहतर होना चाहिए।" यदि आप एक कदम उठाते हैं और स्कोर एक सेकंड के लिए थोड़ा खराब हो जाता है, तो उसे खारिज कर दिया जाता है।
NAPTS का नियम: "आपको पिछले 100 कदमों में अपने सबसे अच्छे बिंदु से बेहतर होना चाहिए।"

इसे एक धुंधले पहाड़ पर चढ़ने वाले हाइकर (पर्वतारोही) की तरह समझें।

सख्त तरीका: यदि आप एक कदम लेते हैं और थोड़ा नीचे फिसल जाते हैं, तो आप तुरंत रुक जाते हैं और वापस मुड़ जाते हैं। आप उस रास्ते को मिस कर सकते हैं जो बहुत ऊपर जाने के लिए पहले थोड़ा नीचे जाता है।
NAPS तरीका: हाइकर पिछले एक घंटे में अपने द्वारा पहुंचे उच्चतम बिंदु को देखता है। यदि वर्तमान स्थान उस उच्चतम बिंदु से नीचे है, तो वह चलता रहता है, भले ही उसने एक छोटा कदम नीचे की ओर लिया हो। वह भरोसा करता है कि "बड़ी तस्वीर" में सुधार हो रहा है, भले ही तत्काल कदम एकदम सही न रहा हो।

यह एल्गोरिदम को "कोर्स" (coarse) कदम (बड़े, मोटे समायोजन) स्वीकार करने की अनुमति देता है जो अस्थायी रूप से त्रुटि को बढ़ा सकते हैं, लेकिन बाद में एक बहुत बेहतर समाधान खोजने के लिए आवश्यक होते हैं।

परिणाम: तेज़ और स्मार्ट

पेपर में इमेज रिकग्निशन टास्क (CIFAR-10) पर शक्तिशाली कंप्यूटरों का उपयोग करके परीक्षण किया गया। यहाँ बताया गया है कि उन्होंने क्या पाया:

कम अस्वीकृति (Less Rejection): पुराने सख्त तरीके (APTS) ने लगभग 13,000 चरणों को खारिज कर दिया। NAPTS ने केवल लगभग 1,900 चरणों को खारिज किया। इसने अच्छे विचारों को फेंकने में समय बर्बाद करना बंद कर दिया।
गति (Speed): क्योंकि इसने चरणों को इतनी बार खारिज करना बंद कर दिया, इसलिए NAPTS ने पुराने APTS तरीके की तुलना में एक "इपोक" (प्रशिक्षण का एक पूर्ण दौर) लगभग 30% तेजी से पूरा किया।
सटीकता (Accuracy): यह केवल तेज़ ही नहीं हुआ; इसने वास्तव में बेहतर सीखा, टेस्ट इमेज पर मानक तरीकों की तुलना में उच्च सटीकता प्राप्त की।

संक्षेप में

यह पेपर एक नया प्रशिक्षण तरीका प्रस्तावित करता है जो न्यूरल नेटवर्क को समानांतर (parallel) में काम करने वाले विशेषज्ञों की एक टीम के रूप में मानता है। एक सख्त बॉस होने के बजाय जो किसी भी छोटी गलती के लिए किसी को निकाल देता है, यह एक बुद्धिमान कोच की तरह कार्य करता है जो पिछले एक घंटे में टीम की प्रगति को देखता है। यह "स्लाइडिंग विंडो" दृष्टिकोण टीम को अधिक साहसी और प्रभावी कदम उठाने की अनुमति देता है, जिसके परिणामस्वरूप एक ऐसा रोबोट तैयार होता है जो तेजी से सीखता है और कम गलतियाँ करता है, और यह सब कम कंप्यूटर समय का उपयोग करके करता है।

तकनीकी सारांश: न्यूरल नेटवर्क प्रशिक्षण के लिए एक नॉन-मोनोटोन प्रीकंडीशनड ट्रस्ट-रीजन विधि

समस्या विवरण
बड़े पैमाने पर डीप न्यूरल नेटवर्क (NN) को प्रशिक्षित करना हाइपरपैरामीटर ट्यूनिंग, मल्टी-डिवाइस पाइपलाइनों के दोहन और नॉनकॉन्वेक्स (nonconvex), नॉइज़ी ऑब्जेक्टिव फंक्शन्स को संभालने के संबंध में चुनौतियां पेश करता है। जबकि स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) और Adam जैसी फर्स्ट-ऑर्डर विधियां मानक हैं, वे मैन्युअल स्टेप-साइज़ और मोमेंटम शेड्यूलिंगिंग पर बहुत अधिक निर्भर करती हैं और स्वाभाविक रूप से मॉडल-पैरेललिज्म का लाभ नहीं उठा पाती हैं, जहाँ एक नेटवर्क को डिवाइसेस के बीच क्रमिक ब्लॉक्स में विभाजित किया जाता है। इसके विपरीत, डोमेन डिकंपोजिशन (DD) विधियां पैरामीटर्स को समानांतर अपडेट के लिए सबडोमेन में विभाजित करने का एक तरीका प्रदान करती हैं, लेकिन उन्हें नॉनकॉन्वेक्स सेटिंग्स में अभिसरण (convergence) सुनिश्चित करने के लिए मजबूत ग्लोबलाइजेशन रणनीतियों की आवश्यकता होती है। पिछले दृष्टिकोण, जैसे कि एडिटिवली प्रीकंडीशनड ट्रस्ट-रीजन स्ट्रैटेजी (APTS), ट्रस्ट-रीजन (TR) तंत्र का उपयोग करते हैं, लेकिन अक्सर मोटे-स्तर के स्पेस स्टेप्स (coarse-space steps) की उच्च रिजेक्शन दर से ग्रस्त होते हैं, जिससे सर्च डायरेक्शन के पुनर्गणना (recomputation) की लागत बढ़ जाती है।

कार्यप्रणाली: NAPTS
यह शोध पत्र नॉन-मोनोटोन एडिटिवली प्रीकंडीशनड ट्रस्ट-रीजन स्ट्रैटेजी (NAPTS) का प्रस्ताव करता है, जो नॉन-मोनोटोन ट्रस्ट-रीजन (NTR) सिद्धांतों को एकीकृत करने वाला एक APTS फ्रेमवर्क विस्तार है। यह विधि प्रत्येक इटरेशन में तीन विशिष्ट चरणों के माध्यम से कार्य करती है:

समानांतर सबडोमेन अपडेट: NN पैरामीटर स्पेस को गैर-अतिव्यापी (non-overlapping) सबडोमेन $\{C_d\}_{d=1}^N$ में विभाजित किया गया है। प्रत्येक इटरेशन $k$ पर, एक ग्लोबल फॉरवर्ड और बैकवर्ड पास एक्टिवेशन वैल्यू और डाउनस्ट्रीम ग्रेडिएंट्स को कैश करता है। इसके बाद प्रत्येक सबडोमेन समानांतर में $\ell$ लोकल कंस्ट्रेंड एडम (CAdam) स्टेप्स करता है। ये लोकल स्टेप्स कैश किए गए बाउंड्री इन्फॉर्मेशन का उपयोग करके ब्लॉक-ग्रेडिएंट्स को अनुमानित करने के लिए कंप्यूट किए जाते हैं, जिससे यह सुनिश्चित होता है कि सबडोमेन ग्लोबल जानकारी का सम्मान करते हुए स्वतंत्र रूप से कार्य करें। इन लोकल स्टेप्स को लिफ्ट किया जाता है और एक ग्लोबल ट्रायल स्टेप $s_k$ बनाने के लिए एडिटिवली संयोजित किया जाता है।
नॉन-मोनोटोन ग्लोबलाइजेशन: मानक TR विधियों के विपरीत, जो ऑब्जेक्टिव फंक्शन के सख्त मोनोटोनिक घटत (decrease) की आवश्यकता रखती हैं, NAPTS हाल के $\nu$ $ν$ सफल इटरेशन की एक स्लाइडिंग विंडो का उपयोग करता है। यह एक संदर्भ इंडेक्स $r(k)$ $r (k)$ को परिभाषित करता है जो इस विंडो के भीतर उच्चतम ऑब्जेक्टिव वैल्यू से संबंधित है। स्टेप स्वीकृति एक संयुक्त एग्रीमेंट रेशियो $\rho_k = \max\{\rho^c_k, \rho^h_k\}$ $ρ_{k} = max {ρ_{k}^{c}, ρ_{k}^{h}}$ द्वारा निर्धारित की जाती है, जहाँ:
- $\rho^c_k$ वर्तमान स्टेप के लिए वास्तविक और अनुमानित घटत के बीच सहमति को मापता है।
- $\rho^h_k$ ऐतिहासिक संदर्भ मान $f(\theta_{r(k)})$ और एक संचयी इतिहास टर्म $\sigma^h_k$ के सापेक्ष सहमति को मापता है।
  यह तंत्र उन स्टेप्स को स्वीकार करने की अनुमति देता है जो अस्थायी रूप से ऑब्जेक्टिव फंक्शन को बढ़ा देते हैं ( $f(\theta_k + s_k) > f(\theta_k)$ ), यदि वे दीर्घकालिक डिसेंट ट्रेंड्स के अनुरूप हों, जिससे प्रभावी कोर्स-स्पेस दिशाओं के रिजेक्शन को कम किया जा सके।
करेक्शन और स्मूथिंग: यदि ट्रायल स्टेप को रिजेक्ट कर दिया जाता है, तो एक करेक्शन स्टेप $c_k$ को स्टीपेस्ट डिसेंट स्टेप और मूल प्रस्ताव के कॉनवेक्स कॉम्बिनेशन के रूप में कंप्यूट किया जाता है, जिससे पहले से कंप्यूट किए गए ग्रेडिएंट इन्फॉर्मेशन की बर्बादी से बचा जा सके। एक अंतिम NTR अपडेट इटरेट को रिफाइन करता है और ट्रस्ट-रीजन रेडियस $\Delta_k$ को एडजस्ट करता है।

मुख्य योगदान

नॉन-मोनोटोन APTS (NAPTS): प्राथमिक योगदान APTS फ्रेमवर्क में NTR सिद्धांतों का एकीकरण है। यह विशेष रूप से नॉइज़ी, नॉनकॉन्वेक्स NN ट्रेनिंग लैंडस्केप में आक्रामक कोर्स-स्पेस स्टेप रिजेक्शन की समस्या को संबोधित करता है।
नियंत्रित नॉन-मोनोटोनिटी: यह पेपर एक विंडो-आधारित स्वीकृति मानदंड पेश करता है जो नियंत्रित ऑब्जेक्टिव वृद्धि की अनुमति देता है। यह स्टेप्स की "अनियंत्रित" स्वीकृति को रोकता है, फिर भी उन कोर्स-स्पेस दिशाओं के साथ बने रहने की अनुमति देता है जो अस्थायी रूप से सुधार करने वाली नहीं हो सकती हैं लेकिन वैश्विक रूप से फायदेमंद हो सकती हैं।
कुशल समानांतरता (Efficient Parallelism): यह विधि एडिटिव श्ज़ (Schwarz) संरचना को बनाए रखती है, जिससे लोकल इटरेशन के दौरान इंटर-सबडोमेन कम्युनिकेशन के बिना समानांतर सबडोमेन ट्रेनिंग संभव होती है, जिसमें केवल ग्रेडिएंट कैशिंग और स्टेप एग्रीगेशन के लिए ग्लोबल सिंक्रोनाइज़ेशन की आवश्यकता होती है।

परिणाम
प्रयोग CIFAR-10 डेटासेट का उपयोग करके एक कनवोल्यूशनल NN (1.2M पैरामीटर्स) पर किए गए, जिसे चार Nvidia A100 GPUs पर प्रशिक्षित किया गया था।

प्रदर्शन: NAPTS ने 115.88 सेकंड प्रति एपोक का प्रशिक्षण समय प्राप्त किया, जो मानक APTS (169.14s/epoch) की तुलना में 30% CPU समय की कमी दर्शाता है, और आक्रामक-स्वीकृति वाले वेरिएंट APTS $_A$ (152.39s/epoch) की तुलना में और अधिक सुधार दिखाता है।
रिजेक्शन रेट्स: इस विधि ने रिजेक्ट किए गए स्टेप्स की संख्या को काफी कम कर दिया। NAPTS ने लगभग 1,921 कुल रिजेक्टेड इटरेशन दर्ज किए, जबकि APTS के लिए यह 13,972 और APTS $_A$ के लिए 6,648 था। यह इंगित करता है कि नॉन-मोनोटोन मैकेनिज्म उन प्रभावी कोर्स-स्पेस प्रस्तावों को सफलतापूर्वक बनाए रखता है जिन्हें अन्यथा हटा दिया जाता।
सटीकता (Accuracy): जबकि बेसलाइन TR और NTR विधियां उच्च वैलिडेशन सटीकता तक पहुँचने में संघर्ष करती रहीं, प्रीकंडीशनड वेरिएंट्स (APTS और NAPTS) ने काफी उच्च वैलिडेशन सटीकता और कम ट्रेनिंग लॉस प्राप्त किया, जो सुझाव देता है कि जनरलाइजेशन से समझौता किए बिना अनुकूलित (optimization) में सुधार हुआ है।

महत्व
पेपर का दावा है कि NAPTS एक मजबूत ग्लोबलाइजेशन रणनीति प्रदान करता है जो बड़े पैमाने पर न्यूरल नेटवर्क प्रशिक्षण की नॉनकॉन्वेक्स और नॉइज़ी प्रकृति के लिए विशेष रूप से उपयुक्त है। सख्त मॉनोटोनिसिटी की आवश्यकता को कम करके, यह विधि सर्च डायरेक्शन को बार-बार रिजेक्ट करने और पुनर्गणना करने की कम्प्यूटेशनल लागत से बचती है। लेखक तर्क देते हैं कि यह दृष्टिकोण मॉडल पैरेललिज्म के लिए डोमेन डिकंपोजिशन का प्रभावी ढंग से लाभ उठाता है और ट्रस्ट रीजन के माध्यम से ऑटोमैटिक स्टेप-साइज़ एडैप्टेशन प्रदान करता है, जिससे फर्स्ट-ऑर्डर मेथड्स से जुड़े मैन्युअल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता कम हो जाती है। परिणाम बताते हैं कि NAPTS प्रीकंडीशनड मेथड्स की सटीकता को बनाए रखते हुए कम्प्यूटेशनल दक्षता में काफी सुधार करता है।

समस्या: "बहुत सारे रसोइयों" की दुविधा (The "Too Many Cooks" Dilemma)

समाधान: "अवसर की खिड़की" (The "Window of Opportunity" - NAPTS)

परिणाम: तेज़ और स्मार्ट

संक्षेप में

तकनीकी सारांश: न्यूरल नेटवर्क प्रशिक्षण के लिए एक नॉन-मोनोटोन प्रीकंडीशनड ट्रस्ट-रीजन विधि

इसी तरह के और पेपर