🔢 mathematics

PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$ -Norm Steepest Descent

PowerStep एक मेमोरी-कुशल एडेप्टिव ऑप्टिमाइज़र है जो सेकंड-मोमेंट सांख्यिकी (second-moment statistics) को संग्रहीत किए बिना $\ell_p$ -नॉर्म स्टीपेस्ट डिसेंट (steepest descent) के माध्यम से कोऑर्डिनेट-वाइज एडेप्टिविटी प्राप्त करता है, जो एडम (Adam) की अभिसरण गति (convergence speed) से मेल खाता है और बड़े पैमाने पर ट्रांसफॉर्मर प्रशिक्षण के लिए मेमोरी ओवरहेड को महत्वपूर्ण रूप से कम करता है।

मूल लेखक: Yao Lu, Dengdong Fan, Shixun Zhang, Yonghong Tian

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yao Lu, Dengdong Fan, Shixun Zhang, Yonghong Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक न्यूरल नेटवर्क) को एक नई भाषा बोलना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आप रोबोट द्वारा बोला गया हर वाक्य सुनने के बाद उसे फीडबैक देते हैं। यह फीडबैक एक "ग्रेडिएंट" (gradient) है, जो रोबोट को बताता है कि बेहतर होने के लिए उसे किस दिशा में आगे बढ़ना चाहिए।

वर्षों तक, इन रोबोटों को प्रशिक्षित करने का मानक तरीका Adam रहा है। Adam एक बहुत ही सावधान, अत्यधिक व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह है। जब भी रोबोट कोई गलती करता है, Adam केवल वर्तमान गलती को नहीं देखता; बल्कि वह एक विशाल, विस्तृत बहीखाता (एक "सेकंड-मोमेंट बफर") रखता है जिसमें रोबोट द्वारा की गई अब तक की हर एक गलती का रिकॉर्ड होता है।

समस्या: जैसे-जैसे रोबोट बड़े होते जाते हैं (अरबों पैरामीटर्स के साथ), यह बहीखाता विशाल होता जाता है। यह इतना अधिक मेमोरी लेता है कि यह सब कुछ धीमा कर देता है या सिस्टम को क्रैश कर देता है। यह बिल्कुल वैसा ही है जैसे भारी विश्वकोशों से भरा एक भारी बैकपैक लेकर मैराथन दौड़ने की कोशिश करना।

पेश है PowerStep: "स्मार्ट इंट्यूशन" (सहज ज्ञान) वाला दृष्टिकोण

इस शोध पत्र के लेखक PowerStep नामक एक नया ऑप्टिमाइज़र पेश करते हैं। उस भारी ऐतिहासिक डेटा वाले बैकपैक को ढोने के बजाय, PowerStep ज्यामिति (geometry) और अंतर्ज्ञान (intuition) पर आधारित एक चतुर तकनीक का उपयोग करता है।

यहाँ बताया गया है कि PowerStep कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. "भारी गेंद" बनाम "बहीखाता"

Adam (बहीखाता): "मुझे याद है कि कल आपने शब्द 'A' पर एक बड़ी गलती की थी, और शब्द 'B' पर एक छोटी सी। मैं आपके पिछले गलतियों के वर्ग (square) के आधार पर आपके पथ को समायोजित करूँगा।" इसके लिए बहुत सारा डेटा स्टोर करने की आवश्यकता होती है।
PowerStep (भारी गेंद): PowerStep "मोमेंटम" (momentum) की अवधारणा का उपयोग करता है। कल्पना कीजिए कि एक पहाड़ी से नीचे लुढ़कती एक भारी गेंद। यदि गेंद तेजी से लुढ़क रही है (एक मजबूत संकेत), तो वह चलती रहती है। यदि वह धीरे लुढ़क रही है (एक कमजोर संकेत), तो उसे थोड़े धक्के की जरूरत होती है।
- PowerStep को गेंद की गति के इतिहास को याद रखने की आवश्यकता नहीं है। यह बस यह देखता है कि गेंद अभी कितनी तेजी से चल रही है।
- यह वर्तमान गति पर एक विशेष "जादुई फ़िल्टर" (एक साइन्ड पावर ट्रांसफॉर्म) लागू करता है। यदि गेंद बहुत तेजी से चल रही है, तो यह फ़िल्टर इसे धीरे से धीमा कर देता है। यदि गेंद बहुत धीरे चल रही है, तो यह इसे एक बढ़ावा (boost) देता है।

2. "वॉल्यूम नॉब" की उपमा

रोबोट की सीखने की प्रक्रिया को एक साउंड सिस्टम की तरह समझें जिसमें हजारों वॉल्यूम नॉब (रोबोट के हर हिस्से के लिए एक) हैं।

Adam प्रत्येक नॉब को कैसे घुमाना है, यह तय करने के लिए संगीत के पूरे इतिहास को सुनता है। यह सटीक है, लेकिन इसे सारा इतिहास प्रोसेस करने के लिए एक विशाल कंप्यूटर की आवश्यकता होती है।
PowerStep ध्वनि के वर्तमान वॉल्यूम को सुनता है।
- यदि कोई नॉब पहले से ही बहुत ऊंचे स्तर पर है (रोबोट आश्वस्त है या ग्रेडिएंट बड़ा है), तो PowerStep वॉल्यूम को थोड़ा कम कर देता है ताकि यह बहुत तेज न हो जाए (overshooting से बचने के लिए)।
- यदि कोई नॉब मुश्किल से चालू है (रोबोट अनिश्चित है या ग्रेडिएंट छोटा है), तो PowerStep वॉल्यूम को बढ़ा देता है ताकि वह बेहतर तरीके से सुन सके।
- जादू: यह बिना किसी इतिहास की किताब को लिखे इसे तुरंत करता है। यह बस वर्तमान क्षण के प्रति प्रतिक्रिया देता है।

यह एक बड़ी बात क्यों है?

शोध पत्र दावा करता है कि PowerStep की तीन मुख्य जीतें हैं:

यह आधा आकार का है: क्योंकि PowerStep को उस विशाल "सेकंड-मोमेंट बहीखाते" को स्टोर करने की आवश्यकता नहीं है, इसलिए यह Adam की तुलना में 50% कम मेमोरी का उपयोग करता है। यह विश्वकोशों के भारी बैकपैक को एक हल्के नोटबुक से बदलने जैसा है।
यह उतना ही तेज़ है: हल्का होने के बावजूद, PowerStep ठीक उतनी ही गति से सीखता है जितनी गति से Adam सीखता है। यह भी उतनी ही देर में फिनिश लाइन तक पहुँच जाता है।
यह "कंप्रेशन" (दबाव) में भी जीवित रहता है: शोधकर्ताओं ने डेटा को एक बहुत ही छोटे, कम गुणवत्ता वाले प्रारूप (जिसे "int8 क्वांटाइजेशन" कहा जाता है) में दबाने की कोशिश की, जो आमतौर पर Adam को खराब कर देता है क्योंकि इसमें बहुत अधिक विवरण खो जाता है।
- Adam: जब इसे दबाया जाता है, तो Adam का "बहीखाता" खोए हुए विवरणों के कारण इतना भ्रमित हो जाता है कि रोबोट गोल-गोल घूमने लगता है (diverge हो जाता है)।
- PowerStep: क्योंकि यह नाजुक ऐतिहासिक बहीखाते के बजाय वर्तमान मोमेंटम पर निर्भर करता है, इसलिए यह डेटा को दबाने के बाद भी स्थिर रहता है। यह उन्हें मानक विधि की तुलना में 8 गुना अधिक मेमोरी उपयोग को कम करने की अनुमति देता है, बिना रोबोट को खराब किए।

निष्कर्ष

यह शोध पत्र प्रदर्शित करता है कि भविष्य के विशाल AI मॉडल को प्रभावी ढंग से प्रशिक्षित करने के लिए आपको भारी इतिहास की किताब ले जाने की आवश्यकता नहीं है। वर्तमान क्षण के "मोमेंटम" के प्रति प्रतिक्रिया करने वाले एक स्मार्ट, ज्यामिति-आधारित दृष्टिकोण का उपयोग करके, PowerStep उद्योग के मानक (Adam) के समान परिणाम प्राप्त करता है, लेकिन आधे मेमोरी खर्च के साथ। और जब आप इसे डेटा कंप्रेशन के साथ जोड़ते हैं, तो यह भविष्य के विशाल AI मॉडल को प्रशिक्षित करने के लिए एक अविश्वसनीय रूप से कुशल उपकरण बन जाता है।

नोट: यह पेपर 124 मिलियन से लेकर 235 बिलियन पैरामीटर्स तक के मॉडल्स पर इसकी पुष्टि करता है, जो यह साबित करता है कि यह किसी भी पैमाने पर काम करता है।

तकनीकी सारांश: PowerStep: $\ell_p$ -Norm Steepest Descent के माध्यम से मेमोरी-कुशल अनुकूली अनुकूलन (Adaptive Optimization)

समस्या विवरण (Problem Statement)

अनुकूली अनुकूलक (Adaptive optimizers), विशेष रूप से Adam और AdamW, प्रथम और द्वितीय-मोमेंट सांख्यिकी (first and second-moment statistics) के संचय के साथ ग्रेडिएंट अपडेट को प्रीकंडीशन करके बड़े पैमाने के न्यूरल नेटवर्क (जैसे, ट्रांसफॉर्मर) के प्रशिक्षण के लिए मानक बन गए हैं। हालांकि ये प्रभावी हैं, लेकिन ये भारी मेमोरी ओवरहेड का कारण बनते हैं क्योंकि ये मॉडल मापदंडों के समान आयामीता वाला एक द्वितीय-मोमेंट संचयक ( $v_t$ ) बनाए रखते हैं, जिसके लिए स्थिरता हेतु आमतौर पर पूर्ण 32-बिट फ्लोटिंग-पॉइंट (fp32) परिशुद्धता की आवश्यकता होती है। यह "मेमोरी वॉल" (memory wall) मोमेंटम वाले SGD की तुलना में ऑप्टिमाइज़र स्टेट फुटप्रिंट को दोगुना कर देती है, जो सैकड़ों अरबों मापदंडों वाले मॉडलों के लिए स्केलेबिलिटी को सीमित करती है।

इनसे निपटने के मौजूदा प्रयास इसमें सेकंड-मोमेंट मैट्रिक्स का गुणनखंड (factorization), ब्लॉकवाइज शेयरिंग, या लो-प्रिसिजन क्वांटाइजेशन शामिल है। हालांकि, क्वांटाइजेशन अक्सर अनुकूली विधियों में अस्थिरता या विचलन (divergence) का कारण बनता है क्योंकि द्वितीय-मोमेंट एस्टिमेटर (विशेष रूप से वर्गमूल के व्युत्क्रम ऑपरेशन) क्वांटाइजेशन त्रुटियों के प्रति अत्यधिक संवेदनशील होता है। वैकल्पिक रूप से, कुछ विधियाँ द्वितीय-मोमेंट को पूरी तरह से त्याग देती हैं, लेकिन वे अक्सर बड़े पैमाने के कार्यों पर Adam की अभिसरण गति (convergence speed) से मेल खाने में विफल रहती हैं।

कार्यप्रणाली (Methodology)

लेखक PowerStep पेश करते हैं, जो एक मेमोरी-कुशल अनुकूलक है जो द्वितीय-मोमेंट सांख्यिकी को संग्रहीत किए बिना कोऑर्डिनेट-वाइज एडैप्टिविटी प्राप्त करता है। यह विधि $\ell_p$ -norm steepest descent के सिद्धांतों से व्युत्पन्न है।

सैद्धांतिक आधार (Theoretical Foundation)

सामान्य नॉर्मेड स्पेस में, $\ell_p$ -norm बाधा के तहत एक ऑब्जेक्टिव $f(\theta)$ को अधिकतम रूप से कम करने वाली स्टिपेस्ट डिसेंट दिशा $v^*$ इस प्रकार दी गई है:
$v^*_i \propto -\text{sign}(g_i) \cdot |g_i|^{\frac{1}{p}-1}$
जहाँ $g_i$ ग्रेडिएंट घटक है। इससे एक "साइंड पावर ट्रांसफॉर्म" (signed power transform) $\Phi_\beta(x) = \text{sign}(x) \odot |x|^\beta$ प्राप्त होता है, जहाँ $\beta = 1/(p-1) \in [0, 1]$ है।

एल्गोरिदम डिज़ाइन (Algorithm Design)

Powerball विधि के विपरीत, जो कच्चे ग्रेडिएंट्स पर इस ट्रांसफॉर्म को लागू करती है, PowerStep इस ट्रांसफॉर्म को हेवी-बॉल मोमेंटम बफर ( $m_t$ ) पर लागू करता है। अपडेट नियम है:

मोमेंटम अपडेट: $m_t = \gamma m_{t-1} + g_t$
ट्रांसफॉर्मेड अपडेट: $\theta_t = \theta_{t-1} - \eta_t \Phi_\beta(m_t)$

यह डिज़ाइन एक डायगोनल प्रीकंडीशनर $D_t = \text{diag}(|m_t|^{\beta-1})$ प्रदान करता है। $\beta \in (0, 1)$ के लिए, घातांक $\beta-1$ ऋणात्मक है, जिसका अर्थ है कि स्टेप साइज संचित मोमेंटम के परिमाण के व्युत्क्रमानुपाती है। छोटे मोमेंटम परिमाण (फ्लैट दिशाओं) को बढ़ाया जाता है, जबकि बड़े परिमाण (स्टीप दिशाओं) को कम किया जाता है। यह Adam के समान कोऑर्डिनेट-वाइज एडैप्टिविटी प्रदान करता है, लेकिन इसे मोमेंटम बफर से तात्कालिक रूप से (instantaneously) गणना किया जाता है, जिससे द्वितीय-मोमेंट एस्टिमेटर की आवश्यकता समाप्त हो जाती है।

लो-प्रिसिजन कार्यान्वयन (Low-Precision Implementation)

PowerStep का सिंगल-बफर डिज़ाइन स्वाभाविक रूप से आक्रामक क्वांटाइजेशन के अनुकूल है। लेखक केवल मोमेंटम बफर $m_t$ को int8 परिशुद्धता में संग्रहीत करने का प्रस्ताव करते हैं, जबकि साइनड पावर ट्रांसफॉर्म और पैरामीटर अपडेट को फुल प्रिसिजन में किया जाता है। यह Adam के विपरीत है, जहाँ द्वितीय-मोमेंट बफर $v_t$ को क्वांटाइज़ करना वर्गमूल और विभाजन संचालन की नॉन-लिनियरिटी के कारण विनाशकारी त्रुटि संचय (error accumulation) का कारण बनता है।

मुख्य योगदान (Key Contributions)

एल्गोरिदम डिज़ाइन: PowerStep को $\ell_p$ -norm steepest descent सिद्धांतों से व्युत्पन्न किया गया है, जो यह सिद्ध करता है कि हेवी-बॉल मोमेंटम बफर पर साइनड पावर ट्रांसफॉर्म लागू करने से द्वितीय-मोमेंट सांख्यिकी के बिना कोऑर्डिनेट-वाइज एडैप्टिविटी प्राप्त होती है।
सैद्धांतिक विश्लेषण: पेपर सिद्ध करता है कि PowerStep मानक रेगुलैरिटी धारणाओं (L-smoothness, bounded gradients, आदि) के तहत नॉन-कॉन्वेक्स स्टोकेस्टिक ऑप्टिमाइज़ेशन के लिए इष्टतम $O(1/\sqrt{T})$ अभिसरण दर प्राप्त करता है।
अनुभवजन्य सत्यापन (Empirical Validation): 124M से 235B मापदंडों वाले ट्रांसफॉर्मर मॉडलों (घने और Mixture-of-Experts आर्किटेक्चर सहित) पर व्यापक प्रयोगों से पता चलता है कि PowerStep AdamW के अभिसरण की गति से मेल खाता है, जबकि यह केवल आधे ऑप्टिमाइज़र स्टेट मेमोरी का उपयोग करता है।
क्वांटाइजेशन मजबूती (Quantization Robustness): जब इसे आक्रामक int8 क्वांटाइजेशन के साथ जोड़ा जाता है, तो PowerStep संख्यात्मक रूप से स्थिर रहता है और AdamW की तुलना में ऑप्टिमाइज़र मेमोरी को लगभग 8× कम कर देता है। इसके विपरीत, AdamW समान क्वांटाइजेशन स्थितियों के तहत विफल हो जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

अभिसरण गति (Convergence Speed): 124M से 235B मापदंडों वाले मॉडलों में, PowerStep AdamW के ट्रेनिंग लॉस ट्रेजेक्टरी से मेल खाता है। संबंधित मेमोरी-कुशल विधियाँ (pbSGDM, SignSGD, AdamS) बड़े मॉडलों पर धीमी अभिसरण या अस्थिरता प्रदर्शित करती हैं।
मेमोरी दक्षता (Memory Efficiency): PowerStep (fp32) की तुलना में केवल एक बफर स्टोर करके AdamW की तुलना में ऑप्टिमाइज़र स्टेट मेमोरी फुटप्रिंट को 50% कम कर देता है।
क्वांटाइजेशन प्रदर्शन (Quantization Performance): ऑप्टिमाइज़र स्टेट के int8 क्वांटाइजेशन के तहत:
- AdamW: द्वितीय-मोमेंट एस्टिमेटर में क्वांटाइजेशन त्रुटि संचय के कारण ट्रेनिंग तुरंत ध्वस्त हो जाती है।
- PowerStep: स्थिर रहता है और अपने फुल-प्रिसिजन समकक्ष के अभिसरण से मेल खाता है।
- मेमोरी कमी: PowerStep (int8) AdamW (fp32) की तुलना में लगभग ~8× कमी प्राप्त करता है। उदाहरण के लिए, 235B पैरामीटर वाले मॉडल पर, प्रति NPU मेमोरी AdamW (6768 MB) से घटकर PowerStep int8 (872.4 MB) हो जाती है।
हाइपरपैरामीटर संवेदनशीलता (Hyperparameter Sensitivity): विधि $\gamma \in [0.85, 0.95]$ रेंज में मोमेंटम गुणांक के लिए मजबूत है। एक पावर एक्सपोनेंट $\beta = 0.1$ तीव्र प्रारंभिक प्रगति और दीर्घकालिक स्थिरता के बीच सबसे अच्छा संतुलन प्रदान करता है; $\beta=0$ (SignSGD के समान) पतन (collapse) की ओर ले जाता है, जबकि $\beta=0.2$ बहुत धीरे अभिसरण करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PowerStep बड़े पैमाने के प्रशिक्षण के लिए एक सिद्धांतिक, स्केलेबल और संसाधन-कुशल विकल्प प्रदान करता है। $\ell_p$ -norm ज्यामिति के साथ सीधे संबंध को स्थापित करके, PowerStep द्वितीय-मोमेंट अनुमान की मेमोरी लागत के बिना एडैप्टिव मेथड्स की सैद्धांतिक इष्टतमता प्राप्त करता है।

लेखक इस बात पर जोर देते हैं कि द्वितीय-मोमेंट बफर को हटाना न केवल मेमोरी को आधा करता है, बल्कि लो-प्रिसिजन क्वांटाइजेशन के प्रति मजबूती को मौलिक रूप से भी सुधारता है। यह अभिसरण गति और अंतिम मॉडल गुणवत्ता से समझौता किए बिना एक अतिरिक्त ऑर्डर-ऑफ-मैग्निट्यूड मेमोरी रिडक्शन (कुल ~8× बनाम AdamW) की अनुमति देता है। यह कार्य सुझाव देता है कि हेवी-बॉल मोमेंटम को नॉन-लीनियर ट्रांसफॉर्म के साथ जोड़कर Adam की जटिल द्वितीय-मोमेंट मशीनरी को बदला जा सकता है, जो भविष्य के बड़े पैमाने के मॉडलों को प्रशिक्षित करने के लिए एक सरल और अधिक स्केलेबल मार्ग प्रदान करता है।

लेखकों द्वारा पहचाने गए भविष्य के कार्य की दिशाओं में स्ट्रक्चर्ड मैट्रिक्स-वैल्यूड अपडेट (जैसे, Muon optimizer) के साथ PowerStep को एकीकृत करना और यहाँ तक कि अधिक आक्रामक क्वांटाइजेशन (जैसे, int4) की खोज करना शामिल है।