🤖 machine learning

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration

यह शोध पत्र ZO-MOPI का प्रस्ताव करता है, जो बड़े भाषा मॉडलों (large language models) को फाइन-ट्यून करने के लिए एक ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन विधि है, जो पूर्ण ऑर्थोगोनलाइज़ेशन (full orthogonalization) को पावर इटरेशन (power iteration) और मोमेंटम-आधारित सबस्पेस प्रोजेक्शन (momentum-based subspace projection) का उपयोग करके आंशिक ऑर्थोगोनलाइज़ेशन रणनीति से बदलकर अभिसरण (convergence) को तेज़ करता है, जिससे प्रतिस्पर्धी सटीकता बनाए रखते हुए अत्याधुनिक ZO-Muon की तुलना में 1.5x से 4x तेज़ अभिसरण प्राप्त होता है।

मूल लेखक: Jiahe Chen, Ziye Ma

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiahe Chen, Ziye Ma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: बिना मैनुअल के एक विशाल रेडियो को ट्यून करना

कल्पना कीजिए कि आपके पास एक विशाल, जटिल रेडियो है (एक लार्ज लैंग्वेज मॉडल या LLM) जिसमें अरबों नॉब्स (knobs) हैं। आप इसे एक विशिष्ट गाना पूरी तरह से बजाने के लिए ट्यून करना चाहते हैं (इसे एक नए कार्य के लिए फाइन-ट्यून करना)।

आमतौर पर, इंजीनियर एक "फर्स्ट-ऑर्डर" (First-Order) विधि का उपयोग करते हैं: वे नॉब्स को देखते हैं, उनके कंपन को महसूस करते हैं, और जानते हैं कि बेहतर ध्वनि पाने के लिए उन्हें किस दिशा में घुमाना है। यह तेज़ है, लेकिन इसके लिए एक बहुत बड़े, महंगे कंट्रोल रूम (बहुत अधिक कंप्यूटर मेमोरी) की आवश्यकता होती है ताकि सभी निर्देशों को संभाला जा सके। यदि आप इस रेडियो को स्मार्टफोन या कार कंप्यूटर जैसे छोटे डिवाइस पर ट्यून करने की कोशिश कर रहे हैं, तो आपके पास इतनी मेमोरी नहीं है।

ज़ीरोथ-ऑर्डर (Zeroth-Order - ZO) ऑप्टिमाइज़ेशन वह "अंधा" तरीका है। कंपन महसूस करने के बजाय, आप बस एक दिशा का अनुमान लगाते हैं, नॉब्स को घुमाते हैं, और सुनते हैं कि संगीत बेहतर हुआ या खराब। आपको उस बड़े कंट्रोल रूम की आवश्यकता नहीं होती, इसलिए यह छोटे उपकरणों पर फिट बैठता है। हालाँकि, क्योंकि आप केवल अनुमान लगा रहे हैं, यह अविश्वसनीय रूप से धीमा और शोर (noisy) से भरा होता है। यह ऐसा है जैसे आप डायल को बेतरतीब ढंग से घुमाकर सही फ्रीक्वेंसी मिलने की उम्मीद कर रहे हों।

समस्या: "शोर वाला" सिग्नल

शोधकर्ताओं ने देखा कि जबकि यह "अंधा" तरीका मेमोरी बचाता है, इससे जो जानकारी मिलती है वह बहुत ही अस्त-व्यस्त होती है।

वास्तविक सिग्नल: एक आदर्श दुनिया में, नॉब्स घुमाने की "सर्वश्रेष्ठ" दिशाएँ स्पष्ट और मजबूत होती हैं (जैसे एक तेज़, स्पष्ट आवाज़)।
ZO की वास्तविकता: क्योंकि यह तरीका रैंडम अनुमानों पर निर्भर करता है, सिग्नल स्टैटिक और शोर से भरा होता है। यह तूफान में फुसफुसाहट सुनने जैसा है।

वहाँ Muon नामक एक नया टूल था जिसने मदद करने की कोशिश की। Muon एक स्मार्ट सहायक की तरह है जो सभी नॉब्स को देखता है और कहता है, "ठीक है, आइए हम इन दिशाओं को व्यवस्थित करें ताकि हम कमजोर दिशाओं पर ऊर्जा बर्बाद न करें।" यह सभी दिशाओं को समान रूप से मजबूत बनाने की कोशिश करता है।

पेंच: Muon को "आदर्श दुनिया" (First-Order) के लिए डिज़ाइन किया गया था। जब शोधकर्ताओं ने इसे "शोर वाले" Zeroth-Order डेटा पर आज़माया, तो इसने चीज़ों को और खराब कर दिया। क्योंकि डेटा इतना अधिक स्टैटिक से भरा था, Muon ने सब कुछ बढ़ाने की कोशिश की, जिसमें शोर भी शामिल था। यह रेडियो पर वॉल्यूम बढ़ाने जैसा था जो केवल स्टैटिक बजा रहा है; शोर संगीत से भी तेज़ हो गया।

समाधान: "पार्शियल ऑर्थोगोनलाइज़ेशन" (चयनात्मक फ़िल्टर)

लेखकों, जियाहे चेन और ज़ी मा ने एक नया दृष्टिकोण निकाला जिसे ZO-MOPI कहा जाता है। उनका गुप्त मंत्र पार्शियल ऑर्थोगोनलाइज़ेशन (Partial Orthogonalization) है।

हर दिशा को व्यवस्थित करने के बजाय (जिसमें शोर वाली, बेकार दिशाएँ भी शामिल हैं), उन्होंने निर्णय लिया कि वे केवल उन शीर्ष कुछ दिशाओं पर ध्यान केंद्रित करेंगे जो वास्तव में मजबूत और स्पष्ट हैं। वे बाकी शोर को अनदेखा कर देते हैं।

इसे इस तरह सोचें:

पुराना तरीका (Muon): आपके पास रेत, मिट्टी और सोने की धूल से मिला हुआ पानी का एक बाल्टी है। आप हर चीज़ को पूरी तरह से अलग करने की कोशिश करते हैं। आप गंदगी को छाँटने में बहुत समय बर्बाद करते हैं।
नया तरीका (ZO-MOPI): आप महसूस करते हैं कि सोने की धूल भारी होती है और नीचे बैठ जाती है। आप बस निचली परत (मजबूत सिग्नल) को निकाल लेते हैं और तैरती हुई गंदगी (शोर) को अनदेखा कर देते हैं। आप बहुत तेज़ी से सोना प्राप्त कर लेते हैं।

उन्होंने इसे कैसे किया: "स्ट्रीमिंग पावर" ट्रिक

इस चयनात्मक फ़िल्टरिंग को काम करने योग्य बनाने के लिए, उन्होंने स्ट्रीमिंग पावर इटरेशन (Streaming Power Iteration - SPI) नामक तकनीक का उपयोग किया।

कल्पना कीजिए कि आप एक तूफानी खेत में सबसे तेज़ हवा खोजने की कोशिश कर रहे हैं।

पुरानी विधि: आप स्थिर खड़े होते हैं और हवा के हर झोंके को मापते हैं, फिर औसत दिशा की गणना करने की कोशिश करते हैं। इसमें बहुत समय लगता है और हवा बहुत अराजक होती है।
नई विधि (SPI): आप एक झंडा पकड़ते हैं। आप केवल उन झोंकों पर ध्यान देते हैं जो झंडे को सबसे ज़ोर से धक्का देते हैं। आप उन छोटी हवाओं को अनदेखा कर देते हैं जो झंडे को मुश्किल से हिला पाती हैं। केवल तेज़ धक्कों पर ध्यान केंद्रित करके, आप जल्दी से समझ सकते हैं कि हवा वास्तव में किस दिशा में चल रही है।

उन्होंने एक "मोमेंटम" (Momentum) फीचर भी जोड़ा। यह याद रखने जैसा है कि कुछ सेकंड पहले हवा किस दिशा में चल रही थी। भले ही एक झोंका अचानक आया हो (शोर), पिछले झोंकों की आपकी स्मृति आपको स्थिर रहने और अराजकता से भ्रमित न होने में मदद करती है।

परिणाम: तेज़ ट्यूनिंग, समान मेमोरी

शोधकर्ताओं ने इन विशाल AI मॉडल्स (जैसे OPT-13B और LLaMA3-8B) पर मानक भाषा परीक्षणों (SuperGLUE) का उपयोग करके इसका परीक्षण किया।

गति: उनकी नई विधि वर्तमान सर्वोत्तम "अंधे" ट्यूनिंग तरीकों की तुलना में 1.5 से 4 गुना तेज़ थी। इसने बहुत कम समय में वही सटीकता प्राप्त की।
सटीकता: यह अन्य तरीकों की तरह ही (या उससे थोड़ा बेहतर) अंतिम गुणवत्ता तक पहुँच गया।
मेमोरी: इसने समान कम मेमोरी उपयोग बनाए रखा, जिसका अर्थ है कि यह अभी भी छोटे उपकरणों पर चल सकता है।

सारांश

यह पेपर सीमित मेमोरी वाले उपकरणों पर AI मॉडल को ट्यून करने का एक स्मार्ट तरीका पेश करता है। हर एक शोर वाले अनुमान को ठीक करने के बजाय, नई विधि (ZO-MOPI) एक फ़िल्टर की तरह काम करती है, जो केवल सबसे मजबूत, सबसे विश्वसनीय सिग्नलों पर ध्यान केंद्रित करती है और स्टैटिक को अनदेखा करती है। यह AI को बिना सुपरकंप्यूटर की आवश्यकता के बहुत तेज़ी से सीखने की अनुमति देता है।

तकनीकी सारांश: पावर इटरेशन से आंशिक ऑर्थोगोनलाइजेशन के माध्यम से ज़ीरोथ-ऑर्डर स्पेक्ट्रल ऑप्टिमाइज़ेशन को गति देना

समस्या विवरण
ज़ीरोथ-ऑर्डर (ZO) ऑप्टिमाइज़ेशन, मेमोरी-बाधित एज डिवाइसेस पर लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए एक महत्वपूर्ण तकनीक के रूप में उभरा है, क्योंकि यह फर्स्ट-ऑर्डर (FO) विधियों के लिए आवश्यक मेमोरी-इंटेंसिव बैकप्रोपैगेशन से बचता है। हालाँकि, ZO विधियाँ मोंटे कार्लो परटर्बेशन के कारण ग्रेडिएंट अनुमानों में उच्च विचरण (high variance) से ग्रस्त हैं, जिससे उनके कन्वर्जेंस की गति FO विधियों की तुलना में काफी धीमी हो जाती है।

ZO ऑप्टिमाइज़ेशन को गति देने के हालिया प्रयासों ने लो-डायमेंशनल सबस्पेस सर्च (जैसे LOZO, SubZero) और स्पेक्ट्रल ऑप्टिमाइज़र्स जैसे Muon पर ध्यान केंद्रित किया है, जो मैट्रिक्स ज्योमेट्री का उपयोग ऑर्थोगोनलाइज़ेशन के माध्यम से करते हैं। जबकि Muon, FO सेटिंग्स में एडमडब्ल्यू (AdamW) से बेहतर प्रदर्शन करता है क्योंकि यह कमजोर स्पेक्ट्रल दिशाओं का लाभ उठाने के लिए ग्रेडिएंट्स को ऑर्थोगोनलाइज करता है, लेखकों ने देखा कि ZO सेटिंग्स में सीधे Muon लागू करने से सीमित लाभ ही मिलता है। पहचाना गया मुख्य मुद्दा यह है कि ZO ग्रेडिएंट अनुमान स्वाभाविक रूप से शोर युक्त (noisy) और अविश्वसनीय होते हैं। FO ग्रेडिएंट्स के विपरीत, जो प्रमुख सिंगुलर दिशाओं में केंद्रित होते हैं, ZO अनुमान एक "भारी और सपाट स्पेक्ट्रल टेल" (चित्र 1) प्रदर्शित करते हैं। फलस्वरूप, Muon की मानक न्यूटन-शुल्ज़ (NS) ऑर्थोगोनलाइज़ेशन प्रक्रिया, जो पूरे सक्रिय स्पेक्ट्रम में ऊर्जा को समान करती है, अनजाने में इन शोर युक्त और गलत दिशाओं को भी बढ़ा देती है, जिससे अनुमान त्रुटियां हानिकारक अपडेट घटकों में बदल जाती हैं।

कार्यप्रणाली: ZO-MOPI
लेखक ZO-MOPI (ज़ीरोथ-ऑर्डर मोमेंटम विद पार्शियल ऑर्थोगोनलाइज़ेशन) प्रस्तावित करते हैं, जिसे शोर को दबाते हुए प्रमुख स्पेक्ट्रल दिशाओं को चुनिंदा रूप से निकालने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण तीन प्रमुख घटकों को एकीकृत करता है:

स्ट्रीमिंग पावर इटरेशन (SPI) के माध्यम से आंशिक ऑर्थोगोनलाइज़ेशन (Partial Orthogonalization):
फुल-स्पेक्ट्रम ऑर्थोगोनलाइज़ेशन (जैसे NS इटरेशन) करने के बजाय, ZO-MOPI एक "आंशिक ऑर्थोगोनलाइज़ेशन" रणनीति अपनाता है। यह विशेष रूप से शीर्ष- $k$ प्रमुख सिंगुलर दिशाओं पर ध्यान केंद्रित करता है और शोर युक्त स्पेक्ट्रल टेल को त्याग देता है।

तंत्र: यह विधि NS प्रक्रिया को एक तेज़ और अधिक केंद्रित स्ट्रीमिंग पावर इटरेशन (SPI) से बदल देती है। SPI ट्रेनिंग स्टेप्स के दौरान अग्रणी $k$ -डायमेंशनल सबस्पेस को ट्रैक करता है।
दक्षता: राइट सिंगुलर सबस्पेस ( $V_{t-1}$ ) को कैश करके और अगले इटरेशन के लिए इसे 'वार्म स्टार्ट' के रूप में उपयोग करके, SPI पूर्ण SVD या महंगे मैट्रिक्स गुणनों से बचता है। इसकी कम्प्यूटेशनल लागत $O(rnk + nk^2)$ तक कम हो जाती है, जहाँ $k \ll r \ll \min(m, n)$ है, जो फुल-स्पेक्ट्रम विधियों की तुलना में बहुत कम है।
स्थिरता: यह विधि इस अवलोकन पर आधारित है कि मोमेंटम स्मूथिंग के तहत प्रमुख स्पेक्ट्रल दिशाएं सुचारू रूप से विकसित होती हैं, जिससे पिछला सबस्पेस वर्तमान स्टेप के लिए एक विश्वसनीय इनिशियलाइज़ेशन बन जाता है।

सबस्पेस ZO अनुमान:
विचरण को और कम करने के लिए, ग्रेडिएंट अनुमान को एक लो-रैंक सबस्पेस में सीमित किया जाता है। रैंडम परटर्बेशन मैट्रिक्स $Z$ को $AB $में डीकंपोज़ किया जाता है, जहाँ$ A $एक फिक्स्ड सबस्पेस मैट्रिक्स है और$ B $उस सबस्पेस के भीतर एक रैंडम परटर्बेशन है। यह प्रभावी खोज आयाम को$ mn $से घटाकर$ rn$ कर देता है, जिससे ग्रेडिएंट एस्टिमेटर का विचरण काफी कम हो जाता है।
प्रोजेक्टेड मोमेंटम (Projected Momentum):
मेमोरी बचाने के लिए मोमेंटम को पूर्ण पैरामीटर स्पेस के बजाय कम किए गए $r \times n$ कोऑर्डिनेट सिस्टम के भीतर बनाए रखा जाता है। इस पद्धति का एक महत्वपूर्ण घटक तब मोमेंटम का प्रोजेक्शन है जब सबस्पेस $A$ को हर $\nu$ इटरेशन के बाद रिफ्रेश किया जाता है। मोमेंटम $M_{old}$ को नए सबस्पेस $A_{new}$ पर $M_{new} \leftarrow A_{new}^\top A_{old} M_{old}$ के माध्यम से प्रोजेक्ट किया जाता है।

आवश्यकता: लेखक प्रदर्शित करते हैं कि मोमेंटम केवल विचरण कम करने के लिए नहीं है, बल्कि SPI की स्थिरता के लिए भी आवश्यक है। मोमेंटम के बिना, प्रमुख सबस्पेस शोर युक्त ZO अनुमानों के कारण अत्यधिक उतार-चढ़ाव करता है, जिससे पावर इटरेशन अस्थिर हो जाता है।

प्रमुख योगदान

स्पेक्ट्रल मिसमैच की पहचान: यह पेपर रेखांकित करता है कि ZO सेटिंग्स में फुल-स्पेक्ट्रम ऑर्थोगोनलाइज़ेशन (न्यूटन-शुल्ज़) हानिकारक है क्योंकि यह ZO ग्रेडिएंट अनुमानों में निहित शोर को बढ़ाता है, जबकि FO ग्रेडिएंट्स स्वाभाविक रूप से केंद्रित होते हैं।
आंशिक ऑर्थोगोनलाइज़ेशन: एक चुनिंदा ऑर्थोगोनलाइज़ेशन रणनीति का परिचय जो शोर युक्त टेल को अनदेखा करते हुए केवल सबसे विश्वसनीय स्पेक्ट्रल घटकों (शीर्ष- $k$ ) को सुरक्षित रखती है।
स्ट्रीमिंग पावर इटरेशन (SPI): एक हल्का और कुशल एल्गोरिदम जो प्रमुख सिंगुलर दिशाओं को ट्रैक करने के लिए टेम्पोरल कंटीन्यूटी और वार्म-स्टार्टिंग का लाभ उठाता है ताकि महंगी गणनाओं से बचा जा सके।
प्रोजेक्टेड मोमेंटम इंटीग्रेशन: सबस्पेस रिफ्रेश के दौरान मोमेंटम स्थिरता बनाए रखने के लिए एक तंत्र, जो शोर युक्त वातावरण में स्पेक्ट्रल ट्रैकिंग की प्रभावकारिता के लिए महत्वपूर्ण है।

प्रायोगिक परिणाम
लेखक OPT-13B, LLaMA3-8B, और Gemma2-2B मॉडल्स का उपयोग करके SuperGLUE बेंचमार्क (SST-2, RTE, BoolQ, SQuAD) पर ZO-MOPI का मूल्यांकन करते हैं।

कन्वर्जेंस स्पीड: ZO-MOPI वर्तमान स्टेट-ऑफ-द-आर्ट ZO-Muon की तुलना में 1.5x से 4x तेज़ कन्वर्जेंस प्राप्त करता है। उदाहरण के लिए, RTE और SQuAD कार्यों पर, ZO-MOPI को ZO-Muon की तुलना में समान सटीकता तक पहुँचने के लिए लगभग 3x अधिक वॉल-क्लॉक समय की आवश्यकता होती है।
अंतिम सटीकता: यह विधि MeZO, LOZO और ZO-Muon जैसे मजबूत बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर अंतिम सटीकता प्राप्त करती है। कई मामलों में (जैसे SST-2 और RTE पर OPT-13B), ZO-MOPI नए सर्वश्रेष्ठ ZO सटीकता रिकॉर्ड स्थापित करता है।
दक्षता: यह विधि ZO फाइन-ट्यूनिंग की मेमोरी दक्षता बनाए रखती है, जिसमें सबस्पेस और पावर इटरेशन स्टेट्स को स्टोर करने के लिए केवल नगण्य अतिरिक्त मेमोरी ओवरहेड होता है।
एब्लेशन स्टडीज: प्रयोग पुष्टि करते हैं कि मोमेंटम को हटाना या बहुत कम सबस्पेस रिफ्रेश अंतराल का उपयोग करना प्रदर्शन को काफी कम कर देता है, जो प्रस्तावित मोमेंटम प्रोजेक्शन और लेज़ी सबस्पेस सैंपलिंग रणनीतियों की आवश्यकता को प्रमाणित करता है।

महत्व और दावे
पेपर का दावा है कि ZO-MOPI शोर युक्त ग्रेडिएंट अनुमानों की विशिष्ट स्पेक्ट्रल विशेषताओं को संबोधित करके LLM फाइन-ट्यूनिंग के लिए ZO और FO ऑप्टिमाइज़ेशन के बीच के अंतर को सफलतापूर्वक पाटता है। लेखकों का तर्क है कि ZO ऑप्टिमाइज़ेशन को गति देने की कुंजी केवल सबस्पेस प्रोजेक्शन के माध्यम से विचरण को कम करना नहीं है, बल्कि एक चयनात्मक स्पेक्ट्रल अलाइनमेंट को अपनाना भी है जो शोर को बढ़ने से रोकता है। पावर इटरेशन के माध्यम से आंशिक ऑर्थोगोनलाइज़ेशन को फुल-स्पेक्ट्रम ऑर्थोगोनलाइज़ेशन से बदलकर, यह विधि स्पेक्ट्रल ऑप्टिमाइज़र्स को उच्च-विचरण वाले ZO रिजीम में प्रभावी ढंग से कार्य करने में सक्षम बनाती है। यह कार्य सुझाव देता है कि स्पेक्ट्रल संरचना का शोर युक्त अनुमानों के तहत भी बेहतर उपयोग किया जा सकता है, जो बैकप्रोपैगेशन पर निर्भर किए बिना बड़े मॉडल्स के कुशल, मेमोरी-बाधित फाइन-ट्यूनिंग की ओर एक मार्ग प्रदान करता है।