🤖 machine learning

Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

यह शोध पत्र $\texttt{AdaNAGED}$ को प्रस्तुत करता है, जो एक नवीन पैरामीटर-मुक्त ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन विधि है जो बिना किसी महंगी हाइपरपैरामीटर खोज के बड़े भाषा मॉडलों की मेमोरी-कुशल फाइन-ट्यूनिंग को सक्षम करने के लिए एडेप्टिव ट्यूनिंग को लीनियर मिनिमाइज़ेशन ऑरेकल-आधारित ज्योमेट्री-अवेयर अपडेट्स के साथ एकीकृत करता है।

मूल लेखक: Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) है, जिसने इंटरनेट पर सब कुछ पढ़कर बोलना और लिखना पहले ही सीख लिया है। अब, आप उसे एक विशिष्ट नया कौशल सिखाना चाहते हैं, जैसे कि मूवी रिव्यूज (फिल्मों की समीक्षाओं) को समझना। इस प्रक्रिया को "फाइन-ट्यूनिंग" कहा जाता है।

आमतौर पर, इस रोबोट को सिखाने में एक तरीका अपनाया जाता है जिसे "बैकप्रोपैगेशन" (backpropagation) कहते हैं। इसे ऐसे समझें जैसे एक शिक्षक रोबोट के ठीक बगल में खड़ा है, उसकी हर हरकत को देख रहा है, यह गणना कर रहा है कि अपनी गलतियों को कैसे सुधारा जाए, और फिर अगली बार कैसे करना है यह याद रखने के लिए एक विशाल नोटबुक (एक्टिवेशन्स, ग्रेडिएंट्स, ऑप्टिमाइज़र स्टेट्स) लिख रहा है। समस्या यह है कि एक विशाल रोबोट के लिए, यह नोटबुक इतनी बड़ी होती है कि यह पूरे क्लासरूम की मेमोरी को भर देती है, जिससे यह प्रक्रिया धीमी और महंगी हो जाती है।

पेपर का बड़ा विचार: "अंधेरे में रास्ता महसूस करना"

लेखक इस रोबोट को सिखाने का एक अलग तरीका प्रस्तावित करते हैं, जिसे "ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन" (Zero-Order Optimization) कहा जाता है। बैकप्रोपैगेशन के बजाय, कल्पना करें कि आप एक अंधेरे कमरे में बाहर निकलने का रास्ता ढूँढने की कोशिश कर रहे हैं। आपके पास कोई नक्शा नहीं है (ग्रेडिएंट्स)। इसके बजाय, आप एक छोटा कदम आगे बढ़ाते हैं, महसूस करते हैं कि क्या हवा ठंडी हुई है (क्या लॉस फंक्शन कम हुआ?), और फिर एक और कदम उठाते हैं। आपको केवल यह जानने की आवश्यकता है कि स्थिति "बेहतर" हुई या "खराब", न कि इसके सटीक गणित की कि क्यों हुई। यह बहुत सारी मेमोरी बचाता है क्योंकि आपको वह विशाल नोटबुक लिखने की आवश्यकता नहीं होती।

"महसूस करने" के साथ समस्या

हालाँकि, एक पेंच है। जब आप अंधेरे में रास्ता महसूस कर रहे होते हैं, तो आपको दो चीजें तय करने की आवश्यकता होती है:

कदम कितना बड़ा होना चाहिए? (यदि आप बहुत बड़ा कदम उठाते हैं, तो आप खाई में गिर सकते हैं। बहुत छोटा, और आप कभी वहां तक नहीं पहुँच पाएंगे।)
आपकी इंद्रियां कितनी "धुंधली" (blurry) होनी चाहिए? (यदि आप हवा को महसूस करने के लिए बहुत दूर तक कदम बढ़ाते हैं, तो आप एक छोटी बाधा को मिस कर सकते हैं। यदि आप बहुत करीब कदम रखते हैं, तो एक हल्की सी हवा भी आपको भ्रमित कर सकती है।)

अतीत में, लोगों को इन नंबरों का सटीक अनुमान लगाने के लिए हर नए कार्य के लिए संघर्ष करना पड़ता था। यदि आपका अनुमान गलत निकला, तो रोबोट कुछ भी नहीं सीख पाता था। इसके लिए बहुत अधिक परीक्षण और त्रुटि (trial and error) की आवश्यकता होती थी, जो धीमा और कष्टदायक था।

समाधान: एक स्व-समायोजित दिशा-सूचक यंत्र (Self-Adjusting Compass)

लेखक एक नया तरीका पेश करते हैं जिसे AdaNAGED (और एक मैट्रिक्स संस्करण जिसे AdaMuGED कहा जाता है) कहते हैं। इसे एक स्व-समायोजित दिशा-सूचक यंत्र के रूप में सोचें।

पैरामीटर-मुक्त (Parameter-Free): रोबोट को यह बताने की आवश्यकता नहीं है कि कदम कितने बड़े होने चाहिए। वह अपने हालिया इतिहास को देखता है। यदि उसने अभी एक कदम उठाया और परिणाम अच्छा रहा, तो वह जानता है कि वह सही रास्ते पर है। यदि परिणाम अस्थिर था, तो वह धीमा हो जाता है। वह बिना किसी मानवीय ट्यूनिंग के, खुद ही सही कदम का आकार और "धुंधलापन" सेटिंग तय कर लेता है।
ज्यामिति-जागरूक (Geometry-Aware - LMO): लेखकों ने देखा कि रोबोट का मस्तिष्क केवल संख्याओं की एक सपाट सूची नहीं है; यह विभिन्न आकृतियों से बना है (कुछ हिस्से ग्रिड की तरह हैं, कुछ सूचियों की तरह)। मानक तरीके सब कुछ एक सपाट सूची की तरह मानते हैं। लेखकों का तरीका एक विशेष उपकरण का उपयोग करता है जिसे लीनियर मिनिमाइजेशन ऑरेकल (LMO) कहा जाता है। कल्पना करें कि आप एक भारी बॉक्स को धक्का दे रहे हैं। यदि आप उसे सीधा धक्का देते हैं, तो वह फंस सकता है। लेकिन यदि आप जानते हैं कि बॉक्स एक ढलान पर है, तो आप उसे आसानी से फिसलाने के लिए तिरछा धक्का देते हैं। यह विधि रोबोट के मस्तिष्क के विशिष्ट आकार के आधार पर उसे धक्का देने का सबसे अच्छा "कोण" निकालती है, जिससे सीखना अधिक सहज और तेज़ हो जाता है।

परिणाम

टीम ने एक बड़े मॉडल (OPT-1.3B) पर परीक्षण किया ताकि उसे मूवी रिव्यूज (SST-2 टास्क) समझना सिखाया जा सके।

उन्होंने अपने "स्व-समायोजित दिशा-सूचक यंत्र" वाले रोबोट की तुलना उन रोबोटों से की जिन्हें विशेषज्ञों द्वारा मैन्युअल रूप से ट्यून किया गया था (जिन्होंने सही कदम का आकार खोजने में घंटों बिताए थे)।
परिणाम: स्व-समायोजित रोबोट का प्रदर्शन विशेषज्ञ-ट्यून किए गए रोबोटों के लगभग बराबर था। इसे किसी मानवीय अनुमान की आवश्यकता नहीं थी, फिर भी इसने कार्य को प्रभावी ढंग से सीखा।

सारांश में

यह पेपर विशाल AI मॉडल को सिखाने का एक नया तरीका प्रस्तुत करता है जो:

मेमोरी बचाता है: इसे नोट्स की विशाल नोटबुक लिखने की आवश्यकता नहीं है (कोई बैकप्रोपैगेशन नहीं)।
समय बचाता है: यह अपनी सीखने की गति और सेटिंग्स खुद तय कर लेता है, ताकि इंसानों को अनुमान लगाने में समय बर्बाद न करना पड़े।
बेहतर काम करता है: यह AI के मस्तिष्क की विशिष्ट आकृति को समझता है ताकि उसे सबसे कुशल दिशा में धकेला जा सके।

यह एक विशाल रोबोट को चलने के लिए एक कठोर, पूर्व-लिखित मैनुअल का पालन करने के बजाय, अपने संतुलन को महसूस करने और स्वचालित रूप से अपने कदमों को समायोजित करने की अनुमति देने जैसा है।

तकनीकी सारांश: LMO-आधारित विधियों के लिए शून्य-क्रम पैरामीटर-मुक्त अनुकूलन (Zero-order Parameter-free Optimization)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करना आधुनिक अनुकूलन (optimization) का एक केंद्रीय अनुप्रयोग है, फिर भी यह एक महत्वपूर्ण बाधा का सामना करता है: बैकप्रोपैगेशन (backpropagation) का मेमोरी ओवरहेड। OPT-1.3B जैसे मॉडल्स के लिए इंटरमीडिएट एक्टिवेशन, ग्रेडिएंट्स और ऑप्टिमाइज़र स्टेट्स को स्टोर करने के लिए पर्याप्त मेमोरी (जैसे, ~25 GB) की आवश्यकता होती है, जो स्केलेबिलिटी को सीमित करती है। ज़ीरोथ-ऑर्डर (ZO) अनुकूलन एक मेमोरी-कुशल विकल्प प्रदान करता है, जो फंक्शन-वैल्यू क्वेरीज़ से प्राप्त फिक्नाइट-डिफरेंस एस्टीमेट्स (finite-difference estimates) का उपयोग करके ग्रेडिएंट गणना को प्रतिस्थापित करता है। हालाँकि, मौजूदा ZO विधियाँ दो प्राथमिक सीमाओं से ग्रस्त हैं:

हाइपरपैरामीटर संवेदनशीलता (Hyperparameter Sensitivity): प्रदर्शन स्टेपसाइज़ (stepsize) और स्मूथिंग पैरामीटर ( $\tau$ ) पर अत्यधिक निर्भर है। इष्टतम सेटिंग्स के लिए आमतौर पर समस्या-निर्भर स्थिरांकों (जैसे, लिप्सचिट्ज़ स्थिरांक, ऑप्टिमम से दूरी) के ज्ञान की आवश्यकता होती है, जो व्यवहार में उपलब्ध नहीं होते हैं, जिससे महंगे कार्य-विशिष्ट ग्रिड सर्च की आवश्यकता होती है।
ज्यामितीय बेमेल (Geometric Mismatch): मानक यूक्लिडियन अपडेट पैरामीटर ब्लॉक्स (जैसे, LLMs में मैट्रिक्स-आकार के वेट्स) की विषम संरचना को कैप्चर नहीं कर सकते हैं। लीनियर मिनिमाइजेशन ओरैकल्स (LMOs) का उपयोग करने वाली विधियाँ गैर-यूक्लिडियन ज्यामिति (जैसे, मैट्रिसेस के लिए स्पेक्ट्रल नॉर्म) के अनुकूल हो सकती हैं, लेकिन ZO सेटिंग में इन्हें पैरामीटर-फ्री (PF) अनुकूलन के साथ जोड़ना अभी तक अनछुआ रहा है।

कार्यप्रणाली (Methodology)
लेखक AdaNAGED (ADAptive Norm-Agnostic Gradient-frEe Descent) प्रस्तावित करते हैं, जो एक अभिनव एल्गोरिदम है जो तीन प्रतिमानों (paradigms) को एकीकृत करता है: मेमोरी-कुशल ज़ीरोथ-ऑर्डर अनुकूलन, पैरामीटर-फ्री अनुकूलन, और LMO के माध्यम से ज्यामिति-जागरूक अपडेट।

पैरामीटर-फ्री एस्टीमेशन:
- स्मूथनेस ( $L$ ): किसी पूर्व लिप्सचिट्ज़ स्थिरांक की आवश्यकता के बिना, यह विधि अनुकूलन प्रक्षेपवक्र (optimization trajectory) के साथ स्थानीय स्मूथनेस का पुनरावृत्ति (iteratively) अनुमान लगाती है। यह क्रमिक इटरेट्स के बीच अंतर और ZO ग्रेडिएंट एप्रोक्सिमेशन के अनुपात की गणना करती है: $L_t = \|g_t(x_{t+1}, e_t)\|_* / \|x_{t+1} - x_t\|$ । मेमोरी दक्षता बनाए रखने के लिए दोनों बिंदुओं पर एक ही पर्सर्बेशन दिशा $e_t$ (रैंडम सीड के रूप में संग्रहीत) का उपयोग किया जाता है।
- इनिशियल गैप ( $\Delta$ ): विधि ऑब्जेक्टिव फंक्शन के एक ज्ञात निचले स्तर ( $f_{min}$ ) का उपयोग करके इनिशियल गैप $\Delta \leq f(x_0) - f_{min}$ का अनुमान लगाती है, जिससे ऑप्टिमम से दूरी जानने की आवश्यकता समाप्त हो जाती है।
- एडेप्टिव स्टेपसाइज़: स्टेपसाइज़ $\gamma_t$ को स्थानीय स्मूथनेस एस्टीमेट्स के AdaGrad-Norm शैली के संचय ( $S_t = S_{t-1} + L_t$ ) का उपयोग करके अपडेट किया जाता है, जिससे $\gamma_t \propto 1/\sqrt{S_t}$ प्राप्त होता है।
- स्मूथिंग पैरामीटर ( $\tau$ ): स्थिरता सुनिश्चित करने के लिए, $\tau_t$ को स्टेपसाइज़ के साथ रैखिक रूप से स्केल किया जाता ( $\tau_t = \rho C_2 \gamma_t$ ), जो कन्वर्जेंस प्रूफ की सैद्धांतिक आवश्यकताओं से प्राप्त होता है।
LMO-आधारित अपडेट्स:
एल्गोरिदम एक नॉर्म बॉल पर लीनियर मिनिमाइजेशन ओरकल के माध्यम से अपडेट को परिभाषित करता है: $v_t = \text{lmo}(g_t)$ । यह विधि को विभिन्न ज्यामिति के अनुकूल होने की अनुमति देता है:
- वेक्टर ज्यामिति: $\ell_\infty$ नॉर्म का उपयोग करने से Sign-SGD जैसा अपडेट मिलता है।
- मैट्रिक्स ज्यामिति: स्पेक्ट्रल नॉर्म का उपयोग करने से Muon-जैसे अपडेट मिलता है। चूंकि सटीक पोलर डिकंपोजिशन (SVD) गणनात्मक रूप से महंगा है, लेखक AdaMuGED पेश करते हैं, जो मैट्रिक्स इन्वर्जन से बचते हुए न्यूटन-शुलज़ (N-SS) इटरेशन के कुछ चरणों का उपयोग करके पोलर ऑपरेटर को एप्रोक्सिमेट करता है।

प्रमुख योगदान

अभिनव पैरामीटर-फ्री ZO निर्माण: यह पेपर एक ऐसी विधि पेश करता है जो किसी पूर्व समस्या-स्थिरांक के ज्ञान के बिना स्थानीय स्मूथनेस का अनुमान लगाने और स्टेपसाइज़ सेट करने के लिए ज़ीरोथ-ऑर्डर सेटिंग में काम करती है। यह केवल पर्सर्बेशन दिशाओं के लिए जनरेटर सीड्स को स्टोर करके ZO की मेमोरी दक्षता को बनाए रखता है।
प्रतिमानों का एकीकरण: प्रस्तावित AdaNAGED एल्गोरिदम मेमोरी-कुशल ZO, कम हाइपरपैरामीटर निर्भरता, और ज्यामिति-जागरूक LMO अपडेट्स को जोड़ता है।
कन्वर्जेंस गारंटी: लेखक लिप्सचिट्ज़ निरंतर, स्मूथ और कॉनवेक्स ऑब्जेक्टिव्स के लिए कन्वर्जेंस रेट स्थापित करते हैं। परिणामी दर एसिम्प्टोटिक रूप से इष्टतम ( $O(1/\epsilon^2)$ ) है, जिसमें पैरामीटर-फ्री एस्टीमेशन और स्टोकेस्टिसिटी के लिए अतिरिक्त कारक शामिल हैं।
व्यावहारिक वेरिएंट: AdaMuGED का परिचय इसे मैट्रिक्स-वैल्यूड पैरामीटर्स के लिए न्यूटन-शुलज़ इटरेशन का उपयोग करके विस्तारित करता है, जिससे यह LLM फाइन-ट्यूनिंग के लिए लागू हो जाता है जहाँ पैरामीटर्स मैट्रिसेस के रूप में संरचित होते हैं।

प्रायोगिक परिणाम
विधियों का मूल्यांकन SST-2 सेंटीमेंट क्लासिफिकेशन टास्क पर OPT-1.3B मॉडल को फाइन-ट्यून करके किया गया था, जो मेमोरी-प्रतिबंधित LLM अनुकूलन के लिए एक बेंचमार्क है।

बेसलाइन्स: लेखकों ने ट्यून किए गए ज़ीरोथ-ऑर्डर ऑप्टिमाइज़र्स के विरुद्ध तुलना की: ZO-AdaMM, ZO-SignSGD, और ZO-Muon।
प्रदर्शन:
- AdaNAGED (SignSGD-जैसा) ने 0.903 सटीकता प्राप्त की, जो ट्यून किए गए ZO-SignSGD (0.910) के 0.7 प्रतिशत अंक के भीतर है।
- AdaMuGED (Muon-जैसा) ने 0.908 सटीकता प्राप्त की, जिससे ट्यून किए गए ZO-SignSGD के साथ अंतर घटकर 0.2 प्रतिशत अंक रह गया और इसने AdaNAGED से 0.5 प्रतिशत अंक बेहतर प्रदर्शन किया।
- ट्यून किया गया ZO-Muon सबसे मजबूत बेसलाइन बना रहा (0.921), जो मैट्रिक्स-अवेयर ज्योमेट्री के लाभ की पुष्टि करता है।
निष्कर्ष: पैरामीटर-फ्री विधियों ने ट्यून किए गए बेसलाइन्स के मुकाबले प्रतिस्पर्धी प्रदर्शन दिखाया, जिससे यह सिद्ध हुआ कि एडेप्टिव रूल्स महंगे हाइपरपैरामीटर सर्च के बिना ट्यून किए गए ZO मेथड्स के प्रदर्शन का एक बड़ा हिस्सा पुनः प्राप्त कर सकते हैं।

महत्व
पेपर का दावा है कि यह ज़ीरोथ-ऑर्डर, पैरामीटर-फ्री और लीनियर मिनिमाइजेशन ओरकल ऑप्टिमाइज़ेशन के संगम पर काम करने वाली पहली विधि प्रस्तुत करता है। इसका महत्व यह प्रदर्शित करने में है कि:

मेमोरी दक्षता: बैकप्रोपैगेशन से बचकर ZO अनुकूलन को LLMs के लिए व्यावहारिक बनाया जा सकता है।
स्वचालन (Automation): स्मूथनेस और स्टेपसाइज़ के पैरामीटर-फ्री एस्टीमेशन के माध्यम से महंगे, कार्य-विशिष्ट हाइपरपैरामीटर ट्यूनिंग की निर्भरता को समाप्त किया जा सकता है।
ज्यामितीय लचीलापन: फ्रेमवर्क ऐसे गैर-यूक्लिडियन अपडेट (LMOs के माध्यम से) का समर्थन करता है जो मॉडल पैरामीटर्स (जैसे, मैट्रिसेस) के संरचनात्मक गुणों के साथ संरेखित होते हैं, जिससे कंडीशनिंग और स्थिरता में सुधार होता है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि हालांकि उनका पैरामीटर-फ्री दृष्टिकोण प्रतिस्पर्धी है, ट्यून किए गए बेसलाइन्स (विशेष रूप से ZO-Muon) अभी भी थोड़ा बढ़त बनाए रखते हैं, जो यह सुझाव देता है कि मैनुअल ट्यूनिंग इष्टतम बनी हुई है, लेकिन प्रस्तावित विधि एक मजबूत, स्वचालित विकल्प प्रदान करती है।

तकनीकी सारांश: LMO-आधारित विधियों के लिए शून्य-क्रम पैरामीटर-मुक्त अनुकूलन (Zero-order Parameter-free Optimization)

इसी तरह के और पेपर