🤖 machine learning

On Adaptivity in Zeroth-Order Optimization

यह शोधपत्र यह प्रदर्शित करता है कि उच्च आयामों में कोऑर्डिनेट-वाइज ग्रेडिएंट विषमता (coordinate-wise gradient heterogeneity) की कमी के कारण, ZO-Adam जैसे मानक एडेप्टिव ज़ीरो-ऑर्डर ऑप्टिमाइज़र, मेमोरी-कंस्ट्रेंड LLM फाइन-ट्यूनिंग के लिए ZO-SGD की तुलना में कोई अभिसरण लाभ (convergence advantage) नहीं देते हैं, जिसके परिणामस्वरूप MEAZO का प्रस्ताव दिया गया है, जो ग्लोबल स्टेप साइज एडाप्टेशन के लिए केवल एक एकल स्केलर को ट्रैक करता है और प्रदर्शन के साथ मेल खाते हुए मजबूती (robustness) में सुधार करता है।

मूल लेखक: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On Adaptivity in Zeroth-Order Optimization" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

मुख्य विचार: बिना मैनुअल के एक विशाल रेडियो को ट्यून करना

कल्पना कीजिए कि आपके पास एक बहुत बड़ा, जटिल रेडियो है जिसमें लाखों नॉब्स (ये एक लार्ज लैंग्वेज मॉडल (LLM) के "पैरामीटर्स" हैं) हैं। आप इसे एक विशिष्ट गाना पूरी तरह से बजाने के लिए ट्यून करना चाहते हैं (मॉडल को फाइन-ट्यून करना)।

आमतौर पर, रेडियो को ट्यून करने के लिए आपको एक मैनुअल की आवश्यकता होती है जो आपको बताता है कि प्रत्येक नॉब को किस दिशा में और कितना घुमाना है। AI में, यह मैनुअल ग्रेडिएंट (gradient) कहलाता है। इस मैनुअल की गणना करने के लिए बहुत अधिक मेमोरी और कंप्यूटिंग पावर की आवश्यकता होती है, जो महंगी और धीमी है।

ज़ीरोथ-ऑर्डर (Zeroth-Order - ZO) ऑप्टिमाइज़ेशन एक चतुर ट्रिक है: मैनुअल पढ़ने के बजाय, आप बस नॉब्स को रैंडम तरीके से थोड़ा सा हिलाते हैं, परिणाम सुनते हैं, और देखते हैं कि संगीत बेहतर हुआ या खराब। आप दिशा का अनुमान लगाने के लिए नॉब्स को आगे और पीछे धकेलते हैं। यह मेमोरी के मामले में बहुत सस्ता है, लेकिन यह "नॉइज़ी" (noisy) है क्योंकि आप केवल अंदाज़ा लगा रहे हैं।

समस्या: "ओवर-इंजीनियर्ड" कंपास

लंबे समय तक, शोधकर्ताओं ने सोचा कि क्योंकि यह अंदाज़ा लगाने वाला खेल शोर भरा (noisy) है, इसलिए आपको एक सुपर-स्मार्ट, भारी मेमोरी वाले कंपास की आवश्यकता है जो आपकी मदद कर सके। यही एडेप्टिव ऑप्टिमाइज़र्स (Adaptive Optimizers) (जैसे ZO-Adam) करते हैं। वे हर एक नॉब के इतिहास को याद रखने की कोशिश करते हैं ताकि यह तय किया जा सके कि उसे कितनी तेज़ी से घुमाना है। वे हर एक लाखों नॉब्स के लिए एक अलग "मेमोरी लॉग" रखते हैं।

पेपर की बड़ी खोज:
लेखकों ने पाया कि हाई-डायमेंशनल सेटिंग्स (जैसे विशाल AI मॉडल) में, यह सुपर-स्मार्ट कंपास वास्तव में बेकार है।

उपमा (Analogy): कल्पना कीजिए कि आप एक धुंधले खेत में घाटी के निचले हिस्से को खोजने की कोशिश कर रहे हैं।
- फर्स्ट-ऑर्डर (मानक AI): आपके पास एक स्पष्ट नक्शा है जो दिखाता है कि ज़मीन बाईं ओर तेज़ी से ढलान वाली है लेकिन दाईं ओर समतल है। आपको हर दिशा के लिए अलग रणनीति की आवश्यकता है।
- ज़ीरोथ-ऑर्डर (अंदाज़ा लगाने का खेल): क्योंकि आप एक विशाल, धुंधले स्थान में रैंडम तरीके से नॉब्स हिलाकर अंदाज़ा लगा रहे हैं, इसलिए आपके अंदाज़ का "शोर" इतना तेज़ है कि वह ज़मीन के विवरण को दबा देता है। सिग्नल हर दिशा में एक जैसा दिखता है। यह ऐसा है जैसे धुंध इतनी घनी है कि ज़मीन हर दिशा में बिल्कुल समतल और एक समान दिख रही है।
परिणाम: क्योंकि "टेरेन" (terrain) हर दिशा में एक जैसा दिखता है, इसलिए हर एक नॉब के लिए अलग मेमोरी लॉग रखना समय और मेमोरी की बर्बादी है। फैंसी "एडेप्टिव" तरीके (ZO-Adam) आपको साधारण तरीके (ZO-SGD) की तुलना में घाटी के नीचे पहुँचने में वास्तव में तेज़ी से मदद नहीं करते हैं। वास्तव में, वे आपके बैग को और भारी बना देते हैं।

समाधान: MEAZO (मिनिमलिस्टिक कंपास)

चूंकि फैंसी कंपास अनावश्यक है, इसलिए लेखकों ने MEAZO नामक एक नया टूल बनाया है।

यह कैसे काम करता है: हर एक नॉब के लिए लाखों व्यक्तिगत लॉग ट्रैक करने के बजाय, MEAZO पूरे समूह के लिए केवल एक एकल संख्या (single number) को ट्रैक करता है। यह पूछता है, "जब हमने सब कुछ थोड़ा सा हिलाया, तो औसतन संगीत में कितना बदलाव आया?"
लाभ: यह एडेप्टिव मेथड के "स्मार्ट" हिस्से को बनाए रखता है (यह समझना कि ज़मीन कितनी ऊबड़-खाबड़ महसूस हो रही है उसके आधार पर धक्का देने की गति को समायोजित करना) लेकिन भारी बोझ को हटा देता है।
उपमा: कल्पना कीजिए कि आप हाइकिंग कर रहे हैं।
- ZO-Adam: आप अपने हर कदम के लिए एक GPS, बैरोमीटर, कंपास और एक विस्तृत नक्शा साथ रखते हैं। यह भारी है, और आप थक जाते हैं।
- ZO-SGD: आप बस आगे बढ़ते हैं। यह हल्का है, लेकिन अगर रास्ता पथरीला हो गया, तो आप लड़खड़ा सकते हैं।
- MEAZO: आप एक साधारण पेडोमीटर (pedometer) ले जाते हैं जो आपको रास्ते की औसत ढलान बताता है। यदि रास्ता पथरीला होता है, तो आप धीमे हो जाते हैं। यदि यह चिकना है, तो आप तेज़ हो जाते हैं। आपको हर पत्थर के लिए नक्शे की ज़रूरत नहीं है; आपको बस रास्ते के सामान्य मिजाज को जानने की ज़रूरत है।

प्रयोगों ने क्या दिखाया

टीम ने वास्तविक लार्ज लैंग्वेज मॉडल्स (जैसे Llama और Qwen) और सिंथेटिक गणितीय समस्याओं पर इसका परीक्षण किया।

प्रदर्शन (Performance): जब उन्होंने सेटिंग्स को सही ढंग से ट्यून किया, तो साधारण तरीका (ZO-SGD) फैंसी तरीके (ZO-Adam) के समान ही प्रदर्शन करता है।
मेमोरी (Memory): MEAZO ने साधारण तरीके की तरह ही बहुत कम मेमोरी का उपयोग किया, जबकि फैंसी तरीके ने बहुत अधिक मेमोरी का उपयोग किया।
मजबूती (Robustness - "सेफ्टी नेट"): यह सबसे महत्वपूर्ण खोज है। जबकि साधारण तरीका तब बहुत अच्छा काम करता है जब आप परफेक्ट चलने की गति चुनते हैं, लेकिन यदि आप गति बहुत तेज़ या बहुत धीमी चुन लेते हैं, तो यह विफल हो जाता है। फैंसी तरीके (और MEAZO) बहुत अधिक सहिष्णु (forgiving) हैं। यदि आप एक "खराब" गति चुनते हैं, तो भी MEAZO आपको बिना क्रैश हुए गंतव्य तक पहुँचा देता है। यह एक ऐसी कार की तरह है जिसमें क्रूज़ कंट्रोल है जो पहाड़ियों के अनुसार खुद को एडजस्ट करता है, जबकि साधारण कार एक निश्चित गति पर चलती रहती है और किसी झटके से टकरा सकती है।

सारांश

मिथक: "हमें ज़ीरोथ-ऑर्डर AI ट्रेनिंग को अच्छी तरह से चलाने के लिए जटिल, मेमोरी-भारी एडेप्टिव टूल्स की आवश्यकता है।"
वास्तविकता: हाई-डायमेंशनल AI मॉडल्स में, शोर (noise) टेरेन को एक समान बना देता है, इसलिए जटिल टूल्स मेमोरी की बर्बादी हैं।
समाधान: MEAZO एक नया टूल है जो लाखों के बजाय केवल एक ग्लोबल नंबर को ट्रैक करता है। यह बहुत कम मेमोरी का उपयोग करता है (साधारण तरीके की तरह) लेकिन यह सेटिंग्स के मामले में बहुत स्थिर और सहिष्णु है (जटिल तरीके की तरह)।

यह शोधकर्ताओं को सीमित मेमोरी वाले उपकरणों (जैसे एज डिवाइसेस) पर विशाल AI मॉडल्स को फाइन-ट्यून करने की अनुमति देता है, बिना सुपरकंप्यूटरों की आवश्यकता के, जबकि उन्हें स्थिर और उच्च-गुणवत्ता वाले परिणाम मिलते हैं।

तकनीकी सारांश: ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन में एडेप्टिविटी पर

समस्या विवरण

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की मेमोरी-सीमित फाइन-ट्यूनिंग की चुनौती को संबोधित करता है। जबकि बैकप्रोपैगेशन फाइन-ट्यूनिंग के लिए मानक है, इसके लिए एक्टिवेशन कैशिंग और हाई-प्रिसिजन फ्लोटिंग-पॉइंट ऑपरेशन्स के लिए महत्वपूर्ण मेमोरी की आवश्यकता होती है। ज़ीरोथ-ऑर्डर (ZO) ऑप्टिमाइज़ेशन एक मेमोरी-कुशल विकल्प के रूप में उभरा है, जो रैंडमली पर्सर्बड पैरामीटर्स पर फॉरवर्ड पासेस के माध्यम से ग्रेडिएंट्स का अनुमान लगाता है। हालाँकि, ZO मेथड्स में वेरिएंस (विचलन) अधिक होता है, जिससे फर्स्ट-ऑर्डर (FO) मेथड्स की तुलना में कन्वर्जेंस धीमा हो जाता है।

हाल के कार्यों ने इस वेरिएंस को कम करने के लिए एडेप्टिव ZO ऑप्टिमाइज़र्स (जैसे, ZO-Adam) पेश करके प्रयास किया है, जो प्रति-कोऑर्डिनेट ग्रेडिएंट्स के फर्स्ट और सेकंड मोमेंट्स को ट्रैक करके FO एडेप्टिव मेथड्स की नकल करते हैं। लेखक इस दृष्टिकोण की प्रभावकारिता पर सवाल उठाते हैं, और यह परिकल्पना करते हैं कि एडेप्टिव मेथड्स को सफल होने के लिए आवश्यक कोऑर्डिनेट-वाइज हेटेरोजेनिटी (विषमता) उच्च-आयामी (high-dimensional) ZO सेटिंग्स में अनुपस्थित हो सकती है।

कार्यप्रणाली और विश्लेषण

ZO ग्रेडिएंट्स का सैद्धांतिक विश्लेषण

लेखक उच्च आयामों में ZO ग्रेडिएंट एस्टिमेटर्स के सांख्यिकीय गुणों का विश्लेषण करते हैं। वे प्रदर्शित करते हैं कि रैंडम पर्सर्बेशन की आइसोट्रोपिक प्रकृति के कारण, ZO ग्रेडिएंट एस्टिमेट्स में वह कोऑर्डिनेट-वाइज हेटेरोजेनिटी नहीं होती है जो FO ग्रेडिएंट्स में पाई जाती है।

प्रपोजिशन 3.1: लेखक सिद्ध करते हैं कि अपेक्षित स्क्वेर्ड ZO ग्रेडिएंट, व्यक्तिगत कोऑर्डिनेट वैल्यू के बजाय वास्तविक ग्रेडिएंट के स्क्वेर्ड नॉर्म पर निर्भर एक ग्लोबल टर्म द्वारा डोमिनेट होता है। विशेष रूप से, एस्टिमेटर द्वारा पेश किया गया बायस $1/q$ के साथ स्केल होता है (जहाँ $q$ शोर के नमूनों की संख्या है) और उच्च आयामों में कोऑर्डिनेट-अज्ञेय (coordinate-agnostic) हो जाता है ( $q \ll d$ )।
निहितार्थ: एडेप्टिव मैकेनिज्म जो प्रति-कोऑर्डिनेट सांख्यिकी को ट्रैक करते हैं (जैसे Adam का सेकंड मोमेंट), ZO ग्रेडिएंट्स की अंतर्निहित सांख्यिकी के साथ संरेखित नहीं होते हैं, जिससे वे बिना कन्वर्जेंस लाभ प्रदान किए मेमोरी-अकुशल बन जाते हैं।

प्रस्तावित विधि: MEAZO

इस अंतर्दृष्टि का लाभ उठाते हुए कि ग्लोबल स्टेप साइज एडेप्टेशन पर्याप्त है, लेखक MEAZO (मेमोरी-एफिशिएंट एडेप्टिव ज़ीरोथ-ऑर्डर ऑप्टिमाइज़र) का प्रस्ताव करते हैं।

डिज़ाइन: ZO-Adam के विपरीत, जो प्रत्येक पैरामीटर के लिए सेकंड मोमेंट्स का एक वेक्टर बनाए रखता है, MEAZO केवल एक सिंगल स्केलर को ट्रैक करता है जो प्रोजेक्टेड ग्रेडिएंट के ग्लोबल स्क्वेर्ड नॉर्म को दर्शाता है।
अपडेट रूल: अपडेट इस स्केलर द्वारा ग्लोबल स्टेप साइज को स्केल करता है, जो प्रति-पैरामीटर मेमोरी ओवरहेड के बिना ग्लोबल कर्वेचर के आधार पर लर्निंग रेट को एडेप्ट करता है।
ग्रुपेड एक्सटेंशन: MEAZO स्वाभाविक रूप से ग्रुपेड (ब्लॉक-कोऑर्डिनेट) ZO सेटिंग्स में विस्तारित होता है, जो प्रति-पैरामीटर के बजाय प्रति-ब्लॉक एक स्केलर बनाए रखता है, जिससे मेमोरी और कम होती है और ब्लॉक-लेवल हेटेरोजेनिटी को कैप्चर किया जाता है।

सैद्धांतिक गारंटी

लेखक मानक धारणाओं (L-स्मूथनेस, बाउंडेड वेरिएंस, बाउंडेड ग्रेडिएंट्स) के तहत MEAZO के लिए औपचारिक कन्वर्जेंस गारंटी प्रदान करते हैं।

विश्लेषण ZO ग्रेडिएंट को एक स्मूदन ऑब्जेक्टिव फंक्शन के अनबायस्ड एस्टिमेटर के रूप में मानता है।
थ्योरम 4.7: MEAZO के लिए एक कन्वर्जेंस रेट स्थापित करता है जो एफ़ाइन वेरिएंस बाउंड्स की उपस्थिति में एडेप्टिव SGD के मानक दरों से मेल खाता है। कन्वर्जेंस रेट $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$ के रूप में दिखाया गया है, जो पुष्टि करता है कि विधि एक स्टेशनरी पॉइंट तक कन्वर्ज होती है जिसका नॉइज़ नेबरहुड साइज़ नमूनों की संख्या $q$ और पर्सर्बेशन मैग्नीट्यूड $\epsilon$ पर निर्भर करता है।

प्रयोगात्मक परिणाम

सिंथेटिक प्रयोग

सेकंड मोमेंट व्यवहार: सिंथेटिक क्वाड्रेटिक समस्याओं में, लेखक देखते हैं कि जैसे-जैसे डाइमेंशनलिटी बढ़ती है, ZO-Adam का सेकंड-मोमेंट वेक्टर एक सिंगल वैल्यू (ग्लोबल नॉर्म) में कोलैप्स हो जाता है, जबकि FO-Adam विशिष्ट कोऑर्डिनेट-वाइज वैल्यू बनाए रखता है। यह अनुभवजन्य रूप से उस सैद्धांतिक दावे को मान्य करता है कि उच्च-आयामी ZO सेटिंग्स में प्रति-कोऑर्डिनेट एडेप्टिविटी अनावश्यक है।
मजबूती (Robustness): MEAZO, स्टेप साइज के चयन के मामले में ZO-SGD की तुलना में बेहतर मजबूती प्रदर्शित करता है, विशेष रूप से हेटेरोजेनियस ब्लॉक-स्ट्रक्चर्ड सेटिंग्स में, जो ZO-Adam की स्थिरता से मेल खाता है।

LLM फाइन-ट्यूनिंग

Llama-3.2, Qwen-3, Ministral जैसे कई मॉडल परिवारों और XSum, SST-2, SQuAD जैसे कार्यों पर दोनों LoRA और प्रॉम्प्ट ट्यूनिंग का उपयोग करके प्रयोग किए गए।

परफॉरमेंस बनाम मेमोरी:
- ZO-SGD बनाम ZO-Adam: उचित स्टेप साइज ट्यूनिंग के साथ, ZO-SGD हाई-डायमेंशनल LoRA फाइन-ट्यूनिंग में ZO-Adam के बराबर या उससे बेहतर प्रदर्शन करता है, जो पुष्टि करता है कि कोऑर्डिनेट-वाइज एडेप्टिविटी सीमित लाभ देती है।
- MEAZO परफॉरमेंस: MEAZO, ZO-Adam के समान प्रदर्शन प्राप्त करता है लेकिन इसका मेमोरी फुटप्रिंट ZO-SGD के बराबर होता है (एक पूर्ण वेक्टर के बजाय एक सिंगल स्केलर को ट्रैक करना)।
मजबूती: जबकि अच्छी तरह से ट्यून किया गया ZO-SGD अच्छा प्रदर्शन करता है, यह सब-ऑप्टिमल स्टेप साइजेस के प्रति नाजुक (brittle) है। MEZAO, बिना मेमोरी लागत के, एडेप्टिव मेथड्स की मजबूती (स्थिर लर्निंग रेट विंडो को चौड़ा करना) को बनाए रखता है।
ग्रुपेड सेटिंग्स: ग्रुपेड ZO सेटिंग्स में, MEAZO ग्रुप-विशिष्ट सांख्यिकी के अनुकूल होता है (जैसे, उच्च संवेदनशीलता दिखाने वाले शुरुआती लेयर्स), जिससे यह सुनिश्चित होता है कि जहाँ ग्रुपेड ZO-SGD डाइवर्ज हो सकता है, वहाँ भी स्थिर कन्वर्जेंस बना रहे।

मुख्य योगदान

सैद्धांतिक अंतर्दृष्टि: यह पेपर स्थापित करता है कि उच्च आयामों में ZO ग्रेडिएंट्स अनिवार्य रूप से होमोजेनियस होते हैं, जिससे प्रति-कोऑर्डिनेट एडेप्टिव मैकेनिज्म (जैसे ZO-Adam में) मेमोरी-अकुशल और कन्वर्जेंस के लिए सैद्धांतिक रूप से अनावश्यक हो जाते हैं।
एल्गोरिदमिक नवाचार: MEZOA का परिचय, जो एक स्केलर-आधारित एडेप्टिव ZO ऑप्टिमाइज़र है, जो नगण्य मेमोरी ओवरहेड के साथ ग्लोबल स्टेप साइज एडेप्टेशन प्राप्त करता है।
अनुभवजन्य सत्यापन: विविध LLMs और कार्यों पर व्यापक प्रयोग जो MEAZO को एडेप्टिव बेसलाइन्स (ZO-Adam) के प्रदर्शन के बराबर और नॉन-एडेप्टिव बेसलाइन्स (ZO-SGD) की मेमोरी दक्षता के साथ प्रदर्शित करते हैं।
कन्वर्जेंस विश्लेषण: नॉन-कॉन्वेक्स सेटिंग्स में MEAZO के लिए औपचारिक कन्वर्जेंस गारंटी, जो एडेप्टिव SGD थ्योरी और ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन के बीच के अंतर को पाटता है।

महत्व और दावे

लेखक दावा करते हैं कि उनका कार्य ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन में जटिल एडेप्टिव मैकेनिज्म की आवश्यकता का पुनर्मूल्यांकन करता है। उनका तर्क है कि हाई-डायमेंशनल LLM फाइन-ट्यूनिंग के लिए, एडेप्टिविटी का प्राथमिक लाभ प्रति-कोऑर्डिनेट स्केलिंग में नहीं, बल्कि ग्लोबल स्टेप साइज मजबूती में है।

MEAZO का महत्व मेमोरी-सीमित वातावरण (जैसे, एज डिवाइसेस) के इर्द-गिर्द केंद्रित है। एडेप्टिव मेथड्स की मजबूती को SGD की मेमोरी दक्षता के साथ प्राप्त करके, MEZAO सीमित संसाधनों वाले अधिक शोधकर्ताओं और चिकित्सकों को बड़े मॉडल्स को फाइन-ट्यून करने में सक्षम बनाता है। यह पेपर विनम्रतापूर्वक निष्कर्ष निकालता है कि जबकि पूरी तरह से ट्यून किया गया ZO-SGD पर्याप्त है, MEAZO एक व्यावहारिक, स्थिर और स्केलेबल विकल्प प्रदान करता है जो मेमोरी पेनल्टी के बिना स्टेप साइज चयन की भंगुरता (brittleness) को कम करता है। भविष्य के कार्यों का सुझाव सटीक स्टेशनरी पॉइंट्स तक कन्वर्जेंस को रिफाइन करने और MEAZO को सबस्पेस ZO फ्रेमवर्क तक विस्तारित करने के लिए दिया गया है।