🤖 machine learning

Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective

यह शोधपत्र यह प्रदर्शित करके बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) को फाइन-ट्यून करने में ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन की सफलता के विरोधाभास को हल करता है कि इसकी लर्निंग डायनेमिक्स एक एम्पिरिकल न्यूरल टैजेंट कर्नेल द्वारा नियंत्रित होती है जिसका एप्रोक्सिमेशन एरर मॉडल आउटपुट के आकार पर निर्भर करता है न कि विशाल पैरामीटर आयाम पर, जिससे इसकी स्केलेबिलिटी की व्याख्या होती है।

मूल लेखक: Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective" का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है:

सबसे बड़ा रहस्य: "अंधा" बनाम "दृष्टि वाला"

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह एक AI मॉडल को प्रशिक्षित करने का लक्ष्य है)।

फर्स्ट-ऑर्डर (FO) मेथड्स: ये एक ऐसे हाइकर (हाइकर) की तरह हैं जिसके पास कम्पास और एक नक्शा है। वे ठीक देख सकते हैं कि "नीचे" जाने का रास्ता किस ओर है (ग्रेडिएंट) और सीधे वहीं चल सकते हैं। यह तेज़ और कुशल है, लेकिन इसके लिए एक भारी नक्शा साथ ले जाने की ज़रूरत होती है (ग्रेडिएंट की गणना करना), जो तब असंभव हो जाता है जब घाटी बहुत बड़ी हो या आप किसी ऐसे "ब्लैक बॉक्स" में हों जहाँ आप नक्शा नहीं देख सकते।
ज़ीरोथ-ऑर्डर (ZO) मेथड्स: ये एक अंधे हाइकर की तरह हैं। उनके पास कोई कम्पास नहीं है। इसके बजाय, वे एक छोटा कदम आगे बढ़ाते हैं, देखते हैं कि क्या वे नीचे आए हैं, फिर एक कदम पीछे लेते हैं, और फिर से जाँच करते हैं। इन दो बिंदुओं की तुलना करके, वे अंदाज़ा लगाते हैं कि नीचे जाने का रास्ता किस ओर है। यह "मेमोरी-एफिशिएंट" है क्योंकि उन्हें भारी नक्शे की ज़रूरत नहीं है, लेकिन पारंपरिक गणित कहता है कि यह अविश्वसनीय रूप से धीमा होना चाहिए, खासकर यदि घाटी बहुत विशाल हो (उच्च-आयामी/high-dimensional)।

विरोधाभास (The Paradox):
वर्षों तक, गणित की किताबों ने हमें बताया कि यदि घाटी बहुत बड़ी है (जैसे अरबों पैरामीटर्स वाले आधुनिक लार्ज लैंग्वेज मॉडल्स), तो "अंधा हाइकर" (ZO) निचले बिंदु तक पहुँचने में बहुत समय लेगा। फिर भी, वास्तविक दुनिया में, शोधकर्ताओं ने इन विशाल मॉडल्स को फाइन-ट्यून करने के लिए इस "अंधे" तरीके का सफलतापूर्वक उपयोग किया है। यह कैसे संभव है?

पेपर का समाधान: "परछाई" का उदाहरण (The Shadow Analogy)

लेखक इस रहस्य को समस्या को "किए गए कदमों" के नज़रिए से नहीं, बल्कि "लर्निंग डायनेमिक्स" (मॉडल का आत्मविश्वास कैसे बदलता है) के नज़रिए से देखकर हल करते हैं।

वे न्यूरल टेंगेंट कर्नेल (eNTK) नामक एक टूल का उपयोग करते हैं। eNTK को मॉडल की सीखने की प्रक्रिया द्वारा डाली गई एक परछाई के रूप में समझें।

"दृष्टि वाला" हाइकर (FO) इलाके की एक सटीक और विस्तृत परछाई डालता है।
"अंधा" हाइकर (ZO) एक ऐसी परछाई डालता है जो मूल वाली का एक प्रोजेक्टेड (projected), थोड़ा धुंधला संस्करण है।

पेपर का तर्क है कि "अंधा" तरीका काम करता है क्योंकि उसे पूरी विशाल घाटी देखने की ज़रूरत नहीं है ताकि एक उपयोगी परछाई डाली जा सके। उसे बस दुनिया के एक रैंडम, लो-डायमेंशनल स्लाइस (low-dimensional slice) पर अपनी परछाई प्रोजेक्ट करने की आवश्यकता है।

जादू का नुस्खा: "जॉनसन-लिंडेनस्ट्रॉस" (Johnson-Lindenstrauss) लेम्मा

यह पेपर एक गणितीय अवधारणा जॉनसन-लिंडेनस्ट्रॉस (JL) लेम्मा पर आधारित है। यहाँ इसका उदाहरण है:

कल्पना कीजिए कि आपके पास एक विशाल, जटिल 3D मूर्ति है (वह मॉडल जिसमें अरबों पैरामीटर्स हैं)। आप उसकी फोटो लेना चाहते हैं, लेकिन आपका कैमरा केवल 2D तस्वीरें ले सकता है।

पुराना सिद्धांत: आपको लगा कि अच्छी फोटो पाने के लिए आपको उस मूर्ति के आकार के बराबर सेंसर वाला कैमरा चाहिए। यदि मूर्ति बहुत बड़ी है, तो फोटो धुंधली और बेकार होगी।
पेपर का अंतर्दندیش (Insight): JL लेम्मा कहता है कि यदि आप एक रैंडम एंगल (random angle) से फोटो लेते हैं, तो आप वास्तव में मूर्ति के अनिवार्य संबंधों (essential relationships) को पूरी तरह से कैप्चर कर सकते हैं, भले ही वह फोटो मूर्ति से बहुत छोटी हो।

मुख्य खोज:
इस "अंधे" फोटो (ZO लर्निंग) की गुणवत्ता इस बात पर निर्भर करती है कि आप कितने रैंडम एंगल्स (perturbations) लेते हैं, न कि इस पर कि मूर्ति कितनी बड़ी है।

"परटर्बेशन्स" (P): यह उन बारों की संख्या है जब अंधा हाइकर दिशा का अंदाज़ा लगाने के लिए ज़मीन को छूता या टटोलता है।
"आउटपुट साइज़" (V): यह अंतिम उत्तर का आकार है जो मॉडल देता है (जैसे, लैंग्वेज मॉडल का वोकैबुलरी साइज़)।

पेपर यह सिद्ध करता है कि जब तक आप ज़मीन को पर्याप्त बार टटोलते हैं (P को बढ़ाते हैं), तब तक अंधे हाइकर का रास्ता दृष्टि वाले हाइकर के रास्ते के लगभग समान दिखेगा। महत्वपूर्ण बात यह है कि कितने बार टटोलने की आवश्यकता है, यह उत्तर के आकार (V) पर निर्भर करता है, न कि मॉडल के आकार (d) पर।

तीन मुख्य निष्कर्ष

साइज नहीं, टटोलने की संख्या गिनें:
"अंधे" तरीके की सफलता AI मॉडल के विशाल आकार (जो अरबों पैरामीटर्स का हो सकता है) के बारे में नहीं है। यह आपके द्वारा किए गए रैंडम अंदाज़ों (perturbations) की संख्या के बारे में है। यदि आप पर्याप्त अंदाज़ लगाते हैं, तो मॉडल उतना ही अच्छा सीखता है जितना कि नक्शा होने पर सीखता।
अंदाज़ का आकार मायने नहीं रखता:
क्या इससे फर्क पड़ता है कि अंधा हाइकर ज़मीन को एक स्मूथ, निरंतर घेरे (Gaussian distribution) में टटोलता है या तीखे, बाइनरी जंप्स (Rademacher distribution) में? पेपर दिखाता है कि इससे ज़्यादा फर्क नहीं पड़ता। दोनों लगभग समान रूप से काम करते हैं। "अंधा" तरीका मज़बूत (robust) है; जब तक पर्याप्त शोर (noise) मौजूद है, इसे शोर के विशिष्ट आकार की परवाह नहीं है।
यह विशाल मॉडल्स पर क्यों काम करता है:
यह समझाता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) पर ZO क्यों काम करता है। भले ही मॉडल में अरबों पैरामीटर्स (एक विशाल d) हों, लेकिन उसका आउटपुट वोकैबुलरी साइज़ अपेक्षाकृत छोटा (एक मध्यम V) होता है। क्योंकि अंधे तरीके की सटीकता V पर निर्भर करती है न कि d पर, यह सबसे बड़े मॉडल्स के लिए भी कुशल और प्रभावी बना रहता है।

निचोड़ (The Bottom Line)

यह पेपर कहानी बदल देता है। यह कहता है कि "डाइमेंशनलिटी का अभिशाप" (यह विचार कि बड़े मॉडल्स के लिए अंधे तरीके बहुत कठिन हैं) एक मिथक है, जब आप लर्निंग प्रोसेस को सही ढंग से देखते हैं।

लर्निंग प्रोसेस को एक जियोमेट्रिक प्रोजेक्शन के रूप में देखते हुए, लेखक दिखाते हैं कि एक "अंधा" ऑप्टिमाइज़र भी "दृष्टि वाले" ऑप्टिमाइज़र की तरह प्रभावी ढंग से सीख सकता है, बशर्ते आप उसे पर्याप्त रैंडम सैंपल्स दें। यह पहाड़ के आकार के बारे में नहीं है; यह इस बारे में है कि आप उसे कितने अलग-अलग कोणों से देखते हैं।

तकनीकी सारांश: ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन की लर्निंग डायनेमिक्स: एक कर्नेल परिप्रेक्ष्य

समस्या विवरण (Problem Statement)

शास्त्रीय अनुकूलन सिद्धांत (Classical optimization theory) का मानना है कि ज़ीरोथ-ऑर्डर (ZO) एल्गोरिदम "आयाम के अभिशाप" (curse of dimensionality) से ग्रस्त होते हैं, जहाँ अभिसरण दर (convergence rates) मॉडल आयाम $d$ के साथ रैखिक रूप से स्केल करती है। यह सैद्धांतिक सीमा यह सुझाव देती है कि ZO विधियाँ अत्यधिक धीमी होनी चाहिए, जो अरबों पैरामीटर्स वाले लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे उच्च-आयामी मॉडल्स के लिए अव्यवहार्य हैं। हालाँकि, हालिया अनुभवजन्य सफलताएँ (empirical breakthroughs) इस निराशावादी दृष्टिकोण का खंडन करती हैं, जो दर्शाती हैं कि ZO विधियाँ फर्स्ट-ऑर्डर (FO) विधियों के प्रतिस्पर्धी प्रदर्शन के साथ LLMs को सफलतापूर्वक फाइन-ट्यून कर सकती हैं। इस शोध पत्र द्वारा संबोधित मुख्य समस्या इस विरोधाभास को सुलझाना है: ZO विधियाँ विशाल पैरामीटर स्पेस में इतनी प्रभावी ढंग से क्यों स्केल करती हैं, जबकि सैद्धांतिक सीमाएँ इसके विपरीत सुझाव देती हैं?

कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा प्रस्तावित करते हैं जो केवल पैरामीटर-स्पेस अभिसरण या स्केलर लॉस वैल्यू पर ध्यान केंद्रित करने के बजाय, लर्निंग डायनेमिक्स और एम्पिरिकल न्यूरल टेंगेंट कर्नेल (eNTK) के लेंस के माध्यम से ZO ऑप्टिमाइज़ेशन का विश्लेषण करता है।

ZO लर्निंग डायनेमिक्स का व्युत्पत्ति (Derivation of ZO Learning Dynamics): शोध पत्र ZO स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) की वन-स्टेप लर्निंग डायनेमिक्स को व्युत्पन्न करता है। मॉडल प्रेडिक्शन के लॉग-प्रोबेबिलिटी पर टेलर एक्सपेंशन लागू करके, लेखक दिखाते हैं कि अपडेट नियम एक प्रोजेक्टेड eNTK द्वारा नियंत्रित होता है।
कर्नेल प्रोजेक्शन फॉर्मूलेशन (Kernel Projection Formulation): मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि ZO ऑप्टिमाइज़ेशन द्वारा प्रेरित प्रभावी कर्नेल (जिसे ZO-eNTK कहा जाता है) रैंडम लो-डायमेंशनल सबस्पेस का एक ज्यामितीय प्रोजेक्शन है, जो पर्सर्बेशन वेक्टर्स (perturbation vectors) द्वारा स्पैन किया गया है।
जॉनसन-लिंडेनस्ट्रॉस (JL) लेम्मा का अनुप्रयोग: लेखक इस प्रोजेक्शन की शुद्धता का विश्लेषण करने के लिए जॉनसन-लिंडेनस्ट्रॉस लेम्मा का उपयोग करते हैं। वे यह स्थापित करते हैं कि ZO-eNTK और वास्तविक FO-eNTK के बीच एप्रोक्सिमेशन एरर, उच्च-आयामी स्पेस में इनर प्रोडक्ट्स के संरक्षण पर निर्भर करता है।
सैद्धांतिक सीमाएँ (Theoretical Bounds): विश्लेषण कठोर सीमाएँ (bounds) व्युत्पन्न करता है जो दिखाते हैं कि एप्रोक्सिमेशन एरर $\epsilon$ , $O(\sqrt{\ln V / P})$ के रूप में स्केल करता है, जहाँ $V$ आउटपुट वोकैबुलरी साइज है और $P$ पर्सर्बेशन की संख्या है। महत्वपूर्ण रूप से, यह सीमा मॉडल के विशाल पैरामीटर आयाम $d$ से स्वतंत्र है।
अनुभवजन्य सत्यापन (Empirical Validation): इस ढांचे को निम्नलिखित के माध्यम से सत्यापित किया गया है:
- LeNet (MNIST): हीटमैप्स और फ्रोबेनियस नॉर्म एरर का उपयोग करके $P$ के बढ़ने के साथ ZO-eNTK के FO-eNTK में अभिसरण को विज़ुअलाइज़ करना।
- OPT मॉडल्स (SST-2): $d$ की स्वतंत्रता को सत्यापित करने के लिए 125M से 1.3B पैरामीटर्स तक के मॉडल्स का परीक्षण।
- डिस्ट्रीब्यूशन तुलना: गॉसियन (Gaussian) और रेडरमेकर (Rademacher) पर्सर्बेशन डिस्ट्रीब्यूशन की तुलना।

मुख्य योगदान (Key Contributions)

1. ZO विरोधाभास का सैद्धांतिक समाधान

यह शोध पत्र LLMs के लिए ZO विधियों की स्केलेबिलिटी के लिए एक सैद्धांतिक औचित्य प्रदान करता है। विश्लेषण को फंक्शन स्पेस (eNTK के माध्यम से) की ओर स्थानांतरित करके, लेखक प्रदर्शित करते हैं कि ZO अपडेट की शुद्धता मॉडल आयाम $d$ के बजाय आउटपुट वोकैबुलरी साइज $V$ और पर्सर्बेशन की संख्या $P$ द्वारा शासित होती है। यह "डायमेंशन-फ्री" गुण समझाता है कि क्यों ZO विधियाँ तब भी कुशल रहती हैं जब $d$ अरबों में हो।

2. पर्सर्बेशन काउंट ( $P$ ) की भूमिका

विश्लेषण पहचानता है कि पर्सर्बेशन की संख्या ही ZO-eNTK की शुद्धता को नियंत्रित करने वाला प्राथमिक कारक है। सैद्धांतिक सीमाएँ और अनुभवजन्य परिणाम दिखाते हैं कि $P$ को बढ़ाने से $O(1/\sqrt{P})$ की दर से कर्नेल एप्रोक्सिमेशन एरर कम होता है। एक बार जब $P$ , $V$ द्वारा निर्धारित थ्रेशोल्ड को पार कर जाता है, तो ZO लर्निंग ट्रजेक्टरी, FO ट्रजेक्टरी के साथ निकटता से संरेखित हो जाती है।

3. डिस्ट्रीब्यूशन रोबस्टनेस (Distribution Robustness)

शोध पत्र पर्सर्बेशन डिस्ट्रीब्यूशन (गॉसियन बनाम रेडरमेकर) के प्रभाव की जांच करता है। जबकि शास्त्रीय ऑप्टिमाइज़ेशन दृष्टिकोण अक्सर वेरिएंस रिडक्शन में अंतर का सुझाव देते हैं, कर्नेल-आधारित विश्लेषण प्रकट करता है कि JL लेम्मा के संदर्भ में दोनों डिस्ट्रीब्यूशन तुलनीय कंसन्ट्रेशन कांस्टेंट प्रदान करते हैं। अनुभवजन्य परिणाम पुष्टि करते हैं कि यदि $P$ पर्याप्त है, तो डिस्ट्रीब्यूशन के चुनाव का दीर्घकालिक अभिसरण पर नगण्य प्रभाव पड़ता है।

4. इनपुट सिमिलैरिटी सेंसिटिविटी

यह अध्ययन रेखांकित करता है कि ZO-eNTK एप्रोक्सिमेशन की अभिसरण दर इनपुट पेयर्स के बीच सिमेंटिक समानता के प्रति संवेदनशील है। उच्च समानता वाले पेयर्स (जैसे, सिमिलर डिजिट्स या टेक्स्ट) स्ट्रक्चरली भिन्न पेयर्स की तुलना में FO ग्राउंड ट्रुथ की ओर तेजी से अभिसरण करते हैं, हालांकि $P$ बढ़ने के साथ दोनों अंततः अभिसरण करते हैं।

परिणाम (Results)

eNTK का अभिसरण: LeNet पर प्रयोगों से पता चलता है कि जैसे-जैसे $P$ , 1 से 125 तक बढ़ता है, ZO-eNTK विजुअली और न्यूमेरिकली FO-eNTK की ब्लॉक-डायगोनल संरचना को रिकवर करता है। रिलेटिव फ्रोबेनियस नॉर्म एरर निरंतर घटता है।
डायमेंशन इंडिपेंडेंस: OPT मॉडल्स (125M, 350M, 1.3B) के साथ प्रयोगों में, FO डायनेमिक्स को रिकवर करने के लिए आवश्यक $P$ का थ्रेशोल्ड लगभग स्थिर रहा, भले ही मॉडल आयाम $d$ एक ऑर्डर ऑफ मैग्निट्यूड बढ़ गया हो। यह पुष्टि करता है कि लर्निंग डायनेमिक्स $d$ से अलग (decoupled) हैं।
आउटपुट साइज स्केलिंग: $V$ (2 से 1000 तक) को बदलते हुए और $P$ को स्थिर रखते हुए एक नियंत्रित सिंथेटिक प्रयोग ने दिखाया कि एप्रोक्सिमेशन एरर $\sqrt{V}$ की दर के अनुरूप बढ़ता है, जो सैद्धांतिक सीमा को मान्य करता है।
डिस्ट्रीब्यूशन पैरिटी: सभी मेट्रिक्स (फ्रोबेनियस नॉर्म, CKA, और स्पेक्ट्रल डिस्टेंस) में गॉसियन और रेडरमेकर डिस्ट्रीब्यूशन के लिए अभिसरण कर्व्स लगभग अविभेद्य थे, जो इस दावे का समर्थन करते हैं कि प्रभावी कर्नेल एप्रोक्सिमेशन के लिए सरल बाइनरी पर्सर्बेशन पर्याप्त हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र मौजूदा ऑप्टिमाइज़ेशन-केंद्रित दृष्टिकोण के पूरक के रूप में एक कर्नेल-आधारित ढांचे के माध्यम से डेरिवेटिव-फ्री लर्निंग डायनेमिक्स को समझने के लिए एक नया परिप्रेक्ष्य प्रदान करने का दावा करता है।

सैद्धांतिक औचित्य: प्राथमिक महत्व ZO फाइन-ट्यूनिंग की अनुभवजन्य सफलता के लिए एक कठोर सैद्धांतिक स्पष्टीकरण प्रदान करना है, जो खराबतम-स्थिति (worst-case) के सैद्धांतिक बाउंड्स (जो $d$ पर निर्भर हैं) और वास्तविक प्रदर्शन के बीच के अंतर को सुलझाता है।
व्यावहारिक मार्गदर्शन: निष्कर्ष बताते हैं कि चिकित्सकों को विशाल पैरामीटर काउंट $d$ की चिंता करने के बजाय, आउटपुट वोकैबुलरी साइज $V$ के सापेक्ष पर्सर्बेशन की संख्या $P$ को ट्यून करने पर ध्यान केंद्रित करना चाहिए।
सीमाएं और दायरा: लेखक विनम्रतापूर्वक नोट करते हैं कि उनका विश्लेषण "लेज़ी ट्रेनिंग" (जहाँ फीचर्स स्थिर रहते हैं) शासन पर निर्भर करता है, जो फाइन-ट्यूनिंग के लिए विशिष्ट है लेकिन स्क्रैच-फ्रॉम-जीरो ट्रेनिंग के लिए लागू नहीं हो सकता है। वे यह भी स्वीकार करते हैं कि वर्तमान ढांचा मानक सुपर्वाइज्ड फाइन-ट्यूनिंग को संबोधित करता है और इसे उन कार्यों के लिए विस्तार की आवश्यकता हो सकती है जहाँ प्रभावी आउटपुट डायमेंशन सीक्वेंस लेंथ के साथ बढ़ता है।

संक्षेप में, यह शोध पत्र तर्क देता है कि उच्च-आयामी सेटिंग्स में ZO ऑप्टिमाइज़ेशन की सफलता कोई संयोग नहीं है, बल्कि न्यूरल टेंगेंट कर्नेल के ज्यामितीय गुणों का परिणाम है, जो रैंडम प्रोजेक्शन के माध्यम से डायमेंशन-फ्री एप्रोक्सिमेशन की अनुमति देता है।