Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
यह शोध पत्र ZO-Finetuner को प्रस्तुत करता है, जो एक लर्निंग-आधारित ज़ीरो-ऑर्डर ऑप्टिमाइज़र है जो एक मेमोरी-कुशल डिज़ाइन के माध्यम से कुशल परटर्बेशन रणनीतियों को स्वचालित रूप से सीखता है, जिससे मौजूदा स्टैटिक ज़ीरो-ऑर्डर विधियों की तुलना में विविध डाउनस्ट्रीम कार्यों में एक-बार प्रति-मॉडल प्रशिक्षण और बेहतर प्रदर्शन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से जटिल पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो लिखना, तर्क करना और बातचीत करना जानता है। आप इस पुस्तकालय को एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे कानूनी अनुबंध लिखना या गणित की समस्याओं को हल करना। इस प्रक्रिया को "फाइन-ट्यूनिंग" (fine-tuning) कहा जाता है।
आमतौर पर, इस पुस्तकालय को सिखाने में एक बहुत ही महंगी विधि शामिल होती है जिसे "बैकप्रोपैगेशन" (backpropagation) कहते हैं। इसे ऐसे समझें जैसे एक शिक्षक, छात्र द्वारा लिखे गए हर वाक्य के बाद, पूरी लाइब्रेरी में घूमता है, हर एक किताब की जाँच करता है, और यह गणना करता है कि छात्र के मस्तिष्क में ठीक से क्या बदलाव करने हैं। यह सटीक है, लेकिन इसके लिए बहुत अधिक मेमोरी और ऊर्जा की आवश्यकता होती है, जिससे अक्सर इसे मानक कंप्यूटरों पर करना असंभव हो जाता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक "ज़ीरोथ-ऑर्डर" (Zeroth-Order) विधि विकसित की (जैसे MeZO)। इस विधि में, पूरे पुस्तकालय को देखने के बजाय, एक आंखों पर पट्टी बंधी खोजकर्ता (explorer) काम करता है। खोजकर्ता एक छोटा सा अनुमान लगाता है (एक परटर्बेशन/perturbation), देखता है कि परिणाम बेहतर हुआ या बदतर, और फिर विपरीत दिशा में एक दूसरा छोटा सा अनुमान लगाता है। इन दोनों परिणामों की तुलना करके, वे बिना पूरी तस्वीर देखे यह पता लगा सकते हैं कि किस दिशा में जाना है। इससे मेमोरी की भारी बचत होती है।
समस्या: "एक ही आकार सबके लिए" वाला मानचित्र (The "One-Size-Fits-All" Map)
मौजूदा आंखों पर पट्टी बंधी खोजकर्ता एक निश्चित, यादृच्छिक (random) रणनीति का उपयोग करते हैं। वे एक मानक, उबाऊ नियम (जैसे एक निष्पक्ष पासा फेंकना) के आधार पर दिशाओं का अनुमान लगाते हैं। यह तरीका अक्षम है। कभी-कभी, पुस्तकालय में कुछ विशिष्ट "कमरे" (पैरामीटर्स के ब्लॉक्स) होते हैं जहाँ आपको बहुत सटीक होने की आवश्यकता होती है, और कुछ अन्य कमरे होते हैं जहाँ आप अधिक स्वतंत्र हो सकते हैं। एक निश्चित रणनीति को यह नहीं पता होता; यह पुस्तकालय के हर हिस्से के साथ एक जैसा व्यवहार करती है।
समाधान: ZO फाइन-ट्यूनर (एक स्मार्ट खोजकर्ता)
लेखकों ने ZO फाइन-ट्यूनर बनाया है, जो एक "सीखने के लिए सीखने वाला" (learning-to-learn) सिस्टम है। एक निश्चित नियम का उपयोग करने के बजाय, उन्होंने एक छोटा, अत्यंत कुशल "कोच" (एक छोटा न्यूरल नेटवर्क) प्रशिक्षित किया ताकि वह आंखों पर पट्टी बंधे खोजकर्ता को बेहतर अनुमान लगाने के तरीके सिखा सके।
यह इस प्रकार काम करता है, यहाँ कुछ उपमाओं (analogies) का उपयोग किया गया है:
कोच (ZO फाइन-ट्यूनर): कल्पना कीजिए कि एक कोच है जो खोजकर्ता को देखता है। कोच को पूरे पुस्तकालय को देखने की आवश्यकता नहीं है। इसके बजाय, कोच कुछ सरल आँकड़ों को देखता है: "अभी यह कमरा कितना अस्त-व्यस्त है?" और "क्या पिछले अनुमान से मदद मिली या नुकसान हुआ?" इसके आधार पर, कोच खोजकर्ता को बताता है: "इस विशिष्ट कमरे में, एक बड़ा, साहसी कदम उठाओ। उस दूसरे कमरे में, एक छोटा, सावधानी भरा कदम उठाओ।"
ब्लॉक रणनीति (The Block Strategy): पुस्तकालय बहुत विशाल है (अरबों पैरामीटर्स)। यदि कोच हर एक किताब के लिए व्यक्तिगत रूप से निर्देश देने की कोशिश करता, तो यह बहुत धीमा और मेमोरी-भारी हो जाता। हालाँकि, शोधकर्ताओं ने देखा कि पुस्तकालय "ब्लॉक्स" (किताबों के खंडों की तरह) में व्यवस्थित है। कोच एक ही निर्देश को एक पूरे ब्लॉक के लिए देने के लिए सीखता है। यह एक कोच की तरह है जो खिलाड़ियों की पूरी टीम को एक साथ कैसे आगे बढ़ना है, यह बताता है, न कि हर एक खिलाड़ी पर चिल्लाकर निर्देश देता है। यह मेमोरी के उपयोग को बहुत कम रखता है।
"एक बार प्रशिक्षित करें, व्यापक रूप से पुन: उपयोग करें" का जादू (The "Train Once, Reuse Widely" Magic): आमतौर पर, आपको हर नए कार्य के लिए एक नया कोच प्रशिक्षित करना पड़ता है। लेकिन लेखकों ने कुछ अद्भुत पाया: पुस्तकालय का "आकार" बहुत अधिक नहीं बदलता है, चाहे आप इसे गणित सिखा रहे हों या कहानियाँ लिख रहे हों। इसलिए, उन्होंने कोच को एक बार एक एकल डेटासेट (COPA) पर प्रशिक्षित किया। फिर, उन्होंने उसी कोच को पुस्तकालय को पूरी तरह से अलग कार्यों (जैसे सेंटीमेंट एनालिसिस या रीडिंग कॉम्प्रिहेन्शन) और यहाँ तक कि पुस्तकालय के विभिन्न संस्करणों को सिखाने के लिए भेजा।
- परिणाम: एक कार्य पर प्रशिक्षित कोच अन्य सभी कार्यों पर आश्चर्यजनक रूप से अच्छा काम करता है। यह एक ड्राइवर को एक विशिष्ट ट्रैक पर प्रशिक्षित करने जैसा है, और फिर उसे बिना किसी नए अभ्यास के पूरी तरह से अलग हाईवे पर कुशलता से चलाने के योग्य बनाना।
परिणाम
उन्होंने इसे चार अलग-अलग लार्ज लैंग्वेज मॉडल्स और सात अलग-अलग कार्यों पर परखा।
- प्रदर्शन (Performance): लगभग 82% मामलों में, यह नया "स्मार्ट खोजकर्ता" पुराने "निश्चित नियम" वाले खोजकर्ताओं की तुलना में बेहतर परिणाम तेज़ी से प्राप्त करता है।
- दक्षता (Efficiency): इसके लिए बहुत अधिक अतिरिक्त मेमोरी की आवश्यकता नहीं थी। "कोच" स्वयं इतना छोटा है (30-बिलियन पैरामीटर वाले मॉडल के लिए 2MB से भी कम) कि यह 60GB के विश्वकोश में नोट्स के एक एकल पृष्ठ जोड़ने जैसा है।
- स्थिरता (Stability): नया तरीका "लर्निंग रेट" (कितने बड़े कदम लेने हैं) के प्रति भी कम संवेदनशील था। भले ही आप इसे बड़े कदम उठाने के लिए कहें, यह पुराने तरीकों की तरह आसानी से क्रैश नहीं होता है।
संक्षेप में
यह पेपर एक तरीका पेश करता है जिससे विशाल AI मॉडल्स को बिना सुपरकंप्यूटर की आवश्यकता के नए कौशल सिखाए जा सकते हैं। उन्होंने एक कठोर, यादृच्छिक अनुमान लगाने वाली रणनीति को एक छोटे, स्मार्ट कोच से बदल दिया है जो मॉडल के विभिन्न हिस्सों के लिए सही दिशा का अनुमान लगाना सीखता है। एक बार जब यह कोच एक कार्य के लिए प्रशिक्षित हो जाता है, तो इसे कुशलतापूर्वक कई अन्य कार्यों को सिखाने के लिए पुन: उपयोग किया जा सकता है, जिससे समय और कंप्यूटर मेमोरी दोनों की बचत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।