Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning
यह शोध पत्र यह प्रदर्शित करता है कि बड़े पैमाने पर प्री-ट्रेनिंग के दौरान डिके (decay) के बिना वॉर्मअप-स्टेबल-ओनली (WOS) लर्निंग रेट शेड्यूलर का उपयोग करने से डाउनस्ट्रीम सुपरवाइज्ड फाइन-ट्यूनिंग प्रदर्शन में वृद्धि होती है, क्योंकि यह फ्लैटर लॉस मिनिमा (flatter loss minima) को संरक्षित करता है, भले ही डिके-आधारित शेड्यूलर कम प्री-ट्रेनिंग लॉस प्रदान कर सकते हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र को प्रशिक्षित कर रहे हैं ताकि वह एक विश्व स्तरीय विशेषज्ञ बन सके। आपके पास दो मुख्य चरण हैं:
- विश्वविद्यालय के वर्ष (प्री-ट्रेनिंग): छात्र लाखों किताबें पढ़ता है, व्याकरण, तथ्यों और दुनिया कैसे काम करती है, यह सीखता है।
- इंटर्नशिप (फाइन-ट्यूनिंग): छात्र उस ज्ञान को विशिष्ट कार्यों में लागू करना सीखता है, जैसे कोड लिखना, चिकित्सा सलाह देना, या सख्त कंपनी नियमों का पालन करना।
वर्षों तक, "विश्वविद्यालय के वर्षों" के लिए मानक सलाह यह थी: "उच्च ऊर्जा के साथ शुरू करें, फिर धीरे-धीरे पूरी तरह से रुकने तक धीमा हो जाएं।"
AI की दुनिया में, यह "ऊर्जा" लर्निंग रेट (Learning Rate) है। मानक तरीका (जिसे कोसाइन डिके (Cosine Decay) या WSD कहा जाता है) AI को कहता है: "शुरुआत में तेजी से सीखो, लेकिन जैसे-जैसे तुम अपनी डिग्री पूरी करने के करीब पहुँचते जाओ, अपनी सीखने की गति को लगभग शून्य तक धीमा कर दो।" तर्क यह था कि धीमा होने से AI अपनी पाठ्यपुस्तकों को पूरी तरह से याद करने में सक्षम होता है, जिससे वह अपने अंतिम परीक्षाओं में न्यूनतम त्रुटि स्कोर प्राप्त कर लेता है।
यह पेपर कहता है: "धीमा होना बंद करें!"
शोधकर्ताओं ने पाया कि यदि आप अंत तक AI की सीखने की गति को स्थिर और निरंतर रखते हैं (एक विधि जिसे वे WSO या वॉर्मअप-स्टेबल-ओनली (Warmup-Stable-Only) कहते हैं), तो AI वास्तव में एक बेहतर इंटर्न बन जाता है।
उनके निष्कर्षों का सरल उपमाओं का उपयोग करके विवरण यहाँ दिया गया है:
1. "परफेक्ट स्टूडेंट" बनाम "अनुकूलनशील स्टूडेंट"
- पुराना तरीका (Decay): कल्पना कीजिए कि एक छात्र इतनी मेहनत से पढ़ता है और अंत में इतना धीमा हो जाता है कि वह पाठ्यपुस्तक को शब्द-दर-शब्द याद कर लेता है। वह अंतिम परीक्षा में एक आदर्श स्कोर प्राप्त करता है (प्री-ट्रेनिंग लॉस)। लेकिन जब वह अपनी इंटर्नशिप शुरू करता है, तो वह बहुत कठोर होता है। यदि बॉस थोड़ा अलग सवाल पूछता है, तो छात्र जम जाता है क्योंकि वह अपनी "परफेक्ट" याददाश्त में फंस गया है।
- नया तरीका (WSO): कल्पना कीजिए कि एक छात्र आखिरी दिन तक एक स्थिर, ऊर्जावान गति बनाए रखता है। हो सकता है कि उसने पहले छात्र की तुलना में पाठ्यपुस्तक को पूरी तरह से याद न किया हो (उसका अंतिम परीक्षा स्कोर थोड़ा कम है)। हालाँकि, क्योंकि उसने अपने मस्तिष्क को अंत तक "सक्रिय" और लचीला रखा, इसलिए वह वास्तविक दुनिया की समस्याओं को संभालने में बहुत बेहतर है।
2. "घाटी" की उपमा (लॉस लैंडस्केप)
यह समझने के लिए कि क्यों ऐसा होता है, कल्पना कीजिए कि सीखने की प्रक्रिया एक हाइकर (पर्वतारोही) के समान है जो घाटी के सबसे गहरे बिंदु (सर्वश्रेष्ठ समाधान) को खोजने की कोशिश कर रहा है।
- डिके (Decay) विधि: जब हाइकर अंत में धीमा हो जाता है, तो वह एक संकीर्ण, गहरी खाई में फंस जाता है। यह सबसे निचला बिंदु है, लेकिन यह बहुत तंग है। यदि आप थोड़ा भी हिलने की कोशिश करते हैं (जैसे इंटर्नशिप के दौरान), तो आप तुरंत दीवारों से टकरा जाते हैं। इसे "शार्प मिनिमम (Sharp Minimum)" कहा जाता है।
- WSO विधि: गति को स्थिर रखकर, हाइकर घाटी के नीचे एक चौड़ा, सपाट मैदान पाता है। यह पूर्णतः सबसे गहरा बिंदु नहीं है, लेकिन यह विशाल है। यदि आप थोड़ा इधर-उधर चलते हैं, तो आप दीवार से नहीं टकराते; आप बस मैदान में ही रहते हैं। इसे "फ्लैट मिनिमम (Flat Minimum)" कहा जाता है।
जादू: जब AI "विश्वविद्यालय" से "इंटर्नशिप" में जाता है, तो उसे इधर-उधर घूमने की आवश्यकता होती है। "फ्लैट मैदान" (WSO) के साथ प्रशिक्षित AI आसानी से अनुकूलित हो सकता है बिना विफल हुए। "संकीर्ण खाई" (Decay) के साथ प्रशिक्षित AI कुछ नया करने के लिए कहे जाने पर टूट जाता है।
3. परिणाम
शोधकर्ताओं ने विभिन्न आकार के AI मॉडल (1 बिलियन और 8 बिलियन पैरामीटर्स) पर इसका परीक्षण किया।
- फाइन-ट्यूनिंग से पहले: "डिके (Decay)" मॉडल बेहतर दिख रहे थे। उनके मानक परीक्षणों पर त्रुटि दर कम थी।
- फाइन-ट्यूनिंग के बाद (असली परीक्षा): "WSO" मॉडल ने बाजी मार ली। वे निर्देशों का पालन करने, सच बोलने और जटिल कार्यों को हल करने में बेहतर थे।
मुख्य निष्कर्ष
लंबे समय तक, AI शोधकर्ताओं ने सोचा, "यदि मॉडल बुनियादी बातों को पूरी तरह से सीख लेता है, तो वह हर चीज़ में अच्छा होगा।" यह पेपर सिद्ध करता है कि बुनियादी बातों में बहुत अधिक 'परफेक्ट' होना वास्तव में बाद में अनुकूलित होने की आपकी क्षमता को नुकसान पहुँचा सकता है।
सिफारिश:
यदि आप एक ऐसा AI बनाना चाहते हैं जो वास्तव में वास्तविक दुनिया में उपयोगी हो, तो उसे उसके प्रशिक्षण के अंत में "कोस्ट" (धीमा) होने न दें। लर्निंग रेट को स्थिर रखें। यह कागज पर सबसे "स्मार्ट" छात्र जैसा नहीं दिख सकता है, लेकिन यह नियुक्त होने के बाद सबसे अनुकूलनशील और सहायक कर्मचारी होगा।
संक्षेप में: अपने AI को बहुत जल्दी धीमा न होने दें। इसे पूरी गति से चलते रहने दें ताकि यह बाद में नए करतब सीखने के लिए पर्याप्त लचीला बना रहे!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।