Stabilizing Native Low-Rank LLM Pretraining
यह शोधपत्र Spectron को प्रस्तुत करता है, जो एक स्पेक्ट्रल रिनॉर्मलाइजेशन तकनीक है जो वेट अपडेट ग्रोथ (weight update growth) को नियंत्रित करके एंड-टू-एंड नेटिव लो-रैंक LLM प्रीट्रेनिंग को स्थिर करता है, जिससे विशेष रूप से लो-रैंक वेट्स के साथ स्क्रैच से प्रशिक्षित मॉडल डेंस मॉडल के प्रदर्शन के बराबर पहुँच पाते हैं और इन्फरेंस दक्षता में सुधार करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ सबसे बुद्धिमान किताबें विशाल, अदृश्य लेखकों द्वारा लिखी जा रही हैं। ये लेखक "लार्ज लैंग्वेज मॉडल्स" (LLMs) हैं, और वे हर दिन बड़े और अधिक बुद्धिमान होते जा रहे हैं। लेकिन इसमें एक पेंच है: इन किताबों को लिखने के लिए, लेखकों को एक ऐसी लाइब्रेरी की आवश्यकता होती है जो इतनी विशाल हो कि उसे बनाने में एक बड़ी धनराशि खर्च हो जाए और रोशनी चालू रखने के लिए बिजली का एक पहाड़ चाहिए हो। इन मॉडल्स के अंदर के "वेट्स" (weights) लेखकों के मेमोरी बैंक की तरह हैं; उनके पास जितना अधिक मेमोरी होगा, वे उतना ही अधिक सीख पाएंगे, लेकिन वे उतने ही भारी और महंगे भी होते जाएंगे।
कुछ समय के लिए, वैज्ञानिकों ने सोचा कि इन मॉडल्स को छोटा करने का एकमात्र तरीका उन्हें पूरी तरह से लिखना और फिर बाद में उन्हें सिकोड़ने की कोशिश करना है, जैसे कि एक विशाल सूटकेस को पैक करने के बाद उसे कंप्रेस करने की कोशिश की जाती है। दूसरों ने वास्तविक यात्रा के लिए केवल एक छोटे हिस्से का उपयोग करते हुए, वास्तविक सूटकेस की एक "फुल-साइज" बैकअप प्रति रखने की कोशिश की। लेकिन क्या होगा यदि हम सूकेटस को शुरू से ही केवल आवश्यक, हल्के सामानों के साथ पैक कर सकें? यह "लो-रैंक" (low-rank) ट्रेनिंग का सपना है: मॉडल को पहले दिन से ही स्वाभाविक रूप से छोटा और कुशल बनाना। समस्या यह थी कि जब वैज्ञानिकों ने इन हल्के मॉडल्स को शुरुआत से बनाने की कोशिश की, तो वे बिखरते गए। उनके अंदर का गणित अनियंत्रित हो गया, संख्याएं विस्फोट करने लगीं, और ट्रेनिंग क्रैश हो गई, जैसे कोई कार का इंजन बहुत तेज़ रफ़्तार पकड़कर फट जाए। बड़ा सवाल यह था: क्या हम इन हल्के मॉडल्स को बिना उनके फटे, ज़मीन से ऊपर (from the ground up) बना सकते हैं, और क्या वे अभी भी भारी, महंगे मॉडल्स जितने स्मार्ट हो सकते हैं?
यह पेपर स्पेक्ट्रोन (Spectron) नामक एक नई विधि पेश करता है जो कहती है "हाँ"। लेखकों ने पाया कि ये हल्के मॉडल्स क्यों क्रैश हो रहे थे—यह इसलिए था क्योंकि उनके आंतरिक नंबर अनियंत्रित रूप से बढ़ रहे थे, जैसे बिना स्टॉपर के फुलाया जाने वाला गुब्बारा। उन्होंने पाया कि मॉडल के अंदर होने वाले बदलावों का "आकार" (जिसे स्पेक्ट्रल नॉर्म कहा जाता है) बहुत तेज़ी से बहुत बड़ा हो रहा था। इसे ठीक करने के लिए, उन्होंने एक सुरक्षा वाल्व (safety valve) का आविष्कार किया। कल्पना कीजिए कि आप एक बहुत तेज़, बहुत हल्की नाव चलाने की कोशिश कर रहे हैं। यदि आप पहिये को बहुत ज़ोर से घुमाते हैं, तो नाव नियंत्रण से बाहर हो जाती है। स्पेक्ट्रोन एक ऑटोमैटिक पायलट की तरह काम करता है जो पहिये को हर बार एक सुरक्षित कोण पर धीरे से वापस धकेलता है जब भी वह बहुत तेज़ी से मुड़ने की कोशिश करता है। यह ऐसा करने के लिए लगातार नाव की गतिविधियों के "आकार" की जाँच करता है और उन्हें बस इतना कम कर देता है कि चीजें स्थिर रहें, लेकिन इतना भी नहीं कि नाव चलना बंद कर दे।
शोधकर्ताओं ने विभिन्न आकारों के कई मॉडल्स पर इसका परीक्षण किया, जिनमें लगभग 94 मिलियन पैरामीटर्स वाले छोटे मॉडल से लेकर 454 मिलियन तक के बड़े मॉडल शामिल थे। उन्होंने पाया कि स्पेक्ट्रोन के साथ, इन हल्के मॉडल्स को बिना किसी "भारी" बैकअप वेट्स के शुरुआत से प्रशिक्षित किया जा सकता है। न केवल वे स्थिर रहे, बल्कि उन्होंने भारी मॉडल्स की तरह ही अच्छी तरह से सीखा। वास्तव में, जब उन्होंने स्पेक्ट्रोन के साथ प्रशिक्षित 454-मिलियन-पैरामीटर वाले मॉडल की तुलना 780-मिलियन-पैरामीटर वाले भारी मॉडल से की, तो उन्होंने पाया कि हल्का मॉडल काफी कम संसाधनों का उपयोग करके उसी स्तर की बुद्धिमत्ता प्राप्त कर सकता है। यह एक स्पोर्ट्स कार बनाने का तरीका खोजने जैसा है जो एक भारी ट्रक जितना ही तेज़ चलती है लेकिन आधे ईंधन का उपयोग करती है।
पेपर ने यह भी देखा कि सर्वोत्तम परिणाम प्राप्त करने के लिए इन मॉडल्स को कैसे बनाया जाना चाहिए। उन्होंने यह पता लगाने के लिए सिमुलेशन चलाए कि मॉडल के आकार और उसके द्वारा पढ़े जाने वाले डेटा के बीच आदर्श संतुलन क्या है। उन्होंने पाया कि इन हल्के मॉडल्स के लिए, "स्वीट स्पॉट" (sweet spot) भारी मॉडल्स की तुलना में थोड़ा अलग है: यह बेहतर है कि मॉडल थोड़ा छोटा हो जो थोड़ा अधिक डेटा पढ़े। यह सुझाव देता है कि भविष्य में, हम अविश्वसनीय रूप से स्मार्ट AI सिस्टम बना सकते हैं जो चलाने में बहुत सस्ते और नियमित कंप्यूटरों पर फिट होने में आसान होंगे, बजाय इसके कि हमें सुपरकंप्यूटरों की आवश्यकता हो। लेखक अपने प्रयोगों के आधार पर इन परिणामों के प्रति आश्वस्त हैं, जो दिखाते हैं कि यह विधि विभिन्न आकारों और कार्यों में विश्वसनीय रूप से काम करती है, जो अगली पीढ़ी के कुशल AI को बनाने के लिए एक स्थिर रेसिपी प्रदान करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।