Where to Begin: Efficient Pretraining via Subnetwork Selection and Distillation
यह शोध पत्र स्मॉल लैंग्वेज मॉडल्स (SLMs) के प्रीट्रेनिंग के लिए एक कुशल फ्रेमवर्क प्रस्तुत करता है जो संरचनात्मक रूप से स्पार्स सबनेटवर्क इनिशियलाइजेशन की पहचान करने के लिए इवोल्यूशनरी सर्च को बड़े मॉडल्स से नॉलेज डिस्टिलेशन के साथ जोड़ता है, जिससे मानक बेसलाइन्स के तुलनीय प्रदर्शन प्राप्त करते हुए कंप्यूटेशनल लागत में काफी कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: एक विशाल पुस्तकालय बनाना बहुत महंगा है
कल्पना कीजिए कि आप ज्ञान का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल, या LLM) बनाना चाहते हैं जो किसी भी प्रश्न का उत्तर दे सके। पारंपरिक रूप से, इस पुस्तकालय को बनाने के लिए, आपको लाखों लोगों (पैरामीटर्स) को काम पर रखना होगा, उन्हें सभी खाली नोटबुक देनी होगी, और उन्हें पूरी इंटरनेट सामग्री को शुरू से पढ़ना होगा। इसमें बहुत अधिक समय, पैसा और बिजली लगती है।
हालाँकि "स्मॉल लैंग्वेज मॉडल्स" (SLMs) बनाना सस्ता है क्योंकि वे छोटे होते हैं, फिर भी वे अधिकांश सामान्य शोधकर्ताओं या छोटी कंपनियों के लिए शून्य से बनाने के लिए बहुत महंगे हैं। उन्हें एक शॉर्टकट की आवश्यकता है।
समाधान: "व्हिटल" (Whittle) फ्रेमवर्क
इस शोध पत्र के लेखक इन छोटे पुस्तकालयों को बनाने का एक नया तरीका प्रस्तावित करते हैं। वे अपने फ्रेमवर्क को Whittle कहते हैं। एक नया पुस्तकालय बनाने और नए लोगों को खाली नोटबुक देने के बजाय, वे एक मौजूदा, विशाल और अत्यधिक जानकार पुस्तकालय (एक बड़ा "टीचर" मॉडल) लेते हैं और उसके अंदर एक आदर्श, छोटी टीम खोजने की कोशिश करते हैं जो काम को उतना ही अच्छी तरह से कर सके।
वे इसे तीन मुख्य तरीकों से करते हैं:
1. "गोल्डन सब-टीम" खोजना (सब-नेटवर्क सिलेक्शन)
कल्पना कीजिए कि विशाल पुस्तकालय हजारों संगीतकारों के साथ एक विशाल ऑर्केस्ट्रा है। आपको एक विशिष्ट गाना बजाने के लिए पूरे ऑर्केस्ट्रा की आवश्यकता नहीं है; आपको बस सही विभाग की आवश्यकता है।
- पुराना तरीका: आमतौर पर, यदि आप एक छोटा मॉडल चाहते हैं, तो आप बस कुछ संगीतकारों को यादृच्छिक (randomly) रूप से चुन लेते हैं और उम्मीद करते हैं कि वे खेल पाएंगे।
- नया तरीका: लेखक एक स्मार्ट सर्च टूल (Evolutionary Search) का उपयोग करते हैं ताकि वे उस विशाल ऑर्केस्ट्रा में से उस विशिष्ट समूह को खोज सकें जो पहले से ही उस गाने को पूरी तरह से जानता है। वे केवल रैंडम लोग नहीं चुनते; वे उन विशिष्ट न्यूरॉन्स के "सब-नेटवर्क" को देखते हैं जो पहले से ही भारी काम कर रहे हैं।
- परिणाम: उन्होंने पाया कि ये पूर्व-चयनित "सब-टीम्स" रैंडम समूहों की तुलना में बहुत बेहतर तरीके से सीखते हैं।
2. "स्मार्ट कॉपीकैट" विधि (नॉलेज डिस्टिलेशन)
एक बार जब उनके पास अपनी छोटी सब-टीम आ जाती है, तो वे उन्हें केवल इंटरनेट से सीखने के लिए नहीं छोड़ते। इसके बजाय, वे उन्हें मूल विशाल पुस्तकालय (टीचर) के साथ एक क्लासरूम में रखते हैं।
- यह कैसे काम करता है: टीचर केवल यह नहीं कहता कि "उत्तर A है।" टीचर कहता है, "उत्तर A है, लेकिन इसकी संभावना बहुत अधिक है, B होने की संभावना थोड़ी है, और C होने की संभावना कम है।" यह छोटी टीम को दुनिया की बहुत समृद्ध समझ देता है।
- उपमा (Analogy): यह एक मास्टर शेफ द्वारा प्रशिक्षु (apprentice) को सिखाने जैसा है। केवल अंतिम व्यंजन दिखाने के बजाय, मास्टर सूक्ष्म स्वादों और तकनीकों को समझाता है। प्रशिक्षु तेजी से सीखता है और कम गलतियाँ करता है।
3. "सर्च स्पेस" (विभिन्न संयोजनों को आजमाना)
लेखकों ने महसूस किया कि सभी "सब-टीम्स" समान नहीं होती हैं। कभी-कभी आपको परतों (layers) की संख्या को कम करने की आवश्यकता होती है (जैसे इमारत से मंजिलें हटाना), और कभी-कभी आपको चौड़ाई (width) को कम करने की आवश्यकता होती है (जैसे कॉलम हटाना)।
- उन्होंने मॉडल को काटने के चार अलग-अलग तरीके परीक्षण किए:
- कोर्स (Coarse): बड़े हिस्सों को काटना (जैसे पूरी मंजिलें हटाना)।
- फाइन-ग्रेन्ड (Fine-grained): छोटे टुकड़ों को काटना (जैसे विशिष्ट ईंटें हटाना)।
- यूनिफॉर्म (Uniform): पूरे मॉडल को समान रूप से छोटा बनाना।
- लेयर-वाइज (Layer-wise): विभिन्न हिस्सों को अलग-अलग तरीकों से छोटा बनाना।
- खोज: उन्होंने पाया कि बहुत छोटे मॉडल्स के लिए, "फाइन-ग्रेन्ड" (छोटे टुकड़ों को काटना) सबसे अच्छा काम करता है। लेकिन बड़े स्मॉल-मॉडल्स के लिए, "कोर्स" (बड़े हिस्से काटना) वास्तव में बेहतर था।
परिणाम: कम में अधिक करना
शोध पत्र का दावा है कि इस पद्धति का उपयोग करके, वे ऐसे छोटे मॉडल बना सकते हैं जो शून्य से प्रशिक्षित मॉडलों के समान प्रदर्शन करते हैं, लेकिन लागत में भारी कमी के साथ:
- गति: उनके सर्वश्रेष्ठ मॉडल ने एक मानक छोटे मॉडल के समान बुद्धिमत्ता प्राप्त की, लेकिन इसके लिए 5.16 गुना कम गणनाओं (FLOPs) की आवश्यकता पड़ी।
- दक्षता: यह एक ऐसा घर बनाने जैसा है जो एक हवेली जितना मजबूत है, लेकिन आपने केवल 20% ईंटों और श्रम का उपयोग किया है।
- ओपन सोर्स: बड़ी टेक कंपनियों द्वारा उपयोग किए जाने वाले कुछ गुप्त तरीकों के विपरीत, लेखकों ने अपना सारा कोड और उपकरण ("Whittle" लाइब्रेरी) जारी कर दिया है ताकि कोई भी इस पद्धति का उपयोग कर सके।
सारांश
इस शोध पत्र को एक विशाल, महंगे AI मॉडल को एक छोटे, सस्ते और अत्यधिक कुशल मॉडल में रीसायकल (Recycle) करने के मार्गदर्शक के रूप में देखें। एक नई कार शून्य से बनाने के बजाय, वे एक लग्जरी कार लेते हैं, सावधानी से उन हिस्सों को हटा देते हैं जिनकी उन्हें आवश्यकता नहीं है, और शेष इंजन को इस तरह ट्यून करते हैं कि वह कम ईंधन पर भी पूरी तरह से चले, और साथ ही उसे मूल लग्जरी कार के ज्ञान से शिक्षित भी करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।