Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model
यह शोध पत्र 'मिक्सचर ऑफ ट्रेनिंग' (MoT) को प्रस्तुत करता है, जो एक स्कैफोल्डेड मॉड्यूलर प्री-ट्रेनिंग फ्रेमवर्क है जो एक ट्रांसफॉर्मर को स्वतंत्र रूप से प्रशिक्षित करने योग्य लेयर ब्लॉक्स में विभाजित करता है जिन्हें एक सुसंगत मॉडल में पुनर्गठित किया जा सकता है, जो यह प्रदर्शित करता है कि ऐसे विकीर्णित (decomposed) रन मोनोलिथिक प्रशिक्षण के साथ गुणवत्ता समानता प्राप्त कर सकते हैं और पुन: प्रयोज्य स्कैफोल्ड्स के माध्यम से संभावित कंप्यूट लाभ भी प्रदान कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप लेगो ब्रिक्स से एक विशाल, जटिल महल बनाने की कोशिश कर रहे हैं। आमतौर पर, इसे करने का एकमात्र तरीका यह है कि पूरी संरचना पर एक साथ काम करने के लिए बिल्डरों की एक ही विशाल टीम हो। यदि एक व्यक्ति ईंट गिरा देता है, तो पूरी टीम को रुकना पड़ता है, और यदि टीम बहुत बड़ी हो जाती है, तो कमरा भीड़भाड़ वाला हो जाता है, और इस प्रोजेक्ट को ठीक करना अविश्वसनीय रूप से महंगा और धीमा हो जाता है। इसी तरह वैज्ञानिक आमतौर पर "लार्ज लैंग्वेज मॉडल्स" (LLMs) बनाते हैं—वे सुपर-स्मार्ट कंप्यूटर दिमाग जो कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं और हमसे चैट कर सकते हैं। उन्हें एक ही विशाल, अटूट ब्लॉक के रूप में प्रशिक्षित किया जाता है। लेकिन क्या होगा अगर आप महल को अलग-अलग, छोटे कमरों में बना सकें, प्रत्येक कमरे पर स्वतंत्र रूप से काम करने के लिए अलग-अलग टीमों को लगा सकें, और फिर अंत में उन सभी को एक साथ जोड़ सकें? यही वह बड़ा सवाल है जो यह शोध पत्र पूछता है: क्या हम एक स्मार्ट एआई के प्रशिक्षण को छोटे, प्रबंधनीय टुकड़ों में तोड़ सकते हैं जिन्हें बाद में बिना जादू खोए फिर से जोड़ा जा सके?
इस अध्ययन के पीछे के शोधकर्ताओं ने, "मिक्सचर ऑफ ट्रेनिंग" (या MoT) नामक एक प्रोजेक्ट पर काम करते हुए, इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने 1.3-बिलियन-पैरामीटर वाला एक एआई मॉडल (एक "जेम्मा-स्टाइल" मॉडल) बनाया और इसे स्लाइस में प्रशिक्षित करने की कोशिश की। पूरे मॉडल को एक साथ प्रशिक्षित करने के बजाय, उन्होंने मॉडल को दो बड़े टुकड़ों में विभाजित किया। यह सुनिश्चित करने के लिए कि ये टुकड़े बाद में एक साथ फिट हो सकें, उन्होंने एक चतुर तरकीब का उपयोग किया: एक "स्कैफोल्ड" (scaffold)। कल्पना कीजिए कि यह प्रशिक्षण पहियों (training wheels) या एक कठोर फ्रेम की तरह है जो टुकड़ों को बनने के दौरान अपनी जगह पर थामे रखता है। उन्होंने इस फ्रेम (जिसे "अलाइनर" कहा जाता है) को फ्रीज कर दिया ताकि यह बदले नहीं, और फिर इस फ्रेम के भीतर एआई के प्रत्येक टुकड़े को प्रशिक्षित किया। इस तरह, प्रत्येक टुकड़े ने डेटा की एक ही "भाषा" बोलना सीखा, भले ही उन्हें अलग-अलग प्रशिक्षित किया गया था।
परिणाम "यह काम करता है!" और "यह निर्भर करता है" का मिश्रण थे। टीम ने पाया कि वे वास्तव में इन स्वतंत्र रूप से प्रशिक्षित टुकड़ों को ले सकते हैं, उन्हें एक साथ जोड़ सकते हैं, और एक काम करने वाला एआई प्राप्त कर सकते हैं। हालाँकि, जैसे ही उन्होंने उन्हें एक साथ जोड़ा, एआई थोड़ा भ्रमित हो गया और अधिक गलतियाँ करने लगा (पारंपरिक विधि के 15.0 के मुकाबले 19.3 का उच्च "परप्लेक्सिटी" स्कोर)। लेकिन यहाँ दिलचस्प बात यह है, कि एक बहुत ही छोटे "ट्यूनिंग" सत्र के बाद, जहाँ उन्होंने पूरे मॉडल को थोड़ी देर के लिए खुद से बात करने दी, एआई पारंपरिक, विशाल-ब्लॉक विधि जितना ही अच्छा हो गया। वास्तव में, उन्होंने इसे प्रशिक्षित करने का एक तरीका खोज निकाला जिसमें उन्होंने समान मात्रा में कंप्यूटिंग पावर का उपयोग किया और पारंपरिक विधि के समान ही गुणवत्ता प्राप्त की।
लेकिन इसमें एक पेंच है। शोध पत्र सुझाव देता है कि यह तरीका हर किसी के लिए तुरंत पैसा बचाने वाला कोई जादुई डंडा नहीं है। "स्कैफोल्ड" को पहले बनाने में ही बहुत अधिक ऊर्जा खर्च होती है। यदि आप केवल एक एआई बनाते हैं, तो स्कैफोल्ड इस पूरी प्रक्रिया को पुराने तरीके की तुलना में अधिक महंगा बना देता है। हालाँकि, यदि आप उसी स्कैफोल्ड का उपयोग कई अलग-अलग एआई बनाने के लिए करते हैं (जैसे कि एक ही सेट के प्रशिक्षण पहियों का उपयोग करके तीन या अधिक महल बनाना), तो प्रति महल लागत कम हो जाती है, और यह तरीका एक विजेता बन जाता है। शोधकर्ताओं ने यह भी पाया कि यदि आप एआई को बहुत सारे छोटे टुकड़ों में विभाजित करने की कोशिश करते हैं, तो उन्हें एक साथ फिट करना कठिन हो जाता है, और गुणवत्ता गिर जाती है। इसलिए, भले ही यह अभी तक विशाल, ऑल-इन-वन प्रशिक्षण पद्धति का विकल्प नहीं है, यह साबित करता है कि एआई प्रशिक्षण को छोटे, पुन: प्रयोज्य और समानांतर कार्यों में तोड़ना संभव है। यह एआई के साथ प्रयोग करने का एक नया तरीका खोलता है, जिससे गलतियों को सुधारना, काम के हिस्सों को फिर से शुरू करना और भविष्य में बिना किसी शहर जितने बड़े सुपरकंप्यूटर के स्मार्ट मॉडल को प्रशिक्षित करना आसान हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।