OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research
ओपनलैंग्वेजमॉडल (OLM) एक ओपन-सोर्स पायटॉर्च (PyTorch) लाइब्रेरी है जिसे शिक्षा और अनुसंधान के बीच के अंतर को पाटने के लिए डिज़ाइन किया गया है, जो पारदर्शी, कंपोजेबल छोटे भाषा मॉडलों के निर्माण को सक्षम बनाता है जो विविध हार्डवेयर कॉन्फ़िगरेशन में टीचिंग नोटबुक से लेकर स्केलेबल प्रीट्रेनिंग रन तक निर्बाध रूप से संक्रमण कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सोचने वाली मशीनों के निर्माण खंड (Building Blocks)
कल्पना कीजिए कि आप एक ऐसा रोबोट बनाने की कोशिश कर रहे हैं जो इंसान की तरह पढ़ और लिख सके। कंप्यूटर विज्ञान की दुनिया में, इसे "लैंग्वेज मॉडलिंग" कहा जाता है। लंबे समय तक, ये रोबोट विशाल, ब्लैक-बॉक्स गगनचुंबी इमारतों की तरह थे: वे काम तो करते थे, लेकिन कोई नहीं जानता था कि लिफ्ट मंजिलों के बीच कैसे चलती है, और केवल कुछ ही विशेषज्ञों के पास जिन्हें भारी बजट प्राप्त था, उन्हें बनाने की क्षमता थी। यह समझने के लिए कि वे कैसे काम करते हैं, आपको आमतौर पर व्हाइटबोर्ड पर एक जटिल आरेख (diagram) देखना पड़ता था, और वास्तव में एक को बनाने के लिए, आपको हजारों लाइनों का भ्रमित करने वाला कोड लिखना पड़ता था जो आरेख जैसा बिल्कुल भी नहीं दिखता था।
जिस शोध पत्र को आप पढ़ने जा रहे हैं, वह एक विशिष्ट समस्या का समाधान करता है: हम इन लैंग्वेज मॉडल्स को एक कक्षा या एक एकल शोधकर्ता के समझने के लिए इतना छोटा कैसे बना सकते हैं, फिर भी उन्हें वास्तविक डेटा से सीखने के लिए पर्याप्त शक्तिशाली कैसे बनाए रखें? यह "स्मॉल लैंग्वेज मॉडल्स" (SLMs) पर ध्यान केंद्रित करता है। इन्हें एआई (AI) की दुनिया के "लेगो सेट्स" (LEGO sets) के रूप में सोचें। वे आपको खेल के नियम सिखाने के लिए पर्याप्त बड़े हैं—जैसे शब्दों को कैसे प्रोसेस किया जाए, गलतियों से कैसे सीखा जाए, और कंप्यूटर पर कैसे चलाया जाए—लेकिन इतने छोटे हैं कि एक व्यक्ति पूरी चीज़ को अपने हाथों में पकड़कर उसका हर एक हिस्सा देख सकता है। इसका लक्ष्य एक छात्र द्वारा मस्तिष्क का चित्र बनाने और एक वैज्ञानिक द्वारा वास्तविक मस्तिष्क को प्रशिक्षित करने के बीच के अंतर को पाटना है, यह सुनिश्चित करना कि जिस कोड का उपयोग विचार को समझाने के लिए किया जाता है, वही कोड उसे बनाने के लिए भी उपयोग किया जाए।
वह जादुई किट जो AI को पठनीय बनाती है
मिलिए ओपनलैंग्वेजमॉडल (OpenLanguageModel - OLM) से। आप OLM को एक जादुई निर्देश पुस्तिका के रूप में देख सकते हैं जो आपको विषय से भटकने नहीं देती। आमतौर पर, जब वैज्ञानिक एक जटिल AI डिजाइन करते हैं, तो वे एक सुंदर, स्पष्ट आरेख बनाते हैं जो दिखाता है कि विभिन्न भाग कैसे जुड़ते हैं। लेकिन जब वे इसे बनाने के लिए कंप्यूटर कोड लिखते हैं, तो वह स्पष्टता अक्सर छिपे हुए निर्देशों के उलझे हुए जाल में खो जाती है। OLM इसे कोड को बिल्कुल आरेख जैसा बनाकर ठीक करता है।
इस लाइब्रेरी में, AI की "वायरिंग" छिपी हुई नहीं है। यदि आप देखना चाहते हैं कि एक "रेसिडुअल" (Residual) कनेक्शन कैसे काम करता है (जो कि केवल एक फैंसी तरीका है यह कहने का कि "आइए मूल संदेश को नए संदेश के साथ जोड़ दें ताकि कुछ भी खो न जाए"), तो आप इसे कोड में एक सरल, पठनीय ब्लॉक के रूप में वहीं देख सकते हैं। यह एक लेगो सेट होने जैसा है जहाँ निर्देश आपको केवल बना हुआ किला ही नहीं दिखाते; वे आपको दिखाते हैं कि प्रत्येक ईंट अगली ईंट में कैसे फिट होती है, और आप एक हाथ में निर्देश पुस्तिका और दूसरे हाथ में भौतिक ईंटें लेकर देख सकते हैं कि वे पूरी तरह से मेल खाती हैं।
कक्षा से सुपरकंप्यूटर तक
OLM के बारे में सबसे अच्छी बात यह है कि यह आपको "सीखने" और "करने" के बीच चयन करने के लिए मजबूर नहीं करता है।
- छात्र के लिए: आप एक नोटबुक खोल सकते हैं, GPT-2 जैसे मॉडल को देख सकते हैं, और इसकी संरचना को स्पष्ट रूप से व्यवस्थित देख सकते हैं, ठीक वैसे ही जैसे एक पाठ्यपुस्तक का आरेख। आप एक शब्द के पथ का अनुसरण कर सकते हैं, उस क्षण से जब वह मॉडल में प्रवेश करता है जब तक कि वह एक भविष्यवाणी (prediction) नहीं बन जाता।
- शोधकर्ता के लिए: एक बार जब आप मॉडल को समझ लेते हैं, तो आप उसी समान कोड को एक शक्तिशाली प्रशिक्षण प्रणाली में लगा सकते हैं। आप इसे वास्तविक डेटा (जैसे शैक्षिक वेबसाइटों का एक विशाल पुस्तकालय) खिला सकते हैं, उच्च गति वाले प्रशिक्षण इंजन चालू कर सकते हैं, और इसे सीखते हुए देख सकते हैं।
- प्रयोगकर्ता के लिए: यदि आप एक नया विचार परीक्षण करना चाहते—मान लीजिए, "क्या होगा यदि हम मॉडल के शब्दों पर ध्यान देने के तरीके को बदल दें?"—तो आपको पूरी मशीन को फिर से बनाने की आवश्यकता नहीं है। आप बस एक छोटा सा घटक बदल सकते हैं, जैसे कि एक बल्ब बदलना, और बाकी सिस्टम पूरी तरह से काम करता रहता है।
"ऑटो-ट्रेनर" और हार्डवेयर
OLM के साथ एक स्मार्ट सहायक आता है जिसे ऑटो-ट्रेनर (AutoTrainer) कहा जाता है। कल्पना कीजिए कि आपके पास एक मॉडल है और आप इसे प्रशिक्षित करना चाहते हैं। आप ट्रेनर को बताते हैं, "यह मेरा मॉडल है, यह मेरा डेटा है, और यह मेरा कंप्यूटर है।" ट्रेनर फिर आपके मशीन को देखता है (चाहे वह एक सिंगल लैपटॉप हो, एक शक्तिशाली ग्राफिक्स कार्ड हो, या उनके पूरा एक समूह) और स्वचालित रूप से यह तय करता है कि प्रशिक्षण चलाने का सबसे अच्छा तरीका क्या है। यह काम को कई प्रोसेसरों के बीच विभाजित करने या बिजली कट जाने पर प्रगति को सुरक्षित रखने जैसे जटिल विवरणों को संभालता है। यह एक टूर गाइड की तरह है जो जानता है कि आपके विशिष्ट परिवेश में कैसे नेविगेट करना है, चाहे आप एक छोटी पहाड़ी पर हाइकिंग कर रहे हों या एक पहाड़ पर चढ़ रहे हों।
यह सिद्ध करना कि यह काम करता है
लेखकों ने इसे केवल बनाया और उम्मीद नहीं की; उन्होंने यह सुनिश्चित करने के लिए इसे कड़ी कसौटी पर कसा कि यह भरोसेमंद है।
- सटीकता की जाँच: उन्होंने OLM के मॉडल्स की तुलना अन्य प्रसिद्ध, स्वतंत्र वर्ज़न्स के साथ की। परिणाम अविश्वसनीय रूप से करीब थे—इतने करीब कि उनकी "सोच" में अंतर दस लाख में एक भाग से भी कम था। यह दो शेफ द्वारा एक ही रेसिपी का पालन करने और समान स्वाद वाले व्यंजन बनाने जैसा है।
- गति और पैमाना (Scale): उन्होंने परीक्षण किया कि OLM कितनी अच्छी तरह स्केल करता है। उन्होंने एक, दो और चार शक्तिशाली ग्राफिक्स कार्डों पर लगभग 348 मिलियन पैरामीटर्स (एक माप कि मॉडल कितना जटिल है) वाला एक मॉडल प्रशिक्षित किया। जब उन्होंने चार कार्डों का उपयोग किया, तो सिस्टम अपनी अधिकतम क्षमता का 90.6% कुशल था। इसका अर्थ है कि सिस्टम ऊर्जा बर्बाद किए बिना काम को तेजी से करने के लिए अतिरिक्त शक्ति का उपयोग करने में बहुत अच्छा है।
- उपयोगकर्ता अनुभव: उन्होंने 20 लोगों से पूछा जिन्होंने सिस्टम का उपयोग किया कि उन्हें कैसा लगा। उपयोग में आसानी के लिए औसत स्कोर 100 में से 73.8 था। हर एक व्यक्ति इस बात पर सहमत था कि आर्किटेक्चर समझने योग्य था, और अधिकांश को लगा कि अन्य उपकरणों की तुलना में OLM में मॉडल में बदलाव करना बहुत आसान है।
यह क्यों महत्वपूर्ण है
शोध पत्र सुझाव देता है कि कोड को पठनीय और प्रशिक्षण उपकरणों से जोड़े रखकर, हम AI अनुसंधान का लोकतंत्रीकरण कर सकते हैं। यह एक छात्र को बुनियादी बातें सीखने, एक शिक्षक को अवधारणाओं का प्रदर्शन करने और एक शोधकर्ता को भ्रमित करने वाले कोड के समुद्र में खोए बिना नए विचारों का परीक्षण करने की अनुमति देता है। लेखक दिखाते हैं कि आप एक साधारण आरेख से लेकर पूरी तरह से प्रशिक्षित, कार्यशील प्रणाली तक एक मॉडल का पता लगा सकते हैं, और यहाँ तक कि यह देखने के लिए एक एकल भाग को बदल भी सकते हैं कि क्या होता है, और यह सब एक सुसंगत, ओपन-सोर्स पैकेज के भीतर होता है।
संक्षेप में, ओपनलैंग्वेजमॉडल एक सेतु (bridge) है। यह उन सरल, स्पष्ट आरेखों को जोड़ता है जिनका उपयोग हम AI सिखाने के लिए करते हैं, उन जटिल, शक्तिशाली इंजनों के साथ जिनका उपयोग हम इसे बनाने के लिए करते हैं। यह सिद्ध करता है कि गंभीर विज्ञान करने के लिए आपको समझ (understanding) का त्याग करने की आवश्यकता नहीं है। यह एक ऐसा टूलकिट है जो कहता है, "यहाँ बताया गया है कि मशीन कैसे काम करती है, और यहाँ बताया गया है कि आप अपना स्वयं का संस्करण कैसे बना सकते हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।