Training Language Models via Neural Cellular Automata
यह शोध पत्र बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) के प्री-प्री-ट्रेनिंग के लिए नियंत्रणीय, सिंथेटिक गैर-भाषिक डेटा उत्पन्न करने के लिए न्यूरल सेलुलर ऑटोमेटा का उपयोग करने का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण बहुत बड़े प्राकृतिक भाषा डेटासेट पर प्रशिक्षण की तुलना में बेहतर प्रदर्शन करते हुए डाउनस्ट्रीम प्रदर्शन और अभिसरण गति (कन्वर्जेंस स्पीड) में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन खाली दिमाग वाले छात्र को उपन्यास लिखना, गणित की समस्याएँ हल करना या वीडियो गेम कोड करना सिखाने की कोशिश कर रहे हैं।
पुराना तरीका (वर्तमान AI प्रशिक्षण):
परंपरागत रूप से, हम इस छात्र को लाखों किताबें, वेबसाइटें और कोड रिपॉजिटरी खिलाते हैं। हम कहते हैं, "इंसानों ने जो कुछ भी लिखा है उसे पढ़ लो, और फिर बस अगले शब्द का अनुमान लगाने की कोशिश करो।"
- समस्या: अच्छी मानव सामग्री की एक सीमा है। यह मानवीय पूर्वाग्रहों, त्रुटियों और "शोर" (noise) से भी भरी होती है। इसके अलावा, छात्र तथ्यों को याद करने में बहुत समय बिता देता है (जैसे कि "पेरिस फ्रांस की राजधानी है") बजाय इसके कि वह सोचना कैसे है यह सीख सके। यह तैरना सीखने के लिए पानी के बारे में दस लाख किताबें पढ़ने जैसा है; आप सिद्धांत तो जान सकते हैं, लेकिन आपने वास्तविक गति (motion) नहीं सीखी है।
नया विचार (यह शोध पत्र):
शोधकर्ताओं ने एक पागलपन भरा सवाल पूछा: "क्या हमें मशीन को सोचना सिखाने के लिए वास्तव में मानव भाषा की आवश्यकता है?"
उन्होंने कुछ समय के लिए किताबों को छोड़ दिया और इसके बजाय छात्र को न्यूरल सेलुलर ऑटोमेटा (NCA) का उपयोग करके सिखाने का निर्णय लिया।
एक NCA क्या है? ("डिजिटल चींटी फार्म")
एक विशाल पिक्सेल ग्रिड की कल्पना करें, जैसे कि शतरंज का बोर्ड, लेकिन काले और सफेद वर्गों के बजाय, वे रंगीन कोशिकाएं (cells) हैं।
- आप प्रत्येक कोशिका को एक सरल नियम देते हैं: "यदि आपके पड़ोसी लाल हैं, तो नीला हो जाएं। यदि वे हरे हैं, तो लाल ही रहें।"
- आप इस ग्रिड को समय के साथ विकसित होने देते हैं।
- जादू: भले ही नियम सरल हों, लेकिन जो पैटर्न उभरते हैं वे अविश्वसनीय रूप से जटिल, अराजक और सुंदर होते हैं। वे घूमती हुई आकाशगंगाओं, बढ़ते क्रिस्टल या बहते पानी की तरह दिखते हैं।
शोधकर्ताओं ने इन ग्रिडों के लिए लाखों अलग-अलग नियम सेट बनाने के लिए AI का उपयोग किया। उन्होंने शब्दों का उपयोग नहीं किया; उन्होंने केवल संख्याओं और पैटर्न का उपयोग किया।
प्रयोग: "प्री-प्री-ट्रेनिंग"
उन्होंने तीन चरणों वाली प्रक्रिया का परीक्षण किया:
- चरण 1 (जिम): उन्होंने अपने AI मॉडल को केवल इन डिजिटल चींटी फार्मों (NCA) पर प्रशिक्षित किया। AI को इन पैटर्न को विकसित होते हुए देखना था और अगले फ्रेम के स्वरूप का अनुमान लगाना था। उसे उन छिपे हुए नियमों को समझना था जो उस अराजकता को नियंत्रित करते हैं।
- चरण 2 (लाइब्रेरी): फिर, उन्होंने उसी AI को मानव पाठ (किताबों, कोड, गणित) का मानक आहार दिया।
- चरण 3 (परीक्षण): उन्होंने वास्तविक दुनिया के कार्यों जैसे गणित की समस्याओं को हल करने या कोड लिखने पर AI का परीक्षण किया।
आश्चर्यजनक परिणाम
वह AI जिसने पहले "चींटी फार्म" प्रशिक्षण किया था, वह उस AI की तुलना में अधिक स्मार्ट और तेज़ था जो सीधे लाइब्रेरी में गया था।
- दक्षता: इसने मानक पद्धति की तुलना में 10 गुना कम डेटा का उपयोग करके समान भाषा कौशल सीखे।
- गति: इसने 1.6 गुना तेज़ी से सीखा।
- प्रदर्शन: इसने वास्तव में उस AI को भी मात दी जिसे शोधकर्ताओं द्वारा उपयोग किए गए मानव पाठ से भी अधिक पाठ पर प्री-ट्रेन किया गया था!
यह क्यों काम किया? (उपमा)
इसे शतरंज खेलने के रूप में देखें।
- पुराना तरीका: आप ग्रैंडमास्टर्स द्वारा खेले गए 10,000 खेलों को याद करते हैं। आप चालों को याद करते हैं, लेकिन आप शायद यह नहीं समझ पाते कि उन्होंने उन्हें क्यों किया।
- NCA तरीका: आप पहले एक ऐसा खेल खेलते हैं जहाँ आपको छिपे हुए भौतिकी नियमों के आधार पर एक बोर्ड पर अमूर्त आकृतियों की गति की भविष्यवाणी करनी होती है। आप पैटर्न पहचान, दीर्घकालिक योजना और नियम निष्कर्ष (rule inference) सीखते हैं।
एक बार जब आप चींटी फार्म में जटिल पैटर्न की भविष्यवाणी करने के तर्क में महारत हासिल कर लेते हैं, तो शतरंज की शब्दावली (या मानव भाषा) सीखना बहुत आसान हो जाता है। आप पहले से ही जानते हैं कि कैसे सोचना है; आपको बस शब्दों को सीखने की आवश्यकता है।
"गोल्डिलॉक्स" ज़ोन (Goldilocks Zone)
शोधकर्ताओं ने यह भी पाया कि कुछ दिलचस्प: सभी चींटी फार्म एक जैसे नहीं होते।
- कोडिंग के लिए, AI ने "सरल" चींटी फार्मों (ऐसे नियम जिन्हें भविष्यवाणी करना आसान था) से सबसे अच्छा सीखा।
- गणित और सामान्य लेखन के लिए, AI को "अराजक" चींटी फार्मों (नियम जो बहुत जटिल और अप्रत्याशित थे) की आवश्यकता थी।
यह एक शेफ की तरह है: यदि आप एक साधारण सूप बना रहे हैं, तो आपको एक सरल रेसिपी की आवश्यकता है। यदि आप एक जटिल सुफ़ले (soufflé) बना रहे हैं, तो आपको जटिल सामग्रियों के एक सेट की आवश्यकता है। शोधकर्ताओं ने पाया कि वे AI को सिखाने के लिए विशिष्ट विषय के अनुरूप चींटी फार्म की जटिलता को "ट्यून" कर सकते हैं।
बड़ी तस्वीर
यह शोध पत्र सुझाव देता है कि बुद्धिमत्ता केवल किताबें पढ़ने के बारे में नहीं है। यह दुनिया में गहरे, छिपे हुए संरचनाओं को पहचानने के बारे में है।
सिंथेटिक, गैर-मानव डेटा पर AI को प्रशिक्षित करके, हम ऐसे मॉडल बना सकते हैं जो:
- अधिक कुशल हैं (कम डेटा की आवश्यकता)।
- तर्क करने में बेहतर हैं (उन्होंने भाषा से पहले "तर्क" सीखा)।
- अनुकूलन योग्य हैं (हम विशिष्ट कार्यों जैसे कोडिंग या गणित के लिए प्रशिक्षण डेटा को डिज़ाइन कर सकते हैं)।
यह "AI को पढ़ने सिखाने" से बदलकर "AI को सोचने सिखाने" की ओर एक बदलाव है, जिसमें ब्रह्मांड के अपने गणितीय पैटर्न को कक्षा के रूप में उपयोग किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।