SemiAdapt-Instruct: Extensible Instruction Tuning via Latent Domain-Specialised Adapters
SemiAdapt-Instruct एक मॉड्यूलर फ्रेमवर्क है जो लेटेंट डोमेन (latent domains) की खोज करके, समानांतर प्रति-डोमेन LoRA एडेप्टर को प्रशिक्षित करके, और पूर्ण मॉडल पुनप्रशिक्षण की आवश्यकता के बिना सिंगल-एडेप्टर अपडेट के माध्यम से नई क्षमताओं को शामिल करने के लिए पैरामीटर-मुक्त रूटिंग का उपयोग करके विस्तार योग्य इंस्ट्रक्शन ट्यूनिंग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को इंसानों की तरह बात करना सिखाने की कोशिश कर रहे हैं। वैज्ञानिकों ने इसका एक तरीका खोज निकाला है, जिसमें वे रोबोट को लाखों उदाहरण दिखाते हैं कि कैसे लोग सवाल पूछते हैं और जवाब पाते हैं। इस प्रक्रिया को "इंस्ट्रक्शन ट्यूनिंग" (instruction tuning) कहा जाता है। यह रोबमाट को होमवर्क की एक विशाल लाइब्रेरी देने जैसा है ताकि वह निर्देशों का पालन करना सीख सके। लेकिन पेचीदा हिस्सा यह है कि रोबोट की लाइब्रेरी सब कुछ का एक अस्त-व्यस्त मिश्रण है—गणित के सवाल, खाना बनाने की रेसिपी, कोडिंग निर्देश और चिकित्सा सलाह, सब एक साथ मिला हुआ है। जब आप रोबोट को एक ही समय में सब कुछ सिखाने की कोशिश करते हैं, तो वह भ्रमित हो जाता है। यह एक ही घंटे में वायलिन बजाना, कार का इंजन ठीक करना और केक बनाना सीखने की कोशिश करने जैसा है; आप तीनों काम खराब तरीके से कर सकते हैं।
बड़ी समस्या यह है कि एक बार जब रोबोट प्रशिक्षित हो जाता है, तो यदि आप उसे कुछ नया सिखाना चाहते हैं (जैसे कि एक नई प्रकार की कोडिंग भाषा) या उसके ज्ञान की किसी गलती को सुधारना चाहते हैं, तो आपको आमतौर पर उसे सब कुछ "भूलने" के लिए कहना पड़ता है और शून्य से फिर से शुरुआत करनी पड़ती है। यह महंगा है, धीमा है, और इसके लिए ऐसे सुपर-कंप्यूटरों की आवश्यकता होती है जो अधिकांश लोगों के पास नहीं होते। वैज्ञानिक इन रोबोटों को अपडेट करने का एक स्मार्ट तरीका ढूंढ रहे हैं ताकि हर बार दुनिया बदलने पर उन्हें "रीसेट" बटन न दबाना पड़े। वे एक ऐसा सिस्टम चाहते हैं जो बढ़ सके और अनुकूलित हो सके, ठीक वैसे ही जैसे एक इंसान नया कौशल सीखते समय अपने पुराने कौशल को खोए बिना सीखता है।
यहीं पर एक नया विचार SemiAdapt-Instruct आता है। रोबोट के मस्तिष्क को एक विशाल, अस्त-व्यस्त मस्तिष्क के रूप में नहीं, बल्कि कई कमरों वाले एक घर के रूप में सोचें। पूरे घर को एक साथ सिखाने के बजाय, यह तरीका स्वचालित रूप से रोबोट के होमवर्क को अलग-अलग "लेटेंट डोमेन" (latent domains) में वर्गीकृत करता है—जो कि एक फैंसी तरीका है यह बताने का कि कौन से प्रश्न "मैथ रूम" में, कौन से "कोडिंग रूम" में और कौन से "मेडिकल रूम" में जाते हैं।
शोधकर्ताओं ने पाया कि एक स्मार्ट छंटनी प्रणाली का उपयोग करके (एक लाइब्रेरियन की तरह जो तुरंत बता सकता है कि कोई किताब वित्त के बारे में है या फिक्शन के बारे में), वे निर्देशों के इस अस्त-व्यस्त ढेर को साफ-सुथरे, अलग-अलग ढेरों में विभाजित कर सकते हैं। फिर, पूरे रोबोट को प्रशिक्षित करने के बजाय, वे प्रत्येक विशिष्ट कमरे के लिए एक छोटा, विशेष रूप से बनाया गया "हेल्पर" (जिसे एडैप्टर कहा जाता है) प्रशिक्षित करते हैं। ये हेल्पर छोटे विशेषज्ञों की तरह हैं: एक गणित का उस्ताद है, दूसरा कोडिंग गुरु है, और तीसरा मेडिकल विशेषज्ञ है। वे सभी एक ही मुख्य रोबोट मस्तिष्क के साथ काम करते हैं, लेकिन वे केवल मस्तिष्क के उन हिस्सों में बदलाव करते हैं जो उनके विशिष्ट कार्य के लिए आवश्यक हैं।
सबसे शानदार बात यह है कि वे यह कैसे तय करते हैं कि किस हेल्पर का उपयोग करना है। जब आप रोबोट से कोई सवाल पूछते हैं, तो उसे यह तय करने के लिए किसी जटिल मैनेजर की आवश्यकता नहीं होती कि कौन उत्तर देगा। इसके बजाय, वह एक सरल, मुफ्त ट्रिक का उपयोग करता है: वह आपके सवाल की तुलना प्रत्येक कमरे के "औसत वाइब" (average vibe) से करता है। यदि आपका सवाल मैथ रूम जैसा लगता है, तो मैथ हेल्पर काम संभाल लेता है। यदि यह कोडिंग का सवाल है, तो कोडिंग हेल्पर कमान संभाल लेता है। यह तुरंत होता है और इसके लिए किसी अतिरिक्त प्रशिक्षण की आवश्यकता नहीं होती है।
पेपर दिखाता है कि यह दृष्टिकोण वास्तव में बहुत अच्छा काम करता है। जब उन्होंने परीक्षण किया, तो इन विशेष सहायकों वाला रोबोट वास्तव में उस रोबोट से बेहतर उत्तर देता है जिसे एक साथ सब कुछ सिखाकर प्रशिक्षित किया गया था। यह एक एकल, विशाल हेल्पर के साथ प्रशिक्षित रोबोट के समान ही प्रभावी था, लेकिन इसमें एक बड़ा बोनस भी था: एक्सटेंसिबिलिटी (extensibility)। इसका मतलब है कि यदि आप रोबोट को कोई बिल्कुल नया विषय सिखाना चाहते हैं, तो आपको पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस उस नए विषय के लिए एक नया हेल्पर प्रशिक्षित करते हैं और उसे प्लग इन कर देते हैं। पुराने हेल्पर बिल्कुल वैसे ही रहते हैं, जिससे रोबट अपनी पुरानी बातें नहीं भूलता है।
अपने प्रयोगों में, शोधकर्ताओं ने एक ऐसी स्थिति का अनुकरण किया जहाँ उन्होंने केवल एक हेल्पर में नया डेटा जोड़ा। परिणाम? अपडेट किया गया हेल्पर अपने काम में उस स्थिति से कहीं अधिक बेहतर हो गया जहाँ उन्होंने पूरे रोबोट को शून्य से फिर से प्रशिक्षित करने की कोशिश की थी। उन्होंने पाया कि यह तरीका न केवल प्रशिक्षित करने में तेज़ है (उनके परीक्षणों में मानक पद्धति की तुलना में लगभग 1.7 गुना तेज़), बल्कि यह कंप्यूटर मेमोरी की भी भारी बचत करता है।
हालाँकि, लेखक यह ध्यान में रखते हुए सावधान हैं कि यह कोई जादुई छड़ी नहीं है जो हर समस्या को हल कर दे। उन्होंने पाया कि जबकि यह सिस्टम चीजों को व्यवस्थित रखने में बहुत अच्छा है, कभी-कभी "छंटनी" (sorting) एकदम सटीक नहीं होती है, और एक सवाल गलत कमरे में भेजा जा सकता है। लेकिन इन छोटी गलतियों के बावजूद, सिस्टम ने पुराने, ऑल-इन-वन तरीकों की तुलना में बेहतर प्रदर्शन किया। उन्होंने यह भी बताया कि कुछ कठिन विषयों के लिए, जैसे चिकित्सा सलाह, सफलता को मापने का मानक तरीका (शब्दों के मिलान की गिनती करना) पूरी कहानी नहीं बताता था; विशेष हेल्पर वास्तव में बेहतर उत्तर देते थे, भले ही शब्द सटीक रूप से मेल न खाते हों।
तो, निष्कर्ष क्या है? पेपर सुझाव देता है कि एक विशाल, कठोर रोबोट मस्तिष्क बनाने के बजाय जो बदलाव आने पर आसानी से टूट जाता है, हमें विशेष, इंटरचेंजेबल (interchangeable) भागों वाले मॉड्यूलर सिस्टम बनाने चाहिए। यह रोबोट को अपडेट करना आसान, प्रशिक्षित करना सस्ता और अधिक लचीला बनाता है, क्योंकि वास्तविक दुनिया में नए विषय और चुनौतियाँ हमेशा आती रहती हैं। यह सब कुछ जानने के बजाय, कई चीजों में माहिर होने की ओर एक बदलाव है, जहाँ हर चीज़ को सही समय पर सही विशेषज्ञ द्वारा संभाला जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।