Diffract: Spectral View of LLM Domain Adaptation
यह शोध पत्र बड़े भाषा मॉडलों (large language models) में डोमेन अनुकूलन (domain adaptation) के लिए निरंतर पूर्व-प्रशिक्षण (continual pre-training) की जांच करता है, जो यह प्रकट करता है कि स्पेक्ट्रल परिवर्तन मुख्य रूप से सिंगुलर मान परिवर्तनों (singular value alterations) के बजाय सिंगुलर वेक्टर बदलावों (singular vector shifts) द्वारा संचालित होते हैं, और इस अंतर्दृष्टि का लाभ उठाते हुए 'Diffract' विकसित करता है—एक ऐसा टूलकिट जो डोमेन कनेक्टिविटी को बनाए रखते हुए कम-महत्व वाले अटेंशन हेड्स (attention heads) को चुनिंदा रूप से रिवाइंड (rewind) करके कुशल अनुकूलन सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ विशाल रोबोट पढ़ना और लिखना सीख रहे हैं। ये रोबोट, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, शुरुआत में लाइब्रेरी की लगभग हर चीज़ को पढ़ते हैं—समाचार, कहानियाँ, विज्ञान और चैट लॉग्स—ताकि वे समझ सकें कि मानव भाषा कैसे काम करती है। यह एक बच्चे के बड़े होने और अपने आस-पास के सभी लोगों को सुनकर बोलना सीखने जैसा है। लेकिन क्या होता है जब आप चाहते हैं कि वही रोबट गणित में जीनियस, कोडिंग का जादूगर, या निर्देश देने में माहिर बन जाए? आप उस रोबोट को शून्य से फिर से नहीं बना सकते; इसमें बहुत समय और पैसा लगेगा। इसके बजाय, वैज्ञानिक "कंटीन्यूअल प्री-ट्रेनिंग" (CPT) नामक एक तकनीक का उपयोग करते हैं। इसे ऐसे समझें जैसे सामान्य उद्देश्य वाले रोबोट को एक विशेष 'समर कैंप' में भेजना: कुछ हफ्तों का गहन अध्ययन जो केवल गणित की किताबों पर, या केवल कोड मैनुअल्स पर केंद्रित हो। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: इस कैंप के दौरान रोबोट का मस्तिष्क वास्तव में कैसे बदलता है? क्या यह अपनी पूरी याददाश्त को फिर से लिख देता है, या यह केवल कुछ विशिष्ट नोट्स में बदलाव करता है? इसे समझना महत्वपूर्ण है क्योंकि यह हमें स्मार्ट, अधिक कुशल AI बनाने में मदद करता है जो अपने पुराने कौशल को भूले बिना नए कौशल सीख सके।
"डिफ्रैक्ट: एलएलएम डोमेन अडैप्टेशन का स्पेक्ट्रल व्यू" नामक एक नए अध्ययन में, शोधकर्ताओं की एक टीम ने सिंगुलर वैल्यू डिकंपोजिशन (SVD) नामक एक विशेष प्रकार के एक्स-रे का उपयोग करके रोबोट के मस्तिष्क के अंदर झाँकने का निर्णय लिया। कल्पना करें कि रोबोट का मस्तिष्क लाखों छोटे गियर और लीवर्स (गणितीय मैट्रिसेस) से बना है। जब रोबोट कुछ नया सीखता है, तो ये गियर हिलते हैं। शोधकर्ता यह देखना चाहते थे कि वे कैसे हिलते हैं। उन्होंने एक आश्चर्यजनक बात पाई: गियर्स का "आकार" (सिंगुलर वैल्यूज) बिल्कुल भी नहीं बदलता है। ऐसा लगता है जैसे रोबलेट अपने टूलबॉक्स में औजारों का वही सेट रखता है। इसके बजाय, जादू इसलिए होता है क्योंकि औजारों की दिशा (सिंगुलर वेक्टर्स) घूमती है और खुद को नए विषय की ओर उन्मुख करने के लिए पुनर्गठित करती है।
टीम ने पाया कि रोबोट का मस्तिष्क एक समान द्रव्यमान नहीं है; यह कई छोटे विशेषज्ञों से बना है जिन्हें "अटेंशन हेड्स" कहा जाता है। इनमें से कुछ विशेषज्ञ गिरगिट की तरह होते हैं जो अपना रंग बदल लेते हैं कि रोबोट गणित सीख रहा है या कोडिंग, जबकि अन्य चाहे कुछ भी हो, वैसे ही रहते हैं। इसे "हेड हेटेरोजेनिटी" कहा जाता है। इस कारण से, शोधकर्ताओं ने पाया कि वे इन विशेषज्ञों में से 60% तक को उनकी मूल स्थिति में वापस "रिवाइंड" कर सकते थे बिना रोबोट के प्रदर्शन को नुकसान पहुँचाए। वास्तव में, इन विशेषज्ञों को सावधानीपूर्वक चुनने से, उन्होंने रोबोट को गणित में 4% तक बेहतर बना दिया। यह ऐसा है जैसे यह महसूस करना कि आपके अध्ययन के नोट्स का 60% हिस्सा केवल भटकाव था, और उन्हें हटाने से वास्तव में आपको परीक्षा में सफल होने में मदद मिली।
इसके अलावा, अध्ययन ने एक घटना का खुलासा किया जिसे वे "डोमेन कनेक्टिविटी" कहते हैं। यदि आप गणित पर प्रशिक्षित एक रोबोट और कोडिंग पर प्रशिक्षित दूसरे रोबोट को लें, और उनके मस्तिष्क को धीरे से आपस में मिला दें, तो परिणाम एक ऐसा रोबोट होगा जो दोनों में अच्छा है, बिना अपने किसी भी कौशल को खोए। यह मिश्रण तब सबसे अच्छा काम करता है जब रोबोट के पास विशेष प्रशिक्षण से पहले एक लंबी, गहन शिक्षा (एक बड़ा "टोकन बजट") होती है। शोधकर्ताओं ने "डिफ्रैक्ट" नामक एक मुफ्त टूलकिट भी जारी किया है ताकि दूसरों को इन मस्तिष्क गियर्स को देखने में मदद मिल सके, जो यह सुझाव देता है कि इन मॉडल्स के सीखने का तरीका नए निर्माण करने के बजाय मौजूदा संरचनाओं को सही दिशा देने के बारे में अधिक है। हालांकि ये निष्कर्ष उनके द्वारा परीक्षण किए गए मॉडल्स के लिए विशिष्ट हैं, लेकिन ये AI के सीखने के बारे में सोचने का एक नया तरीका सुझाते हैं: यह अतीत को मिटाने के बारे में कम और भविष्य को देखने के लिए सही कोण खोजने के बारे में अधिक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।