How Do Large Language Models Learn Concepts During Continual Pre-Training?
यह शोध पत्र यह जांच करता है कि बड़े भाषा मॉडल निरंतर प्री-ट्रेनिंग के दौरान उनके आंतरिक कॉन्सेप्ट सर्किट्स का विश्लेषण करके अवधारणाओं को कैसे प्राप्त करते हैं, उन्हें कैसे बनाए रखते हैं और उन्हें कैसे भूलते हैं, जो विशिष्ट टेम्पोरल लर्निंग पैटर्न, इंटरफेरेंस प्रभावों और ट्रांसफरैबिलिटी डायनेमिक्स को प्रकट करता है जो भूलने की प्रक्रिया को कम करने के लिए नई सर्किट-अवेयर ट्रेनिंग रणनीतियों को प्रेरित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मनुष्य चीजों को मानसिक श्रेणियों में समूहबद्ध करके दुनिया को समझते हैं। हम एक रोएंदार, चार पैरों वाले जानवर को देखते हैं और तुरंत उसे "कुत्ता" पहचान लेते हैं, जो अपने साथ साझा गुणों का एक समूह लेकर आता है: वह भौंकता है, उसकी एक पूंछ होती है, और वह दौड़ सकता है। विशिष्ट अवलोकनों को सामान्य विचारों में बदलने की यह क्षमता मानव तर्क की आधारशिला है। लार्ज लैंग्वेज मॉडल्स (Large language models), वे शक्तिशाली कंप्यूटर प्रोग्राम जो कहानियाँ लिख सकते हैं और सवालों के जवाब दे सकते हैं, कुछ ऐसा ही करने का प्रयास करते हैं। उन्हें टेक्स्ट के विशाल महासागरों पर प्रशिक्षित किया जाता है, जहाँ उनसे इन्हीं प्रकार के अमूर्त अवधारणाओं (abstract concepts) को निकालने और उन्हें अपनी आंतरिक प्रणालियों के भीतर संग्रहीत करने की अपेक्षा की जाती है। लेकिन जबकि हम जानते हैं कि ये मॉडल सीख सकते हैं, हम यह समझने में संघर्ष करते रहे हैं कि वे समय के साथ उस ज्ञान को कैसे बनाए रखते हैं, या क्यों वे कभी-कभी नई जानकारी प्रस्तुत किए जाने पर उसे खोते हुए प्रतीत होते हैं।
वर्षों से, शोधकर्ता इन डिजिटल दिमागों के भीतर झाँकने और यह देखने की कोशिश कर रहे हैं कि वे कैसे काम करते हैं। कुछ ने उन्हें तथ्यों को याद रखने के लिए परीक्षण के लिए प्रश्नों के साथ परखा, जबकि अन्य ने उन विशिष्ट मार्गों (pathways) को मैप करने की कोशिश की जिनका उपयोग कंप्यूटर सूचना को संसाधित करने के लिए करता है। हालाँकि, ये विधियाँ अक्सर अलग-थलग तथ्यों या समय के स्थिर क्षणों को देखती हैं। वे इस गतिशील प्रक्रिया को नहीं देख पातीं कि कैसे एक मॉडल एक नया विचार सीखता है, उसे मजबूत करता है, और फिर कुछ और सीखने के लिए मजबूर होने पर उसे संभावित रूप से भूल जाता है। समझ में यह अंतर महत्वपूर्ण है क्योंकि जैसे-जैसे हम इन मॉडल्स को नए डेटा के साथ अपडेट करते हैं, हमें यह जानने की आवश्यकता है कि क्या वे वास्तव में दुनिया की एक स्थिर समझ बना रहे हैं या केवल ऐसे पैटर्न को याद कर रहे हैं जो अगले अपडेट के साथ गायब हो जाएंगे।
शोधकर्ताओं की एक टीम इस रहस्य को सुलझाने के लिए निकली कि कैसे आर्टिफिशियल इंटेलिजेंस वास्तविक समय में विशिष्ट अवधारणाओं को सीखता और भूलता है। उन्होंने काल्पनिक अवधारणाओं के एक डेटासेट का उपयोग करके एक नियंत्रित वातावरण बनाया। कल्पना कीजिए कि आप एक बच्चे को एक ऐसे जीव के बारे में सिखा रहे हैं जिसे "ओल्रे" (Olre) कहा जाता है जिसमें दौड़ने की क्षमता है, या एक "फू" (Foo) जिसके चार पैर हैं। क्योंकि ये जीव वास्तविक दुनिया में मौजूद नहीं हैं, इसलिए कंप्यूटर के पास कोई पूर्व ज्ञान नहीं है। इसने वैज्ञानिकों को बिना किसी पूर्व-मौजूदा पूर्वाग्रह के, शुरुआत से सीखने की प्रक्रिया को देखने की अनुमति दी। उन्होंने मॉडल को इन काल्पनिक तथ्यों पर प्रशिक्षित किया, फिर इसे बड़ी मात्रा में असंबंधित टेक्स्ट से परिचित कराया ताकि देखा जा सके कि "ओल्रे" और "फू" की इसकी स्मृति के साथ क्या होता है।
उन्होंने जो खोजा वह मॉडल की आंतरिक संरचना में होने वाले बदलावों का एक स्पष्ट, मापने योग्य पैटर्न था। शोधकर्ताओं ने पाया कि कंप्यूटर केवल एक स्थान पर तथ्य को संग्रहीत नहीं करता है; इसके बजाय, वह उस विचार का प्रतिनिधित्व करने के लिए कनेक्शन का एक जटिल जाल, या एक सर्किट बनाता है। इन जालों के आकार और घनत्व का विश्लेषण करके, वे भविष्यवाणी कर सकते थे कि मॉडल ने एक अवधारणा को कितनी अच्छी तरह सीखा है और उसके भूलने की कितनी संभावना है। उन्होंने एक आश्चर्यजनक ट्रेड-ऑफ (trade-off) पाया: जिन अवधारणाओं को मॉडल ने सबसे तेज़ी से और मजबूती से सीखा था, अक्सर वे ही थीं जिन्हें नई जानकारी आने पर सबसे आसानी से भुला दिया जाता था। ऐसा लगता है कि प्रारंभिक सीखने की शक्ति ने ही स्मृति को अधिक नाजुक बना दिया जब सिस्टम को खुद को पुनर्गठित करने के लिए मजबूर किया गया।
अध्ययन ने यह भी प्रकट किया कि विभिन्न विचार एक-दूसरे के साथ कैसे हस्तक्षेप करते हैं। जब मॉडल ने एक ही समय में समान अर्थ वाली दो अवधारणाओं को सीखने की कोशिश की, तो उसे असंबंधित अवधारणाओं की तुलना में काफी अधिक संघर्ष करना पड़ा। समान विचारों के लिए आंतरिक जाल आपस में ओवरलैप (overlap) हो गए, जिससे एक प्रकार का ट्रैफिक जाम बन गया जहाँ कंप्यूटर उनके बीच आसानी से अंतर नहीं कर सका। इसके विपरीत, शोधकर्ताओं ने पाया कि एक प्रकार के ज्ञान को सीखने से मॉडल को दूसरा ज्ञान सीखने में मदद मिल सकती है। उदाहरण के लिए, मॉडल को चीजों के गुणों और कार्यों के बारे में सिखाने से बाद में समान और विपरीत शब्दों के बीच संबंधों को सीखने में बहुत आसानी हुई। यह सुझाव देता है कि जानकारी को प्रस्तुत करने का क्रम बहुत मायने रखता है; कुछ सबक दूसरों के लिए एक आधार के रूप में कार्य करते हैं।
शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ताओं ने दिखाया कि ये आंतरिक पैटर्न न केवल अमूर्त अवलोकन हैं बल्कि इनका उपयोग स्वयं मॉडल्स को बेहतर बनाने के लिए किया जा सकता है। सीखने के सर्किट के आकार को देखकर, वे पहचान सकते थे कि कौन सी अवधारणाएं भूलने के सबसे अधिक जोखिम में थीं। फिर उन्होंने इस अंतर्दृष्टि का उपयोग करके एक सरल प्रशिक्षण रणनीति बनाई: जब भी मॉडल नई चीजें सीख रहा होता, वे बीच में रुककर उन विशिष्ट अवधारणाओं की समीक्षा करते जो सबसे अधिक संवेदनशील थीं। इस लक्षित समीक्षा ने, जो मॉडल की आंतरिक संरचना द्वारा निर्देशित थी, कंप्यूटर को अपने ज्ञान को बनाए रखने में काफी मदद की। यह कार्य सुझाव देता है कि इन मॉडल्स के सीखने की आंतरिक वास्तुकला पर ध्यान देकर, हम उन्हें अधिक प्रभावी ढंग से सिखा सकते हैं, जिससे उन्हें दुनिया की अधिक स्थिर और विश्वसनीय समझ बनाने में मदद मिलती है, बिल्कुल एक ऐसे छात्र की तरह जो जानता है कि परीक्षा से पहले किन नोट्स की समीक्षा करनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।