Learning, Fast and Slow: Towards LLMs That Adapt Continually
यह शोध पत्र फास्ट-स्लो ट्रेनिंग (FST) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो स्थिर मॉडल मापदंडों ("स्लो" वेट्स) को अनुकूलित संदर्भ ("फास्ट" वेट्स) के साथ जोड़ता है ताकि LLMs को टेक्स्टुअल फीडबैक से अधिक कुशलता से सीखने, उच्च प्रदर्शन प्राप्त करने और पारंपरिक पैरामीटर-अपडेटिंग विधियों की तुलना में अधिक प्लास्टिसिटी बनाए रखने और कैटास्ट्रोफिक फॉरगेटिंग को महत्वपूर्ण रूप से कम करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन जिद्दी छात्र (लार्ज लैंग्वेज मॉडल) को जटिल पहेलियों जैसे कि गणित की समस्याओं, कोडिंग चुनौतियों या तथ्य-जांच वाली पहेलियों को हल करना सिखा रहे हैं।
परंपरागत रूप से, जब हम चाहते हैं कि यह छात्र बेहतर बने, तो हम उन्हें नए नियमों को याद करने के लिए मजबूर करते हैं और उनके मस्तिष्क को फिर से लिखते हैं (मॉडल के आंतरिक मापदंडों/पैरामीटर्स को अपडेट करते हैं)। यह एक स्पंज को लेने, उसे नए पानी में भिगोने और फिर उसे निचोड़ने जैसा है। समस्या क्या है? एक बार जब आप इसे निचोड़ देते हैं, तो उनका पुराना ज्ञान (उनका मूल सामान्य ज्ञान) बाहर निकल जाता है। वे उस विशिष्ट पहेली में बहुत अच्छे हो जाते हैं जिसे आपने उन्हें सिखाया है, लेकिन वे एक अच्छा सामान्य विचारक बने रहना भूल जाते हैं, और उन्हें अगली पहेली सीखने में संघर्ष करना पड़ता है। इसे "कैटैस्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है।
दूसरी ओर, आप उन्हें प्रत्येक विशिष्ट पहेली के लिए एक चीट शीट (एक प्रॉम्प्ट) भी दे सकते हैं। यह सस्ता और तेज़ है, लेकिन छात्र को अभी भी अपनी मूल मानसिक शक्ति पर निर्भर रहना होगा। यदि पहेली बहुत कठिन है, तो केवल चीट शीट ही पूर्ण स्कोर पाने के लिए पर्याप्त नहीं होगी।
"फास्ट एंड स्लो" समाधान
यह पेपर एक नई प्रशिक्षण पद्धति पेश करता है जिसे फास्ट-स्लो ट्रेनिंग (FST) कहा जाता है। यह छात्र की सीखने की प्रक्रिया को दो-ट्रैक सिस्टम की तरह मानकर दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को जोड़ता है:
- स्लो ट्रैक (मस्तिष्क): यह मॉडल के स्थायी वेट्स (weights) हैं। यह धीरे-धीरे सीखता है, जैसे कि दीर्घकालिक स्मृति। यह यह सुनिश्चित करने पर ध्यान केंद्रित करता है कि छात्र के मूल तर्क कौशल और सामान्य ज्ञान बरकरार रहें।
- फास्ट ट्रैक (चीट शीट): यह "कॉन्टेक्स्ट" या प्रॉम्प्ट है। यह बहुत तेज़ी से सीखता है, जैसे कि एक अस्थायी स्टिकी नोट। यह वर्तमान कार्य के विशिष्ट, पेचीदा विवरणों को अवशोषित करता है बिना छात्र के मस्तिष्क को स्थायी रूप से बदले।
यह कैसे काम करता है (उपमा)
कल्पना कीजिए कि आप एक शेफ (AI) को एक नया, कठिन व्यंजन पकाने के लिए प्रशिक्षित कर रहे हैं।
- पुराना तरीका (केवल स्लो लर्निंग): आप शेफ को उनके पूरे पाक दर्शन (culinary philosophy) को फिर से लिखकर उस रेसिपी को याद करने के लिए मजबूर करते हैं। वे इस एक व्यंजन के लिए तो महान बन जाते हैं, लेकिन वे अन्य कुछ भी बनाना भूल जाते हैं, और यदि आप बाद में उनसे थोड़ा अलग संस्करण बनाने के लिए कहते हैं, तो वे अनुकूलित नहीं हो पाते।
- FST का तरीका: आप शेफ के मौलिक कौशल (स्लो ट्रैक) को बिल्कुल वैसा ही रखते हैं जैसा वे हैं। इसके बजाय, आप उन्हें एक गतिशील, विकसित होती रेसिपी कार्ड (फास्ट ट्रैक) देते हैं।
- हर बार जब शेफ व्यंजन बनाने की कोशिश करता है और गलती करता है, तो एक "कोच" (सिस्टम) उस त्रुटि को देखता है और तुरंत रेसिपी कार्ड में एक विशिष्ट टिप अपडेट करता है (जैसे, "स्टेप 3 तक नमक न डालें")।
- शेफ इन अपडेटेड कार्ड्स का उपयोग करके फिर से प्रयास करता है।
- केवल इसके बाद कि शेफ ने इन कार्ड्स का उपयोग करके व्यंजन में महारत हासिल कर ली है, हम उनकी मौलिक खाना पकाने की शैली में बहुत छोटे, सावधानीपूर्वक बदलाव करते हैं (स्लो ट्रैक)।
यह बेहतर क्यों है (परिणाम)
यह पेपर दावा करता है कि यह दृष्टिकोण तीन प्रमुख तरीकों से जीतता है:
- यह तेज़ और सस्ता है: क्योंकि "रेसिपी कार्ड" (फास्ट ट्रैक) नई जानकारी को तुरंत अवशोषित कर सकता है, इसलिए सिस्टम कार्य को बहुत तेज़ी से सीखता है। पेपर कहता है कि समान प्रदर्शन स्तर तक पहुँचने के लिए इसे पुराने तरीके की तुलना में 3 गुना कम प्रयासों की आवश्यकता होती है।
- यह भूलता नहीं है: क्योंकि शेफ के मौलिक मस्तिष्क (स्लो ट्रैक) को लगातार फिर से लिखा नहीं जा रहा है, इसलिए वे अपने सामान्य खाना पकाने के कौशल को नहीं खोते हैं। पेपर दिखाता है कि मॉडल अपने मूल, स्मार्ट स्वरूप के बहुत करीब रहता है, जिसका अर्थ है कि वह एक सामान्य तर्ककर्ता होने के बारे में "भूलता" नहीं है।
- यह अगली चुनौती के लिए तैयार है: चूंकि शेफ के मस्तिष्क को पहले व्यंजन के लिए अत्यधिक विशिष्ट (over-specialized) नहीं बनाया गया था, इसलिए वे बिना किसी चीज़ को "अनलर्न" (unlearn) किए तुरंत एक नया व्यंजन सीखना शुरू कर सकते हैं। इस परीक्षण के लिए पेपर ने प्रशिक्षण के बीच में ही कार्य बदल दिया, और FST मॉडल सुचारू रूप से अनुकूलित हुए, जबकि पुराने मॉडल पूरी तरह से रुक गए।
सीक्रेट सॉस: शेफ की एक टीम
पेपर यह भी उल्लेख करता है कि केवल एक रेसिपी कार्ड का उपयोग करने के बजाय, वे विभिन्न रेसिपी कार्डों की एक टीम (प्रॉम्प्ट्स की एक आबादी) बनाए रखते हैं। कुछ कार्ड गणित के लिए बेहतरीन होते हैं, कुछ कोडिंग के लिए। सिस्टम उन्हें आपस में मिलाता है, जिससे "स्लो ट्रैक" को समस्याओं को हल करने के विभिन्न तरीकों को देखने में मदद मिलती है, जो इसे भ्रमित हुए बिना और भी बेहतर तरीके से सीखने में मदद करता है।
संक्षेप में
यह पेपर तर्क देता है कि हमें AI मॉडल्स को उनके मस्तिष्क को फिर से लिखकर हर नया कार्य याद करने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, हमें उन्हें उनकी सामान्य बुद्धिमत्ता (स्लो) बनाए रखने देना चाहिए जबकि उन्हें विशिष्ट कार्यों को संभालने के लिए एक सुपर-फास्ट, अनुकूलन योग्य निर्देशों का सेट (फास्ट) देना चाहिए। यह उन्हें स्मार्ट, तेज़ और पुराने को भूले बिना नई चीजें सीखने में बेहतर बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।