Language Models Need Sleep
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक नींद जैसी सुदृढ़ीकरण (consolidation) प्रक्रिया का प्रस्ताव करता है जो ऑफलाइन रिकरेंट पासेस के दौरान हालिया कॉन्टेक्स्ट को निरंतर फास्ट वेट्स में परिवर्तित करता है, जिससे अटेंशन स्केलिंग की सीमाओं को दूर किया जा सके और इन्फरेंस लेटेंसी को सुरक्षित रखते हुए लॉन्ग-होरिज़न और डीप-रीज़निंग कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक अत्यंत प्रतिभाशाली छात्र एक बहुत लंबी, जटिल परीक्षा दे रहा है। इस छात्र के पास एक सुपरपावर है: वह भारी मात्रा में जानकारी पढ़ सकता है। हालाँकि, उसका एक सख्त नियम है: वह एक समय में अपनी "सक्रिय" वर्किंग मेमोरी (जैसे कि एक स्टिकी नोट) में केवल कुछ ही तथ्यों को रख सकता है। एक बार जब स्टिकी नोट भर जाता है, तो उसे नए तथ्यों के लिए जगह बनाने हेतु उसे साफ करना ही पड़ता है।
समस्या यह है कि एक बार जब तथ्य स्टिकी नोट से मिटा दिए जाते हैं, तो एक सामान्य छात्र (या एक सामान्य AI) उन्हें तुरंत भूल जाता है। यदि परीक्षा में ऐसा प्रश्न पूछा जाता है जिसमें परीक्षा की शुरुआत के एक तथ्य को अंत के एक तथ्य से जोड़ने की आवश्यकता होती है, तो छात्र असफल हो जाता है क्योंकि पहला तथ्य जा चुका होता है।
यह शोध पत्र "LLM Sleep" नामक एक समाधान प्रस्तावित करता है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए यहाँ दिया गया है:
समस्या: "साफ करने वाला" स्टिकी नोट
वर्तमान AI मॉडल (ट्रांसफॉर्मर) हाल के टेक्स्ट को देखने में बहुत अच्छे होते हैं, लेकिन जैसे-जैसे टेक्स्ट लंबा होता जाता है, उन्हें जगह बचाने के लिए पुरानी जानकारी को फेंकना पड़ता है। इसे इस तरह समझें जैसे एक लाइब्रेरियन जो अपने डेस्क पर केवल 50 किताबें रख सकता है। एक बार जब 51वीं किताब आती है, तो उसे जगह बनाने के लिए पहली किताब को कचरे में फेंकना पड़ता है।
यदि लाइब्रेरियन से पूछा जाए, "पहली किताब का पहला शब्द क्या था?" तो वह उत्तर नहीं दे पाएगा क्योंकि वह जा चुका है। भले ही उसके पास एक "तेज स्मृति" (जैसे कि एक मानसिक नोट) हो, वह अक्सर उस फेंकी गई जानकारी के आधार पर जटिल पहेलियों को सुलझाने के लिए आवश्यक गहन सोच नहीं कर पाता है।
समाधान: "रात की पढ़ाई" का सत्र
लेखक सुझाव देते हैं कि जब लाइब्रेरियन का डेस्क भर जाता है, तो किताबों को बस कचरे में फेंकने के बजाय, लाइब्रेरियन को "नींद" (क्रिया के दौरान एक विराम) लेनी चाहिए।
इस "नींद" के दौरान:
- कोई नई किताबें नहीं आतीं: लाइब्रेरियन नया इनपुट पढ़ना बंद कर देता है।
- गहन समीक्षा: लाइब्रेरियन डेस्क पर मौजूद किताबों को मानसिक रूप से बार-बार दोहराता है (रिकर्सिवली)।
- मस्तिष्क का पुनर्लेखन: केवल किताबों को देखने के बजाय, लाइब्रेरियन अपने "आंतरिक विश्वकोश" (मॉडल के वेट्स/weights) को फिर से लिखने के लिए इस समय का उपयोग करता है। वह उन किताबों से सबसे महत्वपूर्ण पाठों को अपने दीर्घकालिक स्मृति में संकुचित (distill) कर लेता है।
- डेस्क खाली करना: एक बार जब आंतरिक विश्वकोश नए ज्ञान के साथ अपडेट हो जाता है, तो लाइब्रेरियन अपना डेस्क साफ कर देता है और किताबों के अगले बैच के लिए तैयार हो जाता है।
जब परीक्षा बाद में आती है, तो लाइब्रेरियन को डेस्क पर मौजूद पुरानी किताबों को देखने की आवश्यकता नहीं होती (क्योंकि वे जा चुकी हैं)। इसके बजाय, वह बस अपने आंतरिक विश्वकोश को खोलता है, जिसमें उन पुरानी किताबों का सार समाहित होता है, और तुरंत उत्तर देता है।
"नींद" क्यों मदद करती है
शोध पत्र दिखाता है कि मॉडल जितना अधिक समय "सोने" में (अपने आंतरिक विश्वकोश की समीक्षा करने और उसे फिर से लिखने में) बिताता है, वह कठिन पहेलियों को सुलझाने में उतना ही बेहतर होता जाता है।
- सरल कार्य: यदि प्रश्न आसान है (जैसे "पहला शब्द क्या है?"), तो एक त्वरित नज़र ही काफी है।
- कठिन कार्य: यदि प्रश्न कठिन है (जैसे "यदि आप तर्क के इस पथ का 10 चरणों तक अनुसरण करते हैं, तो आप कहाँ पहुँचते हैं?"), तो मॉडल को गहन मानसिक गणित करने की आवश्यकता होती है। एक मानक मॉडल इसे एक साथ करने की कोशिश करता है और विफल हो जाता है। एक "सोने वाला" मॉडल परीक्षा शुरू होने से पहले ही गणित करने के लिए अतिरिक्त समय प्राप्त कर लेता है, ताकि वह समय आने पर कठिन प्रश्न का तुरंत उत्तर दे सके।
परिणाम
शोधकर्ताओं ने तीन प्रकार की चुनौतियों पर इसका परीक्षण किया:
- सेलुलर ऑटोमेटा (द "गेम ऑफ लाइफ"): एक पहेली जहाँ आपको यह अनुमान लगाना होता है कि एक पैटर्न कई चरणों में कैसे बदलता है। "सोने वाले" मॉडल उन पैटर्न के भविष्य के चरणों की भविष्यवाणी करने में बहुत बेहतर रहे जिन्हें वे पहले ही "भूल" चुके थे।
- ग्राफ रिट्रीवल (द "मैप"): एक कार्य जहाँ आपको कनेक्शनों के भूलभुलैया में एक रास्ता खोजना होता है। सोने वाले मॉडल बिना सोने वाले मॉडलों की तुलना में भूलभुलैया में अधिक गहराई तक जा सकते हैं।
- गणित की समस्याएँ: वास्तविक गणितीय शब्द समस्याओं पर, वे मॉडल जो अधिक समय तक सोए थे, उन समस्याओं को हल करने में काफी बेहतर थे जिनमें गणना के कई चरणों की आवश्यकता थी, भले ही समस्या का टेक्स्ट इतना लंबा था कि वह उनकी सक्रिय मेमोरी में फिट न हो सके।
एक समझौता (Trade-off)
शोध पत्र नोट करता है कि यह "नींद" मॉडल को परीक्षा के दौरान (इन्फरेंस के दौरान) धीमा नहीं बनाती है। मॉडल अभी भी प्रश्नों के उत्तर तुरंत देता है। इसकी "कीमत" प्रशिक्षण चरण (जब मॉडल सीख रहा होता है) के दौरान चुकाई जाती है। मॉडल को अपनी मजबूत आंतरिक विश्वकोश बनाने के लिए "सोने" और अध्ययन करने में अतिरिक्त समय बिताना पड़ता है। लेकिन इसका प्रतिफल एक ऐसा मॉडल है जो उस जानकारी पर बहुत गहराई से तर्क कर सकता है जिसे वह अब सीधे देख नहीं सकता।
संक्षेप में: यह शोध पत्र AI मॉडलों को स्टिकी नोट पर सब कुछ याद रखने की कोशिश करने के बजाय, उसे छोड़ना सिखाता है। इसके बजाय, जब नोट भर जाता है, तो वे महत्वपूर्ण जानकारी को अपने मस्तिष्क में स्थानांतरित करने के लिए एक झपकी लेते हैं, जिससे वे मूल नोट्स को देखे बिना भी बाद में कठिन समस्याओं को हल करने में सक्षम होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।