Memory for Large Language Models
यह सर्वेक्षण बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में मेमोरी के लिए एक व्यवस्थित, आर्किटेक्चर-केंद्रित वर्गीकरण प्रस्तुत करता है, जो भविष्य के स्केलेबल और अनुकूलन योग्य डिज़ाइन का मार्गदर्शन करने के लिए प्रतिनिधित्व (रिप्रजेंटेशन), अपडेट डायनेमिक्स और निरंतरता (परसिस्टेंस) के तीन-अक्षीय ढांचे के माध्यम से खंडित शोध को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक बेहद बुद्धिमान लेकिन भुलक्कड़ दोस्त को कहानी लिखना सिखा रहे हैं। आप उसे किताबों का एक विशाल पुस्तकालय देते हैं, और वह पूरी की पूरी लाइब्रेरी याद कर लेता है। आज के सबसे उन्नत कंप्यूटर दिमाग, जिन्हें 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है, ठीक इसी तरह काम करते हैं। वे उन सुपर-स्मार्ट छात्रों की तरह हैं जिन्होंने इंटरनेट पर मौजूद लगभग सब कुछ पढ़ लिया है। लेकिन यहाँ एक पेच है: एक बार जब वे कोई किताब पढ़ लेते हैं, तो वे विवरण भूल जाते हैं, जब तक कि आप वह किताब उनके ठीक सामने खुली न रखें। एआई (AI) की दुनिया में, इस "मेज पर खुली किताब" को मेमोरी (याददाश्त) कहा जाता है।
लंबे समय तक, इन एआई मॉडल्स के पास एक बहुत ही विशिष्ट प्रकार की मेमोरी थी। यह एक ऐसी 'स्टिकी नोट' (चिपकने वाली पर्ची) की तरह थी जो केवल तब तक चलती थी जब तक आप उसे देख रहे होते थे। यदि आप एक ऐसा उपन्यास पढ़ने की कोशिश करते जो उस स्टिकी नोट की क्षमता से लंबा होता, तो एआई कहानी के बीच तक पहुँचते-पहुँचते शुरुआत का हिस्सा भूलने लगता। इसे "इम्प्लिसिट मेमोरी" (अंतर्निहित स्मृति) कहा जाता था—यह केवल इस बात का एक दुष्प्रभाव था कि कंप्यूटर अपनी गणितीय गणना कैसे कर रहा था, न कि कोई समर्पित उपकरण। लेकिन हाल ही में, वैज्ञानिकों ने एक बड़ा सवाल पूछना शुरू किया है: क्या होगा अगर हम इन एआई मॉडल्स को एक असली नोटबुक दे दें? एक ऐसी जगह जहाँ वे महत्वपूर्ण तथ्यों को लिख सकें, उन्हें हमेशा के लिए सुरक्षित रख सकें, और बाद में उन्हें वैसे ही ढूँढ सकें जैसे एक इंसान करता है। "बातचीत खत्म होने के बाद सब कुछ भूल जाने" से लेकर "एक स्थायी, व्यवस्थित मस्तिष्क" रखने की ओर यह बदलाव कंप्यूटर विज्ञान में चल रही एक बड़ी कहानी है।
यह शोध पत्र उस नई दुनिया के लिए एक विशाल मार्गदर्शिका है। लेखकों, जो शोधकर्ताओं की एक टीम है, ने देखा कि हर कोई एआई को मेमोरी देने के अलग-अलग तरीके ईजाद कर रहा है, लेकिन वे सभी अलग-अलग नामों और भ्रमित करने वाले मानचित्रों का उपयोग कर रहे हैं। कुछ लोग "स्टिकी नोट्स" बना रहे हैं, कुछ "फाइलिंग कैबिनेट" बना रहे हैं, और कुछ तो एआई को बात करते समय अपने ही मस्तिष्क को फिर से लिखने के लिए भी सिखा रहे हैं। इस शोध पत्र का मुख्य कार्य इन सभी बिखरे हुए विचारों को एक व्यवस्थित प्रणाली में संकलित करना है। वे एआई मेमोरी को देखने के लिए तीन सरल प्रश्नों का उपयोग करते हुए एक नया तरीका प्रस्तावित करते हैं: क्या संग्रहीत किया जा रहा है? इसे कब अपडेट किया जाता है? और यह कितने समय तक रहता है?
यह पत्र सुझाव देता है कि हम पुराने तरीके से दूर जा रहे हैं, जहाँ मेमोरी केवल सोचने का एक अस्थायी उपोत्पाद (byproduct) थी, और एक नए युग की ओर बढ़ रहे हैं जहाँ मेमोरी एक समर्पित, नियंत्रणीय उपकरण है। वे पाते हैं कि अब दो मुख्य प्रकार की मेमोरी हैं। पहला है इम्प्लिसिट मेमोरी (अंतर्निहित स्मृति), जो एआई की अल्पकालिक वर्किंग मेमोरी की तरह है। यह तेज़ और लचीली है, लेकिन यह तत्काल बातचीत से जुड़ी होती है और चैट समाप्त होते ही गायब हो जाती है। इसे एआई के मन में चल रही बातचीत के रूप में समझें; वह पाँच सेकंड पहले आपने क्या कहा था, यह याद रख सकता है, लेकिन वह कल आपने क्या कहा था, इसे याद नहीं रख सकता जब तक कि आप उसे याद न दिलाएं।
दूसरा प्रकार है एक्सप्लिसिट मेमोरी (स्पष्ट स्मृति), जो रोमांचक नई चीज़ है। यह एआई को एक असली नोटबुक या डिजिटल हार्ड ड्राइव देने जैसा है। यह मेमोरी सोचने की प्रक्रिया से अलग है। एआई इस नोटबुक में एक तथ्य लिख सकता है, चैट बंद कर सकता है, और कई दिनों बाद इसे पढ़ने के लिए वापस आ सकता है। पत्र दिखाता है कि शोधकर्ता इन नोटबुक्स को विभिन्न तरीकों से बना रहे हैं: कुछ "पैरामीटराइज्ड" (प्राचलीकरण आधारित) हैं, जिसका अर्थ है कि एआई सीधे अपने मस्तिष्क के भार (weights) में लिखना सीखता है; कुछ "लुकअप-आधारित" हैं, जहाँ एआई तथ्यों के एक विशाल डेटाबेस को खोजता है; और कुछ "मिक्सचर-ऑफ-एक्सपर्ट्स" हैं, जहाँ एआई के पास अलग-अलग विषयों के लिए अलग-अलग विशेषज्ञ होते हैं जिन्हें वह बुला सकता है।
हालाँकि, यह पत्र बहुत स्पष्ट है कि यह अभी तक कोई हल हुआ मामला नहीं है। भले ही ये नई मेमोरी सिस्टम शक्तिशाली हैं, लेकिन इनके साथ बड़े समझौते (trade-offs) भी जुड़े हैं। लेखक बताते हैं कि सिर्फ इसलिए कि आपने एआई को एक बड़ी नोटबुक दे दी है, इसका मतलब यह नहीं है कि वह बेहतर याद रखेगा। कभी-कभी, एआई बहुत अधिक जानकारी से भ्रमित हो जाता है, या वह गलत चीजें लिख देता है और उन्हें मिटा नहीं पाता। वे यह भी नोट करते हैं कि एआई के बात करते समय इस मेमोरी को अपडेट करना (जिसे "ऑनलाइन" अपडेट कहा जाता है) जोखिम भरा है और यह एआई को अस्थिर बना सकता है, जबकि इसे केवल सीखने के दौरान अपडेट करना (जिसे "ऑफलाइन" कहा जाता है) सुरक्षित है लेकिन कम लचीला है।
यह पत्र यह दावा नहीं करता कि हमने एक पूर्ण, मानव जैसा मस्तिष्क बना लिया है। इसके बजाय, यह सुझाव देता है कि हम एक अस्त-व्यस्त, प्रयोगात्मक चरण में हैं जहाँ हम यह पता लगाने की कोशिश कर रहे हैं कि एआई को जानकारी कैसे संग्रहीत और उपयोग करनी चाहिए, इसके सर्वोत्तम नियम क्या हैं। उनका तर्क है कि भविष्य केवल एक प्रकार की मेमोरी चुनने के बारे में नहीं है, बल्कि हाइब्रिड सिस्टम (मिश्रित प्रणाली) बनाने के बारे में है। कल्पना कीजिए कि एक मॉडल जिसके पास वर्तमान बातचीत के लिए एक त्वरित स्टिकी नोट है, लंबे समय के तथ्यों के लिए एक व्यक्तिगत नोटबुक है, और इंटरनेट खोजने के लिए एक लाइब्रेरी कार्ड है, और ये सभी मिलकर काम कर रहे हैं। लेखक निष्कर्ष निकालते हैं कि एआई को वास्तव में स्मार्ट और उपयोगी बनाने के लिए, हमें मेमोरी को एक दुर्घटना के रूप में मानना बंद करना होगा और इसे एक मुख्य विशेषता के रूप में डिजाइन करना शुरू करना होगा, जिसमें यह सावधानीपूर्वक संतुलन बनाया जाए कि वह कितना याद रखता है, कितनी तेज़ी से अपडेट होता है, और वह चीजों को कितने समय तक रखता है। यह एक भुलक्कड़ जीनियस को एक वास्तव में बुद्धिमान साथी में बदलने का रोडमैप है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।