MoEMory: Long-Term User Memory as a Routing Policy on Frozen Mixture-of-Experts Language Models

एक डिजिटल सहायक की कल्पना करें जो आपको याद रखता है। उसे आपका पसंदीदा कॉफी ऑर्डर, आपके बोलने का तरीका और वे विशिष्ट विषय जिन्हें आप पसंद करते हैं, याद रहते हैं। वर्षों से, कंप्यूटर को इस तरह की दीर्घकालिक स्मृति देने का प्रचलित विचार यह रहा है कि उनके मस्तिष्क में नई जानकारी को जबरन डाला जाए। शोधकर्ताओं ने ऐसा करने के दो मुख्य तरीके आजमाए हैं। पहला तरीका ऐसा है जैसे हर सवाल से पहले कंप्यूटर के सामने एक डायरी जोर से पढ़ना, यानी उसके तत्काल ध्यान (immediate attention) में सीधे टेक्स्ट को इंजेक्ट करना। दूसरा तरीका ऐसा है जैसे कंप्यूटर के आंतरिक सर्किट को फिर से वायर करना, यानी इसके भार (weights) को स्थायी रूप से बदलकर स्मृति को इसकी मूल संरचना में समाहित कर देना। ये दोनों विधियाँ कुछ हद तक काम करती हैं, लेकिन उनमें एक छिपा हुआ दोष है: वे दखल देने वाली (invasive) हैं। कंप्यूटर की गणना में नया माल जोड़कर, वे मशीन को भ्रमित करने का जोखिम उठाती हैं। फुटबॉल के बारे में एक स्मृति अनजाने में संगीत के बारे में एक सवाल में मिल सकती है, जिससे कंप्यूटर किसी प्रसिद्ध गायक के बारे में पूछे गए प्रश्न का उत्तर एक फुटबॉल खिलाड़ी के नाम के साथ दे सकता है। यह केवल एक तकनीकी खराबी नहीं है; यह इस बात का मौलिक दुष्प्रभाव है कि ये सिस्टम कैसे बनाए गए हैं, और यह एक गंभीर प्रश्न खड़ा करता है कि क्या हम कभी वास्तव में एक सहायक, व्यक्तिगत सहायक प्राप्त कर सकते हैं जो लगातार अपना रास्ता न भटके।

कैम्ब्रिज विश्वविद्यालय के एक शोधकर्ता ने एक अलग मार्ग प्रस्तावित किया है, जो जुड़ाव के नियमों को पूरी तरह से बदलकर इस भ्रम से बचता है। कंप्यूटर के मन में नई सामग्री डालने के बजाय, वे स्मृति को एक 'सेलेक्टर' (selector) के रूप में उपयोग करने का सुझाव देते हैं। उनका दृष्टिकोण, जिसे वे MoEMory कहते हैं, 'मिक्सचर ऑफ एक्सपर्ट्स' (Mixture of Experts) नामक आर्टिफिशियल इंटेलिजेंस आर्किटेक्चर के एक विशिष्ट प्रकार पर निर्भर करता है। इस आर्किटेक्चर को एक एकल, अखंड मस्तिष्क के रूप में नहीं, बल्कि विशेषज्ञ उपकरणों, या "विशेषज्ञों" के एक विशाल पुस्तकालय के रूप में सोचें, जहाँ किसी दिए गए कार्य पर काम करने के लिए केवल कुछ ही चुने जाते हैं। इन मॉडलों के मानक संस्करण में, कौन से उपकरण उपयोग किए जाने चाहिए इसका निर्णय निश्चित और अपरिवर्तनीय होता है। शोधकर्ता ने महसूस किया कि वे उपकरणों को स्वयं बदलकर नहीं, बल्कि उस स्विच को थोड़ा समायोजित करके उपयोगकर्ता की स्मृति को संग्रहीत कर सकते हैं जो यह तय करता है कि किन उपकरणों को चुना जाएगा। यह स्विच एक सरल बायस (bias) है जो चयन होने से पहले लगाया जाता है, एक सूक्ष्म धकेल (nudge) जो सिस्टम को बताता है, "इस विशिष्ट उपयोगकर्ता के लिए, इन विशेष उपकरणों को प्राथमिकता दें।"

इस पद्धति की महानता इसमें निहित है कि यह क्या नहीं करती है। क्योंकि अंतर्निहित उपकरण और कंप्यूटर की मूल संरचना पूरी तरह से जमी हुई (frozen) और अछूती रहती है, इसलिए स्मृति नई क्षमताएं पैदा नहीं कर सकती या सिस्टम को ऐसी चीजें कहने के लिए मजबूर नहीं कर सकती जो वह पहले से नहीं जानता है। यह केवल मौजूदा क्षमताओं के उपयोग के क्रम को पुनर्व्यवस्थित कर सकती है। यदि कंप्यूटर पहले से ही औपचारिक लहजे में लिखने या खेलों पर चर्चा करने में सक्षम है, तो स्मृति बस यह सुनिश्चित करती है कि उस उपयोगकर्ता के लिए उन विशिष्ट मोडों के सक्रिय होने की संभावना अधिक हो। यदि उपयोगकर्ता किसी ऐसे विषय के बारे में प्रश्न पूछता है जो उनकी संग्रहीत प्राथमिकताओं से पूरी तरह से असंबंधित है, तो सिस्टम अपने डिफ़ॉल्ट व्यवहार पर वापस आ जाता है, जो स्मृति से अप्रभावित रहता है। यह डिज़ाइन द्वारा 'गैर-हस्तक्षेप' (non-interference) का एक रूप बनाता है। स्मृति उस सीमा के भीतर सीमित रहती है जो जमी हुई कंप्यूटर क्या कर सकता है, जिससे उस प्रकार के "ओवर-मेमोराइजेशन" को रोका जा सकता है जहाँ एक उपयोगकर्ता का विशिष्ट जुनून असंबंधित उत्तरों को दूषित कर देता है।

इस विचार का परीक्षण करने के लिए, शोधकर्ता ने अपने रूटिंग-आधारित सिस्टम की तुलना स्मृति इंजेक्ट करने की पारंपरिक विधियों के विरुद्ध की। उन्होंने एक परिदृश्य बनाया जहाँ उपयोगकर्ता की स्मृति स्थापित की गई थी और फिर कंप्यूटर से प्रश्नों की एक श्रृंखला पूछी गई, जिनमें से कुछ स्मृति से संबंधित थे और कई पूरी तरह से असंबंधित थे। पारंपरिक विधियाँ, जो कंप्यूटर के संदर्भ या भार में सामग्री जोड़ती हैं, असंrelated प्रश्नों के बीच 45 से 62 प्रतिशत बार संग्रहीत स्मृति को लीक कर देती थीं। कंप्यूटर लगातार उपयोगकर्ता की विशिष्ट रुचियों को तब भी सामने लाता था जब वे अप्रासंगिक थे। इसके विपरीत, नए रूटिंग पद्धति ने असंबंधित प्रश्नों में केवल 0.7 प्रतिशत बार स्मृति को लीक किया। यह हस्तक्षेप में भारी कमी है, जो पिछले सर्वोत्तम दृष्टिकोणों की तुलना में लगभग नब्बे गुना अधिक स्वच्छ है। कुछ ही बार जब नए सिस्टम ने स्मृति का कोई निशान दिखाया, तो वह ठीक उन्हीं मामलों में था जहाँ सिद्धांत ने भविष्यवाणी की थी कि यह संभव होगा, जिससे पुष्टि होती है कि सिस्टम बिल्कुल वैसा ही व्यवहार कर रहा था जैसा कि डिज़ाइन किया गया था।

शोधकर्ता ने यह भी पता लगाया कि इस स्मृति को दो अलग-अलग तरीकों से कैसे लागू किया जा सकता है। पहला एक स्थिर (static) दृष्टिकोण है, जहाँ स्मृति एक स्थायी स्वभाव के रूप में कार्य करती है, जैसे कि उपयोगकर्ता की सामान्य शैली या व्यक्तित्व, जो हर एक बातचीत को प्रभावित करती है। दूसरा एक गतिशील (dynamic) दृष्टिकोण है, जहाँ स्मृति केवल वर्तमान प्रश्न के विशिष्ट शब्दों द्वारा ट्रिगर होती है, जो एक ऐसे गेट की तरह कार्य करती है जो केवल तभी खुलता है जब सही चाबी घुमाई जाती है। दोनों विधियाँ बिना कंप्यूटर को फिर से प्रशिक्षित किए या बातचीत के दौरान अतिरिक्त प्रसंस्करण समय जोड़े बिना काम करती हैं। सिस्टम बस बायस सेट करने के लिए उपयोगकर्ता के इतिहास को एक बार पढ़ता है, और फिर उस बायस के साथ स्थायी रूप से कार्य करता है। इसका अर्थ यह है कि कंप्यूटर बिना किसी इतिहास लॉग या पिछली बातचीत को फिर से चलाए उपयोगकर्ता की प्राथमिकताओं को याद रख सकता है। यह एक हल्का, कुशल तरीका है जो मशीन को व्यक्तिगत बनाने का है और मशीन के मूल ज्ञान को अक्षुण्ण रखता है।

निष्कर्ष बताते हैं कि व्यक्तिगत आर्टिफिशियल इंटेलिजेंस का भविष्य मॉडल को बड़ा या अधिक जटिल बनाने में नहीं, बल्कि उनकी मौजूदा शक्ति को निर्देशित करने के स्मार्ट तरीके खोजने में निहित है। स्मृति को डेटा के इंजेक्शन के बजाय एक चयन नीति (selection policy) के रूप में मानकर, शोधकर्ता ने दिखाया है कि ऐसे सहायक बनाना संभव है जो यह याद रखते हैं कि आप कौन हैं, बिना यह भूले कि अन्य संदर्भों में सहायक कैसे रहना है। यह दृष्टिकोण मशीन की क्षमताओं की सीमाओं का सम्मान करता है, यह सुनिश्चित करता है कि वैयक्तिकरण अनुभव को बेहतर बनाता है न कि उसे विकृत करता है। हालाँकि यह सिस्टम नई तथ्य संग्रहीत नहीं कर सकता जो कंप्यूटर पहले से नहीं जानता, लेकिन यह उन सूक्ष्म, विनियामक कार्यों में उत्कृष्ट है जो एक अच्छे व्यक्तिगत सहायक को परिभाषित करते हैं: आपका लहजा, आपकी शैली और आपकी प्राथमिकताओं को जानना, और उन्हें बिल्कुल सही क्षण पर लागू करना। डेटा जोड़ने के प्रति जुनूनी क्षेत्र में, यह कार्य एक शांत, शक्तिशाली अनुस्मारक है कि कभी-कभी, सबसे प्रभावी तरीका यह याद रखना है कि अपने कौन से हिस्सों को आगे लाना है।