Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection
यह शोध पत्र PRECOG और SMC को प्रस्तुत करता है, जो स्टेट-स्पेस मॉडल्स (State-Space Models) के लिए एक रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम है, जो दस्तावेज़ कॉर्पोरा को फिक्स्ड-साइज़ हिडन स्टेट्स में प्री-एनकोड करता है ताकि कॉन्टेक्स्ट इंजेक्शन प्राप्त किया जा सके, जिससे पारंपरिक ट्रांसफॉर्मर-आधारित RAG की तुलना में व्यापक गति वृद्धि के साथ इंटरैक्टिव एज लैंग्वेज मॉडल्स सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को किताबों के एक विशाल पुस्तकालय को खिलाकर सवाल पूछना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे करने का सबसे लोकप्रिय तरीका यह है जैसे आप रोबोट को कागजों का एक ढेर थमा दें और कहें, "मेरे सवाल का जवाब देने से पहले इन कागजों का एक-एक शब्द पढ़ लो।" यह काम तो करता है, लेकिन यह धीमा है। यदि ढेर बहुत बड़ा है, तो रोबोट को "नमस्ते" कहने से पहले संदर्भ को पढ़ने में बहुत लंबा समय लगेगा। इसके अलावा, रोबोट को वह हर एक शब्द याद रखना होगा जो उसने अभी पढ़ा है, जिसमें बहुत अधिक मेमोरी लगती है, जैसे कि बातचीत करते समय अपने दिमाग में पूरी विश्वकोश (एन्साइक्लोपीडिया) को पकड़ कर रखने की कोशिश करना।
वैज्ञानिक इस प्रक्रिया को तेज़ और हल्का बनाने का एक तरीका खोज रहे हैं, विशेष रूप से उन रोबोटों के लिए जो फोन या स्मार्ट उपकरणों जैसे छोटे उपकरणों पर रहते हैं, जहाँ मेमोरी कम होती है और गति ही सब कुछ है। वे एक अलग प्रकार के मस्तिष्क आर्किटेक्चर की खोज कर रहे हैं जिसे "स्टेट-स्पेस मॉडल" (SSM) कहा जाता है। एक SSM को ऐसे न समझें कि वह एक रोबोट है जो किताब को पेज-दर-पेज पढ़ता है और हर शब्द को याद करता है, बल्कि इसे ऐसे समझें कि वह एक रोबोट है जो एक किताब पढ़ता है और फिर तुरंत पूरी कहानी को एक छोटे से, जादुई "समरी कार्ड" (सारांश कार्ड) में संकुचित (compress) कर देता है। यह कार्ड उस कहानी के अर्थ को रखता है जो पढ़ी गई थी, लेकिन खुद शब्दों को नहीं, और इससे कोई फर्क नहीं पड़ता कि किताब में कहानी कहाँ हुई थी। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या हम इस "समरी कार्ड" वाले तरीके का उपयोग करके धीमी रीडिंग वाले हिस्से को पूरी तरह से छोड़ सकते हैं? यदि हम ऐसा कर सकते हैं, तो हम ऐसे AI बना सकते हैं जो तुरंत सवालों के जवाब दे सके, यहाँ तक कि छोटे उपकरणों पर भी, बिना क्लाउड के किसी विशाल कंप्यूटर की आवश्यकता के।
यह पेपर एक चतुर नई तकनीक पेश करता है जिसे PRECOG (जिसका अर्थ है प्री-कंप्यूटेड कॉन्टेक्स्ट इंजेक्शन) कहा जाता है, जो कहता है "हाँ, हम यह कर सकते हैं।" लेखकों ने, TENNs-LLM नामक एक विशिष्ट प्रकार के AI मॉडल के साथ काम करते हुए, यह पता लगाया कि कैसे एक टेक्स्ट के टुकड़े को लें, उसे एक बार AI के माध्यम से चलाकर वह छोटा "समरी कार्ड" (एक हिडन स्टेट) बनाएँ, और उसे सहेज (save) लें। बाद में, जब कोई उपयोगकर्ता प्रश्न पूछता है, तो टेक्स्ट को दोबारा पढ़ने के बजाय, सिस्टम बस उस सहेजे गए समरी कार्ड को निकाल लेता है और उसे सीधे AI के दिमाग में डाल देता है। यह टेस्ट के रीडिंग वाले हिस्से को स्किप करने और सीधे छात्र को उसके द्वारा पहले से तैयार किए गए नोट्स थमा देने जैसा है।
इसके परिणाम गति के मामले में अद्भुत हैं। उस विशिष्ट एज हार्डवेयर (edge hardware) पर जिसका टीम ने परीक्षण किया, संदर्भ को "पढ़ने" के पुराने तरीके में पहला उत्तर पाने में लगभग 27 सेकंड लग रहे थे। PRECOG के साथ, यह समय घटकर 6 मिलीसेकंड से भी कम हो गया। यह लगभग 4,500 गुना की स्पीड-अप है, जिसने एक ऐसी प्रक्रिया को जो उपयोग के लायक नहीं थी, उसे तत्काल और इंटरैक्टिव बना दिया। यह पेपर गणितीय रूप से सिद्ध करता है कि यह शॉर्टकट AI को "मूर्ख" नहीं बनाता है; उत्तर उतने ही अच्छे हैं जितने कि टेक्स्ट को शब्द-दर-शब्द पढ़ने से होते, क्योंकि इस विशिष्ट प्रकार के AI के काम करने का तरीका यह सुनिश्चित करता है कि समरी कार्ड टेक्स्ट के लिए एक पूर्ण प्रतिस्थापन (replacement) है।
यह पेपर एक दूसरा फीचर भी पेश करता है जिसे SMC (स्ट्रक्चर्ड मेमोरी कंसोलिडेशन) कहा जाता है। यदि PRECOG किताबों के पुस्तकालय को याद रखने के बारे में है, तो SMC किसी व्यक्ति के जीवन को याद रखने के बारे में है। यह AI की दीर्घकालिक यादों (जैसे आपकी पसंद या पिछली बातचीत) को विभिन्न "फोल्डर्स" या क्लस्टर्स में व्यवस्थित करता है, जैसे कि "भावनाएं," "तथ्य," या "स्थान।" यह तुरंत सही फोल्डर को बातचीत शुरू होते ही AI के दिमाग में लोड कर सकता है, ताकि AI यह याद रख सके कि आप कौन हैं और आपको क्या पसंद है, बिना आपको बार-बार याद दिलाए। यह पूरा सिस्टम छोटे, कम बिजली वाले उपकरणों पर काम करने के लिए डिज़ाइन किया गया है, जिससे आपकी जेब में एक सुपर-स्मार्ट, मेमोरी-रिच AI असिस्टेंट होना संभव हो जाता है।
लेखक अपने गणित को लेकर बहुत आश्वस्त हैं। उन्होंने सिद्ध किया कि इस विशिष्ट प्रकार के AI के लिए, "समरी कार्ड" वाला तरीका केवल एक अनुमान या अंदाज़ा नहीं है; यह टेक्स्ट को पढ़ने के समान गणितीय रूप से ही है। हालाँकि, वे यह भी बताते हैं कि यह ट्रिक केवल इस विशिष्ट प्रकार के AI आर्किटेक्चर के लिए ही काम करती है। अधिक सामान्य AI मॉडल (जिन्हें ट्रांसफॉर्मर कहा जाता है) अलग तरह से बने होते हैं; वे शब्दों के क्रम में उलझ जाते हैं, इसलिए आप उनके लिए बस एक समरी कार्ड का उपयोग नहीं कर सकते। उन मॉडलों के लिए, आपको हर बार टेक्स्ट को पढ़ना ही होगा। लेकिन भविष्य के छोटे, तेज़, एज-आधारित AI के लिए, यह पेपर एक ऐसे मार्ग का सुझाव देता है जहाँ हम धीमी रीडिंग के भारी बोझ के बिना शक्तिशाली मेमोरी प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।