Mamba with Hierarchical Memory: Solving Representation Bottleneck in Long Sequence Modeling

कल्पना कीजिए कि आप एक ऐसी कहानी को याद करने की कोशिश कर रहे हैं जो दस लाख शब्दों लंबी है। आपका मस्तिष्क अद्भुत है, लेकिन इसकी एक सीमा है कि यह एक ही समय में अपने "सक्रिय" सोचने के स्थान में कितना डेटा रख सकता है। यदि आप उस विशाल कहानी के हर एक शब्द को अपने सक्रिय मन में रखने की कोशिश करते हैं, तो पुराने हिस्से बाहर धकेल दिए जाते हैं या धुंधले हो जाते हैं, और आप कहानी का सार खो देते हैं। यह कुछ वैसा ही है जैसा कि आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) मॉडल के सामने आने वाली चुनौती है। लंबे समय तक, सबसे शक्तिशाली AI मॉडल 'ट्रांसफॉर्मर' की तरह बनाए गए थे, जो संदर्भ (context) को समझने में तो बेहतरीन हैं, लेकिन जब कहानी बहुत लंबी हो जाती है, तो वे अविश्वसनीय रूप से धीमे और महंगे हो जाते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने एक नया, तेज़ प्रकार का मॉडल बनाया जिसे "रिकरेंट लीनियर अटेंशन" मॉडल (जैसे मंबा/Mamba) कहा जाता है। ये मॉडल एक अत्यंत कुशल कन्वेयर बेल्ट की तरह हैं: वे जानकारी को एक-एक शब्द करके प्रोसेस करते हैं, और जैसे-जैसे वे आगे बढ़ते हैं, अपने मन में एक एकल, संक्षिप्त "नोट" को अपडेट करते रहते हैं। यह उन्हें अविश्वसनीय रूप से तेज़ बनाता है और उन्हें भारी मात्रा में टेक्स्ट संभालने में सक्षम बनाता है। हालाँकि, इसमें एक पेंच है: क्योंकि उस एकल "नोट" का आकार निश्चित है, यह एक छोटी बाल्टी की तरह काम करता है जो समुद्र को समाने की कोशिश कर रहा है। जैसे-जैसे कहानी लंबी होती जाती है, बाल्टी भर जाती है, और मॉडल महत्वपूर्ण विवरणों को भूलने लगता है, भले ही वह अगले शब्द का सही अनुमान लगाने में सक्षम हो।

बड़ा सवाल यह है कि वैज्ञानिक लंबे समय से क्या पूछ रहे हैं: हम इन तेज़ AI मॉडलों को एक लंबी कहानी के केवल शब्दों को ही नहीं, बल्कि उसके अर्थ को कैसे याद रखना सिखा सकते हैं? एक सामान्य धारणा यह थी कि यदि हम मॉडल को बेहतर बना दें ताकि वह कम "भूलता" है (संख्यात्मक क्षय/numerical decay को कम करके), तो यह स्वतः ही लंबी टेक्स्ट के माध्यम से तर्क करने में अधिक स्मार्ट हो जाएगा। लेकिन एक नया शोध पत्र बताता है कि यह एक छलावा हो सकता है। शोधकर्ताओं ने पाया कि भले ही मॉडल गणितीय रूप रूप से पूर्ण हो कि "बाल्टी" को ओवरफ्लो होने से कैसे रोका जाए, फिर भी वह "घास के ढेर में सुई खोजने" (needle in a haystack) जैसे जटिल कार्यों या पूरी कहानी को समझने के लिए आवश्यक पहेली को सुलझाने में विफल रहता है। उनका तर्क है कि समस्या केवल बाल्टी के भरने की नहीं है; बल्कि समस्या यह है कि बाल्टी एक एकल, धुंधली आकृति में अलग-अलग, जटिल विचारों को ठूसने की कोशिश कर रही है। वे इसे "सिमेंटिक एलियासिंग" (semantic aliasing) कहते हैं, जहाँ दो बहुत अलग कहानियाँ मॉडल के छोटे से मेमोरी स्टेट के भीतर बिल्कुल एक जैसी दिखने लगती हैं। इस समस्या को हल करने के लिए, टीम ने प्रेरणा के रूप में मानव स्मृति की ओर देखा। जिस तरह मनुष्यों के पास संवेदी स्मृति (जो हम अभी देख रहे हैं), वर्किंग मेमोरी (जिसके बारे में हम सोच रहे हैं), और दीर्घकालिक स्मृति (जहाँ हम तथ्यों को बाद के लिए संग्रहीत करते हैं) होती है, शोधकर्ताओं ने Hierarchical Memory Mamba (HMM) नामक एक नया सिस्टम बनाया। यह सिस्टम केवल एक छोटी बाल्टी पर निर्भर नहीं करता है। इसमें एक तेज़ "संवेदी" परत है जो टेक्स्ट को पढ़ती है, एक "वर्किंग" परत है जो शब्दों को सार्थक अनुच्छेदों (paragraphs) में समूहित करती है, और एक "दीर्घकालिक" लाइब्रेरी है जहाँ यह उन अनुच्छेदों के संकुचित सारांशों को संग्रहीत करती है। जब मॉडल को किसी समस्या को हल करने की आवश्यकता होती है, तो वह केवल अपने वर्तमान विचार को नहीं देखता; बल्कि वह अपनी लाइब्रेरी में जाकर सही सारांश निकालता है और उसे अपने मन के अग्रभाग में वापस लाता है।

यह शोध पत्र प्रदर्शित करता है कि यह दृष्टिकोण आश्चर्यजनक रूप से प्रभावी है। एक मानक मंबा मॉडल के ऊपर इस पदानुक्रमित (hierarchical) मेमोरी सिस्टम को जोड़ने से, AI बिना दोबारा ट्रेनिंग लिए या भारी मात्रा में अतिरिक्त कंप्यूटर पावर का उपयोग किए, लंबे-अनुक्रम वाले कार्यों में काफी बेहतर हो गया। उन परीक्षणों में जहाँ मॉडल को एक लंबे टेक्स्ट में छिपे हुए "पासकी" (passkey) को खोजना था, नए सिस्टम ने मौजूदा मजबूत मॉडलों की तुलना में सफलता दर में 34.3% से 37.1% तक सुधार किया। जब मामला तर्क करने वाले कार्यों (जैसे लंबे दस्तावेज़ों के आधार पर प्रश्नों के उत्तर देना) का आया, तो सटीकता 1.6% से 14.2% तक बढ़ गई। शायद सबसे प्रभावशाली बात यह है कि यह सब केवल 2% अधिक पैरामीटर्स (मॉडल के आंतरिक सेटिंग्स) जोड़कर और बहुत कम अतिरिक्त प्रशिक्षण समय के साथ हासिल किया गया। शोधकर्ताओं ने यह भी दिखाया कि यह तरीका मॉडल की गति को धीमा नहीं करता है; यह मूल मंबा आर्किटेक्चर की तेज़ गति को बनाए रखता है।

महत्वपूर्ण रूप से, यह शोध पत्र इस विचार का खंडन करता है कि केवल मॉडल को गणितीय रूप से स्थिर बनाना (क्षय/decay को कम करना) लंबी-संदर्भ (long-context) समस्याओं को हल करने के लिए पर्याप्त है। उन्होंने सिद्ध किया कि पूर्ण स्थिरता के साथ भी, एक निश्चित आकार की मेमोरी स्टेट अंततः अलग-अलग इतिहासों को आपस में मिला देगी, जिससे दो अलग-अलग लंबी कहानियों के बीच अंतर करना असंभव हो जाएगा। उनका समाधान बाल्टी को बड़ा बनाना नहीं है, बल्कि जानकारी को व्यवस्थित करने का तरीका बदलना है। "अनुच्छेद-स्तरीय अर्थ" (एक खंड के मुख्य विचार) को निकालकर और उन्हें एक अलग, पुनर्प्राप्त करने योग्य (retrievable) मेमोरी में संग्रहीत करके, मॉडल अपने स्वयं के आंतरिक स्टेट की बाधा को पार कर सकता है। उनके परिणाम बताते हैं कि यह मानव-प्रेरित डिज़ाइन मॉडल को विभिन्न कार्यों में सामान्यीकरण (generalize) करने की अनुमति देता है, जिसका अर्थ है कि यह हर नए प्रकार की पहेली के लिए फाइन-ट्यून किए बिना जानकारी को कुशलतापूर्वक प्राप्त करना और उपयोग करना सीख सकता है। हालांकि यह शोध पत्र भाषा मॉडलिंग और तर्क पर केंद्रित है, लेकिन इसका मूल विचार—कि सूचना को पदानुक्रमित (hierically) रूप से व्यवस्थित करना विशाल मात्रा में जानकारी को संभालने के लिए कुंजी है—अधिक स्मार्ट, अधिक कुशल AI बनाने के लिए एक नया मार्ग प्रदान करता है जो अपनी लंबी कहानियों में खो न जाए।