MegaMem: A Retrieval Solution for Ultra-Large Context Windows
MegaMem एक स्रोत-सुलभ (source-resolved) ड्यूल-व्यू रिट्रीवल सिस्टम है जो सिमेंटिक सर्च को बाउंडेड एविडेंस रिट्रीवल से अलग करके अल्ट्रा-लार्ज पर्सिस्टेंट मेमोरीज़ (एक बिलियन टोकन तक) पर सटीक जनरेशन सक्षम बनाता है, जिससे EnterpriseRAG-Bench पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सवाल पूछने में उल्लेखनीय रूप से कुशल हो गया है, लेकिन इसे एक मौलिक सीमा का सामना करना पड़ता है: यह एक समय में अपने सक्रिय "मस्तिष्क" में केवल एक निश्चित मात्रा में जानकारी रख सकता है। कल्पना कीजिए कि आप एक ही किताब पढ़ने की कोशिश कर रहे हैं जबकि साथ ही में अपने दिमाग में एक विशाल पुस्तकालय की पूरी सामग्री को भी रखने की कोशिश कर रहे हैं; आप जितनी अधिक किताबें याद रखने की कोशिश करेंगे, उस एक किताब पर ध्यान केंद्रित करना उतना ही कठिन होता जाएगा जिसे आप वास्तव में पढ़ रहे हैं। वर्षों से, शोधकर्ताओं ने इस समस्या को हल करने के लिए ऐसे सिस्टम बनाने की कोशिश की है जो कंप्यूटर के तत्काल ध्यान के बाहर भारी मात्रा में डेटा संग्रहीत करते हैं, और जब कोई प्रश्न पूछा जाता है तो केवल आवश्यक विशिष्ट पृष्ठों को ही प्राप्त करते हैं। यह दृष्टिकोण छोटे संग्रहों के लिए अच्छी तरह काम करता है, लेकिन जब पुस्तकालय इतना बड़ा हो जाए कि उसमें करोड़ों पृष्ठ हों, जैसे कि किसी सॉफ्टवेयर कंपनी का संपूर्ण कोड या कॉर्पोरेट रिकॉर्ड के वर्ष, तो यह विफल होने लगता है। चुनौती केवल इतने बड़े ढेर में सही पृष्ठ खोजने की नहीं है, बल्कि ऐसा करने की है कि कंप्यूटर को बहुत अधिक टेक्स्ट से अभिभूत न किया जाए, जिससे उसकी गति धीमी हो जाए या उसका उत्तर भ्रमित हो जाए।
शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए मेगामेम (MegaMem) नामक एक नया सिस्टम विकसित किया है। उनका कार्य इस बात के महत्वपूर्ण अवरोध को संबोधित करता है कि आर्टिफिशियल इंटेलिजेंस विशाल, स्थायी स्मृतियों को कैसे संभालता है। कंप्यूटर को हर बार सवाल पूछे जाने पर लाखों दस्तावेजों को पढ़ने के लिए मजबूर करने के बजाय, टीम ने एक दो-चरणीय प्रक्रिया बनाई जो खोजने (searching) और उत्तर देने (answering) के कार्य को अलग करती है। उन्होंने एक ऐसा सिस्टम बनाया जो पहले सूचना के अत्यधिक संक्षिप्त सारांशों का उपयोग करके उत्तरों की तलाश करता है, और एक बार जब एक आशाजनक सुराग मिल जाता है, तभी वह पूर्ण, विस्तृत पाठ (text) को प्राप्त करता है। यह सिस्टम को करोड़ों शब्दों वाली लाइब्रेरी में खोजने की अनुमति देता है और केवल एक छोटा, प्रबंधनीय मात्रा में टेक्स्ट ही कंप्यूटर को उत्तर उत्पन्न करने के लिए प्रदान करता है।
शोधकर्ताओं ने अपने सिस्टम का परीक्षण 5,00,000 वास्तविक दुनिया के एंटरप्राइज दस्तावेजों के एक विशाल डेटासेट पर किया, जिसमें लगभग 65 करोड़ शब्द शामिल थे। इस संग्रह में तकनीकी मैनुअल और कानूनी अनुबंधों से लेकर मीटिंग नोट्स और उत्पाद विनिर्देश (product specifications) तक सब कुछ शामिल था। अपने प्रयोगों में, उन्होंने अपने सिस्टम की तुलना मानक तरीकों से की जो सीधे कच्चे दस्तावेजों (raw documents) को खोजने का प्रयास करते हैं। परिणाम चौंकाने वाले थे। जब सिस्टम को इस विशाल लाइब्रेरी के भीतर जानकारी खोजने के लिए कहा गया, तो इसने कुल मिलाकर उत्तरों की गुणवत्ता को लगभग 68 प्रतिशत से बढ़ाकर 82 प्रतिशत से अधिक कर दिया। इससे भी महत्वपूर्ण बात यह है कि जैसे-जैसे लाइब्रेरी का आकार 2 करोड़ शब्दों से बढ़कर 25 करोड़ शब्दों तक बढ़ा, इसने उच्च स्तर की सटीकता बनाए रखी। इसने प्रदर्शित किया कि सिस्टम एक छोटे राष्ट्र के संपूर्ण लिखित आउटपुट के आकार के करीब की लाइब्रेरी को संभालने के लिए बिना अपनी सही तथ्यों को खोजने की क्षमता खोए, स्केल (scale up) कर सकता है।
इस सफलता का रहस्य इस बात में निहित है कि सिस्टम जानकारी को कैसे व्यवस्थित और प्राप्त करता है। जब लाइब्रेरी पहली बार बनाई जाती है, तो कंप्यूटर प्रत्येक दस्तावेज़ को पढ़ता है और डेटा के दो अलग-अलग संस्करण बनाता है। एक संस्करण मूल, विस्तृत पाठ का है, जिसे ठीक वैसा ही रखा गया है जैसा वह लिखा गया था। दूसरा संस्करण संक्षिप्त, सघन नोट्स का एक सेट है जो उन दस्तावेजों के मुख्य विचारों, तथ्यों और प्रक्रियाओं को कैप्चर करता है। जब कोई उपयोगकर्ता प्रश्न पूछता है, तो सिस्टम पहले इन संक्षिप्त नोट्स की खोज करता है। क्योंकि नोट्स छोटे और केंद्रित होते हैं, इसलिए कंप्यूटर सेकंड के एक अंश में लाखों शब्दों की पूरी लाइब्रेरी को स्कैन कर सकता है। यदि खोज में एक प्रासंगिक नोट मिलता है, तो सिस्टम एक अद्वितीय पहचानकर्ता (unique identifier) का उपयोग करके उस सटीक मूल दस्तावेज़ का पता लगाता है जिससे वह नोट आया था। यह केवल उस विशिष्ट विस्तृत पाठ को प्राप्त करता है जो कंप्यूटर को अपना अंतिम उत्तर तैयार करने में मदद करे। यह सुनिश्चित करता है कि कंप्यूटर के पास सटीक, अपरिवर्तित साक्ष्य हो जिसकी उसे आवश्यकता है, बिना अप्रासंगिक जानकारी से विचलित हुए।
शोधकर्ताओं ने यह भी पाया कि यह तरीका पिछले दृष्टिकोणों की तुलना में कहीं अधिक कुशल है। संक्षिप्त नोट्स का उपयोग करके खोज को निर्देशित करके, सिस्टम ने प्रत्येक उत्तर के लिए आवश्यक टेक्स्ट की मात्रा को लगभग 70 प्रतिशत कम कर दिया, फिर भी इसने लगभग उतनी ही सटीक उत्तर दिए जितने कि पूर्ण दस्तावेजों को पढ़ने से मिलते। यह दक्षता महत्वपूर्ण है क्योंकि इसका अर्थ है कि सिस्टम तेज़ और उत्तरदायी बना रह सकता है, भले ही वह प्रबंधित की जाने वाली मेमोरी बड़ी होती जाए। अध्ययन से यह भी पता चला कि इतने बड़े पुस्तकालयों को संभालने में मुख्य कठिनाई टेक्स्ट को समझने की कंप्यूटर की क्षमता नहीं है, बल्कि सबसे पहले सही टेक्स्ट को खोजने की कठिनाई है। जैसे-जैसे लाइब्रेरी बढ़ी, सिस्टम का प्रदर्शन थोड़ा गिरा, लेकिन यह अधिक विकर्षणों के बीच सही साक्ष्य खोजने की चुनौती के कारण था, न कि इसलिए कि कंप्यूटर मिलने के बाद साक्ष्य को समझने में विफल रहा।
सिस्टम को विश्वसनीय बनाने के लिए, शोधकर्ताओं ने एक अंतिम चरण जोड़ा जहाँ कंप्यूटर अपने स्वयं के उत्तर की समीक्षा करता है और पहचान करता है कि वास्तव में किन दस्तावेजों ने उसके दावों का समर्थन किया। इस प्रक्रिया ने उन स्रोतों को फ़िल्टर कर दिया जो प्राप्त तो किए गए थे लेकिन वास्तव में उपयोग नहीं किए गए थे, जिसके परिणामस्वरूप संदर्भों की एक अधिक स्पष्ट और सटीक सूची प्राप्त हुई। टीम ने अपने सिस्टम का विभिन्न प्रकार के प्रश्नों पर परीक्षण किया, जिनमें बहु-दस्तावेजों के माध्यम से जटिल तर्क (complex reasoning) और विरोधाभासी जानकारी वाले प्रश्न शामिल थे। हर मामले में, पहले सारांश खोजने और फिर विवरण प्राप्त करने के दो-चरणीय दृष्टिकोण ने उन तरीकों की तुलना में श्रेष्ठता सिद्ध की जो सीधे कच्चे टेक्स्ट को खोजने का प्रयास करते थे। यह कार्य सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस के लिए वास्तव में संगठनों के लिए दीर्घकालिक स्मृति के रूप में कार्य करने के लिए, इसे वह जो वह खोज सकता है, और वह जो वह एक समय में पढ़ सकता है, के पैमाने को अलग करना होगा। ऐसा करके, मेगामेम आधुनिक उद्यमों के विशाल, जटिल इतिहास को शोर के बीच खोए बिना याद रखने और तर्क करने वाले सिस्टम बनाने की दिशा में एक व्यावहारिक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।