तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) में दीर्घकालिक संदर्भ प्रबंधन के लिए मेमोरी-ऑगमेंटेड आर्किटेक्चर

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) विस्तारित संवादों के दौरान सुसंगत बातचीत बनाए रखने में एक गंभीर सीमा का सामना करते हैं, जो सीमित प्रासंगिक स्मृति (contextual memory) के कारण होता है। मानक ट्रांसफार्मर-आधारित आर्किटेक्चर निश्चित इनपुट आकार पर निर्भर करते हैं, जो दीर्घकालिक निर्भरताओं को पकड़ने की उनकी क्षमता को प्रतिबंधित करते हैं। फलस्वरूप, जैसे-जैसे बातचीत लंबी होती जाती है, आवश्यक प्रासंगिक जानकारी लुप्त हो जाती है, जिससे खंडित आदान-प्रदान, कम प्रासंगिक प्रतिक्रिया और संभावित मतिभ्रम (hallucinations) की स्थिति उत्पन्न होती है। जबकि मौजूदा मेमोरी-ऑगमेंटेड दृष्टिकोण पिछले इंटरैक्शन को संग्रहीत करने का प्रयास करते हैं, वे अक्सर मेमोरी ब्लोट (memory bloat) और बढ़ी हुई इन्फरेंस लेटेंसी (inference latency) से ग्रस्त होते हैं, विशेष रूप से जब वे लीस्ट रिसेंटली यूज्ड (LRU) इविक्शन जैसे उप-इष्टतम प्रबंधन रणनीतियों पर निर्भर होते हैं, जो अत्यधिक प्रासंगिक लेकिन पुराने डेटा को हटा सकते हैं। एक ऐसे आर्किटेक्चर की तत्काल आवश्यकता है जो महत्वपूर्ण कंप्यूटेशनल ओवरहेड को बढ़ाए बिना केवल सबसे प्रासंगिक संदर्भ को बनाए रखने के लिए मेमोरी को गतिशील रूप से प्रबंधित कर सके।

कार्यप्रणाली

लेखक एक मेमोरी-ऑगमेंटेड आर्किटेक्चर प्रस्तावित करते हैं जो संदर्भ-आधारित प्रतिक्रिया निर्माण (context-grounded response generation) के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क निम्नलिखित तंत्रों के माध्यम से कार्य करता है:

1. एम्बेडिंग और रिट्रीवल: यूजर क्वेरी ($Q_t$) को एक एनकोडर नेटवर्क ($f_{enc}$) का उपयोग करके उच्च-आयामी एम्बेडिंग्स ($q_t$) में मैप किया जाता है। इन एम्बेडिंग्स की तुलना पिछले इंटरैक्शन के एम्बेडिंग्स ($m_i$) वाले मेमोरी स्टोर ($M_t$) से की जाती है।
2. सिमिलैरिटी-आधारित चयन: सिस्टम वर्तमान क्वेरी एम्बेडिंग और संग्रहीत मेमोरी प्रविष्टियों के बीच कोसाइन सिमिलैरिटी ($\alpha$) की गणना करके सबसे प्रासंगिक मेमोरी प्रविष्टि ($m_{retrieved}$) को पुनः प्राप्त (retrieve) करता है। यह रिट्रीव की गई मेमोरी LLM के डिकोडर को एक संदर्भ-आधारित प्रतिक्रिया ($R_t$) उत्पन्न करने के लिए अनुकूलित करती है।
3. मेमोरी अपडेट: प्रतिक्रिया उत्पन्न करने के बाद, एक नई मेमोरी प्रविष्टि बनाई जाती है, जिसमें संयोजित क्वेरी और प्रतिक्रिया ($[Q_t || R_t]$) को एनकोड किया जाता है और उसे मेमोरी स्टोर में जोड़ दिया जाता है।
4. मेमोरी प्रबंधन रणनीतियाँ: मेमोरी के अनिश्चित विकास को रोकने के लिए, जब मेमोरी का आकार एक थ्रेशोल्ड ($N$) से अधिक हो जाता है, तो सिस्टम दो अलग-अलग रणनीतियों का उपयोग करता है:
   • LRU इविक्शन: सबसे पुराने एक्सेस टाइमस्टैम्प वाली मेमोरी प्रविष्टि को हटा देता है।
   • रेलेवेंस-आधारित प्रूनिंग (Relevance-Based Pruning): एक स्लाइडिंग विंडो ($T$) के भीतर हालिया क्वेरीज के साथ प्रत्येक मेमोरी प्रविष्टि के लिए एक प्रासंगिकता स्कोर ($\kappa$) की गणना करता है। सबसे कम प्रासंगिकता स्कोर वाली प्रविष्टि को हटा (prune) दिया जाता है। इस रणनीति का उद्देश्य उस महत्वपूर्ण संदर्भ को संरक्षित करना है जो भले ही हाल ही में एक्सेस न किया गया हो, लेकिन प्रासंगिक हो।

यह आर्किटेक्चर मॉड्यूलर है, जिसके लिए मूल LLM में न्यूनतम संशोधनों की आवश्यकता होती है, और यह मेमोरी चुनने के लिए एक रिट्रीवल नेटवर्क का उपयोग करता है, जो इसे स्टेटिक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) दृष्टिकोणों से अलग करता है।

मुख्य योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

1. रेलेवेंस-आधारित प्रूनिंग: एक नवीन मेमोरी प्रबंधन रणनीति जो सरल नवीनता (LRU) के बजाय अत्यधिक प्रासंगिक जानकारी को प्राथमिकता देती है, जिससे प्रतिक्रिया की गुणवत्ता और सुसंगतता में सुधार होता है।
2. मॉड्यूलर आर्किटेक्चर: एक ऐसा डिज़ाइन जो मूल मॉडल में महत्वपूर्ण संरचनात्मक परिवर्तन किए बिना मौजूदा LLM फ्रेमवर्क्स (जैसे, LLAMA 3, Gemma 2) के साथ सहजता से एकीकृत हो जाता है।
3. प्रभावी दीर्घकालिक संदर्भ हैंडलिंग: विस्तारित संवादों में सुसंगतता बनाए रखने की प्रदर्शित क्षमता, जो अधिक प्रासंगिक प्रतिक्रियाओं की ओर ले जाती है।

प्रयोगात्मक परिणाम

प्रस्तावित फ्रेमवर्क का मूल्यांकन तीन कार्यों पर किया गया: 20 Questions Game, Persona-Chat, और DailyDialog, जिसमें LLAMA 3 8B और Gemma 2 9B मॉडल्स का उपयोग किया गया।

• सटीकता में सुधार: 20 Questions Game में, मेमोरी-ऑगमेंटेड LLAMA 3 8B ने सटीकता को 62.3% (बेसलाइन) से बढ़ाकर 80.4% कर दिया, जबकि Gemma 2 9B ने इसे 64.8% से बढ़ाकर 82.1% कर दिया।
• संदर्भगत सुसंगतता (Contextual Coherence): संवाद डेटासेट्स पर, प्रस्तावित विधि ने उच्च कॉन्टेक्स्टुअल कोहेरेंस स्कोर (CCS) प्राप्त किया। विशेष रूप से, Gemma 2 9B ने Persona-Chat पर 0.83 का CCS प्राप्त किया, जबकि बेसलाइन 0.72 थी।
• मेमोरी प्रबंधन प्रभावकारिता: रेलेवेंस-आधारित प्रूनिंग ने लगातार LRU इविक्शन से बेहतर प्रदर्शन किया। LLAMA 3 8B के लिए, रेलेवेंस-आधारित प्रूनिंग ने 1022.7 MB मेमोरी ओवरहेड के साथ 80.4% सटीकता प्राप्त की, जबकि LRU इविक्शन में सटीकता गिरकर 76.5% रह गई। रेलेवेंस-आधारित प्रूनिंग ने "नो प्रूनिंग" बेसलाइन की तुलना में लेटेंसी को भी कम किया।
• एम्बेडिंग मॉडल का प्रभाव: एम्बेडिंग मॉडल के चुनाव ने प्रदर्शन को महत्वपूर्ण रूप से प्रभावित किया। GTE-large ने उच्चतम सटीकता (LLAMA 3 के लिए 80.4%, Gemma 2 के लिए 82.1%) प्रदान की, जिसने MiniLM-L6-v2 और Universal Sentence Encoder को पीछे छोड़ दिया, जिसका श्रेय इसके बेहतर सिमेंटिक संबंधों को पकड़ने की क्षमता को दिया गया है।

महत्व और दावे

पेपर का दावा है कि प्रस्तावित समाधान वास्तविक समय के अनुप्रयोगों जैसे वर्चुअल असिस्टेंट, चैटबॉट्स और कस्टमर सपोर्ट सिस्टम को सक्षम बनाकर उन्हें महत्वपूर्ण रूप से बढ़ाता है, जिससे निरंतर और संदर्भ-जागरूक इंटरैक्शन संभव होता है। LRU इविक्शन के बजाय रेलेवेंस-आधारित प्रूनिंग का उपयोग करके, यह विधि कुशलतापूर्वक आवश्यक संदर्भ को बनाए रखती है, मेमोरी ब्लोट से बचती है और संसाधन-बाधित वातावरण के लिए स्केलेबिलिटी सुनिश्चित करती है।

लेखक का तर्क है कि यह प्रगति मानव जैसी संवादात्मक प्रवाह और तकनीकी व्यवहार्यता के बीच के अंतर को पाटती है, जिससे डायलॉग सिस्टम का मानक बढ़ जाता है। यह कार्य एक मॉड्यूलर, अनुकूलन योग्य दृष्टिकोण के रूप में प्रस्तुत किया गया है जो बिना किसी महत्वपूर्ण आर्किटेक्चरल संशोधन के कार्य करता है, जिससे यह दीर्घकालिक संदर्भ प्रतिधारण की निरंतर चुनौती को हल करने के लिए विभिन्न LLM फ्रेमवर्क्स में एकीकरण के लिए उपयुक्त बनता है।