Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics
यह शोध पत्र मेमिनी (Memini) को प्रस्तुत करता है, जो एक ऐसी प्रणाली है जो बाहरी स्मृति को युग्मित तीव्र और मंद आंतरिक चरों वाले एक साहचर्य निर्देशित ग्राफ (associative directed graph) के रूप में मॉडल करके एलएलएम (LLMs) में ज्ञान के निरंतर अद्यतन में सुधार करती है, जिससे जैविक रूप से प्रेरित बहु-पैमाने की गतिशीलता के माध्यम से एपिसोडिक संवेदनशीलता, क्रमिक सुदृढ़ीकरण और चयनात्मक विस्मरण सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी समस्या: "जमी हुई" बुद्धि (The "Frozen" Brain)
कल्पना कीजिए कि आपने अपने सवालों के जवाब देने के लिए एक बेहद बुद्धिमान लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखा है। आपने उसे एक बार प्रशिक्षित किया और वह बहुत कुछ जानती है। लेकिन फिर दुनिया बदलती रहती है। नए तथ्य उभरते हैं, पुराने तथ्य गलत हो जाते हैं, और विचारों के बीच के संबंध बदलने लगते हैं।
समस्या यह है कि यह लाइब्रेरियन समय में जमी हुई (frozen in time) है। वह अपने मस्तिष्क को स्वयं अपडेट नहीं कर सकती।
- विकल्प A (वर्तमान समाधान 1): जब भी कुछ बदलता है, आप उसके पूरे मस्तिष्क को फिर से प्रशिक्षित (retrain) करने की कोशिश करते हैं। यह महंगा है, धीमा है, और इसमें यह जोखिम भी है कि वह वह सब कुछ भूल जाएगी जो वह पहले से जानती थी।
- विकल्प B (वर्तमान समाधान 2): आप उसे एक नोटबुक (बाहरी मेमोरी) देते हैं ताकि वह नए तथ्यों को देख सके। लेकिन लाइब्रेरियन केवल नोटबुक में चीजें लिखती है और उन्हें कभी व्यवस्थित नहीं करती। यदि वह एक तथ्य को दस बार देखती है, तो भी वह यह नहीं पहचान पाती कि वह महत्वपूर्ण है। यदि वह किसी तथ्य को अब नहीं देखती, तो वह यह नहीं पहचान पाती कि वह पुराना हो चुका है। नोटबुक बस अव्यवस्थित और पुराने सूचनाओं से भरी हो जाती है।
समाधान: मेमिनी (Memini - एक "जीवित" नोटबुक)
लेखक मेमिनी (Memini) नामक एक नया सिस्टम प्रस्तावित करते हैं। एक स्थिर नोटबुक के बजाय, मेमिनी एक जीवित, सांस लेते हुए बगीचे या एक ऐसे न्यूरल नेटवर्क की तरह है जो जो कुछ भी देखता है उसके आधार पर खुद को बदलता रहता है।
इसका मूल विचार इस बात से लिया गया है कि मानव मस्तिष्क कैसे काम करता है: सिनैप्टिक कंसोलिडेशन (Synaptic Consolidation)।
1. दो-गति वाली मेमोरी प्रणाली (The Two-Speed Memory System)
मेमिनी में, दो विचारों के बीच प्रत्येक संबंध (जैसे "वैक्सीन" और "mRNA") के पास दो आंतरिक नियामक (regulators) (चर/variables) होते हैं जो मिलकर काम करते हैं:
- तेज़ नियामक (The Fast Regulator - "द फ्लैश"): यह तुरंत प्रतिक्रिया देता है। यदि आप किसी दस्तावेज़ में "वैक्सीन" और "mRNA" को एक साथ देखते हैं, तो यह नियामक ऊपर की ओर उछलता है। लेकिन यदि आप इन्हें जल्द ही दोबारा एक साथ नहीं देखते हैं, तो यह तेजी से नीचे गिर जाता है। यह रोशनी की एक तेज़ चमक की तरह है जो फीकी पड़ जाती है यदि आप इसे लगातार जलाए न रखें।
- धीमा नियामक (The Slow Regulator - "द रूट"): यह बहुत धीरे चलता है। यह केवल तभी बढ़ता है जब तेज़ नियामक समय के साथ बार-बार ऊपर उछलता है। एक बार जब धीमा नियामक ऊँचा हो जाता है, तो यह एक जड़ तंत्र (root system) की तरह कार्य करता है जो तेज़ नियामक को सहारा देता है, भले ही आप वर्तमान में उन शब्दों को न देख रहे हों।
उपमा (The Analogy):
कल्पना कीजिए कि आप एक जंगल से गुजर रहे हैं।
- तेज़ नियामक: आपके द्वारा लिया गया एक एकल कदम घास में एक कमजोर, अस्थायी रास्ता बनाता है। यदि आप इस पर दोबारा कदम नहीं रखते हैं, तो एक दिन के भीतर घास इसे फिर से ढक लेती है।
- धीमा नियामक: यदि आप एक महीने तक हर दिन इसी रास्ते पर चलते हैं, तो घास कुचल जाती है, और एक मिट्टी का रास्ता बन जाता है। भले ही आप कुछ समय तक वहां न चलें, मिट्टी का रास्ता दिखाई देता रहता है क्योंकि उस रास्ते की "जड़ें" गहरी हैं।
2. यह कैसे सीखता है (बिना किसी निर्देश के)
पुराने सिस्टम में, एक कंप्यूटर मैनेजर को निर्णय लेना होता है: "ठीक है, मैंने इस तथ्य को 5 बार देखा है, मैं इसे हमेशा के लिए स्टोर करूँगा। मैंने एक साल में इस तथ्य को नहीं देखा है, मैं इसे हटा दूँगा।"
मेमिनी में, कोई भी इसे नहीं बताता कि क्या करना है। सीखना दोनों नियामकों की परस्पर क्रिया के माध्यम से स्वतः होता है:
- एपिसोडिक संवेदनशीलता (Episodic Sensitivity): यदि आप एक तथ्य देखते हैं (जैसे, "वायरस चमगादड़ों से आया था"), तो तेज़ नियामक ऊपर उछलता है। आप इसे तुरंत याद रख सकते हैं। लेकिन यदि यह फिर कभी प्रकट नहीं होता है, तो तेज़ नियामक फीका पड़ जाता है, और धीमा नियामक विकसित नहीं होता। यह स्मृति स्वाभाविक रूप से गायब हो जाती है।
- कंसोलिडेशन (Consolidation): यदि आप महीनों तक कई लेखों में "वैक्सीन" और "mRNA" को एक साथ देखते हैं, तो धीमा नियामक मजबूती से बढ़ता है। यह स्मृति को स्थायी रूप से बनाए रखता है।
- चयनात्मक विस्मरण (Selective Forgetting): यदि कोई तथ्य कभी महत्वपूर्ण था लेकिन अब दिखाई नहीं देता (जैसे, इलाज के रूप में "हाइड्रॉक्सीक्लोरोक्विन"), तो तेज़ नियामक को अब कोई बढ़ावा नहीं मिलता। धीमा नियामक अंततः बह जाता है, और संबंध फीका पड़ जाता है। सिस्टम उस चीज़ को "भूल" जाता है जिसे अब साक्ष्य का समर्थन प्राप्त नहीं है।
3. यह उत्तर कैसे प्राप्त करता है
जब आप कोई प्रश्न पूछते हैं, तो मेमिनी केवल एक डेटाबेस की खोज नहीं करता है। यह कनेक्शनों के अपने बगीचे के माध्यम से एक "सक्रियण की लहर" (wave of activation) भेजता है।
- मजबूत, गहराई से जुड़ी राहें (कंसोलिडेटेड तथ्य) लहर को आसानी से आगे ले जाती हैं।
- कमजोर, अत्यधिक उगी हुई राहें (भूल चुके तथ्य) लहर को रोक देती हैं।
- चूंकि बगीचा हर बार नए दस्तावेज़ आने पर बदल जाता है, इसलिए आज आपको मिलने वाला उत्तर कल मिलने वाले उत्तर से अलग हो सकता है, भले ही आपने वही प्रश्न पूछा हो। सिस्टम ने वास्तव में "सीखा" है और खुद को पुनर्गठित किया है।
प्रमाण (COVID-19 प्रयोग)
लेखकों ने इसका परीक्षण COVID-19 महामारी से संबंधित विकिपीडिया लेखों की एक स्ट्रीम पर किया, जो विभिन्न चरणों (उत्पत्ति, लॉकडाउन, वैक्सीन, वेरिएंट्स) से गुजरी।
क्या हुआ:
- "चमगादड़" और "वायरस" के बीच का संबंध शुरुआत में दिखाई दिया और फिर गायब हो गया। मेमिनी ने इसे थोड़े समय के लिए याद रखा लेकिन फिर इसे स्वाभाविक रूप से फीका पड़ने दिया।
- टीकाकरण अभियान के दौरान "mRNA" और "वैक्सीन" के बीच का संबंध बार-बार दिखाई दिया। मेमिनी का "धीमा नियामक" मजबूत हो गया और इसने इस संबंध को जीवित रखा, भले ही लेखों ने इसके बारे में बात करना बंद कर दिया हो।
- "डेल्टा वेरिएंट" और "वैक्सीन" के बीच का संबंध देर से आया। चूंकि यह नया था, इसलिए "तेज़ नियामक" अभी भी ऊँचा था और इसने इसे सुलभ बनाए रखा।
परिणाम: मेमिनी ने महत्वपूर्ण, बार-बार आने वाले तथ्यों को सफलतापूर्वक थामे रखा जबकि पुराने या एक-बार आने वाले तथ्यों को जाने दिया, और यह सब बिना किसी इंसान द्वारा कुछ भी हटाने के निर्देश दिए। एक सरल सिस्टम (जिसमें केवल एक नियामक था) महत्वपूर्ण पुराने तथ्यों को रखने में विफल रहा, और एक ऐसा सिस्टम जो कभी नहीं भूलता था (जो सब कुछ जोड़ता जा रहा था) बेकार डेटा से भर गया।
सारांश
मेमिनी का तर्क है कि बदलती दुनिया में AI के वास्तव में सीखने के लिए, उसकी मेमोरी एक स्थिर गोदाम नहीं होनी चाहिए। इसे एक गतिशील प्रणाली (dynamic system) होना चाहिए जिसमें:
- दोहराव शक्ति बनाता है (धीमा नियामक)।
- अनुपस्थिति फीके पड़ने की ओर ले जाती है (तेज़ नियामक का क्षय)।
- भूलना एक विशेषता है, बग नहीं, क्योंकि यह सिस्टम को वर्तमान वास्तविकता के अनुरूप बनाए रखता है।
यह एक ऐसा सिस्टम है जो केवल जानकारी "स्टोर" नहीं करता है; यह उसे पचाता (digest) है, जो महत्वपूर्ण है उसे रखता है, और बाकी को जाने देता है, ठीक वैसे ही जैसे मानव मस्तिष्क करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।