Self-Consolidating Language Models: Continual Knowledge Incorporation from Context
यह शोध पत्र सेल्फ-कंसोलिडेटिंग लैंग्वेज मॉडल्स (SCoL) का प्रस्ताव करता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो मेटा-रीइन्फोर्समेंट लर्निंग के माध्यम से स्पार्स, लेयर-विशिष्ट अपडेट निर्देशों को जेनरेट करके LLMs को अपने वेट्स में नए ज्ञान को निरंतर शामिल करने में सक्षम बनाता है, जिससे मौजूदा बेसलाइन्स की तुलना में सूचना प्रतिधारण (इन्फॉर्मेशन रिटेंशन) में सुधार होता है और इंटरफेरेंस कम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत प्रतिभाशाली लेकिन बहुत भुलक्कड़ सहायक है जो एक बार में एक पन्ना करके नई किताबों के एक विशाल पुस्तकालय को सीखने की कोशिश कर रहा है।
आमतौर पर, जब यह सहायक एक पन्ना पढ़ता है, तो वह किसी प्रश्न का उत्तर देने के लिए उस जानकारी को अपनी अल्पकालिक स्मृति (context window) में रखता है। लेकिन जैसे ही पन्ना पलटा जाता है, वह जानकारी धुंधली हो जाती है। यदि वह एक हज़ार पन्ने पढ़ने की कोशिश करता है, तो उसकी अल्पकालिक स्मृति भर जाती है, और वह नए पन्नों के लिए जगह बनाने के चक्कर में पहले के कुछ पन्नों को भूलने लगता है।
मौजूदा समाधान इस समस्या को ठीक करने के लिए उसे एक नोटबुक (बाहरी स्मृति) देने या सारांश बनाने (कंप्रेशन) का प्रयास करते हैं। लेकिन इस शोध पत्र के लेखक, ज़ेकुन वांग और जॉर्जिया टेक के सहयोगियों ने एक अलग सवाल पूछा: क्या होगा अगर सहायक अपने पुराने ज्ञान को खोए बिना, इन पन्नों को याद रखने के लिए अपने स्वयं के मस्तिष्क को स्थायी रूप से फिर से लिख सके?
वे अपने समाधान को SCoL (Self-Consolidating Language Models) कहते हैं। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:
समस्या: "विनाशकारी इरेज़र" (The Catastrophic Eraser)
AI की दुनिया में, यदि आप किसी मॉडल को केवल उसे फिर से प्रशिक्षित (retraining) करके एक नया तथ्य सिखाने की कोशिश करते हैं, तो यह अक्सर एक ऐसे छात्र की तरह व्यवहार करता है जिसने इतिहास की परीक्षा के लिए पढ़ाई की और तुरंत गणित की कक्षा में सीखी गई हर चीज़ भूल गया। इसे "कैटास्ट्रोफिक इंटरफेरेंस" (catastrophic interference) कहा जाता है। नया डेटा पुराने डेटा को मिटा देता है।
समाधान: "स्मार्ट आर्किटेक्ट" (The Smart Architect - SCoL)
पूरे मस्तिष्क को बदलने के लिए मजबूर करने के बजाय, SCoL AI को एक स्मार्ट आर्किटेक्ट की तरह कार्य करना सिखाता है।
- निर्णय: जब AI एक नया अंश पढ़ता है, तो वह इसे केवल अंधे होकर याद नहीं करता। इसके बजाय, वह निर्देशों का एक सेट (एक ब्लूप्रिंट की तरह) तैयार करता है जो कहता है: "मुझे इस नई कहानी को संग्रहीत करने के लिए अपने मस्तिष्क के केवल इन विशिष्ट कमरों (न्यूरल नेटवर्क की विशिष्ट परतों) को अपडेट करने की आवश्यकता है।"
- निर्माण: AI फिर LoRA नामक तकनीक का उपयोग करके केवल उन विशिष्ट "कमरों" में सूक्ष्म, सटीक परिवर्तन करता है। वह मस्तिष्क के बाकी हिस्सों को अछूता छोड़ देता है।
- सुरक्षा जाँच: AI को सावधान रहने के लिए प्रशिक्षित किया जाता है। वह सीखता है कि यदि वह गलत कमरों को बदलता है, तो वह अनजाने में पुरानी यादों को मिटा सकता है। इसलिए, वह उन "मजबूत" कमरों को चुनना सीखता है जो पुराने को परेशान किए बिना नई जानकारी के लिए सबसे उपयुक्त हैं।
हमने AI को कैसे सिखाया (The Training Gym)
शोधकर्ताओं ने केवल AI को यह नहीं बताया कि क्या करना है; उन्होंने इसे त्रुटि और सुधार (trial and error) के माध्यम से सीखने दिया, जो बिल्कुल एक वीडियो गेम के चरित्र के स्तर बढ़ने (level up) जैसा है।
- पुरस्कार प्रणाली (Reward System): AI को दो चीजों के लिए अंक मिलते हैं:
- अधिग्रहण (Acquisition): "क्या मैंने नई कहानी सही ढंग से सीखी?"
- प्रतिधारण (Retention): "क्या मैं पुरानी कहानियाँ भूल गया?"
- मेटा-लर्निंग लूप: AI विभिन्न "ब्लूप्रिंट" (अलग-अलग मस्तिष्क परतों को चुनना) आज़माता है। यदि कोई ब्लूप्रिंट उसे पुरानी चीज़ों को भुलाए बिना नई कहानी सीखने में मदद करता है, तो उसे उच्च स्कोर मिलता है। समय के साथ, AI हर नई जानकारी के लिए सही ब्लूप्रिंट चुनने में बहुत कुशल हो जाता है।
परिणाम: क्या हुआ?
शोधकर्ताओं ने इसका परीक्षण दो तरीकों से किया:
"तथ्य जाँच" (SQuAD): उन्होंने AI को विश्वकोश प्रविष्टियों और प्रश्नों की एक धारा दी।
- परिणाम: SCoL ने नए तथ्यों को मानक तरीकों की तुलना में बहुत बेहतर तरीके से सीखा और महत्वपूर्ण रूप से, इसने पुराने तथ्यों को नहीं भुलाया। यह एक ऐसे छात्र की तरह था जो पिछले अध्यायों को खोए बिना पाठ्यपुस्तक का नया अध्याय याद कर सकता है।
- "फिशर" कनेक्शन: जब उन्होंने देखा कि AI ने किन मस्तिष्क परतों को अपडेट करने के लिए चुना, तो उन्होंने पाया कि यह "उच्च-ट्रैफ़िक" वाले क्षेत्रों (ऐसी परतें जो परिवर्तन के प्रति बहुत संवेदनशील होती हैं) को चुन रहा था। यह ऐसा था जैसे AI ने घर की नींव के बजाय रसोई का नवीनीकरण करना सीखा हो, जिससे घर स्थिर बना रहे।
"लंबी कहानी" (LongBench v2): उन्होंने AI का परीक्षण बहुत लंबे दस्तावेज़ों (जैसे लघु कथाओं या रिपोर्टों) के साथ किया जो इतने लंबे थे कि उनकी पूरी जानकारी एक साथ उसकी अल्पकालिक स्मृति में नहीं आ सकती थी।
- परिणाम: SCoL इन लंबी कहानियों को टुकड़ों में पचाने और उन्हें पूरी तरह से याद रखने में सक्षम था। इससे भी बेहतर, AI ने यह कौशल छोटी कहानियों पर सीखा और इसे उन लंबी कहानियों पर भी लागू कर सका जिन्हें उसने पहले कभी नहीं देखा था। उसने "कैसे याद रखें" के कौशल को सामान्यीकृत (generalize) किया।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र का दावा है कि SCoL एक बड़ी उपलब्धि है क्योंकि यह बाहरी नोटबुक या पूरे इतिहास को बार-बार पढ़ने पर निर्भर रहने के बजाय, AI के अपने आंतरिक भार (weights) को एक स्थायी, स्व-अपडेट होने वाली स्मृति में बदल देता है।
- यह स्पार्स (Sparse) है: यह मस्तिष्क के एक बहुत छोटे हिस्से को ही बदलता है, जो कुशल है।
- यह चयनात्मक (Selective) है: यह जानता है कि सिस्टम को क्रैश होने से बचाने के लिए जानकारी कहाँ रखनी है।
- यह स्केलेबल (Scalable) है: यह तब भी काम करता है जब सूचना का प्रवाह उस लंबाई से अधिक हो जाता है जिसके लिए AI को मूल रूप से प्रशिक्षित किया गया था।
संक्षेप में, SCoL AI को एक स्व-सुधार करने वाला लाइब्रेरियन बनना सिखाता है जो ठीक जानता है कि किस शेल्फ को अपडेट करना है ताकि नई किताबें पुरानी किताबों को गिराए बिना वहां फिट हो सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।