🤖 AI

Learning to Remember, Learn, and Forget in Attention-Based Models

यह शोध पत्र Palimpsa को प्रस्तुत करता है, जो एक सेल्फ-अटेंशन मॉडल है जो इन-कॉन्टेक्स्ट लर्निंग को बेयसियन मेटाप्लास्टिसिटी (Bayesian metaplasticity) का उपयोग करके एक निरंतर सीखने की समस्या के रूप में फ्रेम करता है ताकि स्थिरता और प्लास्टिसिटी के बीच गतिशील रूप से संतुलन बनाया जा सके, जिससे गेटेड लीनियर अटेंशन मॉडलों की निश्चित क्षमता और हस्तक्षेप की सीमाओं को दूर किया जा सके और लॉन्ग-सीक्वेंस रिकॉल और रीजनिंग कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी कहानी पढ़कर एक नई भाषा सीखने की कोशिश कर रहे हैं। पढ़ते समय, आपको पात्रों के नाम और कथानक के मुख्य बिंदुओं को याद रखने की आवश्यकता होती है ताकि आप समझ सकें कि आगे क्या होने वाला है।

समस्या: वह "फाइलिंग कैबिनेट" जो भर जाता है
वर्तमान AI मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) बहुत अच्छे हैं, लेकिन उनमें एक दोष है। कहानी को याद रखने के लिए, वे आमतौर पर अब तक पढ़े गए हर एक शब्द का एक विशाल "फाइलिंग कैबिनेट" रखते हैं। कहानी जितनी लंबी होती जाती है, कैबिनेट उतना ही बड़ा होता जाता है। अंततः, इसे ढोना बहुत भारी और धीमा हो जाता है, खासकर छोटे उपकरणों पर।

इसे ठीक करने के लिए, वैज्ञानिकों ने "लीनियर" (linear) मॉडल बनाए। ये मॉडल एक विशाल कैबिनेट के बजाय एक निश्चित आकार की नोटबुक का उपयोग करते हैं। वे नोटबुक में नई बातें लिखते हैं, लेकिन यदि नोटबुक भर जाती है, तो उन्हें पुरानी बातों के ऊपर ही दोबारा लिखना पड़ता है। इससे एक समस्या पैदा होती है जिसे "कैटास्ट्रफिक फॉरगेटिंग" (विनाशकारी विस्मरण) कहा जाता है: मॉडल अनजाने में शुरुआती महत्वपूर्ण विवरणों (जैसे मुख्य पात्र का नाम) को मिटा देता है ताकि वह अगली पंक्ति लिख सके।

समाधान: "पलिम्प्सा" (Palimpsa) नामक एक स्मार्ट नोटबुक
लेखकों ने पलिम्प्सा नामक एक नया मॉडल प्रस्तावित किया है। वे मॉडल की स्मृति को एक पलिम्सेस्ट (palimpsest) की तरह मानते हैं—एक प्राचीन चर्मपत्र (parchment) जहाँ लिपिक पुराने लेखन को खुरच कर हटा देते थे ताकि कागज का पुन: उपयोग किया जा सके। लेकिन केवल सब कुछ खुरच देने के बजाय, पलिम्प्सा स्मार्ट है कि उसे क्या खुरचना चाहिए।

यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "इम्पॉर्टेंस टैग" (महत्व टैग) प्रणाली

कल्पना कीजिए कि आपकी नोटबुक में हर पन्ने पर एक विशेष टैग है जो कहता है, "यह कितना महत्वपूर्ण है?"

पुराने लीनियर मॉडल: वे हर पन्ने के साथ एक जैसा व्यवहार करते हैं। यदि उन्हें जगह की आवश्यकता होती है, तो वे बस सबसे पुराना पन्ना मिटा देते हैं, भले ही उसमें सबसे महत्वपूर्ण कहानी का मोड़ (plot twist) क्यों न हो।
पलिम्प्सा: यह "मेटाप्लास्टिसिटी" (Metaplasticity) नामक एक प्रणाली का उपयोग करता है। यह सूचना के हर एक हिस्से के लिए एक "लर्निंग रेट" (सीखने की दर) की तरह है।
- यदि कोई तथ्य महत्वपूर्ण है (जैसे खलनायक का नाम), तो मॉडल उस पर "मिटाएं नहीं" का स्टिकर लगा देता है। इसे बदलना या मिटाना बहुत कठिन हो जाता है।
- यदि कोई तथ्य पुराना (stale) या महत्वहीन है (जैसे 1,000 शब्द पहले आया एक पेड़ का साधारण वर्णन), तो मॉडल तय करता है कि उस जानकारी को धुंधला होने देना ठीक है।

2. सीखना, याद रखना और भूलना

लेखक पलिम्प्सा को एक मॉडल के रूप में वर्णित करते है जिसने तीन अलग-अलग कौशल सीखे हैं:

सीखना (Learning): यह नई जानकारी आने पर उसे तेजी से आत्मसात कर सकता है।
याद रखना (Remembering): यह "महत्वपूर्ण" जानकारी की रक्षा करता है ताकि नई, कम प्रासंगिक डेटा द्वारा इसे मिटाया न जा सके।
भूलना (Forgetting): यह सक्रिय रूप से "पुराने/बेकार" डेटा को हटा देता है। यह बहुत महत्वपूर्ण है। यदि मॉडल कभी नहीं भूलता, तो वह अंततः पुराने, बेकार डेटा से इतना भर जाता कि वह कुछ भी नया नहीं सीख पाता। इसे "कैटास्ट्रफिक रिमेम्बरिंग" कहा जाता है। पलिम्प्सा नए के लिए जगह बनाने के लिए पुराने को छोड़कर इस समस्या से बचता है।

3. "मैम्बा" (Mamba) से संबंध

लेखक ने Mamba2 नामक एक लोकप्रिय मॉडल के बारे में एक दिलचस्प खोज की है।

Mamba2 को एक बहुत ही तेज, कुशल धावक के रूप में सोचें जो छोटी स्प्रिंट (दौड़) में बहुत अच्छा है लेकिन यदि दौड़ बहुत लंबी हो जाए तो चीजें गिराने लगता है।
लेखक दिखाते हैं कि Mamba2 वास्तव में पलिम्प्सा का एक "विशेष मामला" है जहाँ "भूलने" का स्विच पूरी तरह से चालू है। यह इतनी आक्रामक तरीके से भूलता है कि यह वास्तव में महत्वपूर्ण यादों को सुरक्षित करना नहीं सीख पाता।
अपग्रेड: लेखकों ने यह पता लगाया कि कैसे एक पूर्व-प्रशिक्षित (pre-trained) Mamba2 मॉडल के मस्तिष्क के हिस्सों को पलिम्प्सा के हिस्सों के साथ "सर्जिकल" रूप से बदला जा सकता है। यह तेज धावक को एक मैराथन धावक में बदल देता है जो 32,000 कदमों के बाद भी दौड़ की शुरुआत को याद रख सकता है।

उन्होंने क्या सिद्ध किया?

शोधकर्ताओं ने इसे तीन तरीकों से परखा:

"मेमोरी गेम" (MQAR): उन्होंने मॉडल को जोड़ों की एक सूची दी (जैसे "चाबी A = मान 1") और बाद में इसे याद करने के लिए कहा। पलिम्प्सा सही उत्तरों को याद रखने में बहुत बेहतर था, विशेष रूप से जब सूची बहुत लंबी हो गई, क्योंकि इसने महत्वपूर्ण चाबियों को गलती से मिटाया नहीं।
सामान्य ज्ञान (Common Sense): उन्होंने मॉडल का तर्क और सामान्य ज्ञान वाले कार्यों (जैसे "यदि मैं मेज पर कप रखता हूँ, तो कप कहाँ है?") पर परीक्षण किया। पलिम्प्सा संस्करणों ने मानक संस्करणों की तुलना में उच्च स्कोर किया, जिससे पता चला कि वे सही उत्तर देने के लिए आवश्यक संदर्भ को थामे रख सकते हैं।
लंबी कहानियाँ: बहुत लंबे टेक्स्ट पढ़ते समय, पलिम्प्सा अन्य मॉडलों की तरह अपनी समझने की क्षमता नहीं खोता है। यह सही उत्तर खोजने के लिए टेक्स्ट में बहुत पीछे तक "पहुंच" सकता है।

निष्कर्ष

पलिम्प्सा AI के लिए अपनी स्मृति प्रबंधित करने का एक नया तरीका है। केवल एक बाल्टी भरने और उसके छलक जाने तक इंतजार करने के बजाय, पलिम्प्सा एक स्मार्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह कार्य करता है। वह जानता है कि किन किताबों को हमेशा शेल्फ पर रखना है, किन्हें कुछ समय के लिए रखना है, और नए आगमन के लिए जगह बनाने के लिए किन्हें फेंक देना है। यह AI को भ्रमित हुए बिना या कहानी की शुरुआत भूले बिना लंबी और जटिल कार्यों को संभालने की अनुमति देता है।

तकनीकी सारांश: अटेंशन-आधारित मॉडलों में याद रखने, सीखने और भूलने की कला

समस्या विवरण
ट्रांसफॉर्मर में इन-कॉन्टेक्स्ट लर्निंग (ICL) एक ऑनलाइन एसोसिएटिव मेमोरी के रूप में कार्य करती है, जो जटिल अनुक्रम कार्यों (sequence tasks) पर उच्च प्रदर्शन सक्षम करती है। हालांकि, गेटेड लीनियर अटेंशन मॉडल और स्टेट स्पेस मॉडल्स (SSMs) आमतौर पर मानक ट्रांसफॉर्मर्स (जिन्हें KV कैश के लिए लीनियर और क्वाड्रेटिक स्केलिंग की आवश्यकता होती है) की कम्प्यूटेशनल और मेमोरी बाधाओं को दूर करने के लिए निश्चित-आकार की मेमोरी अवस्थाओं (fixed-size memory states) पर निर्भर करते हैं। यह निश्चित क्षमता एक "स्थिरता-प्लास्टिसिटी दुविधा" (stability-plasticity dilemma) पैदा करती है: मॉडल को महत्वपूर्ण पूर्व ज्ञान को ओवरराइट किए बिना (कैटास्ट्रोफिक फॉरगेटिंग/विनाशकारी विस्मृति) नई जानकारी सीखनी चाहिए, या इसके विपरीत, पुराने डेटा के अत्यधिक प्रतिधारण (retention) के कारण नई जानकारी को एकीकृत करने में असमर्थ नहीं होना चाहिए (कैटास्ट्रोफिक रिमेंबरिंग/विनाशकारी स्मरण)। न्यूरोसाइंस से प्राप्त मौजूदा मेटाप्लास्टिसिटी विधियाँ अक्सर ट्रांसफॉर्मर के लिए अनुपयुक्त होती हैं क्योंकि वे विशिष्ट कार्य सीमाओं, बढ़ते हुए मेमोरी, या विभेदन क्षमता (differentiability) की कमी पर निर्भर करती हैं। इसके अलावा, वर्तमान लीनियर अटेंशन मॉडल अक्सर अनुक्रम की लंबाई बढ़ने के साथ सीमित मेमोरी क्षमता और हस्तक्षेप (interference) से ग्रस्त होते हैं।

कार्यप्रणाली: पैलिम्सा (Palimpsa)
लेखक पैलिम्सा का प्रस्ताव करते हैं, जो एक सेल्फ-अटेंशन मॉडल है जो ICL को एक निरंतर सीखने की समस्या के रूप में पुनर्गठित करता जिसे बायेसियन मेटाप्लास्टिसिटी के माध्यम से हल किया जा सकता है। मुख्य अंतर्दृष्टि यह है कि प्रत्येक अटेंशन स्टेट की प्लास्टिसिटी को एक "इंपॉर्टेंस स्टेट" के आधार पर गतिशील रूप से समायोजित किया जाना चाहिए, जो संचित ज्ञान को कैप्चर करने वाले एक प्रायर डिस्ट्रीब्यूशन (prior distribution) पर आधारित है।

बायेसियन फॉर्मूलेशन: अटेंशन हेड को एक बायेसियन इन्फरेंस समस्या के रूप में मॉडल किया गया है जहाँ लक्ष्य एक वेरिएशनल फ्री एनर्जी ऑब्जेक्टिव को कम करना है। मेमोरी स्टेट $S$ पर पोस्टीरियर डिस्ट्रीब्यूशन को रिकर्सिवली अपडेट किया जाता है। कैटास्ट्रोफिक रिमेंबरिंग (जहाँ प्रायर अत्यधिक केंद्रित हो जाता है) को रोकने के लिए, लेखक एक वेटेड पोस्टीरियर पेश करते हैं जो प्रभावी रूप से मेमोरी विंडो को ट्रंकेट (छोटा) करता है। यह एक फॉरगेटिंग गेट $\alpha_t = \exp(-A d_t)$ द्वारा नियंत्रित किया जाता है, जो संचित प्रायर वेट के एक अंश को त्याग देता है।
मेटाप्लास्टिक अपडेट नियम: डायगोनल कोवेरिएंस मैट्रिक्स के साथ वेरिएशनल इन्फरेंस (VI) लागू करके, लेखक एक क्लोज्ड-फॉर्म अपडेट नियम प्राप्त करते हैं। मेमोरी स्टेट $\mu_t$ $μ_{t}$ और एक इंपोर्टेंस मैट्रिक्स $I_t$ $I_{t}$ (जो प्रत्येक स्टेट की इनवर्स वेरिएंस या प्रिसिजन को दर्शाता है) को एक साथ अपडेट किया जाता है:
- $I_t = \alpha_t I_{t-1} + (1 - \alpha_t)I_{prior} + \beta_t \otimes k_t^2$
- $\mu_t = \alpha_t \frac{I_{t-1}}{I_t} \odot \mu_{t-1} + \frac{1}{I_t} \odot [(\beta_t \odot v_t) \otimes k_t]$
  यहाँ, $\beta_t$ एक इनपुट-डिपेंडेंट इंपोर्टेंस फैक्टर के रूप में कार्य करता है, और $I_t$ प्रत्येक स्टेट के लिए लर्निंग रेट को गतिशील रूप से स्केल करता है। उच्च महत्व (कम वेरिएंस) स्थिरता (कम प्लास्टिसिटी) की ओर ले जाता है, जबकि कम महत्व तेज़ सीखने की अनुमति देता है।
आर्किटेक्चरल वेरिएंट्स: लेखक दो वेरिएंट्स लागू करते हैं:
- पैलिम्सा-D: गेटेड डेल्टा रूल मॉडल्स (डेल्टानेट्स) के लिए एक ड्रॉप-इन रिप्लेसमेंट, जो $\beta_t$ के लिए एक प्रोजेक्शन और एक रेसिडुअल टर्म जोड़ता है।
- पैलिम्सा-M: मम्बा2 (Mamba2) पर आधारित, जहाँ इनपुट गेट $d_t$ फॉरगेटिंग गेट और इनपुट गेट दोनों के रूप में दोहरा कार्य करता है।
सैद्धांतिक एकीकरण: पेपर यह प्रदर्शित करता है कि विभिन्न गेटेड लीनियर अटेंशन मॉडल एक सामान्य बायेसियन फ्रेमवर्क के भीतर विशिष्ट आर्किटेक्चरल चॉइस या पोस्टीरियर एप्रोक्सिमेशन के रूप में उभरते हैं। विशेष रूप से, Mamba2 को पैलिम्सा के एक विशेष मामले के रूप में दिखाया गया है जहाँ फॉरगेटिंग रेट इतना अधिक है कि इंपोर्टेंस मैट्रिक्स स्थिर रहता है ( $I_t \approx I_{prior}$ ), जो प्रभावी रूप से मेटाप्लास्टिसिटी को अक्षम कर देता है।

मुख्य योगदान

ICL में मेटाप्लास्टिसिटी: अनिश्चितता के आधार पर स्टेट प्लास्टिसिटी को गतिशील रूप से समायोजित करके इन-कॉन्टेक्स्ट कैटास्ट्रोफिक फॉरगेटिंग और रिमेंबरिंग को कम करने के लिए बायेसियन मेटाप्लास्टिसिटी का परिचय।
पैलिम्सा मॉडल: एक स्केलेबल अटेंशन ब्लॉक जो पुराने ज्ञान को धीरे-धीरे मुक्त करके कैटास्ट्रोफिक रिमेंबरिंग को रोकता है, जिसे कुशल GPU ट्रेनिंग के लिए कस्टम कर्नेल्स के साथ लागू किया गया है।
एकीकृत ढांचा (Unified Framework): एक गणितीय व्युत्पत्ति जो मौजूदा गेटेड लीनियर अटेंशन और स्टेट स्पेस मॉडल्स को एक सामान्य बायेसियन फ्रेमवर्क के विशेष मामलों के रूप में दिखाती है, जो Mamba2 को Palimpsa के एक लिमिट के रूप में पहचानती है।
ट्रांसफॉर्मेशन पाइपलाइन: गैर-मेटाप्लास्टिक मॉडल्स (जैसे प्री-ट्रेंड Mamba2) को फाइन-ट्यूनिंग के माध्यम से मेटाप्लास्टिक मॉडल्स में बदलने की एक विधि, जो प्री-ट्रेनिंग के लिए गैर-मेटाप्लास्टिक कर्नेल्स की गति और फाइन-ट्यूनिंग के लिए मेटाप्लास्टिसिटी की मेमोरी क्षमता का लाभ उठाती है।

प्रायोगिक परिणाम
लेखक 170M, 760M, और 2.7B पैरामीटर मॉडल्स के साथ सिंथेटिक, कॉमनसेन्स रीजनिंग और लॉन्ग-कॉन्टेक्स्ट बेंचमार्क पर पैलिम्सा का मूल्यांकन करते हैं।

सिंथेटिक (MQAR): मल्टी-क्वेरी एसोसिएटिव रिकॉल बेंचमार्क पर, पैलिम्सा लगातार गैर-मेटाप्लास्टिक बेसलाइन्स (डेल्टानेट और Mamba2 सहित) को पछाड़ता है। अनुक्रम की लंबाई बढ़ने के साथ प्रदर्शन का अंतर बढ़ता जाता है, जो दर्शाता है कि मेटाप्लास्टिसिटी जटिल मेमोराइजेशन कार्यों में ओवरराइटिंग को प्रभावी ढंग से कम करती है।
लैंग्वेज मॉडलिंग और कॉमनसेन्स रीजनिंग: FineWeb-Edu डेटासेट पर, मेटाप्लास्टिक वेरिएंट (Palimpsa-D और Palimpsa-M) अपने गैर-मेटाप्लास्टिक समकक्षों और मानक ट्रांसफॉर्मर्स की तुलना में LAMBADA, PIQA और WinoGrande जैसे कार्यों पर बेहतर परप्लेक्सिटी और सटीकता प्राप्त करते हैं। विशेष रूप से, 760M स्केल पर, फाइन-ट्यून किया गया Palimpsa-D, गेटेड डेल्टानेट बेसलाइन से औसत सटीकता में ~0.8 अंक बेहतर है।
लॉन्ग-कॉन्टेक्स्ट प्रदर्शन: 2.7B पैरामीटर मॉडल के साथ प्रयोगों में, 8 Mamba2 लेयर्स को (सबसे कमजोर फॉरगेटिंग/सबसे बड़ी प्रभावी मेमोरी विंडो वाले) पैलिसा ब्लॉक्स के साथ बदलने से कॉमनसेन्स रीजनिंग में +0.84 अंक और LongBench बेंचमार्क पर +1.1 अंक का सुधार हुआ। जबकि मेटाप्लास्टिक मॉडल शॉर्ट-कॉन्टेक्स्ट रिट्रीवल कार्यों पर थोड़ा कम प्रदर्शन करता है, इसने कॉन्टेक्स्ट लेंथ बढ़ने के साथ काफी धीमी गिरावट प्रदर्शित की, जो 32k टोकन पर बेसलाइन से आगे निकल गई।
लर्निंग डायनेमिक्स: विश्लेषण से पता चलता है कि प्रशिक्षण के दौरान मेटाप्लास्टिसिटी अनुपात (प्लास्टिक और कंसोलिडेटेड सिनैप्स के बीच अंतर) बढ़ता है, जिससे मॉडल महत्वपूर्ण जानकारी को स्थिर करने के साथ-साथ नए डेटा के प्रति प्लास्टिक बना रहता है।

महत्व और दावे
पेपर का दावा है कि पैलिम्सा न्यूरोसाइंस (मेटाप्लास्टिसिटी) और बायेसियन इन्फरेंस के सिद्धांतों को एकीकृत करके फिक्स्ड-साइज़ मेमोरी मॉडल्स में स्थिरता-प्लास्टिसिटी दुविधा का एक सिद्धांतिक समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक अंतर्दृष्टि: विभिन्न लीनियर अटेंशन आर्किटेक्चर को एक एकल बायेसियन फ्रेमवर्क के तहत एकीकृत करना और Mamba2 को एक विशिष्ट, फॉरगेटिंग-डोमिनेंट लिमिट के रूप में पहचानना।
व्यावहारिक स्केलेबिलिटी: प्री-ट्रेनिंग (तेज, गैर-मेटाप्लास्टिक कर्नेल्स का उपयोग करके) को फाइन-ट्यूनिंग (मेमोरी क्षमता बढ़ाने के लिए मेटाप्लास्टिक कर्नेल्स का उपयोग करके) से अलग करके बड़े पैमाने पर मेटाप्लास्टिक मॉडल्स के उपयोग को सक्षम करना।
प्रदर्शन: यह प्रदर्शित करना कि मेटाप्लास्टिसिटी मानक ट्रांसफॉर्मर्स की क्वाड्रेटिक मेमोरी लागत की आवश्यकता के बिना लॉन्ग-कॉन्टेक्स्ट परिदृश्यों में मेमोरी रिटेंशन और रीजनिंग क्षमताओं में लगातार सुधार करती है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण सख्त मेमोरी सीमाओं के भीतर सूचना को कैसे सीखा, याद रखा और भुलाया जाता है, इसे अनुकूलित करके संसाधन-बाधित सिस्टम (एज डिवाइसेस) पर उच्च प्रदर्शन वाले सीक्वेंस मॉडलिंग की तैनाती का समर्थन करता है।