🤖 machine learning

FG $^2$ -GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control

यह शोध पत्र FG $^2$ -GDN को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो स्केलर लर्निंग रेट्स को चैनल-वार एडेप्टिव वेक्टर्स से बदलकर और की-वैल्यू स्केलिंग को डिकपल करके गेटेड डेल्टा नेटवर्क्स को उन्नत करता है, जिससे कंप्यूटेशनल दक्षता बनाए रखते हुए एसोसिएटिव रिकॉल और लॉन्ग-कॉन्टेक्स्ट अंडरस्टैंडिंग में महत्वपूर्ण सुधार होता है।

मूल लेखक: Pingwei Sun, Yuxuan Hu, Jianchao Tan, Xue Wang, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

प्रकाशित 2026-04-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pingwei Sun, Yuxuan Hu, Jianchao Tan, Xue Wang, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी किताब पढ़ने की कोशिश कर रहे हैं, लेकिन आपके मस्तिष्क में "वर्किंग मेमोरी" (कार्यकारी स्मृति) की एक सीमित मात्रा है। हर बार जब आप एक नया वाक्य पढ़ते हैं, तो आपको दो चीजें तय करनी होती हैं:

क्या याद रखना है: क्या मुझे इस नए तथ्य को स्टोर करना चाहिए?
क्या भूल जाना है: क्या मुझे किसी पुराने तथ्य को हटाने के लिए जगह बनानी चाहिए?

लंबे समय तक, AI मॉडल (जैसे चैटबॉट्स को चलाने वाले मॉडल) ने सॉफ्टमैक्स अटेंशन (Softmax Attention) नामक एक विधि का उपयोग किया। इसे ऐसे समझें जैसे एक लाइब्रेरियन जो आपसे कोई सवाल पूछने पर हर बार शेल्फ पर रखी हर एक किताब को देखता है। यह अविश्वसनीय रूप से सटीक है, लेकिन यदि लाइब्रेरी में दस लाख किताबें हैं, तो लाइब्रेरियन थक जाएगा और धीमा हो जाएगा। यही कारण है कि AI के लिए बहुत लंबे संदर्भ (context) को एक बार में संभालना मुश्किल होता है।

इसे ठीक करने के लिए, शोधकर्ताओं ने लीनियर अटेंशन (Linear Attention) का आविष्कार किया। यह एक स्मार्ट नोटबुक की तरह है जो खुद को अपडेट करती रहती है जैसे-जैसे आप पढ़ते हैं। पूरी लाइब्रेरी को देखने के बजाय, यह बस वर्तमान पेज को अपडेट करती है। यह सुपर फास्ट है, लेकिन इसके शुरुआती संस्करण थोड़े "मूर्ख" थे—वे या तो सब कुछ हमेशा के लिए याद रखते थे (भ्रमित हो जाते थे) या चीजों को बहुत जल्दी भूल जाते थे।

विकास: "एक ही आकार सबके लिए" से "बारीक ट्यूनिंग" तक

यह पेपर FG2-GDN नामक एक नया मॉडल पेश करता है। यह समझने के लिए कि यह क्यों खास है, आइए देखते हैं कि "नोटबुक" का विकास कैसे हुआ है:

पुरानी नोटबुक (Gated DeltaNet): एक ऐसी नोटबुक की कल्पना करें जहाँ पूरे पेज के लिए आपका एक ही "भूलने" (Forget) का बटन और एक ही "लिखने" (Write) का बटन है। यदि आप "लिखें" दबाते हैं, तो पेज की हर जानकारी एक ही ताकत के साथ अपडेट हो जाती है। यदि आप "भूलें" दबाते हैं, तो सब कुछ एक ही दर से धुंधला हो जाता है। यह एक गंदे कमरे को साफ करने के लिए पूरे घर की लाइट बंद करने जैसा है, बजाय इसके कि केवल गंदे कोने को साफ किया जाए।
बेहतर नोटबुक (KDA): शोधकर्ताओं ने महसूस किया कि पेज के अलग-अलग हिस्सों को अलग-अलग "भूलने" की दर की आवश्यकता होती है। उन्होंने एक "चैनल-वाइज" (channel-wise) भूलने वाला बटन जोड़ा। अब, AI "प्लॉट के विवरणों" को ताज़ा रख सकता है जबकि "बैकग्राउंड शोर" को फीका पड़ने दे सकता है। यह एक बड़ा सुधार था।
सुपर नोटबुक (FG2-GDN - यह पेपर): लेखकों ने देखा कि जबकि भूलने की प्रक्रिया अब बारीक (fine-tuned) थी, लेकिन लिखने की प्रक्रिया अभी भी अनाड़ी थी। AI अभी भी हर चीज़ के लिए एक ही "लिखने" वाले बटन का उपयोग करता था।
- समस्या: कभी-कभी आप एक छोटा, सटीक नोट (जैसे कोई विशिष्ट नाम) लिखना चाहते हैं, और कभी-कभी आप एक बड़ा, गहरा विचार लिखना चाहते हैं। एक ही "लिखने की ताकत" का उपयोग करना दोनों के लिए अक्षम है।
- समाधान: FG2-GDN AI को लिखने की ताकत का एक वेक्टर (vector of writing strengths) देता है। एक "लिखने" वाले बटन के बजाय, इसके पास जानकारी की हर एक विशेषता के लिए एक अलग "लिखने" वाला बटन है।
- उपमा: कल्पना कीजिए कि आप एक चित्र बना रहे हैं।
  - पुराना तरीका: आपके पास एक ही आकार का ब्रश है। आप आकाश के लिए भी उसी भारी स्ट्रोक का उपयोग करते हैं और एक छोटे फूल की पंखुड़ी के लिए भी उसी भारी स्ट्रोक का उपयोग करते हैं। इससे फूल खराब हो जाता है।
  - FG2-GDN का तरीका: आपके पास एक जादुई ब्रश है जो हर एक पिक्सेल के लिए अपने आकार और दबाव को तुरंत बदल सकता है। आप आकाश को चौड़े, कोमल स्ट्रोक के साथ पेंट कर सकते हैं और फूल की पंखुड़ी को एक छोटे, सटीक बिंदु के साथ, और वह भी एक ही समय में।

"FG2" क्या है?

इसका नाम Fine-Grained Gated Delta Network with 2 levels of control (2 स्तरों के नियंत्रण के साथ सूक्ष्म गेटेड डेल्टा नेटवर्क) का संक्षिप्त रूप है।

स्तर 1 (पहले से मौजूद था): सूक्ष्म भूलना (यह तय करना कि क्या मिटाना है)।
स्तर 2 (यहाँ नया है): सूक्ष्म लिखना (यह तय करना कि कितनी मजबूती से नई जानकारी जोड़नी है)।

उन्होंने एक वेरिएंट भी बनाया जिसे FG2-GDN+ कहा जाता है, जो नियंत्रण का तीसरा स्तर जोड़ता है: यह "मिटाने" (Erasing) की ताकत को "लिखने" (Writing) की ताकत से पूरी तरह अलग कर देता है। यह एक ऐसे हाथ की तरह है जो बोर्ड को धीरे से साफ करता है और दूसरा हाथ जो नए नोट्स लिखता है, जिससे AI पुराने, अप्रासंगिक डेटा को आक्रामक रूप से हटाने और नई, महत्वपूर्ण जानकारी को बहुत कोमलता से जोड़ने में सक्षम होता है।

यह क्यों मायने रखता है?

शोधकर्ताओं ने इसे दो प्रकार के कार्यों पर परखा:

रीडिंग कॉम्प्रिहेनशन (भाषा मॉडलिंग): क्या AI अच्छे वाक्य लिख सकता है?
- परिणाम: हाँ, यह अन्य मॉडलों की तरह ही अच्छा लिखता है, लेकिन अधिक सटीकता के साथ।
लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (घास के ढेर में सुई ढूँढना): क्या AI 100 पन्नों के दस्तावेज़ में छिपे एक विशिष्ट तथ्य को खोज सकता है?
- परिणाम: भारी सुधार। क्योंकि AI अब सबसे महत्वपूर्ण तथ्यों को उच्च सटीकता के साथ "लिख" सकता है और शोर को उच्च सटीकता के साथ "मिटा" सकता है, इसलिए वह भ्रमित नहीं होता। वह घास के ढेर के बीच सुई को बेहतर तरीके से याद रखता है।

सबसे अच्छी बात: यह तेज़ है!

आमतौर पर, जब आप किसी मॉडल को स्मार्ट बनाते हैं, तो वह धीमा हो जाता है। लेकिन क्योंकि FG2-GDN एक चतुर गणितीय ट्रिक (rank-1 संरचना को बनाए रखना) पर बना है, इसलिए यह ज्यादा धीमा नहीं होता है।

उपमा: यह एक स्पोर्ट्स कार के इंजन को अतिरिक्त वजन जोड़े बिना अधिक सटीक बनाने जैसा है। यह अभी भी उतना ही तेज़ चलता है, लेकिन यह मोड़ों पर बहुत बेहतर तरीके से हैंडल करता है।

सारांश

FG2-GDN AI के लिए अपनी मेमोरी को प्रबंधित करने का एक स्मार्ट तरीका है। AI को यह क्षमता देकर कि वह जानकारी के प्रत्येक हिस्से को कितनी मजबूती से लिखता है (न कि केवल यह कि वह क्या भूलता है), यह लंबे दस्तावेज़ों को पढ़ने और विशिष्ट विवरण खोजने में बहुत बेहतर हो जाता है, और वह तेज़ और कुशल भी रहता है। यह मेमोरी को प्रबंधित करने के लिए एक हथौड़े और सर्जन के स्केलपेल (scalpel) के बीच का अंतर है।

यहाँ शोध पत्र "FG2-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लीनियर अटेंशन मैकेनिज्म (जैसे, Gated DeltaNet, Kimi Delta Attention) सॉफ्टमैक्स अटेंशन की $O(L^2)$ जटिलता की तुलना में $O(L)$ इन्फरेंस कॉम्प्लेक्सिटी प्रदान करते हैं, फिर भी वे लॉन्ग-कॉन्टेक्स्ट मॉडलिंग और एसोसिएटिव रिकॉल में सीमाओं का सामना करते हैं।

बाधा (The Bottleneck): मौजूदा अत्याधुनिक मॉडल जैसे कि Kimi Delta Attention (KDA) ने स्केलर डिके गेट (scalar decay gate) से चैनल-वाइज (डायमेंशन-विशिष्ट) डिके वेक्टर ( $\alpha_t$ ) में बदलकर फॉरगेटिंग मैकेनिज्म को परिष्कृत किया है। हालाँकि, डेल्टा अपडेट नियम में लर्निंग रेट (या राइटिंग स्ट्रेंथ) $\beta_t$ अभी भी एक स्केलर बना हुआ है जो सभी फीचर डायमेंशन्स के लिए साझा है।
परिणाम (The Consequence): यह स्केलर बाधा मॉडल की डायमेंशन-विशिष्ट अनुकूलन (dimension-specific adaptation) करने की क्षमता को सीमित करती है। यह सभी फीचर डायमेंशन्स को वर्तमान संदर्भ की व्यक्तिगत प्रासंगिकता की परवाह किए बिना एक ही "राइटिंग स्ट्रेंथ" के साथ अपडेट करने के लिए मजबूर करता है, जिससे लॉन्ग सीक्वेंस में सब-ऑप्टिमल एसोसिएटिव रिकॉल और इंटरफेरेंस होता है।

2. कार्यप्रणाली (Methodology)

लेखक FG2-GDN (Fine-Grained Gated Delta Network) और इसके वेरिएंट FG2-GDN+ का प्रस्ताव करते हैं, जो डेल्टा अपडेट नियम पर डबली फाइन-ग्रेन्ड कंट्रोल (doubly fine-grained control) पेश करते हैं।

मुख्य नवाचार: प्रति-कोऑर्डिनेट एडेप्टिव लर्निंग रेट्स (Per-Coordinate Adaptive Learning Rates)

शोध पत्र डेल्टा नियम और स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के बीच एक सादृश्य (analogy) खींचता है। जिस प्रकार AdaGrad और Adam जैसे ऑप्टिमाइज़र पैरामीटर स्पेस में अलग-अलग कर्वेचर को संभालने के लिए प्रति-कोऑर्डिनेट लर्निंग रेट का उपयोग करते हैं, FG2-GDN स्केलर $\beta_t$ को एक चैनल-वाइज वेक्टर $\beta_t \in \mathbb{R}^{d_k}$ से बदल देता है।

FG2-GDN अपडेट नियम:
स्केलर अपडेट के बजाय, की ( $k_t$ ) और वैल्यू ( $v_t$ ) वेक्टर्स को लर्निंग रेट वेक्टर के वर्गमूल द्वारा एलिमेंट-वाइज स्केल किया जाता है:
$\tilde{k}_t = \sqrt{\beta_t} \odot k_t, \quad \tilde{v}_t = \sqrt{\beta_t} \odot v_t$
स्टेट अपडेट इस प्रकार होता है:
$S_t = (I - \tilde{k}_t \tilde{k}_t^\top) \text{Diag}(\alpha_t) S_{t-1} + \tilde{k}_t \tilde{v}_t^\top$
सिमेट्री संरक्षण (Symmetry Preservation): महत्वपूर्ण रूप से, लेखक $\beta_t$ को $k$ और $v$ दोनों में सममित (symmetrically) रूप से समाहित करते हैं। यह अपडेट टर्म ( $\tilde{k}_t \tilde{k}_t^\top$ ) की रैंक-1 हाउसहोल्डर संरचना (Rank-1 Householder structure) को सुरक्षित रखता है, जो कुशल चंकवाइज पैरेलल ट्रेनिंग एल्गोरिदम (WY representation) को बनाए रखने के लिए आवश्यक है।
ऑनलाइन लर्निंग व्याख्या: यह अपडेट को डायगोनल लर्निंग रेट मैट्रिक्स के साथ एक ग्रेडिएंट स्टेप में बदल देता है, जिससे उच्च ग्रेडिएंट वेरिएंस वाले डायमेंशन्स तेजी से अनुकूलित हो पाते हैं जबकि अन्य स्थिर रहते हैं।

FG2-GDN+ वेरिएंट

नियंत्रण को और अधिक डिकपल करने के लिए, FG2-GDN+ कीज़ और वैल्यूज़ के लिए अलग-अलग वेक्टर्स ( $\beta^k_t$ और $\beta^v_t$ ) पेश करता है:

$\beta^k_t$ इरेज़र स्ट्रेंथ (पुरानी जानकारी कितनी आक्रामक रूप से ओवरराइट की जाती है) को नियंत्रित करता है।
$\beta^v_t$ राइट स्ट्रेंथ (नई जानकारी कितनी मजबूती से स्टोर की जाती है) को नियंत्रित करता है।
यह मॉडल को मेमोरी रिटेंशन और मेमोरी इंजेक्शन को स्वतंत्र रूप से प्रबंधित करने की अनुमति देता है।

आर्किटेक्चर (Architecture)

ये मॉडल एक हाइब्रिड आर्किटेक्चर (3:1 अनुपात) का उपयोग करते हैं, जो FG2-GDN लेयर्स को मल्टी-हेड लेटेंट अटेंशन (MLA) लेयर्स के साथ इंटरलीव करता है। यह लीनियर रिकरेंस की अनंत-संदर्भ दक्षता को फुल अटेंशन के सटीक पेयरवाइज इंटरैक्शन के साथ जोड़ता है।

3. मुख्य योगदान (Key Contributions)

डबली फाइन-ग्रेन्ड कंट्रोल: डेल्टा अपडेट के लिए चैनल-वाइज एडेप्टिव लर्निंग रेट्स ( $\beta_t$ ) पेश करने वाला पहला लीनियर अटेंशन मॉडल, जो मौजूदा चैनल-वाइज फॉरगेटिंग गेट्स ( $\alpha_t$ ) का पूरक है।
स्ट्रक्चरल कम्पैटिबिलिटी: एक अभिनव सिमेट्रिक पैरामीट्रिज़ेशन जो बिना Diagonal-Plus-Low-Rank (DPLR) संरचना को तोड़े, प्रति-कोऑर्डिनेट लर्निंग रेट्स पेश करता है। यह सुनिश्चित करता है कि विधि मौजूदा कुशल चंकवाइज पैरेलल इम्प्लीमेंटेशन (जैसे, KDA में) के साथ नगण्य ओवरहेड के साथ संगत बनी रहती है।
डिकपल्ड इरेज़र और राइटिंग: FG2-GDN+ वेरिएंट यह प्रदर्शित करता है कि कीज़ (erasure) और वैल्यूज़ (writing) की स्केलिंग को अलग करने से जटिल संदर्भों में प्रतिस्पर्धी एसोसिएशन के प्रबंधन में काफी सुधार होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर 340M और 1.3B पैरामीटर स्केल पर प्रयोग किए गए।

लैंग्वेज मॉडलिंग (शॉर्ट कॉन्टेक्स्ट):
- FG2-GDN ने 1.3B स्केल पर सर्वश्रेष्ठ औसत ज़ीरो-शॉट सटीकता और सबसे कम LAMBADA परप्लेक्सिटी (KDA के 13.80 के मुकाबले 13.09) प्राप्त की।
- यह दर्शाता है कि फाइन-ग्रेन्ड राइटिंग रेट्स शॉर्ट-कॉन्टेक्स्ट अंडरस्टैंडिंग और एसोसिएटिव रिकॉल में काफी लाभ पहुँचाते हैं।
लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (RULER बेंचमार्क):
- FG2-GDN और FG2-GDN+ ने 4k, 8k और 16k अनुक्रम लंबाई (sequence lengths) में GDN और KDA से बेहतर प्रदर्शन किया।
- मुख्य निष्कर्ष: FG2-GDN ने की-वैल्यू बाइंडिंग को मजबूत करके सिंगल-की रिट्रीवल (MQ, CWE) में पर्याप्त लाभ दिखाया।
- FG2-GDN+ की श्रेष्ठता: डिकपल्ड वेरिएंट (FG2-GDN+) मल्टी-की रिट्रीवल (MK2) और वेरिएबल ट्रैकिंग में अग्रणी रहा, जो यह सिद्ध करता है कि इरेज़र और राइटिंग का स्वतंत्र नियंत्रण जटिल संदर्भों में इंटरफेरेंस को प्रबंधित करने में मदद करता है।
- एक्सट्रपलेशन (Extrapolation): मॉडल्स ने 16k पर उच्च सटीकता बनाए रखी (8k पर प्रशिक्षित), जो पोजीशन के डिस्ट्रीब्यूशन शिफ्ट के प्रति बेहतर सहनशीलता दिखाती है।
LongBench (वास्तविक कार्य):
- FG2-GDN+ ने डॉक्यूमेंट QA, समराइजेशन और कोड कंप्लीशन कार्यों में उच्चतम औसत स्कोर (18.3%) और फ्यू-शॉट स्कोर (32.1%) प्राप्त किया।
दक्षता (Efficiency):
- थ्रूपुट: FG2-GDN, KDA की तुलना में प्रीफिल थ्रूपुट में <5% ओवरहेड लाता है।
- स्केलिंग: यह लीनियर टाइम कॉम्प्लेक्सिटी ( $O(L)$ ) को बनाए रखता है और MLA (Multi-head Latent Attention) की तुलना में लंबे अनुक्रम लंबाई (32k) पर 1.7–1.9x की गति प्रदान करता है।

5. महत्व (Significance)

ऑप्टिमाइज़ेशन और अटेंशन को जोड़ना: यह कार्य सफलतापूर्वक न्यूरल नेटवर्क के ट्रेनिंग फेज के प्रति-कोऑर्डिनेट एडेप्टिव ऑप्टिमाइज़र (जैसे, Adam) की अवधारणा को लीनियर अटेंशन मॉडल्स के इन्फरेंस-टाइम रिकरेंस में अनुवादित करता है।
दक्षता बनाम अभिव्यंजना (Efficiency vs. Expressiveness): यह प्रदर्शित करता है कि लीनियर अटेंशन की अभिव्यंजना (वेक्टराइज्ड लर्निंग रेट्स के माध्यम से) बढ़ाने के लिए उस कंप्यूटेशनल दक्षता का त्याग करने की आवश्यकता नहीं है जो लॉन्ग कॉन्टेक्स्ट के लिए लीनियर अटेंशन को आकर्षक बनाती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: फॉरगेटिंग ( $\alpha$ ) और राइटिंग ( $\beta$ ) दोनों मैकेनिज्म को परिष्कृत करके, FG2-GDN लीनियर रिकरेंट मॉडल्स के लिए एक नया बेंचमार्क सेट करता है, जो स्टैंडर्ड ट्रांसफॉर्मर्स की क्वाड्रेटिक लागत के बिना स्केलेबल, उच्च-प्रदर्शन वाले लॉन्ग-कॉन्टेक्स्ट AI एजेंट्स के लिए एक व्यावहारिक मार्ग प्रदान करता है।