← नवीनतम पेपर
🤖 machine learning

Kaczmarz Linear Attention

यह शोध पत्र काज़ार्क (Kaczmarz) लीनियर अटेंशन (KLA) को प्रस्तुत करता है, जो एक संशोधित गेटेड डेल्टानेट (Gated DeltaNet) है जो अपने अनुभवजन्य रूप से सीखे गए अपडेट गुणांक को सैद्धांतिक रूप से व्युत्पन्न, की-नॉर्म-नॉर्मलाइज्ड (key-norm-normalized) काज़ार्क स्टेप साइज से बदल देता है, जिसके परिणामस्वरूप मॉडल की संरचना या स्टेट शेप (state shape) को बदले बिना बेहतर परप्लेक्सिटी (perplexity), दीर्घ-संदर्भ स्थिरता (long-context stability) और डिकोडिंग दक्षता प्राप्त होती है।

मूल लेखक: Jiaxuan Zou, Ruifeng Ren, Yong Liu

प्रकाशित 2026-05-12
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jiaxuan Zou, Ruifeng Ren, Yong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक बहुत लंबी किताब पढ़ना सिखाने की कोशिश कर रहे हैं। रोबोट को वर्तमान वाक्य को समझने के लिए यह याद रखने की आवश्यकता है कि उसने पहले क्या पढ़ा था।

समस्या: "क्वाड्रेटिक" (Quadratic) बाधा
पारंपरिक AI मॉडल (ट्रांसफॉर्मर्स) एक ऐसे छात्र की तरह काम करते हैं जिसे हर नए शब्द को पढ़ते समय, पिछले हर शब्द को यह देखने के लिए फिर से पीछे जाकर देखना पड़ता है कि वे आपस में कैसे जुड़ते हैं। यदि किताब छोटी है, तो यह ठीक है। लेकिन यदि किताब 100,000 पन्नों की है, तो हर एक शब्द के लिए छात्र को बहुत अधिक काम करना पड़ता है। यह इतना धीमा और महंगा हो जाता है कि इसे बढ़ाना (scale up करना) व्यावहारिक रूप से असंभव हो जाता है।

समाधान: "रिकरेंट स्टेट" (Recurrent State)
नए मॉडल इस समस्या को ठीक करने के लिए एक छोटे, निश्चित आकार के नोटबुक वाले छात्र की तरह काम करने का प्रयास करते हैं। पूरी किताब को पलटने के बजाय, वे बस अपनी नोटबुक को अपडेट करते हैं। वे सबसे महत्वपूर्ण हिस्सों को लिखते हैं, बाकी को भूल जाते हैं, और आगे बढ़ते रहते हैं। यह तेज़ (लीनियर टाइम) है, लेकिन इसे सही करना कठिन है: उन्हें क्या लिखना चाहिए? उन्हें कितना मिटाना चाहिए? और यदि वे उसी विषय को दोबारा देखते हैं, तो उन्हें नोटबुक को कैसे अपडेट करना चाहिए?

पिछला प्रयास: गेटेड डेल्टानेट (Gated DeltaNet - GDN)
एक लोकप्रिय मॉडल, जिसे गेटेड डेल्टानेट (GDN) कहा जाता है, "नोटबुक" दृष्टिकोण का उपयोग करता है। जब वह कोई नई जानकारी देखता है, तो वह यह गणना करता है कि वह जो सोचता है और जो वह वास्तव में देखता है, उनके बीच का अंतर क्या है, और फिर उस अंतर को नोटबुक में लिख देता है।

हालाँकि, GDN में एक दोष है: यह एक "सीखी हुई धारणा" (एक संख्या जो उसने प्रशिक्षण के दौरान समझ ली है) का उपयोग यह तय करने के लिए करता है कि बदलाव कितना बड़ा होना चाहिए। यह एक छात्र की तरह है जो अंदाज़ा लगाता है, "हम्म, मुझे लगता है कि मुझे इसे 5 नंबर के मार्कर से लिखना चाहिए।" कभी-कभी वे ऐसा मार्कर उपयोग करते हैं जो बहुत बड़ा होता है (पन्ने को धुंधला कर देता है), और कभी-कभी इतना छोटा होता है (लिखावट धुंधली हो जाती है और खो जाती है)। यह अंदाज़ा केवल एक आदत है जो मॉडल ने सीखी है, न कि कोई गणितीय नियम।

नया विचार: काचर्ज़ लीनियर अटेंशन (Kaczmarz Linear Attention - KLA)
इस शोध पत्र के लेखक, जियाक्सुआन ज़ौ और उनके सहयोगियों ने पूछा: "क्या हम अंदाज़ा लगाने के बजाय गणित का उपयोग करके यह तय कर सकते हैं कि बदलाव बिल्कुल कितना बड़ा होना चाहिए?"

उन्होंने एक पुराने गणितीय तरीके को देखा जिसे काचर्ज़ प्रोजेक्शन (Kaczmarz projection) कहा जाता है।

  • उपमा (Analogy): कल्पना कीजिए कि आप कागज के एक टुकड़े पर एक रेखा खींचने की कोशिश कर रहे हैं जो एक विशिष्ट बिंदु से होकर गुजरती है। आपके पास एक रूलर (आपका वर्तमान स्टेट) है। यदि आपका रूलर उस बिंदु तक नहीं पहुँचता है, तो आपको उसे थोड़ा खिसकाने (nudge करने) की आवश्यकता है।
  • अंतर्दृष्टि (Insight): काचर्ज़ विधि कहती है कि रूलर को खिसकाने का सबसे अच्छा तरीका यह मापना है कि वह बिंदु कितना "मजबूत" या "तेज़" है। यदि बिंदु बहुत तेज़ (strong signal) है, तो आपको हिट करने के लिए बहुत मामूली खिसकना होगा। यदि बिंदु शांत (weak signal) है, तो आपको बड़ा खिसकना होगा।

शोध पत्र की भाषा में, वे "की" (Key - संकेत) को देखते हैं और उसकी शक्ति (उसका "norm") को मापते हैं। फिर वे एक सटीक स्टेप साइज (चरण आकार) की गणना करते हैं:

स्टेप साइज = लर्निंग रेट / सिग्नल की शक्ति

यही काचर्ज़ कोएफिशिएंट (Kaczmarz Coefficient) है।

क्या बदला?
लेखकों ने नया रोबोट या नई नोटबुक नहीं बनाई। उन्होंने केवल GDN मॉडल में "अंदाज़े वाली" संख्या को इस सटीक, गणितीय रूप से प्राप्त संख्या से बदल दिया।

  • पुराना तरीका: "मैं इसे 0.5 के मार्कर साइज के साथ लिखूँगा क्योंकि मेरे ट्रेनिंग डेटा ने मुझे ऐसा करने को कहा था।"
  • नया तरीका (KLA): "मैं इसे 0.5 के मार्कर साइज के साथ लिखूँगा, जो सिग्नल की आवाज़ (शक्ति) से विभाजित होगा।"

परिणाम
चूँकि यह नया नियम मेमोरी को अपडेट करने के विशिष्ट कार्य के लिए गणितीय रूप से एकदम सटीक है, इसलिए यह मॉडल बेहतर प्रदर्शन करता है:

  1. अधिक स्मार्ट: यह वाक्य में अगले शब्द की भविष्यवाणी पिछले सर्वोत्तम मॉडलों की तुलना में अधिक सटीकता (कम "perplexity") के साथ करता है।
  2. लंबी याददाश्त: यह बिना भ्रमित हुए या चीजें भूले बिना बहुत लंबे संदर्भों (65,000 शब्दों तक) को संभाल सकता है, जबकि पुराना मॉडल संघर्ष करने लगता था।
  3. कार्यों में बेहतर: उन परीक्षणों में जहाँ मॉडल को टेक्स्ट के विशाल "भूसे के ढेर" (haystack) में एक विशिष्ट "सुई" (needle) ढूँढनी थी, KLA ने 100% सही परिणाम दिए, जबकि अन्य मॉडल चूक गए।
  4. उतना ही तेज़: क्योंकि उन्होंने केवल अपडेट के गणितीय सूत्र को बदला है और नोटबुक की संरचना को नहीं, इसलिए मॉडल उतना ही तेज़ चलता है जितना कि पुराना वाला। वास्तव में, यह लंबे संदर्भों में 2.1 गुना तेज़ी से टेक्स्ट जनरेट (decode) करता है।

सारांश में
यह शोध पत्र KLA को पेश करता है, जो अपने पूर्ववर्ती की तरह ही वही तेज़ और कुशल संरचना बनाए रखता है, लेकिन एक "अंदाज़े वाले" अपडेट नियम के स्थान पर एक सटीक, गणितीय रूप से व्युत्पन्न नियम का उपयोग करता है। यह एक ऐसी कार की तरह है जो पहले से ही अच्छी चलती है, लेकिन आप उसमें ड्राइवर के अंदाज़ों को हटाकर एक सटीक GPS नेविगेशन सिस्टम लगा देते हैं। कार वही है, लेकिन वह अधिक सटीकता और कुशलता से मंजिल तक पहुँचती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →