← नवीनतम पेपर
💬 NLP

OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention

यह शोध पत्र ऑनलाइन स्केल्ड डेल्टानेट (OSDN) को प्रस्तुत करता है, जो एक लीनियर अटेंशन मॉडल है जो फीचर-वाइज स्केलिंग के लिए एक ऑनलाइन-अपडेटेड डायगोनल प्रीकंडीशनर को शामिल करके डेल्टा रूल को उन्नत करता है, जिससे यह हार्डवेयर-कुशल पैरेललिज्म बनाए रखते हुए प्रमाणित सुपर-जियोमेट्रिक कन्वर्जेंस प्राप्त करता है और इन-कॉन्टेक्स्ट एसोसिएटिव रिकॉल में महत्वपूर्ण सुधार करता है।

मूल लेखक: Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

प्रकाशित 2026-05-14
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी कहानी को याद करने की कोशिश कर रहे हैं ताकि आप बाद में उसके बारे में सवालों के जवाब दे सकें। AI की दुनिया में, इसे "इन-कॉन्टेक्स्ट लर्निंग" (in-context learning) कहा जाता है। AI कहानी (कॉन्टेक्स्ट) को पढ़ता है और महत्वपूर्ण विवरणों को याद रखने के लिए अपनी आंतरिक स्मृति (इंटरनल मेमोरी) को अपडेट करता है।

लंबे समय तक, ऐसा करने का सबसे अच्छा तरीका एक विशाल पुस्तकालय जैसा था जिसमें एक सटीक इंडेक्स (जिसे "सॉफ्टमैक्स अटेंशन" कहा जाता है) था। लेकिन यह पुस्तकालय धीमा है और बहुत अधिक जगह घेरता है। नए, तेज़ तरीके (जैसे डेल्टानेट) एक छोटी नोटबुक में नोट्स लेने वाले व्यक्ति की तरह काम करते हैं। वे तेज़ और कुशल हैं, लेकिन वे कभी-कभी संघर्ष करते हैं यदि कहानी बहुत लंबी हो जाए या यदि एक ही शब्द कई बार आए। वे नोट्स को आपस में "धुंधला" (blur) कर देते हैं।

यह पेपर इस धुंधलेपन को ठीक करने के लिए एक नई विधि पेश करता है जिसे OSDN (ऑनलाइन स्केल्ड डेल्टानेट) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "एक ही आकार का" पेन (The "One-Size-Fits-All" Pen)

कल्पना कीजिए कि AI अपनी नोटबुक में लिख रहा है। हर बार जब वह एक नया शब्द (एक "टोकन") देखता है, तो वह एक नोट लिखता है।

  • पुरानी विधि (डेल्टानेट): AI एक ही पेन का उपयोग करता है जिसकी स्याही का प्रवाह निश्चित है। यदि उसे एक छोटा, सूक्ष्म विवरण लिखना है, तो पेन बहुत मोटा होता है और उसे धुंधला कर देता है। यदि उसे एक बड़ा, बोल्ड शीर्षक लिखना है, तो पेन बहुत पतला होता है और स्याही खत्म हो जाती है। वह हर जानकारी के साथ बिल्कुल एक ही "स्टेप साइज" या तीव्रता का उपयोग करता है।
  • समस्या: कहानी के कुछ तथ्य दुर्लभ होते हैं और उन्हें एक स्पष्ट नोट की आवश्यकता होती है। अन्य सामान्य होते हैं और उन्हें हल्के स्पर्श की आवश्यकता होती है। हर चीज़ के लिए एक ही "पेन प्रेशर" का उपयोग करने से याद करने में गलतियाँ होती हैं।

2. समाधान: "स्मार्ट, एडजस्टेबल पेन" (OSDN)

OSDN AI को एक स्मार्ट, एडजस्टेबल पेन देता है। एक निश्चित सेटिंग के बजाय, पेन में वर्णमाला के हर अक्षर (या डेटा के हर फीचर) के लिए एक डायल है।

  • यह कैसे सीखता है: जैसे-जैसे AI कहानी पढ़ता है, वह लगातार जाँच करता है: "क्या मैंने वह नोट सही ढंग से लिखा?" यदि नोट बहुत हल्का है, तो वह अगली बार के लिए उस विशिष्ट अक्षर के लिए डायल को ऊपर घुमाता है। यदि यह बहुत गहरा है, तो वह इसे नीचे घुमाता है।
  • जादुई ट्रिक: यह पेपर सिद्ध करता है कि इस "डायल" को गणना करने के लिए किसी जटिल, धीमे कंप्यूटर की आवश्यकता नहीं है। इसे तुरंत निकाला जा सकता है, बस लिखे जा रहे शब्द को देखकर। यह AI को अपनी गति बनाए रखते हुए यह सीखने की अनुमति देता है कि कैसे लिखना है।

3. "भूलने" की प्रक्रिया (The "Forgetting" Mechanism - APF)

कभी-कभी कहानी के विषय बदल जाते हैं। शुरुआत में महत्वपूर्ण रहा तथ्य अंत तक अप्रासंगिक हो सकता है।

  • समस्या: यदि AI पुराने विषयों के आधार पर अपने पेन को एडजस्ट करता रहता है, तो विषय बदलने पर वह भ्रमित हो सकता है।
  • समाधान (APF): OSDN में एडेप्टिव प्रीकंडीशनर फॉरगेटिंग (Adaptive Preconditioner Forgetting) नामक एक फीचर शामिल है। इसे एक "फ्रेश पेज" बटन की तरह समझें। यदि AI देखता है कि विषय बदल गया है, तो वह नए विषय के लिए अपने पेन डायल को धीरे से रीसेट कर देता है, ताकि वह पिछले अध्याय की सेटिंग्स पर अटका न रहे।

4. यह क्यों मायने रखता है (परिणाम)

लेखकों ने विभिन्न आकारों के AI मॉडल (छोटे से लेकर बहुत बड़े तक) पर इसका परीक्षण किया।

  • "मेमोरी टेस्ट": उन्होंने AI को एक कहानी दी और फिर उससे विशिष्ट विवरण याद करने को कहा, विशेष रूप से जब वे विवरण दो बार आए हों (जैसे किसी पात्र का परिचय दिया जाना, फिर बाद में उसका उल्लेख होना)।
  • परिणाम:
    • मध्यम आकार पर, OSDN ने पुराने तरीके की तुलना में दोहराए गए विवरणों को याद करने की क्षमता में 32% का सुधार किया।
    • एक विशाल आकार (1.3 बिलियन पैरामीटर्स) पर, इसने सामान्य कार्यों (जैसे वाक्य लिखना या सामान्य प्रश्न पूछना) में AI को उतना ही सक्षम रखते हुए, मेमोरी रिकॉल में 39% का सुधार किया।
    • महत्वपूर्ण रूप से, इसने AI को महत्वपूर्ण रूप से धीमा किए बिना यह किया। यह एक कार के इंजन को अधिक सटीक बनाने के लिए अपग्रेड करने जैसा है बिना कार को भारी या धीमा किए।

सारांश

सोचिए कि OSDN एक AI को बेहतर नोट लेने वाला बनाना है। हर चीज़ को एक ही दबाव के साथ लिखने के बजाय, यह सीखता है कि महत्वपूर्ण, दुर्लभ विवरणों पर अधिक जोर कैसे देना है और सामान्य विवरणों पर हल्का दबाव कैसे डालना है। यह यह भी जानता है कि नए विषय के लिए स्लेट को कब साफ करना है। यह AI को अपनी गति या दक्षता खोए बिना जटिल कहानियों को बहुत बेहतर तरीके से याद करने की अनुमति देता है।

यह पेपर क्या दावा नहीं करता है:

  • यह दावा नहीं करता कि यह AI को "चेतन" बनाता है या भावनाएं महसूस करने में सक्षम बनाता है।
  • यह दावा नहीं करता कि यह सभी AI समस्याओं (जैसे तर्क या गणित) को हल करता है; यह विशेष रूप से लंबे टेक्स्ट से जानकारी को याद रखने और पुनः प्राप्त करने की क्षमता को लक्षित करता है।
  • यह सुझाव नहीं देता कि यह चिकित्सा निदान या वास्तविक दुनिया के महत्वपूर्ण कार्यान्वयन के लिए तैयार है; यह एक शोध उपलब्धि है कि AI मॉडल टेक्स्ट के अनुक्रमों (sequences) को कैसे प्रोसेस करते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →