🤖 machine learning

Delta Attention Residuals

यह शोध पत्र डेल्टा अटेंशन रेसिडुअल्स (Delta Attention Residuals) का प्रस्ताव करता है, जो एक नवीन आर्किटेक्चर है जो रूटिंग कोलैप्स (routing collapse) को रोकने और विभिन्न मॉडल स्केल्स में महत्वपूर्ण परप्लेक्सिटी सुधार प्राप्त करने के लिए अटेंशन-आधारित रेसिडुअल कनेक्शनों में संचयी हिडन स्टेट्स (cumulative hidden states) को लेयर-वाइज डेल्टा रिप्रेजेंटेशन्स (layer-wise delta representations) से बदल देता है।

मूल लेखक: Cheng Luo, Zefan Cai, Junjie Hu

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cheng Luo, Zefan Cai, Junjie Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक "शोर भरे" पुस्तकालय को ठीक करना

कल्पना कीजिए कि एक डीप लर्निंग मॉडल (जैसे कि एक लार्ज लैंग्वेज मॉडल) एक छात्र है जो कहानी लिखने की कोशिश कर रहा है। यह छात्र संदर्भ (context) को समझने के लिए अध्यायों (परतों/layers) की एक लंबी श्रृंखला को पढ़ता है।

एक मानक मॉडल में, छात्र अब तक जो कुछ भी पढ़ा है उसका एक निरंतर सारांश (running summary) रखता है। जब तक वह अंतिम अध्याय तक पहुँचता है, उसका "सारांश" नोट्स का एक विशाल, कीचड़ जैसा ढेर बन जाता है जिसमें शुरुआत के हर वाक्य का विवरण होता है। यह पुराने सूचनाओं से इतना भरा होता है कि इसमें कुछ नया या विशिष्ट ढूँढना कठिन हो जाता है।

शोधकर्ताओं ने एक नए और अधिक उन्नत तरीके के साथ एक समस्या की खोज की जिसे अटेंशन रेसिडुअल्स (Attention Residuals) कहा जाता है। इस पद्धति में, छात्र को पिछले अध्यायों से विशिष्ट नोट्स चुनने की अनुमति दी जाती है ताकि वे वर्तमान अध्याय को लिखने में मदद कर सकें। हालाँकि, क्योंकि वे नोट्स उसी "कीचड़ जैसे ढेर" (निरंतर सारांशों) का हिस्सा थे, इसलिए वे नोट्स एक-दूसरे के लगभग समान दिखाई देते थे।

परिणाम: छात्र भ्रमित हो गया। अध्याय 3 से एक परफेक्ट नोट चुनने के बजाय, वह सभी अध्यायों से थोड़ा-थोड़ा सब कुछ चुनने लगा। इसे "रूटिंग कोलैप्स" (routing collapse) कहा जाता है। यह एक स्मूदी में से सबसे अच्छा घटक चुनने की कोशिश करने जैसा है जहाँ सब कुछ पहले से ही मिला हुआ है; आप अब स्ट्रॉबेरी का स्वाद नहीं ले सकते, आप केवल "स्मूदी" का स्वाद ले सकते हैं।

समाधान: "डेल्टा" विधि

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे डेल्टा अटेंशन रेसिडुअल्स (Delta Attention Residuals) कहा जाता है।

पूरे निरंतर सारांश (कीचड़ वाले ढेर) को देखने के बजाय, छात्र केवल यह देखता है कि प्रत्येक विशिष्ट चरण में क्या बदला है।

उपमा: निर्माण स्थल (Construction Site)
कल्पना कीजिए कि एक इमारत का निर्माण मंजिल-दर-मंजिल किया जा रहा है।

पुराना तरीका (संचयी अवस्थाएं/Cumulative States): 10वीं मंजिल पर क्या करना है, यह तय करने के लिए आप पूरी इमारत को देखते हैं। लेकिन 10वीं मंजिल 9वीं जैसी ही दिखती है, और 9वीं 8वीं जैसी, क्योंकि वे सभी बस "एक इमारत" हैं। उनके बीच अंतर करना कठिन है।
नया तरीका (डेल्टा): आप केवल प्रत्येक विशिष्ट मंजिल पर श्रमिकों द्वारा किए गए अंतर (difference) को देखते हैं।
- "श्रमिकों ने मंजिल 3 पर क्या जोड़ा?" (शायद उन्होंने एक खिड़की जोड़ी)।
- "श्रमिकों ने मंजिल 4 पर क्या जोड़ा?" (शायद उन्होंने एक बालकनी जोड़ी)।

क्योंकि एक खिड़की एक बालकनी से बहुत अलग होती है, ये "डेल्टा" (बदलाव) विशिष्ट और पहचानने में आसान होते हैं।

व्यवहार में यह कैसे काम करता है

चयनात्मक रूटिंग (Selective Routing): जब मॉडल को एक वाक्य लिखने की आवश्यकता होती है, तो वह पूछता है: "पिछले लेयर से कौन सा विशिष्ट बदलाव मुझे सबसे अधिक मदद करता है?" क्योंकि बदलाव विशिष्ट हैं (जैसे खिड़की बनाम बालकनी), मॉडल एक सटीक और आत्मविश्वासी चुनाव कर सकता है।
- पुराना तरीका: मॉडल का ध्यान धुंधला था (जैसे धुंधला कैमरा), जो सब कुछ समान रूप से कवर करने के लिए अपना फोकस फैला देता था।
- नया तरीका: मॉडल का ध्यान तीक्ष्ण है (जैसे लेजर पॉइंटर), जो विशिष्ट बदलाव पर तीव्रता से केंद्रित है।
जोड़ना, न कि बदलना: पुराना तरीका वर्तमान विचार को पुराने विचारों के मिश्रण से बदलने की कोशिश करता था, जिससे कभी-कभी मॉडल यह भूल जाता था कि वह वर्तमान में क्या कर रहा है। नया तरीका सहायक बदलाव को वर्तमान विचार में जोड़ता है। यह सूप में मसाला डालने जैसा है, न कि पूरे बर्तन को फेंककर एक अलग सूप शुरू करने जैसा। यह मॉडल को स्थिर रखता है और उसे भ्रमित होने से बचाता है।

शोधकर्ताओं ने क्या पाया

टीम ने विभिन्न आकारों के मॉडलों (220 मिलियन पैरामीटर्स से लेकर 7.6 बिलियन पैरामीटर्स तक) पर इस विचार का परीक्षण किया।

बेहतर प्रदर्शन: हर परीक्षण में, "डेल्टा" मॉडल मानक मॉडलों या पुराने "अटेंशन रेसिडुअल" मॉडलों की तुलना में भाषा को बेहतर ढंग से समझते थे (कम "परप्लेक्सिटी", जो मॉडल के भ्रमित होने का एक माप है)।
कोई भ्रम नहीं: मॉडल की गहरी परतों में, पुराने तरीके का फोकस बहुत कमजोर हो जाता था (जैसे मंद रोशनी)। नए तरीके ने नेटवर्क के सबसे गहरे हिस्सों में भी अपने फोकस को उज्ज्वल और तीक्ष्ण बनाए रखा।
आसान अपग्रेड: एक सबसे शानदार खोज यह है कि आप एक पहले से प्रशिक्षित मॉडल (जैसे कि एक तैयार इमारत) को थोड़ा अतिरिक्त प्रशिक्षण (फाइन-ट्यूनिंग) देकर "डेल्टा" विधि का उपयोग करने के लिए अपग्रेड कर सकते हैं। इसके लिए पूरे मॉडल को शुरू से बनाने की आवश्यकता नहीं है।

सारांश

यह शोध पत्र उस समस्या को हल करता है जहाँ AI मॉडल इसलिए भ्रमित हो जाते हैं क्योंकि वे एक साथ बहुत कुछ याद रखने की कोशिश करते हैं। मॉडल को यह सिखाकर कि उसे प्रत्येक चरण में केवल क्या बदला (डेल्टा) उस पर ध्यान केंद्रित करना चाहिए, न कि पूरे इतिहास पर, मॉडल बहुत अधिक सटीक और स्मार्ट निर्णय ले सकता है, जिससे सभी आकार के AI मॉडलों में बेहतर प्रदर्शन होता है।

तकनीकी सारांश: डेल्टा अटेंशन रेसिडुअल्स (Delta Attention Residuals)

समस्या विवरण (Problem Statement)

मानक रेसिडुअल कनेक्शन (standard residual connections) सभी पूर्ववर्ती सबलेयर आउटपुट्स को निश्चित योगात्मक गुणांकों (fixed additive coefficients) के माध्यम से संचित करते हैं ( $h_l = h_{l-1} + f(h_{l-1})$ )। हालांकि यह ग्रेडिएंट हाईवे प्रदान करता है, लेकिन इसमें गहराई के माध्यम से सूचनाओं को चुनिंदा रूप से एकत्रित करने की क्षमता का अभाव है। अटेंशन रेसिडुअल्स (Kimi, 2025) ने निश्चित एकत्रीकरण को पिछले लेयर आउटपुट्स पर सीखे गए सॉफ्टमैक्स अटेंशन (learned softmax attention) से बदलने का प्रस्ताव दिया ताकि चयनात्मक क्रॉस-लेयर रूटिंग सक्षम की जा सके।

हालांकि, यह शोध पत्र मानक अटेंशन रेसिडुअल्स में एक महत्वपूर्ण विफलता मोड की पहचान करता है: स्रोत अतिरेक के कारण रूटिंग पतन (routing collapse due to source redundancy)। अटेंशन रेसिडुअल्स में, स्रोत प्रतिनिधित्व ( $s_i$ ) संचयी हिडन स्टेट्स ( $h_i = \sum v_j$ ) होते हैं। जैसे-जैसे गहराई बढ़ती है, आसन्न संचयी अवस्थाएं (adjacent cumulative states) एक बड़ा साझा प्रीफिक्स साझा करती हैं, जिससे उनकी युग्मवार समानता (pairwise similarity) बढ़ती जाती है। यह रेडंडेंसी रूटिंग उम्मीदवारों में कंट्रास्ट को कम कर देती है, जिससे सॉफ्टमैक्स अटेंशन वेट्स एक लगभग समान वितरण (near-uniform distribution) की ओर झुक जाते हैं। अनुभवजन्य रूप से, गहरी परतों में अधिकतम रूटिंग वेट लगभग 0.2 तक गिर जाता है, जो इस तंत्र को सूचनात्मक अवस्थाओं को चुनने में अप्रभावी बना देता है और प्रभावी रूप से सभी स्रोतों पर औसत निकाल देता है।

कार्यप्रणाली: डेल्टा अटेंशन रेसिडुअल्स (Methodology: Delta Attention Residuals)

स्रोत अतिरेक को संबोधित करने के लिए, लेखक डेल्टा रेसिडुअल्स (deltas) पर रूटिंग का प्रस्ताव देते हैं (जो प्रत्येक सबलेयर द्वारा लाया गया परिवर्तन है), न कि संचयी अवस्थाओं पर।

मुख्य तंत्र (Core Mechanism)

$s_i = h_i$ पर रूटिंग करने के बजाय, यह विधि $v_i = h_{i+1} - h_i$ पर रूट करती है, जो एक सबलेयर के विशिष्ट योगदान का प्रतिनिधित्व करती है। इसे एक योगात्मक रूटिंग (additive routing) फॉर्मूलेशन के माध्यम से लागू किया जाता है:
$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$
जहाँ:

$\tilde{h}_l$ वर्तमान रेसिडुअल स्ट्रीम है (डिफ़ॉल्ट रूप से संरक्षित)।
$v_i$ डेल्टा स्रोत हैं (प्रति-सबलेयर आउटपुट)।
$\alpha_{i \to l}$ सीखे गए अटेंशन वेट्स हैं जो सामान्यीकृत डेल्टा (normalized deltas) पर सॉफ्टमैक्स के माध्यम से गणना किए जाते हैं।

ग्रैनुलैरिटी वेरिएंट्स (Granularity Variants)

इस सिद्धांत को दो स्तरों पर लागू किया गया है:

डेल्टा अटेंशन रेसिडुअल्स (Delta AttnRes): यह प्रत्येक व्यक्तिगत सबलेयर आउटपुट (अटेंशन और MLP) पर रूट करता है, जिससे $L$ परतों के लिए $2L$ स्रोत प्राप्त होते हैं।
डेल्टा ब्लॉक (Delta Block): दक्षता के लिए एक ब्लॉक डेल्टा ( $\Delta_b$ ) में एक ब्लॉक के भीतर क्रमिक सबलेयर आउटपुट्स को एकत्रित करता है, जिससे स्रोतों की संख्या घटकर $\approx L/B$ हो जाती है।

प्रमुख डिजाइन लाभ (Key Design Advantages)

संरचनात्मक विविधता (Structural Diversity): संचयी अवस्थाओं के विपरीत, जो लगभग रैखिक संबंधों की ओर अभिसरित होती हैं, डेल्टा संरचनात्मक रूप से विविध होते हैं क्योंकि अटेंशन और MLP आउटपुट अलग-अलग सबस्पेस में होते हैं और विभिन्न एब्स्ट्रैक्शन स्तरों को कैप्चर करते हैं। यह उच्च रूटिंग कंट्रास्ट (अधिकतम वेट $\approx 0.6$ ) बनाए रखता है।
रेसिडुअल संरक्षण (Residual Preservation): योगात्मक फॉर्मूलेशन रेसिडुअल स्ट्रीम को सुरक्षित रखता है, यह सुनिश्चित करता है कि ब्लॉक सीमाओं पर कोई सूचना नष्ट न हो (रिप्लेसमेंट रूटिंग के विपरीत जो स्ट्रीम को हटा देती है)।
सुरक्षित इनिशियलाइजेशन (Safe Initialization): शून्य-इनिशियलाइज्ड क्वेरी वेट्स के साथ, रूटिंग वेट्स यूनिफॉर्म हो जाते हैं, और रूटिंग आउटपुट एक बाउंडेड परटर्बेशन बन जाता है। यह तंत्र को इनिशियलाइजेशन पर एक आइडेंटिटी मैप में बदल देता है, जिससे प्रीट्रेंड मॉडल्स को उनके सीखे हुए रेसिडुअल स्ट्रीम को बाधित किए बिना फाइन-ट्यून करना संभव हो जाता है।

मुख्य योगदान (Key Contributions)

रूटिंग पतन की पहचान: शोध पत्र प्रदर्शित करता है कि संचयी-स्टेट अटेंशन रेसिडुअल्स में स्रोत अतिरेक के कारण रूटिंग शार्पनेस गहरी परतों में $\sim 0.2$ तक गिर जाती है, जिससे लगभग समान अटेंशन वितरण होता है।
डेल्टा अटेंशन रेसिडुअल्स: एक नया आर्किटेक्चर जो संचयी अवस्थाओं के बजाय डेल्टा पर रूट करता है। यह शार्प रूटिंग ( $\sim 0.6$ ) बनाए रखता है और 220M से 7.6B पैरामीटर्स तक के स्केल पर स्टैंडर्ड रेसिडुअल्स और अटेंशन रेसिडुअल्स दोनों से लगातार बेहतर प्रदर्शन करता है।
फाइन-ट्यूनिंग अनुकूलता (Fine-Tuning Compatibility): योगात्मक फॉर्मूलेशन मौजूदा प्रीट्रेंड ट्रांसफॉर्मर्स को स्टैंडर्ड फाइन-ट्यूनिंग के माध्यम से डेल्टा अटेंशन रेसिडुअल्स में बदलने की अनुमति देता है, जो "लॉस लैंडस्केप वैली" की समस्या को दूर करता है जहाँ मॉडल फाइन-ट्यूनिंग के दौरान क्रॉस-लेयर वेट्स का उपयोग करने में विफल रहते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने FineWeb-Edu पर स्क्रैच से प्रशिक्षित Qwen3-आर्किटेक्चर मॉडल्स पर इस विधि का मूल्यांकन किया और डाउनस्ट्रीम टास्क पर फाइन-ट्यून किया।

स्क्रैच से प्रशिक्षण (From-Scratch Training):
- प्रदर्शन: डेल्टा विधियों ने बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन किया। 1044M स्केल पर, डेल्टा अटेंशन रेसिडुअल्स ने 29.13 का वैलिडेशन पर्प्लेक्सिटी (PPL) प्राप्त किया (बेसलाइन के 29.70 के मुकाबले, -1.9% सुधार)। 7.6B स्केल पर, डेल्टा ब्लॉक ने 16.00 PPL प्राप्त किया (17.43 बेसलाइन के मुकाबले, -8.2% सुधार)।
- विकल्पों की विफलता: स्टैंडर्ड अटेंशन रेसिडुअल्स (AttnRes) बड़े स्केल पर काफी खराब हो गए (उदाहरण के लिए 1044M पर बेसलाइन से 6.9% बदतर), क्योंकि रिप्लेसमेंट रूटिंग और पीरियोडिक रीसेट से सूचना का नुकसान होता है।
- दक्षता: जबकि प्रति-सबलेयर डेल्टा अटेंशन रेसिडुअल्स सर्वश्रेष्ठ पर्प्लेक्सिटी प्रदान करता है, इसमें उच्च मेमोरी ओवरहेड होता है। डेल्टा ब्लॉक (ब्लॉक-लेवल ग्रुपिंग) एक व्यावहारिक डिफ़ॉल्ट है, जो काफी कम मेमोरी और थ्रूपुट लागत के साथ डेल्टा अटेंशन रेसिडुअल्स की गुणवत्ता से मेल खाता है (1044M पर फुल डेल्टा अटेंशन रेसिडुअल्स के 3.5x के मुकाबले केवल 26% मेमोरी ओवरहेड)।
फाइन-ट्यूनिंग (Fine-Tuning):
- जब एक प्रीट्रेंड Qwen3-0.6B मॉडल को फाइन-ट्यून किया गया, तो डेल्टा ब्लॉक ने 8 डाउनस्ट्रीम बेंचमार्क पर 55.6% औसत सटीकता प्राप्त की, जो स्टैंडर्ड बेसलाइन (55.0%) और AttnRes (54.1%) से बेहतर थी।
- महत्वपूर्ण रूप से, डेल्टा ब्लॉक ने इनिशियलाइजेशन के समय देखे गए बड़े लॉस स्पाइक से बचा, जो अपने सुरक्षित इनिशियलाइजेशन गुणों के कारण सुचारू रूप से कन्वर्ज हुआ।
रूटिंग विश्लेषण (Routing Analysis):
- विज़ुअलाइज़ेशन पुष्टि करते हैं कि डेल्टा ब्लॉक पूरी गहराई में शार्प रूटिंग (मैक्स वेट $\sim 0.6$ –$1.0$) बनाए रखता है, जबकि AttnRes गहरी परतों में $\sim 0.2$ तक गिर जाता है।
- डेल्टा मॉडल्स की गहरी परतें विशिष्ट शुरुआती आउटपुट्स (इनक्लूडिंग टोकन एम्बेडिंग्स) पर वेट्स को चुनि적으로 केंद्रित करती हैं, जबकि AttneRes अटेंशन को विसरित (diffusely) रूप से वितरित करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि डेल्टा अटेंशन रेसिडुअल्स क्रॉस-लेयर रूटिंग में मूल समस्या—स्रोत अतिरेक—को हल करता है। "क्या बदला" (डेल्टा) पर रूट करके, न कि "क्या संचित हुआ" (संचयी अवस्थाओं) पर, यह विधि चयनात्मक, उच्च-कंट्रास्ट रूटिंग को सक्षम करती है जो गहरे नेटवर्कों तक प्रभावी ढंग से स्केल करती है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण अन्य आर्किटेक्चरल सुधारों के ऑर्थोगोनल (orthogonal) है। इसका प्राथमिक महत्व है:

स्केलेबिलिटी: यह पिछले अटेंशन-आधारित रेसिडुअल विधियों में देखी गई गिरावट के बिना गहरे और अधिक प्रभावी क्रॉस-लेयर कनेक्शन को सक्षम करता है।
व्यावहारिकता: योगात्मक फॉर्मूलेशन और सुरक्षित इनिशियलाइजेशन मौजूदा प्रीट्रेंड चेकपॉइंट्स को फाइन-ट्यूनिंग के माध्यम से डेल्टा अटेंशन रेसिडुअल्स में सहजता से एकीकृत करने की अनुमति देता है, जो पहले इनिशियलाइजेशन अस्थिरता के कारण बाधित था।
दक्षता: डेल्टा ब्लॉक वेरिएंट एक उच्च-प्रदर्शन, कम-ओवरहेड समाधान प्रदान करता है जो कंप्यूटेशनल बाधाओं के साथ रूटिंग एक्सप्रेसिविटी को संतुलित करता है।