💻 computer science

Enhancing Layer Interaction Using Key-Correlated Layer Attention

यह शोध पत्र की-कोरिलेटेड लेयर अटेंशन (KCLA) का प्रस्ताव करता है, जो एक नवीन तंत्र है जो डायनेमिक सूचना अपडेट और लॉन्ग-रेंज क्रॉस-लेयर डिपेंडेंसीज़ को सुरक्षित रखते हुए मानक लेयर अटेंशन की क्वाड्रेटिक कम्प्यूटेशनल कॉम्प्लेक्सिटी को लीनियर कॉम्प्लेक्सिटी में कम करता है, जिससे विविध विजन टास्क के माध्यम से बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Jianlong Xiong, ChuanBo Xie, Le Yu, Quansong He, Tao He

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jianlong Xiong, ChuanBo Xie, Le Yu, Quansong He, Tao He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ऊँची गगनचुंबी इमारत (एक डीप न्यूरल नेटवर्क) बना रहे हैं ताकि तस्वीरों में वस्तुओं को पहचानने या मेडिकल स्कैन में ट्यूमर खोजने जैसी जटिल समस्याओं को हल किया जा सके। एक मानक इमारत में, प्रत्येक मंजिल (या "लेयर") केवल अपने ठीक नीचे वाली मंजिल से बात करती है। लेकिन आधुनिक AI में, हम चाहते हैं कि हर मंजिल नीचे की हर मंजिल के साथ बातचीत कर सके ताकि जानकारी साझा की जा सके। इसे लेयर अटेंशन (Layer Attention) कहा जाता है।

हालाँकि, यह शोध पत्र एक बड़ी समस्या की पहचान करता है: यह "हर कोई सबसे बात करे" वाला दृष्टिकोण बहुत महंगा है।

समस्या: "क्वाड्रेटिक" ट्रैफिक जाम

यदि आपके पास 10 मंजिलें हैं, तो सबसे ऊपरी मंजिल को 9 लोगों को कॉल करना होगा। यदि आपके पास 100 मंजिलें हैं, तो सबसे ऊपरी मंजिल को 99 लोगों को कॉल करना होगा। गणित बहुत जल्दी जटिल हो जाता है।

लागत: जैसे-जैसे इमारत ऊँची होती जाती है, इन कॉल्स को करने में लगने वाला समय और मेमोरी क्वाड्रेटिकली (जैसे कि एक वर्ग/स्क्वायर की तरह) बढ़ती जाती है। एक इमारत जो दोगुनी ऊँची है, उसे प्रबंधित करने में चार गुना अधिक समय लगेगा।
पुराने समाधान: पिछले प्रयासों (जैसे "रिकरेंट लेयर अटेंशन" या RLA) ने पैसे बचाने के लिए कॉल्स को स्थिर (static) बनाने की कोशिश की। कल्पना कीजिए कि एक सचिव एक बार संदेशों की सूची लिख देता है और उसे कभी अपडेट नहीं करता। यह तेज़ है, लेकिन जानकारी पुरानी हो जाती है। ऊपरी मंजिल अंततः नीचे की मंजिल की केवल धुंधली गूँज सुन पाती है, जिससे महत्वपूर्ण विवरण छूट जाते हैं।

समाधान: KCLA (की-कोरिलेटेड लेयर अटेंशन)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे KCLA कहा जाता है। उन्होंने एक दिलचस्प बात देखी: विभिन्न मंजिलों पर "कीज़" (जानकारी खोजने के लिए उपयोग किए जाने वाले आईडी टैग) वास्तव में एक-दूसरे के बहुत समान होते हैं, जैसे कि दिखने में एक जैसे भाई-बहन।

चूंकि ये "कीज़" इतने समान हैं, इसलिए लेखकों ने महसूस किया कि वे एक चतुर शॉर्टकट का उपयोग कर सकते हैं। हर एक फोन कॉल व्यक्तिगत रूप से करने के बजाय, वे कॉल्स को एक साथ समूहित (group) कर सकते हैं।

उपमा: "तापमान" का थर्मोस्टेट
अटेंशन मैकेनिज्म को लोगों के एक कमरे के रूप में सोचें जो यह तय करने की कोशिश कर रहे हैं कि किसे सुनना है।

मानक अटेंशन (Standard Attention): हर कोई अपनी राय चिल्लाकर बताता है, और एक कंप्यूटर गणना करता है कि प्रत्येक आवाज कितनी तेज होनी चाहिए। यह सटीक है लेकिन धीमा है।
पुराना लीनियर अटेंशन (RLA): हर कोई चिल्लाना बंद कर देता है और बस एक स्थिर स्क्रिप्ट पढ़ता है। यह तेज़ है, लेकिन कोई भी नई जानकारी पर प्रतिक्रिया नहीं दे सकता।
KCLA: लेखकों ने विभिन्न "तापमानों" (हेड्स) के साथ एक सिस्टम बनाया है।
- कुछ थर्मोस्टेट कम तापमान पर सेट हैं (बहुत केंद्रित, केवल हाल की, तेज़ आवाजों को सुनना)।
- कुछ थर्मोस्टेट उच्च तापमान पर सेट हैं (बहुत रिलैक्स्ड, सभी को सुनना, यहाँ तक कि नीचे की मंजिल की शांत आवाजों को भी)।
- सिस्टम वर्तमान स्थिति के आधार पर इन विभिन्न "तापमानों" को गतिशील रूप से मिलाता है।

यह ऊपरी मंजिल को नीचे की मंजिल को स्पष्ट रूप से सुनने (लॉन्ग-रेंज कनेक्शन) की अनुमति देता है, बिना बीच की हर मंजिल को अलग और महंगा फोन कॉल किए।

वे क्या हासिल करने का दावा करते हैं

शोध पत्र का दावा है कि KCLA "गोल्डिलॉक्स" (Goldilocks) समाधान है:

तेज़ और हल्का: यह इमारत की ऊंचाई के साथ लीनियर रूप से बढ़ता है (दोगुनी ऊंचाई = दोगुना खर्च), न कि क्वाड्रेटिकली। यह बहुत कम मेमोरी का उपयोग करता है।
स्मार्ट: पुराने "स्थिर" तरीकों के विपरीत, यह जानकारी को गतिशील और ताज़ा रखता है। यह शुरुआती लेयर्स की आवाजों को खामोशी में फीका नहीं पड़ने देता।
बहुमुखी (Versatile): उन्होंने तीन विशिष्ट कार्यों पर इसका परीक्षण किया:
- इमेज रिकग्निशन: तस्वीर में क्या है पहचानना (जैसे CIFAR-100 और ImageNet)।
- ऑब्जेक्ट डिटेक्शन: किसी दृश्य में विशिष्ट वस्तुओं (जैसे कार या लोग) को ढूंढना और बॉक्स बनाना (जैसे COCO)।
- मेडिकल इमेज सेगमेंटेशन: मेडिकल स्कैन (जैसे स्किन लीजन या पॉलिप) में विशिष्ट क्षेत्रों के चारों ओर रूपरेखा खींचना।

परिणाम

अपने प्रयोगों में, KCLA ने लगातार पिछले "लाइटवेट" तरीकों से बेहतर प्रदर्शन किया और भारी, धीमे तरीकों के बहुत करीब रहा, लेकिन बहुत कम लागत पर।

इसने सटीकता में पिछले सर्वश्रेष्ठ लाइटवेट मेथड (MRLA-L) को पछाड़ दिया।
इसने "डायनेमिक" मेथड (DLA-L) की तुलना में काफी कम पैरामीटर्स (मेमोरी) का उपयोग किया, जबकि लगभग उतना ही प्रदर्शन किया।
इसने साबित कर दिया कि लेयर्स के बीच "कोरिलेशन" (समानता) को समझकर, आप बड़े चित्र को देखने की क्षमता खोए बिना गणित को सरल बना सकते हैं।

संक्षेप में: KCLA एआई लेयर्स के बीच बातचीत करने का एक नया तरीका है जो इतने बड़े नेटवर्क के लिए पर्याप्त तेज़ है कि वह बहुत महत्वपूर्ण विवरणों को याद रखने के लिए पर्याप्त स्मार्ट भी है।

तकनीकी सारांश: की-कोरिलेटेड लेयर अटेंशन का उपयोग करके लेयर इंटरैक्शन को बढ़ाना

समस्या विवरण (Problem Statement)
डीप न्यूरल नेटवर्क (DNN) डिजाइन में हालिया प्रगति ने लेयर आउटपुट को सीक्वेंस टोकन के रूप में मानकर इंटर-लेयर इंटरैक्शन को बढ़ाने के लिए लेयर अटेंशन (Layer Attention) का उपयोग किया है। हालांकि, मानक लेयर अटेंशन नेटवर्क गहराई $D$ के सापेक्ष क्वाड्रेटिक कम्प्यूटेशनल कॉम्प्लेक्सिटी ( $O(D^2)$ ) के साथ-साथ सभी पूर्ववर्ती परतों से आउटपुट को कैश करने के कारण महत्वपूर्ण मेमोरी वृद्धि से ग्रस्त है।

इन समस्याओं को संबोधित करने के लिए, पूर्ववर्ती कार्यों ने रिकरेंट लेयर अटेंशन (RLA) और MRLA-L जैसे लीनियर एप्रोक्सिमेशन पेश किए। जबकि RLA, की ( $K$ ) और वैल्यू ( $V$ ) रिप्रजेंटेशन को कैश करके कम्प्यूटेशनल ओवरहेड को कम करता है, यह एक स्टैटिक मैकेनिज्म के रूप में कार्य करता है जहाँ प्रारंभिक लेयर फीचर्स एक बार जेनरेट होने के बाद स्थिर रहते हैं, जो डायनेमिक इंफॉर्मेशन अपडेट्स को सीमित करता है। इसके अलावा, MRLA-L जैसे लीनियर एप्रोक्सिमेशन, अटेंशन आउटपुट को लीनियरली एप्रोक्सिमेट करके जटिलता को कम करने का प्रयास करते हैं। लेखक देखते हैं कि यह दृष्टिकोण शुरुआती परतों के योगदान को एक्सपोनेंशियल रूप से कम (exponentially attenuated) कर देता है (जैसा कि उनके द्वारा $\beta_l$ गुणांकों के विश्लेषण में दिखाया गया है), जिससे प्रभावी लॉन्ग-रेंज क्रॉस-लेयर डिपेंडेंसीज स्थापित करना कठिन हो जाता है। इसके अतिरिक्त, मौजूदा लीनियराइजेशन विधियां अक्सर पिछले लेयर आउटपुट्स को कैश करने की मेमोरी बॉटलनेक या पदानुक्रमित (hierarchical) DNN संरचनाओं पर लीनियर अटेंशन लागू करने की विशिष्ट चुनौतियों को संबोधित करने में विफल रहती हैं।

कार्यप्रणाली: की-कोरिलेटेड लेयर अटेंशन (KCLA)
प्रस्तावित की-कोरिलेटेड लेयर अटेंशन (KCLA) एक नवीन लीनियराइज्ड लेयर अटेंशन विधि है जिसे लीनियर कम्प्यूटेशनल कॉम्प्लेक्सिटी प्राप्त करने और डायनेमिक अपडेट्स एवं लॉन्ग-रेंज डिपेंडेंसी मॉडलिंग को बनाए रखने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली तीन मुख्य अंतर्दृष्टि और तंत्रों पर आधारित है:

की कोरिलेशन ऑब्जर्वेशन (Key Correlation Observation): अनुभवजन्य विश्लेषण से पता चलता है कि मानक लेयर अटेंशन में विभिन्न परतों के बीच की (Key) रिप्रजेंटेशन उच्च कोसाइन सिमिलरिटी प्रदर्शित करते हैं। इसका लाभ उठाते हुए, KCLA वैल्यू ( $V$ ) के लीनियर ट्रांसफॉर्मेशन को अलग करके और की (Key) रिप्रलेशन को दिशात्मक रूप से सहसंबद्ध (directionally correlated) मानकर मानक लेयर अटेंशन आउटपुट को एप्रोक्सिमेट करता है। यह $K$ और $V$ मैट्रिसेस के पूर्ण इतिहास को स्टोर किए बिना लेयर आउटपुट्स को एक रिकरेंट स्टेट ( $U^t$ ) में एकत्रित करने की अनुमति देता है।
डायनेमिक सॉफ्टमैक्स रेस्टोरेशन (Dynamic Softmax Restoration): अटेंशन को लीनियर करने में एक महत्वपूर्ण चुनौती सॉफ्टमैक्स (softmax) ऑपरेशन का नुकसान है, जो अटेंशन स्कोर को नॉर्मलाइज़ करने और डायनेमिक डिस्ट्रीब्यूशन एडजस्टमेंट को सक्षम करने के लिए आवश्यक है। KCLA इस क्षमता को बहाल करने के लिए एक संशोधित मल्टी-हेड अटेंशन मैकेनिज्म पेश करता है:
- यह एक लॉगरिदमिकली यूनिफॉर्म सीक्वेंस से प्राप्त विभिन्न स्केलिंग फैक्टर्स (टेम्परेचर) वाले कई हेड्स का उपयोग करता है।
- यह क्वेरी ( $Q^t$ ) के नॉर्म ( $\|Q^t\|$ ) और कोरिलेशन एंगल ( $\cos \theta$ ) को हेड-विशिष्ट वेट्स में मैप करने के लिए एक लर्नेबल लीनियर ट्रांसफॉर्मेशन $\Phi$ का उपयोग करता है।
- यह मॉडल को प्रत्येक लेयर पर डायनेमिक रूप से अटेंशन डिस्ट्रीब्यूशन को एडजस्ट करने की अनुमति देता है, जो पूर्ण $N \times N$ मैट्रिक्स की गणना किए बिना प्रभावी रूप से टेम्परेचर पैरामीटर की भूमिका का अनुकरण करता है।
क्रॉस-स्टेज अडैप्टेशन (Cross-Stage Adaptation): विभिन्न स्टेज में अलग-अलग फीचर मैप साइज और चैनल डायमेंशन वाले DNNs को समायोजित करने के लिए, KCLA एक विशिष्ट अडैप्टेशन प्रक्रिया (एल्गोरिदम 1) लागू करता है। इसमें संचित फीचर्स को नॉर्मलाइज करना, डाउनसैंपलिंग के लिए स्ट्राइड के साथ $1 \times 1$ कनवल्शन लागू करना और स्टेज के बीच डायमेंशनल अंतर को पाटने के लिए नॉर्मलाइजेशन फैक्टर्स को पुनर्गणना करना शामिल है।

मुख्य योगदान (Key Contributions)

अवलोकन और प्रमाण: लेखक प्रदर्शित करते हैं कि मानक लेयर अटेंशन में विभिन्न परतों के बीच की (Key) रिप्रजेंटेशन दिशा में अत्यधिक सहसंबद्ध हैं, जो लीनियर एप्रोक्सिमेशन के लिए सैद्धांतिक आधार प्रदान करता है।
नवीन लीनियराइजेशन: KCLA को एक लीनियराइज्ड लेयर अटेंशन विधि के रूप में प्रस्तावित किया गया है जो RLA की स्टैटिक प्रकृति और MRLA-L के एक्सपोनेंशियल एटेनुएशन से बचता है। यह लीनियर कम्प्यूटेशनल कॉम्प्लेक्सिटी और नेटवर्क गहराई से स्वतंत्र फिक्स्ड स्पेशियल कॉम्प्लेक्सिटी प्राप्त करता है।
डायनेमिक सॉफ्टमैक्स एप्रोक्सिमेशन: मल्टी-हेड स्केलिंग और लर्नेबल ट्रांसफॉर्मेशन का उपयोग करके सॉफ्टमैक्स ऑपरेशन को एप्रोक्सिमेट करने के लिए एक नई विधि पेश की गई है, जो प्रत्येक लेयर पर डायनेमिक और एडेप्टिव अटेंशन डिस्ट्रीब्यूशन एडजस्टमेंट को सक्षम बनाती है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने तीन मौलिक विजन कार्यों पर KCLA का मूल्यांकन किया: इमेज क्लासिफिकेशन, ऑब्जेक्ट डिटेक्शन, और मेडिकल इमेज सेगमेंटेशन।

इमेज क्लासिफिकेशन: CIFAR-100 पर, KCLA ने ResNet की गहराई 20, 56, और 110 के लिए सर्वश्रेष्ठ प्रदर्शन किया, जिसने MRLA-L, DLA-L और मानक लेयर अटेंशन को पीछे छोड़ दिया। ImageNet-1K पर, ResNet-50 और ResNet-101 में एकीकृत KCLA ने बेसलाइन की तुलना में क्रमशः +1.7% और +1.4% टॉप-1 सटीकता में सुधार किया। इसने MRLA-L की तुलना में मामूली लेकिन निरंतर बढ़त बनाए रखी, जबकि डायनेमिक DLA-L की तुलना में काफी कम पैरामीटर्स का उपयोग किया।
ऑब्जेक्ट डिटेक्शन: COCO2017 डेटासेट पर Faster R-CNN और Mask R-CNN के साथ, KCLA ने प्रतिस्पर्धी प्रदर्शन दिखाया। ResNet-101 के साथ, इसने कई मेट्रिक्स (AP $_{75}$ , AP $_S$ , AP $_M$ ) पर अधिक जटिल DLA-L आर्किटेक्चर को पछाड़ दिया, जबकि 2.2M कम पैरामीटर्स का उपयोग किया।
मेडिकल इमेज सेगमेंटेशन: ISIC2017, ISIC2018, और Kvasir-SEG डेटासेट्स पर, KCLA ने न्यूनतम पैरामीटर ओवरहेड के साथ न्यूनतम mIoU और DSC स्कोर प्राप्त करते हुए MRLA-L और बेसलाइन ResNet-UNet को लगातार पछाड़ दिया।
कॉम्प्लेक्सिटी एनालिसिस: MRLA-B के विपरीत, जिसकी मेमोरी और FLOPs गहराई के साथ क्वाड्रेटिक रूप से बढ़ते हैं, KCLA कम्प्यूटेशनल लोड और मेमोरी लागत दोनों में लीनियर ग्रोथ प्रदर्शित करता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि KCLA लीनियर अटेंशन की दक्षता और स्टैंडर्ड अटेंशन की रिप्रेजेंटेशनल पावर के बीच के अंतर को सफलतापूर्वक पाटता है। की (Key) कोरिलेशन के आधार पर स्टैंडर्ड लेयर अटेंशन मैकेनिज्म को सीधे एप्रोक्सिमेट करके, KCLA, RLA की स्टैटिक फीचर रिप्रजेंटेशन समस्याओं और MRLA-L की लॉन्ग-रेंज डिपेंडेंसी डिग्रेडेशन से बचता है।

लेखक जोर देते हैं कि उनका तरीका कुशलतापूर्वक लॉन्ग-रेंज क्रॉस-लेयर डिपेंडेंसीज को मॉडल करने की क्षमता बनाए रखता है, जो दक्षता और प्रदर्शन के बीच एक वांछनीय संतुलन प्रदान करता है। वे नोट करते हैं कि सॉफ्टमैक्स फंक्शन को बहाल करने के लिए प्रस्तावित विधि इन परिणामों को प्राप्त करने में एक महत्वपूर्ण कारक है। हालांकि वर्तमान कार्यान्वयन प्री-सेट टेम्परेचर पैरामीटर्स पर निर्भर करता है, लेखक एक पूर्णतः सेल्फ-एडेप्टिव, डायनेमिक टेम्परेचर मल्टी-हेड लीनियर लेयर अटेंशन के डिजाइन को भविष्य के अनुकूलन के लिए एक दिशा के रूप में पहचानते हैं। पुनरुत्पादकता (reproducibility) की सुविधा के लिए कोड सार्वजनिक रूप से उपलब्ध है।

समस्या: "क्वाड्रेटिक" ट्रैफिक जाम

समाधान: KCLA (की-कोरिलेटेड लेयर अटेंशन)

वे क्या हासिल करने का दावा करते हैं

परिणाम

इसी तरह के और पेपर