💻 computer science

ReGLA: Efficient Receptive-Field Modeling with Gated Linear Attention Network

ReGLA हल्के हाइब्रिड नेटवर्क्स की एक श्रृंखला है जो उच्च-रिज़ॉल्यूशन वाली छवियों पर अत्याधुनिक सटीकता और कम विलंबता प्राप्त करने के लिए कुशल कनवल्शन को ReLU-आधारित गेटेड लीनियर अटेंशन और मल्टी-टीचर डिस्टिलेशन के साथ जोड़ता है, जो ImageNet वर्गीकरण और डाउनस्ट्रीम डिटेक्शन एवं सेगमेंटेशन कार्यों में मौजूदा मॉडलों से बेहतर प्रदर्शन करता है।

मूल लेखक: Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

प्रकाशित 2026-02-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को फोटो में वस्तुओं को पहचानना सिखाने की कोशिश कर रहे हैं। फोटो बहुत बड़ी (हाई-रिज़ॉल्यूशन) है, जैसे कि एक 4K इमेज, लेकिन आपका रोबोट छोटा है और एक बैटरी से चलने वाले डिवाइस, जैसे कि स्मार्टफोन या स्मार्ट कैमरा पर चल रहा है।

समस्या यह है कि वर्तमान "स्मार्ट" रोबोट्स (जिन्हें ट्रांसफॉर्मर्स कहा जाता है) विशाल लेकिन अनाड़ी दिग्गजों की तरह हैं। वे पूरी तस्वीर देख सकते हैं और दूर के हिस्सों के बीच संबंध समझ सकते हैं, लेकिन उन्हें सोचने में बहुत समय लगता है और वे बैटरी जल्दी खत्म कर देते हैं। दूसरी ओर, "तेज़" रोबोट्स (जिन्हें CNNs कहा जाता है) धावकों की तरह हैं; वे स्थानीय विवरणों (जैसे बिल्ली के बालों की बनावट) को पहचानने में माहिर हैं लेकिन बड़े परिदृश्य को समझने में कमजोर हैं (जैसे यह समझना कि बिल्ली सोफे पर बैठी है)।

ReGLA एक नया रोबोट डिज़ाइन है जो दोनों दुनियाओं का सर्वश्रेष्ठ बनने की कोशिश करता है: एक ऐसा धावक जिसके पास दिग्गज का दिमाग हो, लेकिन बिना उसकी सुस्ती के। यह कैसे काम करता है, यहाँ इसके सरल भागों में विवरण दिया गया है:

1. बड़ा विचार: "कम लेकिन बेहतर"

लेखकों चाहते थे कि एक ऐसा मॉडल बनाया जाए जो कुशल (तेज़ और कम बैटरी वाला) हो लेकिन फिर भी स्मार्ट (सटीक) हो। वे इस नए मॉडल परिवार को ReGLA कहते हैं। इसे एक हाइब्रिड कार की तरह समझें जो शहर में ड्राइविंग के लिए इलेक्ट्रिक पावर (स्थानीय विवरण) का उपयोग करती है और हाईवे पर क्रूज करने के लिए टर्बो इंजन (ग्लोबल कॉन्टेक्स्ट) का उपयोग करती है, लेकिन इसे इस तरह डिज़ाइन किया गया है कि इसका इंजन कभी गर्म न हो।

2. दो गुप्त सामग्रियां

ReGLA गति बनाम बुद्धिमत्ता की समस्या को हल करने के लिए दो विशेष उपकरणों का उपयोग करता है:

A. "सुपर-स्निफ़र" (ELRF मॉड्यूल)

समस्या: फोटो को देखने के शुरुआती चरणों में, रोबोट को पूरी इमेज से भ्रमित हुए बिना बारीक विवरण (जैसे किनारे और बनावट) देखने की आवश्यकता होती है। पारंपरिक तरीके एक विस्तृत क्षेत्र देखने के लिए विशाल "लेंस" का उपयोग करते हैं, लेकिन ये लेंस भारी और धीमे होते हैं।
ReGLA का समाधान: उन्होंने एक उपकरण बनाया जिसे ELRF (एफीशिएंट लार्ज रिसेप्टिव फील्ड) कहा जाता है।
उपमा: कल्पना कीजिए कि आप एक किताब पढ़ने की कोशिश कर रहे हैं। पूरे पन्ने को कवर करने वाले एक विशाल आवर्धक कांच (मैग्निफाइंग ग्लास) का उपयोग करने के बजाय, जो भारी और हिलाने में कठिन है, आप छोटे, हल्के आवर्धक कांचों के ढेर का उपयोग करते हैं जिन्हें आप एक-एक करके टेक्स्ट के ऊपर स्लाइड करते हैं। आप अंततः पूरा पन्ना देख लेते हैं, लेकिन आप इसे बहुत तेज़ी से और कम प्रयास के साथ करते हैं। ELRF छवियों के लिए यही करता है, एक विस्तृत दृश्य कैप्चर करते हुए भी हल्का और तेज़ बना रहता है।

B. "स्मार्ट गेटकीपर" (RGMA मॉड्यूल)

समस्या: पूरी इमेज को समझने के लिए, रोबोट को दूर के बिंदुओं को जोड़ने की आवश्यकता होती है (जैसे, आकाश क्षितिज से जुड़ता है)। मानक तरीके इसे हर एक पिक्सेल की दूसरे पिक्सेल के साथ तुलना करके करते हैं। यदि आपके पास दस लाख पिक्सेल हैं, तो यह एक ट्रिलियन तुलनाएं होंगी! यह एक स्टेडियम में मौजूद हर व्यक्ति को व्यक्तिगत रूप से दूसरे व्यक्ति से मिलवाने जैसा है।
ReGLA का समाधान: उन्होंने एक उपकरण बनाया जिसे RGMA (ReLU गेटेड मॉड्यूलेटेड अटेंशन) कहा जाता है।
उपमा: सबको एक-दूसरे से मिलवाने के बजाय, कल्पना कीजिए कि एक क्लब में एक बाउंसर है।
- "बाउंसर" (गेटिंग मैकेनिज्म) जल्दी से जांच करता है कि कौन महत्वपूर्ण है और किसे अनदेखा किया जा सकता है।
- "लीनियर अटेंशन" वाला हिस्सा एक तेज़, सीधी बातचीत है जो केवल महत्वपूर्ण लोगों के बीच होती है।
- एक जटिल गणना (Softmax) के बजाय एक साधारण "हाँ/नहीं" स्विच (ReLU) का उपयोग करके, रोबोट पूरे कमरे को एक उलझे हुए जाल के बजाय एक सीधी रेखा में प्रोसेस कर सकता है। यह एक लीनियर प्रक्रिया की गति को बनाए रखता है लेकिन इसमें एक "गेट" जोड़ता है ताकि यह महत्वपूर्ण स्थानीय विवरणों को मिस न करे।

3. "स्टडी ग्रुप" (मल्टी-टीचर डिस्टिलेशन)

भले ही इसके पास एक बेहतरीन डिज़ाइन हो, लेकिन रोबोट को सीखने की आवश्यकता होती है। लेखकों ने केवल ReGLA को शून्य से नहीं सिखाया; उन्होंने एक मल्टी-टीचर डिस्टिलेशन रणनीति का उपयोग किया।

उपमा: कल्पना कीजिए कि ReGLA एक छात्र है। केवल एक शिक्षक के बजाय, उन्होंने ReGLA को सात अलग-अलग विशेषज्ञों (शिक्षकों) के साथ एक क्लासरूम में रखा है।
- एक शिक्षक बिल्लियों को पहचानने में माहिर है।
- दूसरा कारों को खोजने में माहिर है।
- तीसरा आकृतियों को समझने में माहिर है।
- ReGLA एक साथ उन सभी की बात सुनता है, और उनकी बुद्धिमत्ता को जोड़ता है।
परिणाम: यह ReGLA को एक "सुपर-जनरलिस्ट" बनाता है जो केवल एक शिक्षक से सीखने की तुलना में हर चीज़ में बेहतर होता है।

4. परिणाम: तेज़ और सटीक

पत्रकारों ने मानक बेंचमार्क (जैसे फोटो के लिए ImageNet, वस्तुओं को खोजने के लिए COCO, और दृश्यों को समझने के लिए ADE20K) पर ReGLA का परीक्षण किया।

गति: एक हाई-एंड iPhone पर, ReGLA ने छवियों को 4.98 मिलीसेकंड में प्रोसेस किया। यह अविश्वसनीय रूप से तेज़ है—इंसानी पलक झपकने से भी तेज़।
सटीकता: इसने मानक फोटो परीक्षणों पर 80.85% सटीकता हासिल की, जो अपने आकार के अन्य मॉडलों को पीछे छोड़ देती है।
डाउनस्ट्रीम टास्क: जब उन्होंने वस्तुओं को खोजने (जैसे सेल्फ-ड्राइविंग कारों में) या इमेज सेगमेंटेशन (जैसे मेडिकल इमेजिंग या मैपिंग में) के लिए ReGLA का उपयोग किया, तो इसने समान आकार के प्रतिस्पर्धियों को महत्वपूर्ण अंतर से पीछे छोड़ दिया (3.6% तक बेहतर)।

सारांश

ReGLA एक नया तरीका है जिससे विजुअल इंटेलिजेंस मॉडल बनाए जाते हैं जो हैं:

लाइटवेट: वे फोन और छोटे उपकरणों पर फिट होते हैं।
तेज़: वे "क्वाड्रेटिक" गणित के बजाय "लीनियर" गणित का उपयोग करते हैं, जिसका अर्थ है कि इमेज बड़ी होने पर वे धीमे नहीं होते हैं।
स्मार्ट: वे विवरणों को स्पष्ट रूप से देखने के लिए एक "गेट" का उपयोग करते हैं और एक "स्टैक्ड लेंस" का उपयोग करते हैं।
वेल-ट्रेन्ड: वे सर्वोत्तम प्रदर्शन प्राप्त करने के लिए विशेषज्ञ शिक्षकों की एक टीम से सीखते हैं।

लेखक निष्कर्ष निकालते हैं कि आपको बुद्धिमत्ता के लिए गति का त्याग करने की आवश्यकता नहीं है। ReGLA के साथ, आप परिष्कृत विजुअल इंटेलिजेंस प्राप्त कर सकते हैं जो कुशल और सुलभ भी है।

तकनीकी सारांश: ReGLA – गेटेड लीनियर अटेंशन नेटवर्क के साथ कुशल रिसेप्टिव-फील्ड मॉडलिंग

1. समस्या विवरण

विज़न ट्रांसफॉर्मर (ViTs) को संसाधन-सीमित प्लेटफार्मों (जैसे, मोबाइल डिवाइस, एम्बेडेड सिस्टम) पर तैनात करना मानक सॉफ्टमैक्स-आधारित सेल्फ-अटेंशन मैकेनिज्म की द्विघातीय (quadratic) कम्प्यूटेशनल जटिलता के कारण बाधित होता है। जबकि हल्के वजन वाले कन्वेशनल न्यूरल नेटवर्क (CNNs) दक्षता प्रदान करते हैं, वे अक्सर सीमित रिसेप्टिव फील्ड के कारण लंबी दूरी की निर्भरता (long-range dependencies) को प्रभावी ढंग से कैप्चर करने में संघर्ष करते हैं। इसके विपरीत, हाइब्रिड CNN-ट्रांसफॉर्मर आर्किटेक्चर अक्सर पारंपरिक अटेंशन की अक्षमताओं को विरासत में प्राप्त करते हैं या अटेंशन को लीनियर बनाने के प्रयास में मॉडलिंग शुद्धता (fidelity) का त्याग करते हैं। यह कार्य जिस मुख्य चुनौती को संबोधित करता है वह है उच्च-रिज़ॉल्यूशन वाली छवियों पर उच्च सटीकता और कम विलंबता (latency) एवं लीनियर कम्प्यूटेशनल जटिलता के बीच संतुलन बनाना, बिना मॉडल की स्थिरता या अभिव्यक्ति (expressiveness) से समझौता किए।

2. कार्यप्रणाली

लेखक ReGLA का प्रस्ताव करते हैं, जो एक हल्का हाइब्रिड CNN-ट्रांसफॉर्मर आर्किटेक्चर है जिसे स्थानीय फीचर एक्सट्रैक्शन और ग्लोबल मॉडलिंग के बीच के ट्रेड-ऑफ को अनुकूलित करने के लिए डिज़ाइन किया गया है। यह आर्किटेक्चर एक स्टेम ब्लॉक के बाद चार पदानुक्रमित (hierarchical) चरणों से बना है, जो चैनल डेप्थ और स्थानिक रिज़ॉल्यूशन में स्केल होते हैं। इसका डिज़ाइन तीन मुख्य सिद्धांतों पर आधारित है: लीनियर कम्प्यूटेशनल जटिलता, उन्नत स्थानीय फोकस के साथ बड़े रिसेप्टिव फील्ड्स, और संख्यात्मक स्थिरता।

प्रमुख वास्तुशिल्प घटक (Key Architectural Components)

1. ReLU गेटेड मॉड्यूलेटेड अटेंशन (RGMA)
महंगे सॉफ्टमैक्स अटेंशन को बदलने के लिए, ReGLA एक RGMA पेश करता है, जो एक मेमोरी-कुशल अटेंशन मैकेनिज्म है जो $O(Nd^2)$ की लीनियर जटिलता प्राप्त करता है।

तंत्र (Mechanism): यह सॉफ्टमैक्स कर्नेल को एक ReLU-आधारित लीनियर कर्नेल से बदल देता है और एक हल्के गेटिंग यूनिट को शामिल करता है।
संचालन (Operation): एक फीचर मैप $x$ $x$ के लिए, आउटपुट $X_o$ $X_{o}$ की गणना $X_o = G(x) \odot C(x)$ $X_{o} = G (x) ⊙ C (x)$ के रूप में की जाती है, जहाँ:
- $G(x)$ एक कन्वेशनल गेटेड मैकेनिज्म (एक कन्वल्यूशन और सिग्मॉइड एक्टिवेशन का उपयोग करके) है जो स्थानीय फीचर वेट जनरेट करता है।
- $C(x)$ एक ReLU लीनियर अटेंशन घटक है जो ग्लोबल कॉन्टेक्स्ट को निकालता है।
- $\odot$ एलिमेंट-वाइज मल्टीप्लिकेशन (element-wise multiplication) को दर्शाता है।
लाभ: यह डिज़ाइन जटिलता को कम करने के लिए टोकन इंटरैक्शन को डिकपल करता है, जबकि गेटिंग मैकेनिज्म स्थानीय पैटर्न पर चुनिंदा रूप से ध्यान केंद्रित करता है, जिससे प्रशिक्षण और अनुमान के दौरान स्थिर ग्रेडिएंट सुनिश्चित होता है।

2. एफिशिएंट लार्ज रिसेप्टिव फील्ड (ELRF)
नेटवर्क के शुरुआती चरणों के लिए डिज़ाइन किया गया, जहाँ उच्च-रिज़ॉल्यूशन इनपुट को विस्तृत स्थानिक कवरेज की आवश्यकता होती है, ELRF बड़े कर्नेल की लागत के बिना एक बड़ा रिसेप्टिव फील्ड बनाए रखते हुए स्थानीय जानकारी कैप्चर करने का लक्ष्य रखता है।

डिज़ाइन: एक एकल बड़े कर्नेल (जैसे, $7 \times 7$ ) के बजाय, ELRF ऑपरेशन को फीड-फॉरवर्ड नेटवर्क (FFN) परतों के साथ इंटरलीव किए गए कैस्केड डेप्थवाइज़ कन्वल्यूशन ( $3 \times 3$ और $5 \times 5$ ) में विभाजित करता है।
लाभ: यह चरणबद्ध दृष्टिकोण एक समतुल्य $7 \times 7$ रिसेप्टिव फील्ड प्राप्त करता है लेकिन डेप्थवाइज़ कन्वल्यूशन का लाभ उठाकर कम्प्यूटेशनल दक्षता को अनुकूलित करता है और मेमोरी एक्सेस बॉटलनैक्स को कम करता है।

3. मल्टी-टीचर नॉलेज डिस्टिलेशन
डाउनस्ट्रीम कार्यों में सामान्यीकरण (generalization) को बढ़ाने के लिए, लेखक सात विविध प्री-ट्रेन्ड मॉडल्स (जिसमें SAM2, DeiT-III, DINOv2, iBOT, ViTamin, और AIMv2 शामिल हैं) का उपयोग करते हुए एक मल्टी-टीचर डिस्टिलेशन रणनीति का उपयोग करते हैं।

अनुकूलन (Adaptations): वर्गीकरण (classification) पर केंद्रित मानक डिस्टिलेशन फ्रेमवर्क (जैसे, UNIC) के विपरीत, यह रणनीति हेट्रोजेनियस डाउनस्ट्रीम कार्यों के लिए अनुकूलित है। यह बेहतर स्थानिक सामंजस्य (spatial coherence) के लिए पैच टोकन से एक ग्लोबल CLS टोकन बनाने हेतु एक एडेप्टिव एवरेज पूलिंग पेश करता है।
प्रशिक्षण (Training): इस रणनीति में ImageNet-21K पर 30-एपॉक डिस्टिलेशन चरण के बाद ImageNet-1K पर फाइन-ट्यूनिंग शामिल है, जो स्थिर नॉलेज ट्रांसफर सुनिश्चित करने के लिए सिंक्रोनाइज्ड बैच नॉर्मलाइजेशन और कोसाइन सिमिलरिटी लॉस का उपयोग करती है।

3. प्रमुख योगदान

ReGLA आर्किटेक्चर: मोबाइल और एज डिप्लॉयमेंट के लिए विशेष रूप से तैयार एक अत्यधिक कुशल CNN-ट्रांसफॉर्मर आर्किटेक्चर का परिचय, जिसमें स्थानीय प्रतिनिधित्व के लिए ELRF मॉड्यूल और ग्लोबल मॉडलिंग के लिए RGMA (एक सॉफ्टमैक्स-मुक्त, गेटेड लीनियर अटेंशन) है।
डिस्टिलेशन रणनीति: एक नवीन मल्टी-टीचर डिस्टिलेशन फ्रेमवर्क जो मॉडल चयन, संघर्ष समाधान (conflict resolution), और प्लेन ViT टीचर्स और पिरामिडल स्टूडेंट नेटवर्क्स के बीच आर्किटेक्चरल हेट्रोजेनिटी की चुनौतियों को संबोधित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): ImageNet-1K क्लासिफिकेशन, COCO ऑब्जेक्ट डिटेक्शन, और ADE20K सेमेंटिक सेगमेंटेशन पर व्यापक मूल्यांकन, जो कम लेटेंसी और कम पैरामीटर काउंट के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने कई बेंचमार्क पर हाल के लाइटवेट मॉडल्स (जैसे, MobileNetV4, iFormer, EfficientFormer) के विरुद्ध ReGLA वेरिएंट्स (T, S, M, L, X) का मूल्यांकन किया।

ImageNet-1K क्लासिफिकेशन:
- ReGLA-M 224px रिज़ॉल्यूशन पर केवल 4.98 ms लेटेंसी के साथ 80.85% टॉप-1 एक्यूरेसी प्राप्त करता है (iPhone 16 Pro, 512px इनपुट पर)।
- 10M पैरामीटर श्रेणी में, ReGLA-M बिना डिस्टिलेशन के iFormer-M से 0.45% और डिस्टिलेशन के साथ 0.8% बेहतर प्रदर्शन करता है।
- ReGLA-L (19.9M पैरामीटर्स) 82.9% एक्यूरेसी प्राप्त करता है, जो 4.4M कम पैरामीटर्स का उपयोग करते हुए EfficientViT-B2 (24.3M पैरामीटर्स) से 0.7% बेहतर है।
- मल्टी-टीचर डिस्टिलेशन के साथ, ReGLA-X 85.2% टॉप-1 एक्यूरेसी तक पहुँचता है, जो 3M कम पैरामीटर्स के साथ FastViT-MA36 से 0.5% बेहतर है।
डाउनस्ट्रीम टास्क (COCO और ADE20K):
- ऑब्जेक्ट डिटेक्शन (COCO): ReGLA-M (डिस्टिल्ड) 43.9% APbox प्राप्त करता है, जो iFormer-M-distilled से 3.1% AP बेहतर है। उल्लेखनीय रूप से, ReGLA-M-distilled बड़े iFormer-L-distilled से 1.7% APbox अधिक है।
- सेमेंटिक सेगमेंटेशन (ADE20K): ReGLA-M-distilled, iFormer-M-distilled की तुलना में 3.6% mIoU की बढ़त हासिल करता है। ReGLA-L-distilled, iFormer-L-distilled की तुलना में 3.9% mIoU का सुधार दिखाता है।
- लेटेंसी: ReGLA मॉडल्स समान रूप से स्केल किए गए iFormer मॉडल्स (जैसे, iPhone 16 Pro पर iFormer-M के 19.24ms बनाम ReGLA-M का 4.98ms) की तुलना में मोबाइल CPU पर लगातार काफी कम लेटेंसी प्रदर्शित करते हैं।

5. महत्व और दावे

यह पेपर ReGLA को "सस्टेनेबल कंप्यूटर विज़न" के लिए एक व्यावहारिक और स्केलेबल समाधान के रूप में स्थापित करता है, जो बड़े पैमाने के AI के पर्यावरणीय और आर्थिक लागतों को संबोधित करता है। लेखक दावा करते हैं कि ReGLA "कम लेकिन बेहतर" (less but better) की ओर एक बदलाव को दर्शाता है, जो यह सिद्ध करता है कि परिष्कृत विजुअल इंटेलिजेंस के लिए दक्षता या सुलभता के साथ समझौता करने की आवश्यकता नहीं है।

विशेष रूप से, यह कार्य दावा करता है कि:

ग्लोबल अटेंशन कुशल हो सकता है: RGMA संसाधन संबंधी बाधाओं के तहत गति और सटीकता दोनों में सॉफ्टमैक्स-आधारित तरीकों से बेहतर है।
को-डिज़ाइन महत्वपूर्ण है: स्थानीय ऑपरेटरों (ELRF) और अटेंशन मैकेनिज्म (RGMA) का एकीकरण उच्च-रिज़ॉल्यूशन दक्षता के लिए आवश्यक है।
डिस्टिलेशन प्रभावकारिता: प्रस्तावित मल्टी-टीचर रणनीति सामान्यीकरण को सफलतापूर्वक बढ़ाती है, जिससे छोटे मॉडल डेंस प्रेडिक्शन कार्यों में बड़े, गैर-डिस्टिल्ड समकक्षों से बेहतर प्रदर्शन कर पाते हैं।

लेखक निष्कर्ष निकालते हैं कि ReGLA उच्च-रिज़ॉल्यूशन वाले विजुअल अनुप्रयोगों के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है, विशेष रूप से वहां जहां लेटेंसी और पैरामीटर दक्षता सर्वोपरि है।