💻 computer science

On The Application of Linear Attention in Multimodal Transformers

यह शोध पत्र प्रदर्शित करता है कि मल्टीमॉडल ट्रांसफॉर्मर में लीनियर अटेंशन को एकीकृत करने से कम्प्यूटेशनल जटिलता द्विघातीय (quadratic) से घटकर रैखिक (linear) हो जाती है, जबकि बड़े पैमाने के डेटासेट पर प्रशिक्षित विभिन्न आर्किटेक्चरों में प्रतिस्पर्धी प्रदर्शन बनाए रखा जाता है और मानक स्केलिंग नियमों का पालन किया जाता है।

मूल लेखक: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पार्टी आयोजित करने की कोशिश कर रहे हैं जहाँ हज़ारों मेहमान (डेटा) एक साथ एक-दूसरे से बातें कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "मेहमान" जानकारी के टुकड़े हैं जैसे कि एक वाक्य में शब्द या एक फोटो के पिक्सेल।

यह पेपर इन बातचीत को प्रबंधित करने का एक नया तरीका बताता है ताकि AI अभिभूत (overwhelmed) न हो जाए, खासकर जब पार्टी बहुत बड़ी हो जाती है।

समस्या: "हर कोई हर किसी से चिल्लाकर बात कर रहा है" वाली पार्टी

वर्तमान AI मॉडल (जिन्हें ट्रांसफॉर्मर कहा जाता है) छवियों और टेक्स्ट दोनों को समझने में बहुत कुशल हैं। वे इस तरह काम करते हैं कि जानकारी का हर हिस्सा दूसरे हिस्से को देखता है ताकि यह समझ सके कि वे एक-दूसरे से कैसे संबंधित हैं।

पुराना तरीका (स्टैंडर्ड अटेंशन): कल्पना कीजिए कि पार्टी के हर एक मेहमान को कमरे को समझने के लिए हर दूसरे मेहमान के साथ एक निजी, आमने-सामने की बातचीत करनी पड़ती है।
- यदि 10 मेहमान हैं, तो 100 बातचीत होंगी।
- यदि 1,000 मेहमान हैं, तो 1,000,000 बातचीत होंगी।
- यदि 10,000 मेहमान हैं, तो बातचीत की संख्या बढ़कर 100 मिलियन हो जाएगी।
- परिणाम: पार्टी थम जाती है। कंप्यूटर थक जाता है और इन सभी कनेक्शनों को याद रखने के लिए मेमोरी खत्म हो जाती है। इसे "क्वाड्रेटिक कॉम्प्लेक्सिटी" (quadratic complexity) कहा जाता है। यह छोटे समूहों के लिए तो ठीक है, लेकिन जब आप बड़ी, हाई-रिज़ॉल्यूशन वाली छवियों या लंबे दस्तावेज़ों को प्रोसेस करने की कोशिश करते हैं, तो यह टूट जाता है।

समाधान: "कुशल संदेशवाहक" (लीनियर अटेंशन)

लेखक इस नए तरीके का प्रस्ताव देते हैं जिसे लीनियर अटेंशन कहा जाता है। इसमें हर कोई एक-दूसरे से चिल्लाकर बात करने के बजाय, एक चतुर शॉर्टकट का उपयोग करता है।

नया तरीका: कल्पना कीजिए कि मेहमान सीधे एक-दूसरे से बात नहीं करते हैं। इसके बजाय, वे अपने बारे में एक संक्षिप्त सारांश कार्ड पर लिखते हैं और उसे एक केंद्रीय "संदेशवाहक" (Messenger) को सौंप देते हैं। संदेशवाहक तेज़ी से कार्डों को छाँटता है और प्रत्येक मेहमान को बताता है कि उन्हें किस पर ध्यान देना चाहिए।
जादू: इस परिदृश्य में, यदि आप मेहमानों की संख्या दोगुनी करते हैं, तो संदेशवाहक का काम केवल दोगुना होता है। काम का वर्ग (square) नहीं होता।
- 10 मेहमान = 10 चरण।
- 1,000 मेहमान = 1,000 चरण।
- परिणाम: पार्टी बिना कंप्यूटर क्रैश हुए बहुत बड़ी हो सकती है। यह एक भीड़भाड़ वाली, अराजक मोश पिट (mosh pit) से बदलकर एक व्यवस्थित, कुशल असेंबली लाइन की तरह हो जाता है।

अड़चनें: पहला संस्करण "बहुत अधिक सुचारू" क्यों था?

शोधकर्ताओं ने इस नए "संदेशवाहक" सिस्टम को आज़माया, लेकिन उन्हें एक समस्या का सामना करना पड़ा।

समस्या: इस सिस्टम का मूल संस्करण बहुत ज़्यादा विनम्र था। इसने हर मेहमान के साथ लगभग एक जैसा व्यवहार किया। यह एक ऐसे मॉडरेटर की तरह था जो कहता, "हर कोई समान रूप से महत्वपूर्ण है!"
परिणाम: AI एक उबाऊ मेहमान और एक दिलचस्प मेहमान के बीच अंतर नहीं कर सका। यह "ओवर-स्मूथेड" (over-smoothed) हो गया, जिससे मॉडल के लिए महत्वपूर्ण विवरणों को सीखना कठिन हो गया। यह एक ऐसी किताब को पढ़ने जैसा था जहाँ हर शब्द बिल्कुल एक ही धुंधली ग्रे स्याही में लिखा गया हो।

सुधार: फोकस को तेज़ करना

लेखकों ने इस समस्या को ठीक करने के लिए गणित ( "संदेशवाहक" के नियम) में बदलाव किया।

समायोजन: उन्होंने नियमों को इस तरह बदला कि संदेशवाहक कुशल तो रहे, लेकिन वह यह भी कह सके, "हे, यह मेहमान बहुत महत्वपूर्ण है, इस पर ध्यान दो!"
परिणाम: अब AI पुराने "चिल्लाने" वाले तरीके की तरह ही महत्वपूर्ण और महत्वहीन जानकारी के बीच अंतर कर सकता था, लेकिन बिना किसी बड़े धीमेपन के।

उन्होंने क्या पाया

टीम ने तीन अलग-अलग आकार के AI दिमागों (Small, Medium, और Large) पर छवियों और टेक्स्ट के एक विशाल डेटासेट का उपयोग करके परीक्षण किया।

गति: लंबे अनुक्रमों (sequences) के लिए नया तरीका अविश्वसनीय रूप से तेज़ था। बहुत बड़े इनपुट के लिए, यह पुराने तरीके की तुलना में 1,000 गुना तक तेज़ था।
समझ (Smarts): भले ही यह तेज़ था, इसने पुराने, धीमे तरीके की तरह ही अच्छी तरह से सीखा। यह अभी भी बिल्लियों, कुत्तों और जटिल दृश्यों को उतनी ही सटीकता के साथ पहचान सकता था।
विकास: जैसे-जैसे हमने AI को बड़ा बनाया, नया तरीका भी पुराने वाले की तरह ही समान दर से स्मार्ट होता गया। इसने तेज़ होने के कारण अपनी "बुद्धिमत्ता" नहीं खोई।

बड़ी तस्वीर

यह पेपर दिखाता है कि हमें गति और बुद्धिमत्ता के बीच किसी एक को चुनने की ज़रूरत नहीं है। इस "लीनियर अटेंशन" ट्रिक का उपयोग करके, हम ऐसे AI सिस्टम बना सकते हैं जो भारी मात्रा में डेटा (जैसे हाई-डेफिनिशन वीडियो या पूरी किताबों के पुस्तकालय) को संभाल सकें, बिना शहर जितने बड़े सुपरकंप्यूटर की आवश्यकता के। यह अगली पीढ़ी के AI के लिए मार्ग प्रशस्त करता है जो दुनिया को बहुत अधिक विस्तार से देख और समझ सकता है।

यहाँ जेरामी और अन्य द्वारा लिखित शोध पत्र "On The Application of Linear Attention in Multimodal Transformers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल ट्रांसफॉर्मर (जैसे, विजन-लैंग्वेज मॉडल) अत्याधुनिक एआई सिस्टम की रीढ़ बन गए हैं। हालाँकि, वे मानक सॉफ्टमैक्स अटेंशन मैकेनिज्म की क्वाड्रेटिक कम्प्यूटेशनल कॉम्प्लेक्सिटी ( $O(N^2D)$ ) के कारण एक महत्वपूर्ण स्केलेबिलिटी बाधा का सामना करते हैं, जहाँ $N$ अनुक्रम की लंबाई (sequence length) है और $D$ आयाम (dimension) है।

संदर्भ: मल्टीमॉडल इनपुट में अक्सर हजारों विजुअल टोकन के साथ टेक्स्ट टोकन शामिल होते हैं, जो अत्यंत लंबे अनुक्रम (sequences) बनाते हैं।
सीमा: क्वाड्रेटिक स्केलिंग उच्च-रिज़ॉल्यूशन वाली छवियों और लंबे संदर्भों के लिए इन मॉडलों की प्रयोज्यता को सीमित करती है, क्योंकि मेमोरी और गणना लागत अत्यधिक बढ़ जाती है।
अंतराल (Gap): जबकि शुद्ध भाषा या विजन कार्यों में लीनियर अटेंशन (LA) का अन्वेषण किया गया है, मल्टीमॉडल सेटिंग्स (विशेष रूप से कंट्रास्टिव लैंग्वेज-इमेज प्री-ट्रेनिंग या CLIP) में इसकी व्यवहार्यता, दक्षता और प्रदर्शन प्रतिधारण (performance retention) अभी भी कम खोजा गया क्षेत्र है।

2. कार्यप्रणाली (Methodology)

लेखक OpenCLIP फ्रेमवर्क का उपयोग करके LAION-400M डेटासेट पर प्रशिक्षित मल्टीमॉडल विजन ट्रांसफॉर्मर (ViT) में लीनियर अटेंशन को एकीकृत करने का प्रस्ताव देते हैं।

A. मुख्य लीनियर अटेंशन मैकेनिज्म (Core Linear Attention Mechanism)

मानक अटेंशन एक सॉफ्टमैक्स कर्नेल ( $e^{q \cdot k}$ ) का उपयोग करता है, जो गुणनखंड (factorization) को रोकता है। लेखक इस स्थान पर एक डिकम्पोजेबल फीचर मैप $\phi(\cdot)$ का उपयोग करते हैं ताकि लीनियर स्केलिंग ( $O(ND^2)$ ) प्राप्त की जा सके।

कर्नेल का चयन: वे एक एफाइन कर्नेल (affine kernel) का उपयोग करते हैं जिसे $f(x) = 1 + x$ के रूप में परिभाषित किया गया है।
नॉर्मलाइजेशन: नेगेटिव अटेंशन स्कोर को रोकने के लिए (जो तब होते हैं जब $q \cdot k < -1$ ), लेखक क्वेरी ( $Q$ ) और की ( $K$ ) वेक्टर्स को इस प्रकार नॉर्मलाइज़ करते हैं कि $-1 \le q \cdot k \le 1$ रहे।

B. प्रस्तावित संशोधन (मुख्य नवाचार) (Proposed Modification - The Key Innovation)

लेखकों ने एफाइन कर्नेल के साथ मानक लीनियर अटेंशन के प्रारूप में एक महत्वपूर्ण दोष की पहचान की।

समस्या (Eq. 4): मानक प्रारूप में, अटेंशन आउटपुट को एक डिनोमिनेटर (कर्नेल मानों का योग) द्वारा विभाजित किया जाता है। जैसे-जैसे अनुक्रम की लंबाई $N$ बढ़ती है, यह डिनोमिनेटर बढ़ता जाता है, जिससे अटेंशन स्कोर अत्यधिक समान ("ओवर-स्मूथिंग") हो जाते हैं। यह मॉडल की महत्वपूर्ण टोकन जोड़ों को अलग करने की क्षमता को कम कर देता है, जिससे ग्रेडिएंट फ्लो और एक्सप्रेसिविटी बाधित होती है।
समाधान (Eq. 7): लेखक अटेंशन गणना में डिनोमिनेटर को हटाने का प्रस्ताव करते हैं। चूंकि $Q$ $Q$ और $K$ $K$ पहले से ही नॉर्मलाइज़ किए गए हैं, इसलिए पद $(1 + q_i \cdot k_n)$ $(1 + q_{i} \cdot k_{n})$ स्वाभाविक रूप से सीमित (bounded) हैं। डिवीजन को हटाकर, अटेंशन स्कोर 0 और 1 के बीच रहते हैं और बढ़ते डिनोमिनेटर के कारण होने वाले क्षय (decay) से मुक्त रहते हैं।
- परिणाम: यह संशोधन अटेंशन वेट्स में कंट्रास्ट को बहाल करता है, जिससे मॉडल प्रासंगिक क्वेरी-की (query-key) जोड़ों को प्रभावी ढंग से प्राथमिकता दे पाता है।

C. प्रयोगात्मक सेटअप (Experimental Setup)

आर्किटेक्चर: ViT-S/16, ViT-B/16, और ViT-L/16।
डेटासेट: प्री-ट्रेनिंग के लिए LAION-400M; ज़ीरो-शॉट वैलिडेशन के लिए ImageNet-21K।
हार्डवेयर: प्रशिक्षण NVIDIA A5500 GPU पर आयोजित किया गया; टाइमिंग बेंचमार्क H200 GPU पर किए गए।

3. प्रमुख योगदान (Key Contributions)

मल्टीमॉडल सेटिंग्स में व्यवहार्यता: यह प्रदर्शित किया कि लीनियर अटेंशन को मानक सॉफ्टमैक्स अटेंशन के तुलनीय प्रदर्शन के साथ मल्टीमॉडल ट्रांसफॉर्मर (CLIP-शैली) में सफलतापूर्वक लागू किया जा सकता है।
एल्गोरिदम सुधार: "ओवर-स्मूथिंग" की समस्या को हल करने के लिए एक विशिष्ट संशोधन (एफाइन कर्नेल प्रारूप में डिनोमिनेटर को हटाना) प्रस्तावित किया, जिससे कन्वर्जेंस और मॉडल एक्सप्रेसिविटी में काफी सुधार हुआ।
स्केलिंग लॉ विश्लेषण: दिखाया कि मॉडल्स जो संशोधित लीनियर अटेंशन का उपयोग करते हैं, वे मानक अटेंशन के समान पावर-लॉ स्केलिंग ट्रेंड्स का पालन करते हैं, जो यह सिद्ध करता है कि दक्षता लाभ दक्षता के कारण स्केलिंग क्षमता का नुकसान नहीं होता है।
दक्षता बेंचमार्किंग: लंबे अनुक्रमों के लिए लीनियर टाइम स्केलिंग ( $O(N)$ ) बनाम क्वाड्रेटिक स्केलिंग ( $O(N^2)$ ) का अनुभवजन्य प्रमाण प्रदान किया।

4. परिणाम (Results)

A. कम्प्यूटेशनल दक्षता (समय स्केलिंग) (Computational Efficiency - Time Scaling)

स्केलिंग व्यवहार: मानक अटेंशन $O(N^2)$ के रूप में स्केल करता है, जबकि प्रस्तावित लीनियर अटेंशन $O(N)$ के रूप में स्केल करता है।
प्रदर्शन लाभ: दक्षता का अंतर $10^3$ जितनी छोटी अनुक्रम लंबाई पर भी दिखाई देने लगता है। $4 \times 10^6$ की अनुक्रम लंबाई पर, लीनियर अटेंशन दृष्टिकोण मानक अटेंशन की तुलना में फॉरवर्ड/बैकवर्ड पास समय के मामले में लगभग $10^3$ गुना तेज़ है।

B. प्रशिक्षण प्रदर्शन (Training Performance)

कन्वर्जेंस: संशोधित लीनियर अटेंशन मानक अटेंशन के तुलनीय टर्मिनल परफॉरमेंस वैल्यू तक कन्वर्ज होता है।
प्रशिक्षण गति: हालांकि अंतिम सटीकता समान है, लीनियर अटेंशन को कन्वर्ज होने के लिए मानक अटेंशन की तुलना में थोड़े अधिक एपॉक्स (epochs) की आवश्यकता होती है। यह लीनियर कर्नेल के कारण है क्योंकि इसमें सॉफ्टमैक्स कर्नेल की तुलना में अटेंशन वेट्स का वेरिएंस थोड़ा कम होता है।
संशोधन का प्रभाव: "रेगुलर" लीनियर अटेंशन (डिनोमिनेटर के साथ) ने उल्लेखनीय रूप से धीमी कन्वर्जेंस और खराब प्रदर्शन दिखाया। लेखकों के प्रस्तावित संशोधन (बिना डिनोमिनेटर के) ने इसे हल कर दिया, जो उनके समायोजन की आवश्यकता की पुष्टि करता है।

C. स्केलिंग लॉ (Scaling Laws)

अध्ययन ने मॉडल आकार (पैरामीटर्स) और ट्रेनिंग लॉस के बीच संबंध का विश्लेषण किया।
निष्कर्ष: दोनों—स्टैंडर्ड अटेंशन (LSA) और लीनियर अटेंशन (LLA)—समान पावर-लॉ स्केलिंग ट्रेंड्स का पालन करते हैं:
- $LSA(N) \approx 593 N^{-0.362}$
- $LLA(N) \approx 376 N^{-0.332}$
निहितार्थ: लीनियर अटेंशन मॉडल के बढ़ने के साथ प्रदर्शन में गिरावट का शिकार नहीं होता है, जो बड़े मल्टीमॉडल मॉडल्स के लिए इसके उपयोग को प्रमाणित करता है।

5. महत्व (Significance)

यह कार्य मल्टीमॉडल ट्रांसफॉर्मर्स के लिए लीनियर अटेंशन को एक मजबूत, स्केलेबल विकल्प के रूप में स्थापित करता है।

स्केलेबिलिटी: यह क्वाड्रेटिक बाधा को हटा देता है, जिससे अत्यधिक लंबे अनुक्रमों (उच्च-रिज़ॉल्यूशन वाली छवियां, लंबे दस्तावेज़) को अत्यधिक कम्प्यूटेशनल लागत के बिना प्रोसेस करना संभव हो जाता है।
फ्यूचर-प्रूफिंग: जैसे-जैसे डेटासेट बड़े और अधिक जटिल होते जा रहे हैं, लीनियर कॉम्प्लेक्सिटी के साथ प्रतिस्पर्धी प्रदर्शन बनाए रखने की क्षमता अगली पीढ़ी के विजन-लैंग्वेज मॉडल्स के लिए महत्वपूर्ण है।
व्यावहारिकता: प्रस्तावित संशोधन लागू करने में सरल है लेकिन यह सुनिश्चित करने के लिए महत्वपूर्ण है कि मॉडल जटिल क्रॉस-मोडल संबंधों को सीखने के लिए आवश्यक एक्सप्रेसिविटी बनाए रखे।