🤖 AI

NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches

यह शोध पत्र NOBLE को प्रस्तुत करता है, जो एक प्रीट्रेनिंग आर्किटेक्चर है जो ट्रांसफार्मर लीनियर लेयर्स को विशेष रूप से CosNet एक्टिवेशन का उपयोग करते हुए सीखने योग्य नॉनलीनियर लो-रैंक शाखाओं के साथ स्थायी रूप से संवर्धित करता है, जिससे न्यूनतम पैरामीटर और समय ओवरहेड के साथ विभिन्न मॉडलों में महत्वपूर्ण प्रशिक्षण दक्षता और गति प्राप्त होती है, हालांकि इसके लाभ कुछ स्टोकेस्टिक डेटा ऑगमेंटेशन द्वारा बाधित हो सकते हैं।

मूल लेखक: Ethan Smith (Canva Research)

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ethan Smith (Canva Research)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान रोबोट (एक ट्रांसफार्मर मॉडल) को दुनिया को समझना सिखाने की कोशिश कर रहे हैं, चाहे वह किताबें पढ़ना हो, तस्वीरें देखना हो, या कोड लिखना हो।

वर्तमान में, इन रोबोटों के पास एक "मुख्य मस्तिष्क" है जो सरल, सीधी रेखा वाले गणित (लीनियर लेयर्स) से बना है। यह बड़े चित्र और सामान्य रुझानों को देखने में बहुत अच्छा है, जैसे कि यह जानना कि "कुत्ते" में आमतौर पर "फर" और "चार पैर" होते हैं। लेकिन इसे सूक्ष्म, टेढ़े-मेढ़े, अजीब विवरणों को समझने में संघर्ष करना पड़ता—जैसे कि हवा में कुत्ते के कान के मुड़ने का सटीक तरीका, या सूर्यास्त का सटीक रंग।

यह शोध पत्र NOBLE (Nonlinear lOw-rank Branch for Linear Enhancement) पेश करता है। यहाँ इसका सरल विवरण दिया गया है कि यह क्या करता है, कुछ रोजमर्रा के उदाहरणों का उपयोग करते हुए।

1. समस्या: "सीधी रेखा" की सीमा

रोबोट के मुख्य मस्तिष्क को एक राजमार्ग (हाईवे) के रूप में सोचें। राजमार्ग आपको बिंदु A से बिंदु B तक तेज़ी से और कुशलता से पहुँचाने के लिए अद्भुत हैं। लेकिन राजमार्ग तीखे मोड़, गड्ढे या अचानक डायवर्जन को नहीं संभाल सकते। वे चिकने, सीधे रास्तों के लिए बनाए गए हैं।

AI के संदर्भ में, "राजमार्ग" वह मानक लीनियर गणित है जिसका रोबट उपयोग करता है। यह कुशल है, लेकिन यह डेटा के जटिल, टेढ़े-मेढ़े, "दांतेदार" हिस्सों को आसानी से नहीं सीख सकता।

2. समाधान: "सुंदर मोड़" (NOBLE)

लेखकों ने पूछा: क्या होगा यदि हम राजमार्ग के ठीक बगल में एक छोटा, घुमावदार साइड-रोड (पगडंडी) जोड़ दें?

यह साइड-रोड NOBLE ब्रांच है।

यह छोटा है: यह बहुत अधिक जगह नहीं घेरता (लो-रैंक), इसलिए यह पूरे सिस्टम को बहुत अधिक धीमा नहीं करता है।
यह घुमावदार है: राजमार्ग के विपरीत, यह साइड-रोड विशेष गणित (नॉन-लीनियर फंक्शन्स) का उपयोग करता है जो मुड़ सकता है, घूम सकता है और वक्र बना सकता है।
यह स्थायी है: अन्य तरीकों के विपरीत जो केवल तब एक अस्थायी "अडैप्टर" जोड़ते हैं जब आप बाद में रोबोट को कोई नया हुनर सिखाना चाहते हैं, NOBLE रोबोट के DNA में पहले दिन से ही शामिल होता है। यह मुख्य मस्तिष्क के ऊपर नहीं, बल्कि उसके साथ सीखता है।

3. गुप्त नुस्खा: "कोसाइन" (Cosine) कर्व

लेखकों ने इस साइड-रोड के लिए कई अलग-अलग आकारों का परीक्षण किया। उन्होंने पाया कि सबसे अच्छा आकार एक कोसाइन वेव (साइन वेव की तरह सुचारू ऊपर-नीचे की गति) है।

सोचिए कि मुख्य राजमार्ग एक धीमी, स्थिर ढोल की थाप (drumbeat) है। यह लय निर्धारित करता है।
NOBLE ब्रांच उस ढोल की थाप के ऊपर बजाई जाने वाली एक तेज़, जटिल धुन (melody) है।

कोसाइन आकार विशेष है क्योंकि यह पूरी तरह से संतुलित (सममित) है और कभी "फँसता" या "सपाट" नहीं होता। यह टूटे बिना अनंत रूप से ऊपर-नीचे हो सकता है।
लेखकों ने CosNet नामक एक विशिष्ट संस्करण बनाया है, जो एक छोटे मिक्सर के साथ एक दूसरे के ऊपर रखे गए इन घुमावदार धुनों की तरह है। यह रोबोट को उन अविश्वसनीय रूप से जटिल पैटर्न को पकड़ने की अनुमति देता है जिन्हें सीधा राजमार्ग छोड़ देता है।

4. परिणाम: तेज़ प्रशिक्षण, बेहतर परिणाम

क्योंकि अब रोबोट के पास एक राजमार्ग (बड़े चित्र के लिए) और एक सुंदर मोड़ (सूक्ष्म विवरणों के लिए) दोनों हैं, इसलिए वह तेज़ी से सीखता है।

उदाहरण: कल्पना कीजिए कि आप बिल्ली का चित्र बनाने की कोशिश कर रहे हैं।
- NOBLE के बिना: आप घंटों तक आउटलाइन (राजमार्ग) बनाने में बिताते हैं, फिर आपको एहसास होता है कि आपने मूंछें और फर की बनावट छोड़ दी है। आपको सब कुछ फिर से बनाना पड़ता है।
- NOBLE के साथ: आप आउटलाइन बनाते हैं, और "डेतूर" (मोड़) अपने आप चलते समय मूंछों और फर की बनावट को भर देता है। आप 30% कम समय में काम पूरा कर लेते हैं।

आंकड़े:

रोबोट 30% तेज़ी से सीखता है (कम चरणों की आवश्यकता होती है)।
यह बहुत कम अतिरिक्त मेमोरी लेता है (लगभग 4-12% अधिक)।
भले ही साइड-रोड हर कदम पर थोड़ा अतिरिक्त काम जोड़ता है, लेकिन तथ्य यह है कि आप पूरा काम बहुत तेज़ी से समाप्त कर लेते हैं, जिसका अर्थ है कि आप कुल मिलाकर बहुत समय बचाते हैं।

5. एक शर्त: विवरणों को "धुंधला" न करें

शोध में एक अजीब बात सामने आई। यदि आप Mixup या CutMix जैसे कुछ प्रशिक्षण ट्रिक्स का उपयोग करते हैं (जो दो अलग-अलग तस्वीरों को लेने, उन्हें काटने और एक नई, धुंधली तस्वीर बनाने जैसा है), तो NOBLE भ्रमित हो जाता है।

क्यों? Mixup/CutMix डेटा के "दांतेदार" किनारों को चिकना कर देते हैं। वे तीखे विवरणों को धुंधले औसत में बदल देते हैं।
टकराव: NOBLE उन तीखे, दांतेदार विवरणों को पकड़ने के लिए बनाया गया है। यदि आप डेटा को धुंधला कर देते हैं, तो NOBLE के पास पकड़ने के लिए कुछ भी नहीं बचता। यह एक कोहरे वाली खिड़की की फोटो लेने के लिए हाई-डेफिनिशन कैमरे का उपयोग करने जैसा है; कैमरा विवरण के लिए तैयार है, लेकिन कोहरा उसे छिपा देता है।
समाधान: यदि आप उन "धुंधला करने वाले" ट्रिक्स को बंद कर देते हैं, तो NOBLE छवियों पर भी पूरी तरह काम करता है।

सारांश

NOBLE एक सीधे-लाइन वाले रोबोट को घुमावदार चश्मे देने जैसा है। यह रोबोट को हाई-डेफिनिशन में दुनिया देखने की अनुमति देता है, उन सूक्ष्म, जटिल विवरणों को पकड़ता है जिन्हें मुख्य मस्तिष्क छोड़ देता है। यह रोबोट को तेज़ी से सीखने, उच्च स्तर की बुद्धिमत्ता तक पहुँचने और बहुत कम अतिरिक्त लागत के साथ ऐसा करने में मदद करता है। यह एक सरल संरचनात्मक सुधार है जो पूरे सिस्टम को काफी कुशल बनाता है।

यहाँ शोध पत्र "NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर्स डेटा को प्रोसेस करने के लिए लीनियर प्रोजेक्शंस (अटेंशन मैकेनिज्म और फीडफॉरवर्ड नेटवर्क में) पर बहुत अधिक निर्भर करते हैं। जबकि फीडफॉरवर्ड ब्लॉक्स में नॉनलिनैरिटी (nonlinearity) होती है, मुख्य अटेंशन प्रोजेक्शन (Query, Key, Value) शुद्ध रूप से अफ़ाइन ट्रांसफॉर्मेशन (affine transformations) ही रहते हैं।

वर्तमान PEFT की सीमा: मौजूदा पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधियाँ जैसे LoRA (लो-रैंक एडैप्टेशन), फ्रीज़्ड वेट्स (frozen weights) में लो-रैंक लीनियर ब्रांच जोड़ती हैं। हालाँकि, प्रशिक्षण (pretraining) से शुरुआत करने के लिए लीनियर LoRA को नाईव तरीके से लागू करने से सीमित लाभ मिलता है क्योंकि लो-रंक मैट्रिसेस को मुख्य वेट मैट्रिक्स में गणितीय रूप से मिलाया (fuse) जा सकता है, जिससे वे एक अलग इनिशियलाइजेशन वाले मानक लीनियर लेयर में सिमट जाते हैं।
अंतराल (The Gap): एक ऐसे आर्किटेक्चरल ऑगमेंटेशन की आवश्यकता है जो प्रीट्रेनिंग के दौरान वास्तविक नॉनलिनैरिटी पेश कर सके, ताकि उन फंक्शन वेरिएशन्स को कैप्चर किया जा सके जिन्हें मानक लीनियर लेयर्स नहीं पकड़ पातीं, जिससे फ्रीज़्ड वेट्स पर निर्भर किए बिना कन्वर्जेंस (convergence) को तेज किया जा सके।

2. कार्यप्रणाली: NOBLE (Methodology: NOBLE)

लेखक NOBLE (Nonlinear lOw-rank Branch for Linear Enhancement) का प्रस्ताव करते हैं, जो शून्य से प्रीट्रेनिंग के लिए डिज़ाइन किया गया एक स्थायी आर्किटेक्चरल संशोधन है।

मुख्य आर्किटेक्चर (Core Architecture)

NOBLE एक मानक लीनियर लेयर $f(x) = xW + b$ को एक समानांतर लो-रैंक नॉनलीनियर ब्रांच के साथ बढ़ाता है:
$f_{\text{NOBLE}}(x) = xW + b + \sigma(xW_{\text{down}})W_{\text{up}}$
जहाँ:

$W_{\text{down}} \in \mathbb{R}^{d_{in} \times r}$ और $W_{\text{up}} \in \mathbb{R}^{r \times d_{out}}$ लो-रैंक मैट्रिसेस हैं ( $r \ll d$ )।
$\sigma$ एक सीखने योग्य (learnable) नॉनलीनियर एक्टिवेशन फंक्शन है।

मुख्य डिज़ाइन विकल्प (Key Design Choices)

CosNet एक्टिवेशन: कई फंक्शन्स का मूल्यांकन करने के बाद, लेखक CosNet की सिफारिश करते हैं, जो बॉटलनेक स्पेस में काम करने वाला एक टू-लेयर कोसाइन (cosine) नॉनलिनैरिटी है:
$\sigma_{\text{cos}}(h) = \cos(\omega_2 \odot (M \cdot \cos(\omega_1 \odot h + \phi_1)) + \phi_2)$
- कोसाइन क्यों? ReLU/GELU (असममित) या Tanh (सैचुरेटिंग) के विपरीत, कोसाइन सममित (symmetric), बाउंडेड $[-1, 1]$ , और नॉन-सैचुरेटिंग है। इसका डेरिवेटिव (derivative) गायब होने के बजाय दोलन (oscillate) करता है, जिससे यह हाई-फ्रीक्वेंसी रेसिडुअल्स और शार्प ट्रांजिशन को प्रभावी ढंग से मॉडल करने में सक्षम होता है।
- सीखने योग्य पैरामीटर्स: फ्रीक्वेंसी ( $\omega$ ) और फेज ( $\phi$ ) सीखने योग्य हैं, जिससे नेटवर्क डेटा डिस्ट्रीब्यूशन के अनुसार अपनी नॉनलिनैरिटी के ऑपरेटिंग पॉइंट को अनुकूलित कर सकता है।
इनिशियलाइजेशन रणनीति (Initialization Strategy):
- Near-Zero $W_{\text{up}}$ : इसे कम वेरिएंस ( $\alpha/\sqrt{r}$ ) के साथ इनिशियलाइज किया जाता है ताकि शुरुआती चरणों में ब्रांच का योगदान नगण्य रहे, जिससे मुख्य लीनियर लेयर हावी रहे।
- कम मुख्य वेट (Reduced Main Weight): मुख्य लीनियर लेयर $W$ को आधे मानक Kaiming स्केल के साथ इनिशियलाइज किया जाता है ताकि ब्रांच के योगदान के लिए "जगह" बनी रहे।
लर्निंग रेट स्केलिंग: $\mu$ P (Maximal Update Parameterization) के निष्कर्षों का पालन करते हुए, $W_{\text{up}}$ और मिक्सिंग मैट्रिक्स $M$ के लिए लर्निंग रेट को डाइमेंशन और रैंक के अनुपात ( $\frac{\min(d_{in}, d_{out})}{r}$ ) के आधार पर बढ़ाया जाता है, जबकि $W_{\text{down}}$ बेस लर्निंग रेट का उपयोग करता है।

3. मुख्य योगदान (Key Contributions)

आर्किटेक्चरल नवाचार: NOBLE पेश किया, जो शून्य से प्रीट्रेनिंग के लिए डिज़ाइन किया गया एक स्थायी नॉनलीनियर लो-रैंक ब्रांच है, जो एडैप्टर-आधारित PEFT विधियों से अलग है।
इष्टतम नॉनलिनैरिटी: CosNet (सीखने योग्य कोसाइन एक्टिवेशन्स और एक लीनियर मिक्सिंग लेयर का सैंडविच) को लो-रैंक बॉटलनेक्स के लिए बेहतर एक्टिवेशन के रूप में पहचाना गया, क्योंकि यह सममित है और हाई-फ्रीक्वेंसी रेसिडुअल्स को कैप्चर करने में सक्षम है।
प्रशिक्षण दक्षता: यह प्रदर्शित किया गया कि लीनियर बैकबोन्स को नॉनलीनियर रेसिडुअल ब्रांचों के साथ मिलाने से मॉडल जटिल फंक्शन्स को तेजी से सीख सकते हैं, जिससे कुल प्रशिक्षण चरणों की संख्या कम हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध कार्यों (LLMs, BERT, ViT, Image Token Modeling) और स्केल्स (250M से 1.5B पैरामीटर्स) पर NOBLE को मान्य किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र में OpenWebText (LLMs), BERT-स्टाइल MLM, और ImageNet (ViT और ऑटोरिग्रेसिव इमेज टोकन्स) पर NOBLE का मूल्यांकन किया गया है।

प्रदर्शन मेट्रिक्स (Performance Metrics)

स्टेप स्पीडअप (Step Speedup): NOBLE बेसलाइन के अंतिम इवैल्यूएशन लॉस तक 21–32% कम स्टेप्स में पहुँच जाता है।
- उदाहरण: 1.5B LLM पर, बेसलाइन को 196k स्टेप्स की आवश्यकता थी, जबकि NOBLE (रैंक 256) ~143k स्टेप्स में समान लॉस तक पहुँच गया (1.37× स्टेप स्पीडअप)।
वॉलक्लॉक स्पीडअप (Wallclock Speedup): अतिरिक्त FLOPs के कारण 7–21% प्रति-स्टेप समय बढ़ने के बावजूद, कुल स्टेप्स में कमी के परिणामस्वरूप शुद्ध 1.17–1.22× वॉलक्लॉक स्पीडअप प्राप्त होता है।
अंतिम लॉस (Final Loss): कन्वर्जेंस पर, NOBLE मॉडल बेसलाइन की तुलना में 0.02–0.07 कम इवैल लॉस प्राप्त करते हैं।
पैरामीटर ओवरहेड: केवल 4–24% अतिरिक्त पैरामीटर्स जोड़ता है (रैंक और मॉडल के आकार के आधार पर)।

कार्य-विशिष्ट निष्कर्ष (Task-Specific Findings)

LLMs और BERT: ऑटोरिग्रेसिव और मास्क्ड लैंग्वेज मॉडलिंग में निरंतर सुधार।
ऑटोरिग्रेसिव इमेज टोकन्स: डिस्क्रीट इमेज टोकन्स की भविष्यवाणी करने में महत्वपूर्ण लाभ (LLM व्यवहार के समान)।
ViT और ऑगमेंटेशन की चेतावनी:
- NOBLE तब ViT ट्रेनिंग लॉस में सुधार करता है जब Mixup/CutMix ऑगमेंटेशन को अक्षम (disabled) किया जाता है।
- जब Mixup/CutMix सक्षम (enabled) होता है, तो NOBLE के लाभ कम या समाप्त हो जाते हैं।
- व्याख्या: Mixup/CutMix स्मूथनेस और डेटा पॉइंट्स के बीच लीनियर इंटरपोलेशन को लागू करता है, जो उस "हाई-फ्रीक्वेंसी" सिग्नल को हटा देता जिसे कैप्चर करने के लिए कोसाइन ब्रांच बनाई गई है। NOBLE शार्प, नॉन-स्मूथ रेसिडुअल्स को फिट करने में विशेषज्ञता रखता है, जिसे ये ऑगमेंटेशन दबा देते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक अंतर्दृष्टि: यह कार्य न्यूरल नेटवर्क में "श्रम विभाजन" (division of labor) का सुझाव देता है: मुख्य लीनियर पाथवे स्मूथ, लो-फ्रीक्वेंसी ग्लोबल ट्रेंड्स को कैप्चर करता है, जबकि नॉनलीनियर लो-रैंक ब्रांच हाई-फ्रीक्वेंसी, शार्प लोकल वेरिएशंस को कैप्चर करती है।
व्यावहारिक प्रभाव: NOBLE न्यूनतम आर्किटेक्चरल जटिलता के साथ बड़े मॉडल्स के प्रीट्रेनिंग को तेज करने का एक व्यावहारिक तरीका प्रदान करता है। यह इस धारणा को चुनौती देता है कि प्रीट्रेनिंग के सभी चरणों के लिए लीनियर लेयर्स पर्याप्त हैं और स्पष्ट नॉनलीनियर रेसिडुअल्स के महत्व को रेखांकित करता है।
डिज़ाइन मार्गदर्शन: पेपर लो-रैंक बॉटलनेक्स के लिए एक्टिवेशन फंक्शन्स (कोसाइन जैसे सममित, नॉन-सैचुरेटिंग फंक्शन्स को प्राथमिकता देना) के लिए महत्वपूर्ण मार्गदर्शन प्रदान करता है और विशेषज्ञों को चेतावनी देता है कि आक्रामक स्मूथिंग ऑगमेंटेशन (Mixup/CutMix) ऐसे आर्किटेक्चर के लाभों को कम कर सकते हैं।

6. सीमाएँ (Limitations)

इन्फरेंस ओवरहेड (Inference Overhead): PEFT विधियों के विपरीत, जिन्हें ट्रेनिंग के बाद मर्ज किया जा सकता है, NOBLE स्थायी इन्फरेंस लागत (6–12% अतिरिक्त FLOPs) जोड़ता है।
ऑगमेंटेशन संवेदनशीलता: यह विधि विशिष्ट रेगुलराइजेशन तकनीकों के प्रति संवेदनशील है जो स्मूथनेस लागू करती हैं।
दायरा (Scope): प्रयोग विशिष्ट विजन कार्यों (ViT क्लासिफिकेशन, टोकन मॉडलिंग) तक सीमित थे; डिटेक्शन या सेगमेंटेशन पर प्रभाव अज्ञात है।
स्केल: सबसे बड़ा टेस्ट किया गया मॉडल 1.5B पैरामीटर्स का था; ट्रिलियन-पैरामीटर स्केल पर प्रभाव अनवेरिफाइड है।