🤖 machine learning

Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget

यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर एमएलपी (MLP) नॉनलिनियैरिटी का एक महत्वपूर्ण हिस्सा अनावश्यक और संदर्भ-निर्भर है, जो यह दर्शाता है कि एक हल्का गेटिंग मैकेनिज्म इन गणनाओं को लीनियर सरोगेट्स (linear surrogates) के साथ गतिशील रूप से बदल सकता है ताकि कम्प्यूटेशनल बर्बादी को कम किया जा सके या, पूर्ण पुनरप्रशिक्षण (full retraining) के साथ रणनीतिक रूप से लागू होने पर, हानिकारक नॉनलिनियैरिटी को समाप्त करके मॉडल के प्रदर्शन में सक्रिय रूप से सुधार किया जा सके।

मूल लेखक: Peter Balogh

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peter Balogh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हाई-टेक फैक्ट्री चलाते हैं जो एक वाक्य में अगला शब्द तैयार करती है। यह फैक्ट्री एक ट्रांसफॉर्मर (Transformer) है, और यह उसी इंजन के पीछे की शक्ति है जिससे मैं (AI) अभी आपसे बात कर रहा हूँ।

इस फैक्ट्री के अंदर, हजारों कर्मचारी (लेयर्स) होते हैं जो जानकारी को प्रोसेस करते हैं। हर एक स्टेशन पर, एक विशेष टीम होती है जिसे MLP (मल्टीलेयर पर्सेप्ट्रॉन) कहा जाता है। ये कर्मचारी अपनी जटिलता के लिए प्रसिद्ध हैं। वे जानकारी का एक टुकड़ा लेते हैं, उसे घुमाते हैं, मोड़ते हैं, और उसे आगे भेजने से पहले उस पर एक जटिल, नॉन-लीनियर "जादुई मंत्र" लागू करते हैं।

AI की दुनिया में हमेशा से एक बड़ी धारणा रही है: "हमें इन सभी जटिल जादुई मंत्रों की आवश्यकता है। यदि हम इनका उपयोग करना बंद कर देंगे, तो फैक्ट्री ढह जाएगी।"

यह पेपर, जिसका शीर्षक है "Half the Nonlinearity Is Wasted" (आधी नॉन-लिनैरिटी बर्बाद हो रही है), एक जासूसी कहानी की तरह है जहाँ लेखक फैक्ट्री में प्रवेश करता है, अपने कर्मचारियों को देखता है, और कहता है: "दरअसल, आप अपना आधा बजट बर्बाद कर रहे हैं। अधिकांश समय, ये कर्मचारी केवल साधारण गणित कर रहे होते हैं, लेकिन उन्होंने महंगे सूट पहन रखे हैं।"

यहाँ सरल उपमाओं (analogies) का उपयोग करके निष्कर्षों का विवरण दिया गया है:

1. "वानामेकर" की समस्या (The "Wanamaker" Problem)

लेखक एक प्रसिद्ध पुराने विज्ञापन कार्यकारी के उद्धरण से शुरुआत करता है: "मैं विज्ञापन पर जो आधा पैसा खर्च करता हूँ वह बर्बाद हो जाता है; समस्या यह है कि मुझे नहीं पता कि कौन सा आधा हिस्सा है।"

लेखक का तर्क है कि AI में, हमें पता है कि कौन सा आधा हिस्सा बर्बाद हो रहा है। कई मॉडलों में (विशेष रूप से GPT-2 परिवार में), लगभग 40% से 70% गणनाएँ अनावश्यक हैं। कर्मचारी अक्सर केवल साधारण गुणा और जोड़ कर रहे होते हैं, लेकिन फैक्ट्री उन्हें हर बार एक पूरा, जटिल नृत्य करने के लिए मजबूर करती है।

2. "गेटकीपर" का प्रयोग (The "Gatekeeper" Experiment)

इसे साबित करने के लिए, लेखक ने फैक्ट्री के हर स्टेशन के लिए एक छोटा, सस्ता गेटकीपर (एक साधारण निर्णय लेने वाला) बनाया।

काम: इससे पहले कि कोई कर्मचारी अपना जटिल नृत्य शुरू करे, गेटकीपर आने वाली जानकारी को देखता है और पूछता है: "क्या आपको वास्तव में पूर्ण जटिल नृत्य की आवश्यकता है, या एक साधारण गणना पर्याप्त है?"
परिणाम: गेटकीपर लगभग 40% काम को "सिंपल मोड" (केवल एक बुनियादी गणितीय सूत्र) पर भेज सका, जिससे फैक्ट्री में कोई गलती नहीं हुई। वास्तव में, कुछ स्टेशनों पर, कर्मचारियों को सरल गणित करने के लिए मजबूर करने से फैक्ट्री वास्तव में बेहतर हो गई क्योंकि इसने उन्हें बहुत अधिक सोचने और बकवास बनाने से रोक दिया।

3. बड़ी गलतफहमी: "यह शब्द के बारे में नहीं है" (The Big Misconception: "It's Not About the Word")

सबसे आश्चर्यजनक हिस्सा यह है कि गेटकीपर कैसे निर्णय लेता है।

गलत अनुमान: लेखक ने पहले सोचा कि गेटकीपर इस बात को देख रहा था कि शब्द क्या था।
- उपमा: "ओह, यदि शब्द 'the' (एक सामान्य शब्द) है, तो हम साधारण गणित का उपयोग कर सकते हैं। यदि यह 'elephant' (एक जटिल शब्द) है, तो हमें पूर्ण नृत्य की आवश्यकता है।"
- वास्तविकता: यह गलत था। जब नए किताबों या अलग विषयों पर परीक्षण किया गया, तो गेटकीपर बुरी तरह विफल रहा। 'the' शब्द को कभी जटिल नृत्य की आवश्यकता होती थी और कभी नहीं, जो पूरी तरह से वाक्य पर निर्भर करता था।
सही उत्तर: गेटकीपर वास्तव में संदर्भ (context) (अब तक की कहानी) को देख रहा था।
- उपमा: कल्पना कीजिए कि आप एक रहस्यमय उपन्यास पढ़ रहे हैं। शब्द "bank" का अर्थ नदी का किनारा (river bank) भी हो सकता है या पैसे वाला बैंक (money bank) भी।
  - यदि वाक्य है "He sat on the river bank," तो संदर्भ स्पष्ट है। फैक्ट्री "सिंपल मोड" का उपयोग कर सकती है।
  - यदि वाक्य है "He robbed the bank," तो संदर्भ पेचीदा है। फैक्ट्री को "कॉम्प्लेक्स मोड" की आवश्यकता है।
- गेटकीपर शब्द को नहीं देख रहा है; वह देख रहा है कि पिछले कर्मचारियों ने पहले से ही क्या समझ लिया है। यह एक संदर्भात्मक निर्णय है, न कि डिक्शनरी की खोज।

4. "फैक्ट्री का लेआउट" मायने रखता है (The "Factory Layout" Matters)

लेखक ने दो अलग-अलग फैक्ट्री डिज़ाइनों का परीक्षण किया: GPT-2 और Pythia।

GPT-2 (एक कुशल फैक्ट्री): यह डिज़ाइन बहुत "लीनियर" है। यह एक कन्वेयर बेल्ट की तरह है जहाँ कर्मचारी ज्यादातर चीजों को आगे बढ़ाते हैं। आप आधे जटिल कर्मचारियों को साधारण कर्मचारियों से बदल सकते हैं और फैक्ट्री सुचारू रूप से चलती रहेगी।
Pythia (एक अराजक फैक्ट्री): यह डिज़ाइन अधिक "पैरेलल" है। कर्मचारी अधिक स्वतंत्र, जटिल कार्य करने की कोशिश कर रहे हैं। उन्हें सरल बनाना कठिन है। हालांकि, यहाँ भी पाया गया कि फैक्ट्री का मध्य भाग ज्यादातर साधारण काम कर रहा था, जबकि शुरुआत और अंत में पूर्ण जटिलता की आवश्यकता थी।

5. "सर्जरी" का प्रयोग (The "Surgery" Experiment)

यह साबित करने के लिए कि यह केवल एक चाल नहीं थी, लेखक ने फैक्ट्री पर सर्जरी की।

उन्होंने एक प्रशिक्षित मॉडल लिया और स्थायी रूप से बीच के कर्मचारियों को सरल, स्थिर गणितीय सूत्रों से बदल दिया।
परिणाम: फैक्ट्री न केवल जीवित रही; बल्कि वह बेहतर हो गई। बीच के "जरूरत से ज्यादा सोचने वाले" कर्मचारियों को हटाने से, शेष कर्मचारियों को अधिक ध्यान केंद्रित करने के लिए मजबूर होना पड़ा, और पूरा सिस्टम अधिक कुशल और सटीक हो गया।
थोड़े अतिरिक्त प्रशिक्षण के साथ, "सरलीकृत" मॉडल मूल जटिल मॉडल से काफी बेहतर (17% बेहतर) रहा।

मुख्य निष्कर्ष (The Takeaway)

पेपर निष्कर्ष निकालता है कि हम जटिलता के लिए बहुत अधिक भुगतान कर रहे हैं।

मिथक: हर शब्द को एक जटिल, नॉन-लीनियर मस्तिष्क की आवश्यकता होती है।
सच्चाई: अधिकांश शब्दों को, अधिकांश संदर्भों में, केवल एक साधारण धक्के (nudge) की आवश्यकता होती है। जटिल "मस्तिष्क" की आवश्यकता केवल उन दुर्लभ, पेचीदा क्षणों में होती है जहाँ संदर्भ भ्रमित करने वाला होता है।

भविकी: हर फैक्ट्री स्टेशन को एक ही महंगी, जटिल मशीनरी के साथ बनाने के बजाय, हमें स्मार्ट फैक्ट्रियां बनानी चाहिए।

प्रवेश द्वार पर (वाक्य की शुरुआत समझने के लिए) और निकास पर (अंतिम निर्णय लेने के लिए) सुपर-जटिल, महंगी मशीनरी लगाएं।
वाक्य के मध्य में, जहाँ चीजें आमतौर पर सीधी होती हैं, सस्ते, सरल, लीनियर मशीनरी का उपयोग करें।

यह कंप्यूटिंग पावर (पैसा और ऊर्जा) की भारी बचत करेगा और भविष्य में स्मार्ट, तेज़ AI की ओर ले जा सकता है।

यहाँ पीटर बालोघ के शोध पत्र "Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ट्रांसफार्मर आर्किटेक्चर डिजाइन के मौलिक अनुमान को चुनौती देता है: कि प्रत्येक लेयर और टोकन स्थिति पर मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) द्वारा प्रदान की जाने वाली नॉन-लिनियैरिटी (nonlinearity) भाषा मॉडलिंग के लिए आवश्यक है।

परिकल्पना (The Hypothesis): यह व्यापक रूप से माना जाता है कि MLP नॉन-लिनियैरिटी को हटाने से नेटवर्क एक लीनियर मैप में बदल जाएगा जो जटिल भाषाई कार्यों को सीखने में असमर्थ होगा।
प्रश्न: क्या यह नॉन-लिनियैरिटी वास्तव में हर गणना के लिए आवश्यक है? क्या MLP गणनाओं के एक बड़े हिस्से को प्रदर्शन को खराब किए बिना, या प्रदर्शन में सुधार करके, लीनियर एप्रोक्सिमेशन (linear approximations) द्वारा बदला जा सकता है?
लक्ष्य: "बर्बाद" हो रहे नॉन-लिनियैरिटी बजट को मापना, यह निर्धारित करना कि क्या इसे गतिशील रूप से रूट (gate) किया जा सकता है, और यह समझना कि नॉन-लिनियैरिटी की आवश्यकता को क्या संचालित करता है (टोकन पहचान बनाम संदर्भ)।

2. कार्यप्रणाली (Methodology)

लेखकों ने छह मॉडलों (162M से 2.8B पैरामीटर्स तक) में, दो आर्किटेक्चर (GPT-2 और Pythia/GPT-NeoX) और तीन कॉर्पोरा (corpora) के माध्यम से एक व्यवस्थित दृष्टिकोण अपनाया।

A. लीनियर एप्रोक्सिमेशन और ऑल-लीनियर इवैल्यूएशन

सरोगेट फिटिंग (Surrogate Fitting): प्रत्येक लेयर के लिए, उन्होंने 10,000 एक्टिवेशन वेक्टर्स पर रिज रिग्रेशन (ridge regression) का उपयोग करके मूल MLP के लिए एक क्लोज्ड-फॉर्म लीनियर सरोगेट ( $\hat{f}(x) = Wx + b$ ) फिट किया।
लागत मापन (Cost Measurement): उन्होंने MLP को इस लीनियर सरोगेट से बदल दिया और परप्लेक्सिटी (PPL) में वृद्धि को मापा। इसने प्रत्येक लेयर के लिए पूर्ण लीनीकरण (linearization) के आधारभूत "लागत" को स्थापित किया।

B. एडेप्टिव गेटिंग (Adaptive Gating)

तंत्र (Mechanism): पूर्ण प्रतिस्थापन के बजाय, उन्होंने एक हल्का गेट ( $g_\theta$ ) प्रशिक्षित किया जो प्रति-टोकन यह तय करता है कि पूर्ण MLP का उपयोग करना है या लीनियर सरोगेट का।
गेट आर्किटेक्चर: सबसे प्रभावी गेट एक सरल लॉजिस्टिक क्लासिफायर था जिसमें $d+1$ पैरामीटर्स थे (एक्टिवेशन स्पेस में एक सिंगल हाइपरप्लेन)।
प्रशिक्षण: गेट को एक बाइनरी क्लासिफायर के रूप में प्रशिक्षित किया गया था जो "डेल्टा" ( $\delta = L_{lin} - L_{full}$ ) की भविष्यवाणी करता है, जहाँ उन स्थितियों को "लीनियर OK" के रूप में लेबल किया गया जहाँ लीनियर पथ पर्याप्त था।

C. रूटिंग सिग्नल की जांच (Probing the Routing Signal)

यह समझने के लिए कि गेट निर्णय क्यों लेता है, लेखकों ने MLP इनपुट को दो भागों में विभाजित किया:

टोकन पहचान ( $e_i$ ): वर्तमान टोकन का एम्बेडिंग।
संदर्भगत योगदान ( $c_i$ ): रेसिडुअल स्ट्रीम (residual stream) का अटेंशन और पिछले लेयर्स से योगदान ( $x_i - e_i$ )।
उन्होंने इन घटकों पर अलग-अलग गेट प्रशिक्षित किए और क्रॉस-कॉर्पस स्थिरता (जैसे, WikiText पर प्रशिक्षण, LAMBADA पर परीक्षण) का परीक्षण किया ताकि यह देखा जा सके कि नॉन-लिनियैरिटी की आवश्यकता टोकन का गुण है या संदर्भ का।

D. प्रोग्रेसिव लीनीकरण और फाइन-ट्यूनिंग (Progressive Linearization & Fine-Tuning)

प्रोग्रेसिव रिप्लेसमेंट: उन्होंने मध्य-परत (middle-layer) के MLPs को फ्रीज किए गए लीनियर मैट्रिसेस के साथ क्रमिक रूप से बदला, प्रत्येक चरण के बाद शेष लेयर्स को फाइन-ट्यून किया।
दो-चरणीय गेटिंग: एक अंतिम प्रयोग ने फाइन-ट्यूनिंग के दौरान लीनीकरण और सीखे गए गेटिंग को जोड़कर नॉन-लीनियर क्षमता के आवंटन को अनुकूलित किया।

3. मुख्य योगदान (Key Contributions)

MLP लीनियरिटी का परिमाणीकरण: व्यवस्थित मापन दिखाता है कि MLP गणनाओं का एक बड़ा हिस्सा लगभग लीनियर है। GPT-2 मीडियम में, 70% लेयर्स को <3% PPL लागत के साथ पूरी तरह से लीनियर किया जा सकता है।
न्यूनतम एडेप्टिव गेटिंग: प्रदर्शित किया कि एक साधारण $(d+1)$ -पैरामीटर लीनियर क्लासिफायर नगण्य लागत के साथ 25–56% एक्टिवेशन्स को लीनियर पथ पर रूट कर सकता है। बड़े, जटिल गेट्स ने कोई अतिरिक्त लाभ नहीं दिया।
टोकन-आधारित रूटिंग पर मजबूत नकारात्मक परिणाम: सिद्ध किया कि नॉन-लिनियैरिटी की आवश्यकता को टोकन पहचान से नहीं बताया जा सकता। "नो-फ्लाई" सूचियों (वे टोकन जिन्हें हमेशा नॉन-लिनियैरिटी की आवश्यकता होती है) के लिए क्रॉस-कॉर्पस सहसंबंध प्रभावी रूप से शून्य ( $r < 0.05$ ) था।
संदर्भ का प्रभुत्व (Context Dominance): दिखाया कि रूटिंग निर्णय पूरी तरह से संदर्भात्मक (contextual) है। "केवल-संदर्भ" (context-only) गेट ने पूर्ण गेट के प्रदर्शन से मेल खाया, जबकि "केवल-टोकन" (token-only) गेट ने रैंडम चांस के करीब प्रदर्शन किया।
नेगेटिव रेगुलराइजेशन (Negative Regularization): यह दस्तावेजीकृत किया कि 23 GPT-2 मीडियम लेयर्स में से 4 लेयर्स में, लीनियर एप्रोक्सिमेशन ने मूल MLP की तुलना में परप्लेक्सिटी में सुधार किया, जो यह सुझाव देता है कि मूल MLP ओवरफिट हो रहा था (एक नेगेटिव रेगुलराइज़र के रूप में कार्य कर रहा था)।
आर्किटेक्चर निर्भरता: एक स्पष्ट अंतर प्रकट किया: GPT-2 मॉडल अत्यधिक लीनियराइज करने योग्य हैं, जबकि Pythia मॉडल (GPT-NeoX) में उच्च लीनीकरण लागत है, हालांकि यह अंतर बड़े पैमाने (2.8B) पर कम हो जाता है।

4. मुख्य परिणाम (Key Results)

लीनीकरण लागत (Linearization Costs):
- GPT-2 Medium: लेयर्स 2–15 को 1.6–2.5% लागत के साथ पूरी तरह से लीनियर किया जा सकता है। चार लेयर्स ने लीनियर होने पर प्रदर्शन में सुधार किया।
- GPT-2 Large: 36 में से 11 लेयर्स ने लीनियर होने पर बेसलाइन को पछाड़ा; किसी भी लेयर ने 3.7% से अधिक लागत नहीं दिखाई।
- Pythia Models: सामान्यतः उच्च लागत। हालांकि, 2.8B स्केल पर, लेयर 3 ने बेसलाइन को मामूली रूप से पीछे छोड़ा (-0.13%), और मध्य लेयर्स (L7–L15) को लीनियर करना सस्ता था (<4%)।
- क्रिटिकल लेयर्स: Pythia-2.8B में पहली लेयर (L0) को लीनियर करना विनाशकारी है (+513% PPL), जबकि GPT-2 L0 सस्ता है (+1.77%)।
गेटिंग प्रदर्शन (Gating Performance):
- GPT-2 में <1% PPL लागत के साथ 25–56% लीनियर रूटिंग प्राप्त की गई।
- GPT-2 मीडियम में, लेयर 6 पर गेटिंग ने PPL में 0.06% का सुधार किया।
- कंपाउंड गेटिंग: सभी लेयर्स को एक साथ बदलने से कुल फॉरवर्ड-पास FLOPs में ~21% की बचत हुई और PPL पर न्यूनतम प्रभाव पड़ा।
प्रोग्रेसिव लीनीकरण (प्रूफ ऑफ कॉन्सेप्ट):
- 5 मध्य लेयर्स (L10–L14) को फ्रीज किए गए लीनियर मैट्रिसेस से बदलने के परिणामस्वरूप न्यूनतम फाइन-ट्यूनिंग के बाद शून्य PPL लागत देखी गई।
- पूर्ण प्रशिक्षण बजट (117.9M टोकन) के साथ 4 लीनियर लेयर्स पर, मॉडल ने बेसलाइन की तुलना में 10.2% PPL सुधार प्राप्त किया।
- एक दो-चरणीय गेटेड दृष्टिकोण (लीनीकरण + सीखा गया गेटिंग) ने 17.3% PPL सुधार (19.00 PPL) प्राप्त किया, जो वैनिला फाइन-ट्यूनिंग कंट्रोल से बेहतर था।
रूटिंग तंत्र (Routing Mechanism):
- गेट इसलिए काम करता है क्योंकि "नॉन-लिनियैरिटी की आवश्यकता" ( $\delta$ ) का वितरण अत्यधिक विषम (skewed) है; अधिकांश टोकन लीनियर के करीब होते हैं। गेट को केवल आउटलेयर्स की पतली पूंछ (thin tail) को पकड़ने की आवश्यकता होती है।
- निर्णय रेसिडुअल स्ट्रीम में संदर्भगत योगदान पर आधारित है, न कि टोकन एम्बेडिंग पर।

5. महत्व और निहितार्थ (Significance and Implications)

आर्किटेक्चरल रीडिज़ाइन: यह शोध पत्र सुझाव देता है कि भविष्य के ट्रांसफॉर्मर्स को समान नॉन-लीनियर क्षमता आवंटित नहीं करनी चाहिए। इसके बजाय, उन्हें नॉन-लीनियर पैरामीटर्स को बाउंड्री लेयर्स (इनपुट/आउटपुट) पर केंद्रित करना चाहिए और बीच की परतों में लीनियर या हाइब्रिड लेयर्स का उपयोग करना चाहिए।
दक्षता (Efficiency): टोकन-आधारित रूटिंग (जैसे, "फंक्शन वर्ड्स के लिए MLP स्किप करें") एक असफल रास्ता है। कुशल अनुमान (inference) के लिए संदर्भ-आधारित गेटिंग या ऐसे आर्किटेक्चरल परिवर्तनों पर निर्भर रहना चाहिए जो मध्य लेयर्स में नॉन-लिनियैरिटी को स्वाभाविक रूप से कम करते हों।
नेगेटिव रेगुलराइजेशन: यह निष्कर्ष कि नॉन-लिनियैरिटी हटाने से प्रदर्शन में सुधार हो सकता है, यह दर्शाता है कि मानक MLPs अक्सर मध्य लेयर्स में ओवरफिट होते हैं। इन लेयर्स में क्षमता कम करना एक रेगुलराइज़र के रूप में कार्य करता है।
हाइब्रिड आर्किटेक्चर: लेखक "हाइब्रिड लीनियर-नॉन-लीनियर लेयर्स" का प्रस्ताव करते हैं जहाँ एक छोटा नॉन-लीनियर MLP कठिन मामलों के "टेल" (tail) को संभालता है, जबकि एक लीनियर प्रोजेक्शन अधिकांश गणना को संभालता है।
सीक्वेंशियल बनाम पैरेलल: GPT-2 (सीक्वेंशियल) और Pythia (पैरेलल) के बीच लीनियरिजेबिलिटी का अंतर यह बताता है कि सीक्वेंशियल आर्किटेक्चर MLPs को अधिक रेडंडेंट (लीनियर) होने की अनुमति देते हैं, जबकि पैरेलल आर्किटेक्चर MLPs को अधिक स्वतंत्र नॉन-लीनियर कार्य करने के लिए मजबूर करते हैं।

निष्कर्ष: यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर्स में "नॉन-लिनियैरिटी बजट" का अत्यधिक आवंटन किया गया है। इस बजट को मापने, गेट करने और पुनर्वितरित करके, ऐसे मॉडल बनाए जा सकते हैं जो न केवल अधिक कुशल हैं, बल्कि कुछ मामलों में उनके मूल समकक्षों की तुलना में अधिक सटीक भी हैं।