🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

यह शोध पत्र मानक नुकसान (losses) और धनात्मक रूप से पक्षपाती सक्रियणों (positively biased activations) के बीच की अंतःक्रिया के कारण होने वाले एक मौलिक ऋणात्मक भार विचलन (negative weight drift) की पहचान करता है, जो गहरे नेटवर्क में उच्च सक्रियण विरलता (activation sparsity) और सटीकता की गिरावट (accuracy cliffs) को प्रेरित करता है, जिससे लेखक विरलता, स्थिरता और प्रदर्शन को संतुलित करने वाले प्रभावी समाधान के रूप में क्लिप्ड ReLU $^2$ और GELU $^2$ का प्रस्ताव करते हैं।

मूल लेखक: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल मशीन बना रहे हैं जो हजारों छोटे स्विचों (न्यूरॉन्स) से बनी है और पैटर्न पहचानने के लिए सीखती है। वर्षों से, इंजीनियर इन मशीनों को 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से बेहतर बनाने की कोशिश कर रहे हैं, इसमें ऐसी विशेषताएं जोड़ रहे हैं जो काम करती हुई लगती हैं, बिना यह पूरी तरह समझे कि वे क्यों काम करती हैं।

"Bug or Feature2" नामक यह शोध पत्र, इस बात की जांच करता है कि ये मशीनें कैसे सीखती हैं, इसमें एक छिपा हुआ विचित्र व्यवहार (quirk) है। लेखकों ने मशीन के भीतर एक "भूत" (ghost) की खोज की है: एक प्रवृत्ति जहाँ आंतरिक सेटिंग्स (वेट्स/weights) धीरे-धीरे नकारात्मक दिशा में खिसकती हैं, जिससे कई स्विच पूरी तरह से बंद हो जाते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "नेगेटिव ड्रिफ्ट" (Negative Drift) - (रस्साकशी का खेल)

कल्पना कीजिए कि मशीन शुरू में शून्य के आसपास पूरी तरह संतुलित है। लेखकों ने पाया कि क्योंकि मशीन अपनी गलतियों की गणना करती है (मानक गणितीय सूत्रों जिन्हें "लॉस फंक्शन्स" कहा जाता है) और जानकारी को प्रोसेस करती है (जैसे "एक्टिवेशन फंक्शन्स" जैसे ReLU), वहाँ एक सूक्ष्म, अदृश्य रस्साकशी चल रही है।

तंत्र (Mechanism): प्रशिक्षण के पहले कुछ सेकंड में ही, गणित सेटिंग्स को थोड़ा नकारात्मक पक्ष की ओर धकेलता है।
परिणाम: एक बार जब कोई सेटिंग नकारात्मक हो जाती है, तो वह नकारात्मक ही रहती है। यह एक गेंद की तरह है जो ढलान से नीचे लुढ़कती है; एक बार शुरू होने के बाद, यह तब तक चलती रहती है जब तक कि वह किसी दीवार से न टकरा जाए। यह तब भी होता है जब मशीन को रैंडम या निरर्थक डेटा दिया जाता है। यह प्रशिक्षण प्रक्रिया की अपनी खामी है, न कि डेटा की।

2. "साइलेंट स्विचेस" (Silent Switches) - (एक्टिवेशन स्पर्सिटी)

अब, कल्पना कीजिए कि वे स्विच बल्ब हैं।

ReLU (एक सामान्य स्विच प्रकार) के साथ: यदि सेटिंग नकारात्मक हो जाती है, तो लाइटबल्ब पूरी तरह से बंद हो जाता है और बंद ही रहता है। लेखकों ने पाया कि कुछ मॉडलों में (जैसे एक छोटा लैंग्वेज मॉडल GPT-nano), 90% लाइटबल्ब बंद हो जाते हैं और शांत रहते हैं।
प्रश्न: क्या यह एक Bug (खामी) है या Feature (विशेषता)?
- Bug: यदि बहुत अधिक लाइटें बुझ जाती हैं, तो मशीन अंधी हो सकती है और सीखना बंद कर सकती है।
- Feature: यदि मशीन कम लाइटों के साथ अपना काम कर सकती है, तो यह अधिक कुशल हो सकती है।

3. "द क्लिफ" (The Cliff) - (खतरे का क्षेत्र)

शोधकर्ताओं ने परीक्षण किया कि मशीन कितनी शांति (silence) झेल सकती है इससे पहले कि वह टूट जाए। उन्होंने एक तीखा "क्लिफ" (चट्टान/खड़ी ढलान) पाया।

सेफ ज़ोन (Safe Zone): यदि आप स्विचों के 70% को भी बंद कर देते हैं, तो मशीन अभी भी लगभग पहले की तरह ही काम करती है। यह आश्चर्यजनक रूप से मजबूत है।
द क्लिफ (The Cliff): यदि आप 70% से अधिक स्विचों को बंद करने की कोशिश करते हैं (जैसे 80% या 90%), तो मशीन का प्रदर्शन अचानक गिर जाता है। यह एक कार चलाने जैसा है जिसमें केवल एक पहिया हो; यह ठीक चलता है जब तक कि आप एक निश्चित गति तक नहीं पहुँचते, फिर यह बिखर जाता है।
अपवाद: "स्किप कनेक्शन" (जैसे ResNet या Transformers) वाले मशीनें बैकअप पहियों वाली कारों की तरह होती हैं; वे क्रैश होने से पहले बहुत अधिक शांति झेल सकती हैं।

4. "द स्क्वेरिंग एक्सपेरिमेंट" (The Squaring Experiment) - (ReLU2)

लेखकों ने ReLU2 नामक एक नए प्रकार के स्विच का परीक्षण किया जो सिग्नल को स्क्वायर (बड़ी संख्याओं को और भी बड़ी बनाना) करता है।

समस्या: इसने "स्पाइक्स" (Spikes) पैदा किए। कल्पना कीजिए कि कुछ लाइटबल्ब अचानक इतनी तेज़ी से चमकते हैं कि वे जल जाते हैं या सिस्टम को अंधा कर देते हैं। मशीन के मध्य परतों में, ये स्पाइक्स खतरनाक रूप से बड़े हो गए।
समाधान: उन्होंने पाया कि स्पाइक्स को क्लिपिंग (clipping) करना (बल्ब की चमक पर एक सीमा लगाना) इस समस्या को हल कर देता है।
विजेता: एक "क्लिप्ड ReLU2" मूल ReLU से बेहतर काम करता है, और एक "क्लिप्ड GELU2" (एक अलग स्मूथ स्विच) ने लैंग्वेज मॉडल पर सबसे अच्छा प्रदर्शन किया, जिससे न्यूनतम एरर रेट प्राप्त हुआ।

5. "द फ्रीज़ ट्रिक" (The Freeze Trick) - (कंप्यूटेशनल दक्षता)

"ड्रिफ्ट" मुख्य रूप से प्रशिक्षण के पहले कुछ चरणों में होता है। उसके बाद, सेटिंग्स स्थिर हो जाती हैं।

विचार: आमतौर पर, मशीन हर बार नई इमेज या वाक्य देखते समय अपने "गुरुत्वाकर्षण केंद्र" (नॉर्मलाइजेशन स्टैटिस्टिक्स) की पुनर्गणना करती है। यह धीमा है।
जुगाड़ (Hack): लेखकों ने पाया कि एक बार प्रारंभिक ड्रिफ्ट स्थिर हो जाने के बाद (एक संक्षिप्त "वार्म-अप" के बाद), आप उन गणनाओं को फ्रीज़ (स्थिर) कर सकते हैं। आप पुनर्गणना करना बंद कर देते हैं और बस शुरुआत के नंबरों का उपयोग करते हैं।
लाभ: यह मशीन को बिना उसकी बुद्धिमत्ता को नुकसान पहुँचाए लगभग 25–30% तेज़ी से प्रशिक्षित करता है। यह कमरे के तापमान तक पहुँचने के बाद थर्मोस्टेट सेट करने जैसा है, न कि हर सेकंड तापमान चेक करने जैसा।

सारांश

यह शोध पत्र प्रकट करता है कि आधुनिक AI मॉडल स्वाभाविक रूप से "डेड ज़ोन" विकसित करते हैं जहाँ कई न्यूरॉन्स काम करना बंद कर देते हैं, जो कि उनके सीखने के तरीके में एक गणितीय त्रुटि के कारण होता है।

यह डेटा की खामी नहीं है; यह ऑप्टिमाइज़ेशन मैथ (गणित) की खामी है।
शांति (Silence) एक सीमा तक ठीक है (70%), लेकिन बहुत अधिक शांति क्रैश का कारण बनती है।
नए स्विच (Squared functions) शक्तिशाली हो सकते हैं लेकिन उन्हें खतरनाक स्पाइक्स को रोकने के लिए "क्लिपिंग" की आवश्यकता होती है।
प्रारंभिक गणनाओं को फ्रीज़ करना प्रशिक्षण को काफी तेज़ बना सकता है।

लेखक निष्कर्ष निकालते हैं कि जो एक रैंडम साइड इफेक्ट जैसा दिखता है, वह वास्तव में एक नियंत्रित तंत्र है जिसे यदि समझा जाए, तो यह हमें तेज़ और अधिक कुशल AI बनाने में मदद कर सकता है।

तकनीकी सारांश: बग या फीचर2: वेट ड्रिफ्ट (Weight Drift), एक्टिवेशन स्पैरसिटी (Activation Sparsity) और स्पाइक्स (Spikes)

समस्या विवरण

आधुनिक न्यूरल आर्किटेक्चर डिज़ाइन क्रमिक अनुभवजन्य विकल्पों (empirical choices) के माध्यम से विकसित हुआ है, फिर भी नियंत्रित करने वाले अंतर्निहित तंत्र (intrinsic mechanisms) आंशिक रूप से ही समझे गए हैं। यह शोध पत्र एक व्यवस्थित नेगेटिव वेट ड्रिफ्ट (negative weight drift) की पहचान करता है, जो मीन-सेंटरिंग नॉर्मलाइजेशन (mean-centering normalization) की अनुपस्थिति में मानक लॉस फंक्शन्स (MSE, क्रॉस-एन्ट्रॉपी) और धनात्मक रूप से पक्षपाती एक्टिवेशन फंक्शन्स (जैसे ReLU, GELU, SiLU) के बीच परस्पर क्रिया से प्रेरित होता है।

मुख्य समस्या यह है कि प्रशिक्षण के शुरुआती इटरेशन के दौरान, ग्रेडिएंट डिसेंट वेट्स को नकारात्मक मानों की ओर ले जाता है। ऐसा इसलिए होता है क्योंकि धनात्मक प्री-एक्टिवेशन्स (pre-activations) के संबंध में अपेक्षित ग्रेडिएंट गैर-ऋणात्मक (non-negative) होता है। फलस्वरूप, प्री-एक्टिवेशन्स नीचे की ओर खिसक जाते हैं, जिससे अधिक न्यूरॉन्स शून्य से नीचे गिर जाते हैं। जब इन्हें ReLU जैसे एक्टिवेशन फंक्शन्स के माध्यम से पास किया जाता है, तो ये नकारात्मक प्री-एक्टिवेशन्स शून्य पर दब (squash) जाते हैं, जिससे हार्ड एक्टिवेशन स्पैरसिटी (hard activation sparsity) उत्पन्न होती है। लेखक जांच करते हैं कि क्या यह उभरती हुई स्पैरसिटी दक्षता के लिए एक लाभकारी फीचर है या एक हानिकारक बग जो मॉडल के प्रदर्शन को कम करता है। इसके अतिरिक्त, यह पेपर ट्रांसफॉर्मर आर्किटेक्चर के भीतर देखे गए पैथोलॉजिकल एक्टिवेशन स्पाइक्स (activation spikes) का भी परीक्षण करता है जो स्क्वेयर्ड एक्टिवेशन फंक्शन्स (जैसे ReLU2) में देखे जाते हैं।

कार्यप्रणाली (Methodology)

1. वेट ड्रिफ्ट का औपचारिक विश्लेषण

लेखक इनिशियलाइजेशन (initialization) पर ReLU-आधारित मल्टी-लेयर पर्सेप्ट्रोंस (MLPs) के लिए एक औपचारिक प्रमाण प्रदान करते हैं।

सैद्धांतिक ढांचा (Theoretical Framework): वे एक प्रभावी वेट मैट्रिक्स $V_{eff}$ को परिभाषित करते हैं जो बाद के लीनियर लेयर्स और ReLU गेट्स के संयोजन का प्रतिनिधित्व करता है।
मुख्य प्रमेय (Key Theorem): ज़ीरो-मीन i.i.d. वेट इनिशियलाइजेशन के तहत, $V_{eff}$ की पंक्तियाँ (rows) ज़ीरो मीन प्रदर्शित करती हैं लेकिन गैर-ऋणात्मक क्रॉस-कोरिलेशन ( $E[\langle v_i, v_j \rangle] \ge 0$ ) दिखाती हैं।
ग्रेडिएंट विश्लेषण: MSE और क्रॉस-एन्ट्रॉपी दोनों लॉस के लिए, किसी भी धनात्मक प्री-एक्टिवेशन के संबंध में अपेक्षित ग्रेडिएंट गैर-ऋणात्मक होता है। चूंकि ग्रेडिएंट डिसेंट ग्रेडिएंट के नकारात्मक दिशा में वेट्स को अपडेट करता है ( $w \leftarrow w - \eta \nabla w$ ), यह लगातार धनात्मक ग्रेडिएंट वेट्स को नकारात्मक मानों की ओर धकेलता है।
स्व-सुदृढ़ीकरण चक्र (Self-Reinforcing Cycle): जैसे-जैसे वेट्स नकारात्मक होते जाते हैं, प्री-एक्टिवेशन्स और अधिक शून्य से नीचे खिसक जाते हैं, जिससे मृत न्यूरॉन्स (dead neurons) का अंश बढ़ जाता है और ड्रिफ्ट को और मजबूती मिलती है।

2. अनुभवजन्य सत्यापन (Empirical Validation)

लेखक विभिन्न सेटिंग्स में इन डायनेमिक्स को सत्यापित करते हैं:

आर्किटेक्चर: MLP, ResNet-18, MaxViT, MP-SENet, और GPT-nano।
एक्टिवेशंस: ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU, और ReLU2।
डेटा: डेटा वितरण से ऑप्टिमाइजेशन डायनेमिक्स को अलग करने के लिए वास्तविक दुनिया के डेटासेट (CIFAR-10, ImageNet-1K, FineWeb) और पूरी तरह से रैंडम इनपुट पर प्रशिक्षण।
ऑप्टिमाइज़र्स: SGD, मोमेंटम के साथ SGD, और Adam/AdamW।

3. स्पैरसिटी कंट्रोल और ट्रेड-ऑफ विश्लेषण

यह निर्धारित करने के लिए कि स्पैरसिटी एक "बग" है या "फीचर", लेखक दो तंत्रों का उपयोग करके स्पैरसिटी स्तरों को स्पष्ट रूप से नियंत्रित करते हैं:

Top-K स्पैरसिटी: यह शीर्ष $k\%$ एक्टिवेशन्स को बनाए रखता है (GELU के साथ उपयोग किया जाता है)।
परसेंटाइल सेंट्रिंग (PC): एक प्रस्तावित विधि जो ReLU लागू करने से पहले मीन (mean) के बजाय एक लक्षित परसेंटाइल $q$ द्वारा एक्टिवेशन्स को शिफ्ट करती है, जिससे ज़ीरो किए गए एक्टिवेशन्स के अंश को सीधे नियंत्रित किया जा सकता है।
मूल्यांकन: वे आर्किटेक्चर केAcross 79 कॉन्फ़िगरेशन का बेंचमार्क करते हैं ताकि स्पैरसिटी स्तरों और मॉडल सटीकता/लॉस के बीच संबंध को मैप किया जा सके।

4. स्क्वेयर्ड एक्टिवेशन्स और स्पाइक्स की जांच

यह पेपर GPT-nano में ReLU2 ( $max(0, x)^2$ ) और GELU2 का विश्लेषण करता है।

स्पाइक डिटेक्शन: वे देखते हैं कि ReLU2 का उपयोग करने पर GPT-nano की लेयर्स 2–4 में बड़े एक्टिवेशन स्पाइक्स आते हैं।
शमन (Mitigation): वे इन एक्टिवेशन्स को थ्रेसहोल्ड (15 और 50) पर क्लिपिंग (clipping) करके परीक्षण करते हैं ताकि यह पता लगाया जा सके कि स्पाइक्स हानिकारक (बग्स) हैं या सूचनात्मक (फीचर्स)।

मुख्य परिणाम

1. नेगेटिव वेट ड्रिफ्ट अंतर्निहित (Intrinsic) है

सार्वभौमिकता (Universality): ड्रिफ्ट सभी परीक्षण किए गए आर्किटेक्चर और एक्टिवेशन फंक्शन्स में होता है, जिसमें वे भी शामिल हैं जिनमें स्पष्ट नॉर्मलाइजेशन नहीं है (जैसे RMSNorm)।
ऑप्टिमाइजेशन का उद्गम: यह घटना रैंडम डेटा पर भी बनी रहती है, जो पुष्टि करती है कि यह डेटा वितरण के बजाय ऑप्टिमाइजेशन डायनेमिक्स का एक गुण है।
परिमाण (Magnitude): ड्रिफ्ट पहले कुछ प्रशिक्षण इटरेशन में सबसे अधिक होता है और जैसे-जैसे ग्रेडिएंट कम होते हैं, स्थिर हो जाता है। मोमेंटम-आधारित ऑप्टिमाइज़र्स इस प्रारंभिक ड्रिफ्ट को तेज करते हैं।
स्पैरसिटी का परिणाम: ReLU-आधारित मॉडल्स में, यह ड्रिफ्ट बिना किसी स्पष्ट रेगुलराइजेशन के GPT-nano में 90% तक प्राकृतिक स्पैरसिटी पैदा करता है।

2. स्पैरसिटी-एक्यूरेसी "क्लिफ" (Cliff)

ट्रेड-ऑफ कर्व: प्रदर्शन मध्यम स्पैरसिटी स्तरों ( $s \lesssim 0.7$ ) में स्थिर रहता है लेकिन एक महत्वपूर्ण थ्रेसहोल्ड (क्लिफ) के बाद तेजी से गिर जाता है।
आर्किटेक्चर निर्भरता:
- MLPs: ~85% स्पैरसिटी पर विनाशकारी पतन (catastrophic collapse) का सामना करते हैं।
- ResNet: स्ट्रक्चर्ड (चैनल-वाइज) स्पैरसिटी के साथ निरंतर गिरावट दिखाता है लेकिन अनस्ट्रक्चर्ड स्पैरसिटी के साथ मजबूती बनाए रखता है।
- ट्रांसफॉर्मर्स (ViT, GPT): अत्यधिक लचीलापन दिखाते हैं। GPT-nano ~91% स्पैरसिटी तक बेसलाइन प्रदर्शन के करीब बना रहता है।
मैकेनिज्म स्वतंत्रता: स्पैरसिटी उत्पन्न करने की विशिष्ट विधि (Top-K बनाम परसेंटाइल सेंट्रिंग) का स्पैरसिटी स्तर की तुलना में मामूली प्रभाव पड़ता है।

3. एक्टिवेशन फंक्शन्स और स्पैरसिटी

GELU: अधिकांश वर्गीकरण कार्यों में उच्चतम सटीकता प्राप्त करता है, लेकिन न्यूनतम प्राकृतिक स्पैरसिटी उत्पन्न करता है।
ReLU2: नॉर्मलाइजेशन के प्रति अत्यधिक संवेदनशील है। यह बिना नॉर्मलाइजेशन वाले MLPs पर विफल हो जाता है, लेकिन GPT-nano पर (GELU के 3.260 की तुलना में) सबसे कम वैलिडेशन लॉस (3.250) प्राप्त करता है।
ReLUफिकेशन (ReLUfication): GELU-प्रशिक्षित मॉडल्स को एक epoch के फाइन-ट्यूनिंग के माध्यम से ReLU में बदलना नगण्य सटीकता हानि (<1%) के साथ 55–74% स्पैरसिटी को रिकवर करता है, जो दक्षता के लिए एक व्यावहारिक रणनीति है।

4. पैथोलॉजिकल स्पाइक्स और क्लिपिंग

स्पाइक का उद्गम: GPT-nano में स्पाइक्स MLP ब्लॉक्स के अप-प्रोजेक्शन में उत्पन्न होते हैं और ReLU2 में स्क्वेयरिंग ऑपरेशन द्वारा प्रवर्धित (amplify) होते हैं।
क्लिपिंग के लाभ:
- क्लिप्ड ReLU2: अनक्लिप्ड ReLU2 (3.251 बनाम 3.236) से बेहतर प्रदर्शन करता है, जो दर्शाता है कि चरम स्पाइक्स हानिकारक हैं।
- क्लिप्ड GELU2: GPT-nano पर सबसे अच्छा समग्र वैलिडेशन लॉस (3.233) प्राप्त करता है।
- ViT परिणाम: स्क्वेयर्ड एक्टिवेशन्स MaxViT पर GELU से बेहतर प्रदर्शन नहीं करते हैं, जो सुझाव देता है कि स्क्वेयर्ड एक्टिवेशन्स के लाभ ऑटोरिग्रेसिव मॉडल्स के लिए विशिष्ट हो सकते हैं।

5. एक्यूमुलेशन स्टॉप (Accumulation Stop) के माध्यम से कम्प्यूटेशनल दक्षता

अवलोकन: चूंकि वेट ड्रिफ्ट कुछ हजार स्टेप्स के बाद स्थिर हो जाता है, इसलिए पूरे प्रशिक्षण अवधि के लिए नॉर्मलाइजेशन सांख्यिकी (परसेंटाइल्स, मीन्स) की डायनेमिक गणना अनावश्यक है।
विधि: लेखक एक्यूमुलेशन स्टॉप (AS) का प्रस्ताव करते हैं, जहाँ वार्म-अप चरण (जैसे, 50k स्टेप्स) के दौरान सांख्यिकी की गणना एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से की जाती है और फिर उसे फ्रीज कर दिया जाता है।
परिणाम: यह मॉडल की गुणवत्ता को खराब किए बिना (FID/IS स्कोर स्थिर रहते हैं या सुधरते हैं) प्रशिक्षण थ्रूपुट को बेसलाइन स्तर तक वापस लाता है (डायनेमिक परसेंटाइल कंप्यूटेशन के ~25–30% ओवरहेड को हटाकर)।

महत्व और दावे

यह पेपर एक्टिवेशन स्पैरसिटी को डेटा के एक उभरते गुण के रूप में नहीं, बल्कि लॉस फंक्शन्स, एक्टिवेशन फंक्शन्स और नॉर्मलाइजेशन लेयर्स के बीच परस्पर क्रिया के एक नियंत्रणीय परिणाम के रूप में पुनर्गठित करता है।

मैकेनिस्टिक समझ: यह कार्य एक सैद्धांतिक और अनुभवजन्य स्पष्टीकरण प्रदान करता है कि क्यों आधुनिक आर्किटेक्चर (जो अक्सर मीन-सेंटरिंग को छोड़ देते हैं, जैसे RMSNorm का उपयोग करना) व्यवस्थित वेट ड्रिफ्ट और उच्च स्पैरसिटी प्रदर्शित करते हैं।
डिज़ाइन गाइडलाइन्स:
- स्पैरसिटी कंट्रोल: ट्रांसफॉर्मर-आधारित मॉडल्स में बिना किसी महत्वपूर्ण प्रदर्शन गिरावट के आक्रामक स्पैरसिटी (लग' लगभग ~70-80%) प्राप्त की जा सकती है, जो कम्प्यूटेशनल दक्षता के लिए एक मार्ग प्रदान करती है।
- एक्टिवेशन का चुनाव: जबकि ReLU2 LLMs में प्रदर्शन लाभ प्रदान करता है, इसे पैथोलॉजिकल स्पाइक्स को कम करने के लिए क्लिपिंग की आवश्यकता होती है। GELU एक मजबूत सामान्य-उद्देश्य वाला बेसलाइन बना हुआ है।
- दक्षता: "एक्यूमुलेशन स्टॉप" तकनीक प्रारंभिक ड्रिफ्ट स्थिरीकरण चरण के बाद नॉर्मलाइजेशन सांख्यिकी को फ्रीज करके प्रशिक्षण ओवरहेड को कम करने का एक व्यावहारिक तरीका प्रदान करती है।
सीमाएं: लेखक नोट करते हैं कि सैद्धांतिक प्रमाण सख्ती से इनिशियलाइजेशन और ReLU पर लागू होते हैं, स्मूथ एक्टिवेशन्स के लिए विस्तार अनुभवजन्य (empirical) हैं। फ्रंटियर-स्केल LLMs (1B+ पैरामीटर्स) के लिए इन निष्कर्षों की प्रयोज्यता और विभिन्न आर्किटेक्चर के लिए इष्टतम क्लिपिंग थ्रेसहोल्ड खुले प्रश्न बने हुए हैं।

यह पेपर निष्कर्ष निकालता है कि इन "दिखने में आकस्मिक" डिज़ाइन विकल्पों को समझना भविष्य के आर्किटेक्चर विकास के लिए महत्वपूर्ण है, विशेष रूप से जैसे-जैसे क्षेत्र नॉन-सेंटरिंग नॉर्मलाइजेशन और स्पार्स इन्फरेंस की ओर बढ़ रहा है।