🤖 machine learning

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

यह स्थिति पत्र (position paper) तर्क देता है कि जबकि न्यूरल स्केलिंग लॉ के घातांक (exponents) सॉफ्टमैक्स नॉन-लिनियरिटी (Softmax nonlinearity) और रिप्रजेंटेशनल सुपरपोजिशन (representational superposition) जैसे सार्वभौमिक तंत्रों द्वारा निर्धारित होते हैं, उनके गुणांक (coefficients)—जो व्यावहारिक प्रदर्शन और इष्टतम मॉडल विन्यास को निर्देशित करते हैं—विशिष्ट डेटा और वास्तुशिल्प विवरणों के प्रति संवेदनशील होते हैं, जिससे उनका बोध निकट-अवधि के एआई सुधारों की कुंजी बन जाता है।

मूल लेखक: Yizhou Liu, Jeff Gore

प्रकाशित 2026-06-25

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yizhou Liu, Jeff Gore

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: "रेसिपी" बनाम "सामग्री" (The "Recipe" vs. The "Ingredients")

कल्पना कीजिए कि आप ब्रेड का एक आदर्श लोफ (एक Large Language Model) बनाने की कोशिश कर रहे हैं। लंबे समय से वैज्ञानिकों ने एक पैटर्न देखा है: यदि आप आटे, पानी या ओवन के समय को दोगुना करते हैं, तो ब्रेड एक अनुमानित तरीके से बेहतर होती जाती है। इसे "स्केलिंग लॉ" (scaling law) कहा जाता है।

यह शोध पत्र तर्क देता है कि ब्रेड कैसे बेहतर होती है इसके नियम (रेसिपी के पीछे का गणित) वास्तव में निश्चित और अपरिवर्तनीय हैं, जैसे भौतिकी के नियम। हालाँकि, सामग्री की गुणवत्ता (डेटा और विशिष्ट डिज़ाइन विकल्प) यह तय करती है कि ब्रेड का स्वाद कितना अच्छा होगा, भले ही नियम वही रहें।

लेखक इसे "न्यूरल स्केलिंग यूनिवर्सलिटी" (Neural Scaling Universality) कहते हैं। इसका अर्थ है कि आप अपने मॉडल में कोई भी बदलाव करें, सीखने की "गति" तीन निश्चित नियमों का पालन करती है। केवल चीज़ जो बदलती है, वह है इस प्रक्रिया का "प्रारंभिक बिंदु" या इसकी "दक्षता" (efficiency)।

तीन निश्चित नियम (The Exponents)

शोध पत्र कहता है कि जैसे-जैसे आप एक मॉडल को प्रशिक्षित (train) करते हैं, इसकी गलतियाँ (errors) तीन विशिष्ट पैटर्न का पालन करते हुए कम होती जाती हैं। इन्हें सीखने की तीन अलग-अलग "गति सीमाओं" (speed limits) के रूपas देखें:

1. "सॉफ्टमैक्स" गति सीमा (समय - Time)

उदाहरण: कल्पना कीजिए कि आप घास के ढेर में सुई खोजने की कोशिश कर रहे हैं, लेकिन वह ढेर चुंबकों से बना है जो आपके करीब आने पर और मजबूत होते जाते हैं। शुरुआत में आप धीरे चलते हैं। लेकिन जैसे-जैसे आप सुई के करीब पहुँचते हैं, चुंबक आपको तेज़ी से अपनी ओर खींचते हैं।
विज्ञान: शोध पत्र कहता है कि क्योंकि एक विशिष्ट गणितीय फंक्शन जिसे "सॉफ्टमैक्स" (भविpredictions करने के लिए उपयोग किया जाता है) मौजूद है, इसलिए मॉडल एक विशिष्ट तरीके से सीखता है। त्रुटियाँ समय के संबंध में (विशेष रूप से, समय के घनमूल या cube root के संबंध में) एक निश्चित दर से गिरती हैं। ऐसा इसलिए होता है क्योंकि जब मॉडल आश्वस्त (confident) होता है, तो गणित बहुत "नॉन-लीनियर" (घुमावदार) हो जाता है।
निष्कर्ष: आप इस गति सीमा को बदल नहीं सकते। यह उस गणित के भीतर बना हुआ है जिससे मॉडल सोचता है।

2. "भीड़भाड़ वाला कमरा" सीमा (चौड़ाई - Width)

उदाहरण: कल्पना कीजिए कि एक छोटा कमरा (मॉडल की मेमोरी) है जहाँ आप दस लाख अलग-अलग लोगों (अवधारणाओं/शब्दों) को फिट करने की कोशिश कर रहे हैं। यदि कमरा बहुत छोटा है, तो लोगों को एक-दूसरे के ऊपर खड़ा होना पड़ेगा या जगह साझा करनी होगी। इससे "ज्यामितीय हस्तक्षेप" (geometric interference) होता है—लोग एक-दूसरे से टकराते हैं, जिससे स्पष्ट रूप से सुनना कठिन हो जाता है।
विज्ञान: इसे "सुपरपोजिशन" (superposition) कहा जाता है। मॉडल कम आयामों (dimensions) में अधिक विशेषताओं को पैक करने की कोशिश करता है। जैसे-जैसे आप कमरे को चौड़ा करते हैं (मॉडल की चौड़ाई बढ़ाते हैं), त्रुटियाँ कम होती जाती हैं, लेकिन सुधार एक सख्त नियम का पालन करता है: चौड़ाई दोगुनी करें, त्रुटि आधी कर दें।
निष्कर्ष: यहाँ सीमा यह है कि आप मॉडल के "दिमाग" में कितनी जानकारी बिना गड़बड़ी के समा सकते हैं।

3. "टीम वर्क" सीमा (गहराई - Depth)

उदाहरण: कल्पना कीजिए कि एक रिले रेस है जिसमें कई धावक (मॉडल में लेयर्स) भाग ले रहे हैं। यदि हर धावक एक छोटी सी गलती करता है, तो भी टीम जीत सकती है यदि वे अपनी गलतियों का औसत निकाल लें। लेकिन यदि सभी धावक बिल्कुल एक जैसा काम कर रहे हैं, तो वे एक-दूसरे की मदद नहीं कर पाते।
विज्ञान: शोध पत्र सुझाव देता है कि ट्रांसफॉर्मर लेयर्स (Transformer layers) अपनी गलतियों को औसत निकालने वाली एक टीम की तरह काम करती हैं। आप जितने अधिक लेयर्स जोड़ते हैं, टीम गलतियों को सुधारने में उतनी ही बेहतर होती जाती है, लेकिन यहाँ भी एक निश्चित नियम का पालन होता है: लेयर्स दोगुनी करें, त्रुटि आधी कर दें।
निष्कर्ष: अधिक लेयर्स जोड़ना मदद करता है, लेकिन लाभ एक अनुमानित, निश्चित पैटर्न का पालन करता है।

असली समस्या: गुणांक (The Coefficients - "सामग्री")

यदि नियम (exponents) निश्चित हैं, तो कुछ मॉडल दूसरों की तुलना में बेहतर प्रदर्शन क्यों करते हैं? उत्तर गुणांकों (coefficients) में छिपा है।

उदाहरण: निश्चित नियमों को बेकिंग के लिए भौतिकी के नियमों के रूप में सोचें। आप इस तथ्य को नहीं बदल सकते कि गर्मी आटे को पकाती है। लेकिन, गुणांक आपके आटे की गुणवत्ता, ओवन का तापमान और बेकर का कौशल है।
शोध पत्र क्या कहता है: "गुणांक" गणित में वे संख्याएँ हैं जो आपको बताती हैं कि कितनी त्रुटि बची है। ये संख्याएँ पूरी तरह से इन पर निर्भर करती हैं:
- डेटा (Data): टेक्स्ट कितना विविध और उच्च गुणवत्ता वाला है।
- आर्किटेक्चर (Architecture): विशिष्ट डिज़ाइन विकल्प (जैसे कि मॉडल 'अटेंशन' या 'नॉर्मलाइजेशन' को कैसे संभालता है)।
यह क्यों महत्वपूर्ण है: चूंकि "गति सीमाएँ" (exponents) निश्चित हैं, इसलिए अभी एक बेहतर मॉडल बनाने का एकमात्र तरीका इन गुणांकों को सुधारना है। यदि आप अपने डिज़ाइन या डेटा को बदलकर गुणांक को कम कर सकते हैं, तो आप भौतिकी के नियमों को तोड़े बिना एक बेहतर मॉडल प्राप्त कर सकते हैं।

व्यावहारिक परिणाम: "स्वीट स्पॉट" (Sweet Spot) खोजना

शोध पत्र इन नियमों का उपयोग मॉडल का आदर्श आकार निर्धारित करने के लिए करता है।

आकार (The Shape): मॉडल को कितना चौड़ा होना चाहिए और कितना गहरा?
- शोध पत्र गणना करता है कि एक "गोल्डिलॉक्स" (Goldilocks) अनुपात होता है। यदि आपके पास कंप्यूटिंग पावर का एक निश्चित बजट है, तो आपको केवल एक दिशा में मॉडल को विशाल नहीं बनाना चाहिए। आपको एक विशिष्ट संतुलन की आवश्यकता है (चिंनिचा मॉडल्स के उनके डेटा के अनुसार, गहराई की तुलना में लगभग 64 गुना चौड़ा)।
- अच्छी खबर: शोध पत्र कहता है कि यहाँ का "लैंडस्केप" समतल (flat) है। इसका मतलब है कि आपको एकदम सटीक होने की ज़रूरत नहीं है। सही अनुपात के करीब होना लगभग उतना ही अच्छा है जितना कि बिल्कुल सटीक होना।
डेटा बनाम स्टेप्स (Data vs. Steps):
- कई लोग चिंतित रहते हैं कि हम "डेटा खत्म कर रहे हैं।" यह शोध पत्र तर्क देता है कि प्री-ट्रेनिंग वास्तव में स्टेप-लिमिटेड (step-limited) है, न कि डेटा-लिमिटेड।
- उदाहरण: ऐसा नहीं है कि आपने किताबें पढ़ना खत्म कर दिया है; बल्कि ऐसा है कि आपने वाक्य पूरा करने से पहले ही पढ़ना छोड़ दिया। आप अपने पास मौजूद डेटा के साथ अधिक "स्टेप्स" (ऑप्टिमाइज़ेशन स्टेप्स) लेकर बेहतर परिणाम प्राप्त कर सकते हैं, बजाय इसके कि केवल अधिक अद्वितीय डेटा जमा करते रहें।
कंप्यूट फ्रंटियर (The Compute Frontier):
- शोध पत्र पुष्टि करता है कि यदि आप अपने मॉडल के आकार और डेटा के आकार को पूरी तरह से संतुलित करते हैं, तो त्रुटि उपयोग की गई कुल कंप्यूटिंग पावर के एक-छठा (one-sixth) की दर से गिरती है। यह "कंप्यूट-ऑप्टिमल फ्रंटियर" है।

सारांश

नियम निश्चित हैं: AI मॉडल जिस तरह से सीखते हैं, वे तीन अपरिवर्तनीय गणितीय पैटर्न (समय, चौड़ाई, गहराई) का पालन करते हैं, जो गणित (Softmax) और लेयर्स के एक साथ काम करने की प्रकृति के कारण हैं।
चर (Variables) लचीले हैं: सीखने की गुणवत्ता (गुणांक) आपके डेटा और डिज़ाइन विकल्पों पर निर्भर करती है।
लक्ष्य: बेहतर AI बनाने के लिए, हमें केवल नए "भौतिकी के नियमों" की तलाश नहीं करनी चाहिए। इसके बजाय, हमें अपने "सामग्री" (डेटा और आर्किटेक्चर) को ट्यून करने पर ध्यान केंद्रित करना चाहिए ताकि त्रुटि गुणांकों को कम किया जा सके, और अपने निवेश का अधिकतम लाभ उठाने के लिए मॉडल के आकार और डेटा के बीच सही संतुलन बनाया जा सके।

शोध पत्र निष्कर्ष निकालता है कि हम वर्तमान में एक विशिष्ट "यूनिवर्सलिटी क्लास" (नियमों का एक विशिष्ट सेट) में हैं। भविष्य में और भी बेहतर AI प्राप्त करने के लिए, हमें शायद इन वर्तमान नियमों से बाहर निकलने का रास्ता खोजना होगा, लेकिन फिलहाल, गुणांकों (coefficients) में महारत हासिल करना ही सुधार की कुंजी है।

तकनीकी सारांश: न्यूरल स्केलिंग यूनिवर्सलिटी (Neural Scaling Universality)

समस्या विवरण (Problem Statement)

न्यूरल स्केलिंग लॉज़ (Neural scaling laws) प्रशिक्षण समय, मॉडल आकार और कंप्यूट के संदर्भ में प्री-ट्रेनिंग लॉस के पावर-लॉ (power law) के रूप में क्षय (decay) का वर्णन करते हैं। जबकि ये नियम लार्ज लैंग्वेज मॉडल्स (LLMs) की सफलता में सहायक रहे हैं, उनके यांत्रिक मूल (mechanistic origins) काफी हद तक अनुभवजन्य (empirical) ही रहे हैं। प्रचलित दृष्टिकोण इन पावर-लॉज़ को प्रशिक्षण डेटा में निहित पावर-लॉ वितरणों (जैसे, फीचर फ्रीक्वेंसी) के कारण मानता है, जिससे यह सुझाव मिलता है कि लॉस एक्सपोनेंट्स (loss exponents) विशिष्ट डेटा संरचनाओं के प्रति संवेदनशील होते हैं। यह बड़े पैमाने पर स्केलिंग लॉज़ की सामान्यीकरण क्षमता (generalizability) और आगे की गति वृद्धि (speedups) की संभावनाओं पर प्रश्न चिह्न लगाता है। यह शोध पत्र इस बात को निर्धारित करने की आवश्यकता को संबोधित करता है कि क्या स्केलिंग एक्सपोनेंट्स जेनेरिक आर्किटेक्चरल तंत्रों द्वारा निर्धारित होते हैं या वे डेटा के विवरणों पर निर्भर करते हैं, और क्या इन नियमों के गुणांक (coefficients) निकट-अवधि प्रदर्शन सुधारों की कुंजी हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र हाल के तीन कार्यों [15–17] के एक त्रयी (trilogy) को संश्लेषित और विस्तारित करते हुए न्यूरल स्केलिंग यूनिवर्सलिटी की एक परिकल्पना प्रस्तावित करता है। कार्यप्रणाली में शामिल है:

सैद्धांतिक अपघटन (Theoretical Decomposition): लेखक प्री-ट्रेनिंग लॉस ( $L$ ) को तीन विशिष्ट एसिम्प्टोटिक (asymptotic) पदों में विभाजित करते हैं जो जेनेरिक तंत्रों पर आधारित हैं:
- टाइम स्केलिंग (Time Scaling): यह पीक्ड (लो-एन्ट्रॉपी) वितरणों को सीखने के दौरान सॉफ्टमैक्स (Softmax) फंक्शन की प्रबल नॉन-लिनियरिटी द्वारा संचालित होता है, जिससे लॉस डिके $L \sim \tau^{-1/3}$ होता है, जहाँ $\tau$ डायनेमिक टाइम है।
- विड्थ स्केलिंग (Width Scaling): यह "सुपरपोजिशन" (superposition) द्वारा संचालित होता है, जहाँ मॉडल उपलब्ध आयामों (dimensions) की तुलना में अधिक फीचर्स को एनकोड करते हैं, जिससे ज्यामितीय हस्तक्षेप (geometric interference) होता है। इसके परिणामस्वरूप रेजिडुअल लॉस $L \sim m^{-1}$ होता है, जहाँ $m$ एम्बेडिंग डायमेंशन (चौड़ाई) है।
- डेप्थ स्केलिंग (Depth Scaling): यह ट्रांसफॉर्मर लेयर्स के बीच त्रुटियों के एन्सेम्बल एवरेजिंग (ensemble averaging) द्वारा संचालित होता है, जो हिडन स्टेट्स को पदानुक्रमित (hierarchically) के बजाय क्रमिक रूप से अपडेट करते हैं। यह $L \sim \ell^{-1}$ देता है, जहाँ $\ell$ डेप्थ है।
एकीकृत लॉस फॉर्मूला (Unified Loss Formula): इन तंत्रों को एक योगात्मक (additive) एसिम्प्टोटिक लॉस फॉर्मूला में संयोजित किया गया है:
$L = \frac{c_\tau}{\tau^{1/3}} + \frac{c_m}{m} + \frac{c_\ell}{\ell} + L_0$
जहाँ $c_\tau, c_m, c_\ell$ डेटा और आर्किटेक्चर की विशिष्टताओं को समाहित करने वाले गुणांक (coefficients) हैं, और $L_0$ अपरिहार्य (irreducible) लॉस है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक इस फिक्स्ड-एक्सपोनेंट फॉर्मूला को कई मॉडल परिवारों के अनुभवजन्य डेटा पर फिट करते हैं, जिनमें Pythia, Chinchilla, GPT-3, और Farseer शामिल हैं।
- वे एक्सपोनेंट्स को फिक्स्ड (जैसे, टाइम के लिए $1/3$ , विड्थ/डेप्थ के लिए $1$) मानते हैं और केवल गुणांकों (coefficients) को बदलते हैं।
- वे डेटासेट के आकार ( $D$ ) और डायनेमिक टाइम ( $\tau$ ) के बीच संबंध का विश्लेषण करते हैं, यह तर्क देते हुए कि ऑनलाइन ट्रेनिंग रिजीम में, $D \propto \tau$ , जिससे टाइम स्केलिंग को डेटासेट साइज स्केलिंग में स्थानांतरित करना संभव है।
- वे मॉडल पैरामीटर्स ( $N$ ) और कंप्यूट ( $C$ ) के सापेक्ष लॉस फंक्शन को मिनिमाइज करके इष्टतम मॉडल शेप और कंप्यूट-ऑप्टिमल फ्रंटियर्स का व्युत्पत्ति (derive) करते हैं।

मुख्य योगदान (Key Contributions)

1. न्यूरल स्केलिंग यूनिवर्सलिटी की परिकल्पना

यह शोध पत्र यह प्रतिपादित करता है कि न्यूरल स्केलिंग लॉज़ एक विशिष्ट "यूनिवर्सलिटी क्लास" से संबंधित हैं जो जेनेरिक तंत्रों (Softmax nonlinearity, superposition, और layer averaging) द्वारा निर्धारित फिक्स्ड एक्सपोनेंट्स द्वारा परिभाषित होती है। इस क्लास के भीतर, डेटा संरचनाओं या आर्किटेक्चरल विवरणों में भिन्नता मुख्य रूप से एक्सपोनेंट्स के बजाय गुणांकों ( $c_\tau, c_m, c_\ell$ ) को परिवर्तित करती है।

2. फिक्स्ड एक्सपोनेंट्स के यांत्रिक मूल

शोध पत्र देखे गए एक्सपोनेंट्स के लिए विशिष्ट यांत्रिक स्पष्टीकरण प्रदान करता है:

$1/3$ टाइम स्केलिंग: यह पीक्ड डिस्ट्रीब्यूशन तक पहुँचने में सॉफ्टमैक्स की नॉन-लीनियर डायनेमिक्स से उत्पन्न होता है, जो लो-टेम्परेचर एक्सपेंशन के समान है।
इनवर्स विड्थ स्केलिंग ($1$): यह सुपरपोज्ड फीचर्स के ज्यामितीय हस्तक्षेप से उत्पन्न होता है।
इनवर्स डेप्थ स्केलिंग ($1$): यह समान कार्यात्मक अपडेट्स वाली लेयर्स के बीच एरर के औसत से उत्पन्न होता है।

3. इष्टतम आर्किटेक्चर और फ्रंटियर्स का व्युत्पत्ति

गुणांकों को प्राथमिक चर (variables) मानकर, यह शोध पत्र निम्नलिखित का व्युत्पत्ति करता है:

इष्टतम मॉडल शेप (Optimal Model Shape): विड्थ और डेप्थ का इष्टतम अनुपात ( $m/\ell$ ) गुणांकों के अनुपात $c_m / c_\ell$ द्वारा निर्धारित होता है। इस इष्टतम स्तर पर, विड्थ और डेप्थ के लॉस योगदान $2:1$ के अनुपात में होते हैं।
मॉडल साइज स्केलिंग: इष्टतम शेप पर, लॉस $N^{-1/3}$ के रूप में घटता है (जहाँ $N$ पैरामीटर काउंट है)।
कंप्यूट-ऑप्टिमल फ्रंटियर: फिक्स्ड कंप्यूट ( $C \approx 6ND$ ) पर लॉस को मिनिमाइज करके, यह शोध पत्र इष्टतम टोकन-टू-पैरामीटर अनुपात ( $D/N$ ) और कंप्यूट-ऑप्टिमल लॉस स्केलिंग $C^{-1/6}$ का व्युत्पत्ति करता है।

4. डेटा-लिमिटेड से स्टेप-लिमिटेड प्री-ट्रेनिंग की ओर बदलाव

लेखक तर्क देते हैं कि प्री-ट्रेनिंग मौलिक रूप से स्टेप-लिमिटेड (ऑप्टिमाइजेशन डायनेमिक्स द्वारा बाधित) है न कि डेटा-लिमिटेड। चूंकि डेटासेट साइज स्केलिंग, टाइम स्केलिंग ( $D \propto \tau$ ) का एक माध्यमिक परिणाम है, इसलिए केवल अद्वितीय डेटा का वॉल्यूम बढ़ाने के बजाय अधिक ऑप्टिमाइजेशन स्टेप्स लेकर (संभावित रूप से डेटा का पुन: उपयोग करके) और अधिक लॉस रिडक्शन प्राप्त किया जा सकता है, बशर्ते डेटा की गुणवत्ता और विविधता पर्याप्त हो।

परिणाम (Results)

शोध पत्र व्यापक रूप से फिटिंग के माध्यम से प्रस्तावित यूनिवर्सलिटी क्लास को मान्य करता है:

Pythia मॉडल्स: ट्रेनिंग टाइम, विड्थ और डेप्थ के माध्यम से लॉस डिके, फिक्स्ड-एक्सपोनेंट फॉर्मूला ( $1/3, 1, 1$ ) के साथ अच्छी तरह से संरेखित होता है।
Chinchilla मॉडल्स: डेटा समर्थित करता है कि $1/3$ डेटासेट साइज स्केलिंग और $1/3$ मॉडल साइज स्केलिंग सही है। फिट किए गए गुणांकों द्वारा अनुमानित इष्टतम एस्पेक्ट रेशियो ( $m/\ell \approx 64$ ) वास्तविक चिनचिला मॉडल शेप से निकटता से मेल खाता है। कंप्यूट-ऑप्टिमल पॉइंट्स अनुमानित $N \propto C^{1/2}$ और $L \propto C^{-1/6}$ स्केलिंग का पालन करते हैं।
Farseer मॉडल्स: यह परिवार, जो सख्ती से $m \propto \ell$ का पालन करता है, सटीक रूप से अनुमानित इष्टतम रेखा पर आता है। व्यक्तिगत विड्थ/डेप्थ गुणांकों की पहचान करने में डिजेनरेसी (degeneracy) के बावजूद, लॉस के मॉडल साइज और डेटासेट साइज घटक अभी भी $1/3$ स्केलिंग के साथ अच्छी तरह से सहमत हैं।
गुणांक परिवर्तनशीलता (Coefficient Variability): विभिन्न मॉडल परिवारों (Pythia, GPT-3, Farseer, Chinchilla) के विश्लेषण से पता चलता है कि जबकि एक्सपोनेंट्स स्थिर रहते हैं, गुणांक ( $c_\tau, c_m, c_\ell$ ) और व्युत्पन्न इष्टतम अनुपात भिन्न होते हैं, जो डेटा और आर्किटेक्चरल विकल्पों के प्रति उनकी संवेदनशीलता की पुष्टि करते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि LLMs में निकट-अवधि प्रदर्शन सुधार की कुंजी नए एक्सपोनेंट्स की खोज करने के बजाय गुणांकों को समझना है।

डिज़ाइन प्रिस्क्रिप्शन: गुणांक आर्किटेक्चर डिज़ाइन (जैसे, इष्टतम $m/\ell$ अनुपात निर्धारित करना) और कंप्यूट एलोकेशन (इष्टतम $D/N$ अनुपात निर्धारित करना) के लिए एक सिद्धांत आधारित आधार प्रदान करते हैं।
यूनिवर्सलिटी बनाम डेटा डिपेंडेंस: यह शोध पत्र इस मुख्यधारा के दृष्टिकोण को चुनौती देता है कि लॉस एक्सपोनेंट्स डेटा पावर-लॉ पर निर्भर करते हैं। इसके बजाय, यह तर्क देता है कि एक्सपोनेंट्स रोबस्ट और उच्च-स्तरीय गुणों (Softmax उपयोग, लो-एन्ट्रॉपी टारगेट्स) द्वारा फिक्स्ड हैं, जबकि डेटा संरचनाएं मुख्य रूप से गुणांकों को प्रभावित करती हैं।
सुधार के मार्ग: गुणांकों का बारीकी से परीक्षण करके, शोधकर्ता वर्तमान क्लास के भीतर बेहतर यूनिवर्सलिटी क्लास या सुधार के मार्गों की पहचान कर सकते हैं। शोध पत्र सुझाव देता है कि आर्किटेक्चर (एक्टिवेशन फंक्शन्स, अटेंशन मैकेनिज्म) या डेटा कंपोजिशन को संशोधित करके गुणांकों को बदला जा सकता है, जिससे मौलिक स्केलिंग एक्सपोनेंट्स को बदले बिना लॉस फ्लोर और कंप्यूट एफिशिएंसी में सुधार किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि फिक्स्ड एक्सपोनेंट्स की परिकल्पना के लिए और अधिक सत्यापन की आवश्यकता है, [15–17] से प्राप्त साक्ष्य और वर्तमान अनुभवजन्य फिट इसे प्रशंसनीय बनाते हैं। फलस्वरूप, समुदाय का ध्यान वर्तमान यूनिवर्सलिटी क्लास को परिभाषित करने वाले गुणांकों के लक्षण वर्णन (characterizing) और अनुकूलन (optimizing) की ओर स्थानांतरित होना चाहिए।