📊 statistics

Uniform Scaling Limits in AdamW-Trained Transformers

यह शोध पत्र यह स्थापित करता है कि AdamW-प्रशिक्षित ट्रांसफॉर्मर में छिपी अवस्थाओं (hidden states) और बैकप्रोपैगेटेड चरों (backpropagated variables) की संयुक्त गतिशीलता, जैसे-जैसे गहराई और अटेंशन हेड्स की संख्या बढ़ती है, एक फॉरवर्ड-बैकवर्ड ODE सिस्टम (विशेष रूप से कॉज़ल मास्किंगिंग की अनुपस्थिति में एक McKean-Vlasov ODE) की ओर समान रूप से अभिसरित होती है, जो कवरिंग आर्गुमेंट्स पर निर्भर किए बिना आयाम-स्वतंत्र त्रुटि सीमाएं प्रदान करती है।

मूल लेखक: William Gibson, Christoph Reisinger

प्रकाशित 2026-05-13

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: William Gibson, Christoph Reisinger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Uniform Scaling Limits in AdamW-Trained Transformers" शोध पत्र की सरल भाषा और रचनात्मक उपमाओं (analogies) का हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक अराजक भीड़ से एक सुव्यवस्थित नदी तक

कल्पना कीजिए कि एक Transformer (आधुनिक चैटबॉट्स के पीछे का AI प्रकार) एक विशाल, बहुमंजिला इमारत है।

मंजिलें (Floors): इस इमारत में $L$ मंजिलें (layers) हैं।
कर्मचारी (Workers): प्रत्येक मंजिल पर, $H$ टीमों के कर्मचारी (attention heads) हैं जो नीचे से आ रही जानकारी को देखते हैं।
डेटा (Data): जानकारी "टोकन्स" (शब्द या इमेज पैचेस) की एक धारा है जो इमारत में ऊपर की ओर बढ़ रही है।
प्रशिक्षण (Training): इस इमारत को AdamW नामक ऑप्टिमाइज़र का उपयोग करके "प्रशिक्षित" किया जा रहा है। AdamW को एक बहुत ही सख्त, बुद्धिमान फोरमैन (सुपरवाइजर) के रूप में समझें जो गलतियों को कम करने के लिए श्रमिकों के औजारों को समायोजित करता है, जबकि उनके औजारों के आकार को बहुत बड़ा और अस्थिर होने से रोकने के लिए उन्हें धीरे से सिकोड़ता भी है (इसे weight decay कहा जाता है)।

समस्या:
जब यह इमारत बहुत बड़ी हो जाती है (हजारों मंजिलें और लाखों कर्मचारी), तो हर एक कर्मचारी की गति को ट्रैक करना असंभव हो जाता है। यह एक विशाल रेत के तूफान में रेत के हर एक कण के सटीक पथ को ट्रैक करने की कोशिश करने जैसा है। आमतौर पर, गणितज्ञ कहते हैं, "यदि हम पूरे तूफान को समझना चाहते हैं, तो हमें हर एक कण को गिनना होगा," जिससे गणित इस बात पर निर्भर हो जाता है कि टोकन (grains) की संख्या कितनी है।

बड़ी उपलब्धि (Breakthrough):
यह शोध पत्र सिद्ध करता है कि आपको हर कण को गिनने की आवश्यकता नहीं है। भले ही आपके पास एक अरब टोकन हों, पूरे सिस्टम का व्यवहार एक सुचारू, अनुमानित प्रवाह (flow) में बदल जाता है जो इस बात पर निर्भर नहीं करता कि आपके पास कितने टोकन हैं।

मुख्य उपमा: "इंटरेक्टिंग पार्टिकल सिस्टम" (Interacting Particle System)

लेखक छिपी हुई अवस्थाओं (नेटवर्क के माध्यम से बहने वाले डेटा) को एक इंटरेक्टिंग पार्टिकल सिस्टम (IPS) के रूप में मॉडल करते हैं।

पुराना तरीका: कल्पना कीजिए कि एक कमरा लोगों (टोकन्स) से भरा है जो एक-दूसरे से बात करने की कोशिश कर रहे हैं। यदि आप जानना चाहते हैं कि समूह क्या सोच रहा है, तो आपको हर एक बातचीत को सुनना होगा। यदि कमरा बड़ा होता है, तो गणित कठिन हो जाता है।
नया तरीका: लेखक दिखाते हैं कि यदि आपके पास पर्याप्त लोग हैं, तो आप व्यक्तियों को सुनना बंद कर सकते हैं और केवल कमरे के "औसत वाइब" (average vibe) को सुन सकते हैं।
- व्यक्ति A को व्यक्ति B से बात करते हुए ट्रैक करने के बजाय, आप ट्रैक करते हैं कि "औसत व्यक्ति" "औसत वाइब" के साथ कैसे इंटरैक्ट करता है।
- यह व्यक्तिगत अपडेट के एक अराजक, असतत (discrete) मलबे को डेटा की एक सुचारू, निरंतर "नदी" (River of Data) में बदल देता है।

"यूनिफॉर्म" जादू: इससे कोई फर्क नहीं पड़ता कि आपके पास कितने टोकन हैं

इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा शब्द "Uniform" है।

गणित में, जब आप यह सिद्ध करने की कोशिश करते हैं कि कुछ चीज़ सभी संभावित इनपुट के लिए काम करती है, तो आपको आमतौर पर "सबसे खराब स्थिति" (worst-case scenario) की चिंता करनी पड़ती है। यदि आपके पास 100 टोकन हैं, तो गणित एक चीज़ है। यदि आपके पास 1,000,000 टोकन हैं, तो गणित आमतौर पर बहुत अधिक जटिल हो जाता है, और त्रुटि सीमाएँ (error bounds - कि आपका अनुमान कितना गलत हो सकता है) खराब हो जाती हैं।

शोध पत्र का दावा: लेखक सिद्ध करते हैं कि वास्तविक, अस्त-व्यस्त ट्रांसफार्मर और उनके सुचारू, निरंतर "नदी" मॉडल के बीच की त्रुटि (error) टोकन बढ़ने के साथ बढ़ती नहीं है।
रूपक (Metaphor): कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आमतौर पर, यदि आप अधिक मौसम स्टेशन (टोकन्स) जोड़ते हैं, तो आपका भविष्यवाणी मॉडल अधिक जटिल और हल करने में कठिन हो जाता है। यह शोध पत्र कहता है, "नहीं। एक बार जब आपके पास पर्याप्त स्टेशन हो जाते हैं, तो मौसम का पैटर्न एक सुचारू, अनुमानित वक्र (curve) बन जाता है जिसे गणना करना उतना ही आसान है चाहे आपके पास 10 स्टेशन हों या 10 मिलियन।"

उन्होंने यह "कवरिंग आर्गुमेंट" (जो कि एक शहर में ट्रैफ़िक को समझने के लिए हर एक गली का मानचित्र बनाने जैसा है) नामक गणितीय चाल से बचकर हासिल किया। इसके बजाय, उन्होंने "कंसंट्रेशन ऑफ मेजर" (concentration of measure) नामक तकनीक का उपयोग किया, जो यह पहचानने जैसा है कि एक विशाल भीड़ में, औसत व्यवहार इतना स्थिर होता है कि आउटलेयर्स (outliers) मायने नहीं रखते।

AdamW की भूमिका: "डिकपल्ड" (Decoupled) फोरमैन

यह शोध पत्र विशेष रूप से AdamW पर ध्यान केंद्रित करता है, जो इन मॉडलों को प्रशिक्षित करने के लिए मानक ऑप्टिमाइज़र है।

समस्या: कई गणितीय मॉडलों में, जो "औजार" (पैरामीटर्स) श्रमिक उपयोग करते हैं, वे अनंत रूप से बड़े और अनियंत्रित हो सकते हैं, जिससे गणित बिगड़ जाता है।
समाधान: AdamW में एक विशेष विशेषता है जिसे "डिकपल्ड वेट डिके" (decoupled weight decay) कहा जाता है। यह एक ऐसे फोरमैन की तरह है जो कहता है, "आप गलतियों को ठीक करने के लिए अपने औजारों को समायोजित कर सकते हैं, लेकिन मैं हर दिन आपके औजारों को वापस एक सुरक्षित आकार में धीरे से सिकोड़ दूँगा।"
परिणाम: यह सभी श्रमिकों के औजारों को एक निश्चित, सुरक्षित "बॉक्स" (एक कॉम्पैक्ट सेट) के भीतर रखता है। क्योंकि औजार बहुत अधिक अनियंत्रित नहीं होते, इसलिए गणित स्थिर रहता है, और लेखक यह सिद्ध कर सकते हैं कि उनका "नदी" मॉडल लंबे प्रशिक्षण सत्रों के दौरान भी पूरी तरह काम करता है।

"फ्लो मैप" (Flow Map) और "बैकवर्ड रिवर" (Backward River)

यह शोध पत्र केवल आगे की ओर जाने वाले डेटा (Input $\to$ Output) को ही नहीं देखता है। यह बैकप्रोपैगेशन (मॉडल अपनी गलतियों से कैसे सीखता है) को भी देखता है।

फॉरवर्ड रिवर (Forward River): डेटा इमारत में ऊपर की ओर बहता है।
बैकवर्ड रिवर (Backward River): ग्रेडिएंट्स (सीखी गई सीख) इमारत में नीचे की ओर बहते हैं।
सिस्टम: लेखक दिखाते हैं कि फॉरवर्ड डेटा और बैकवर्ड सबक दोनों ही विपरीत दिशाओं में बहने वाली दो सिंक्रोनाइज्ड (तालमेल वाली) नदियों के साधारण अंतर समीकरणों (Ordinary Differential Equations - ODEs) में परिवर्तित हो जाते हैं।
- इसे विपरीत दिशाओं में बहने वाली दो तालमेल वाली नदियों के रूप में सोचें।
- उन्होंने सिद्ध किया कि वास्तविक कंप्यूटर के असतत चरण (मंजिल से मंजिल तक कूदना) इन गणितीय नदियों के सुचारू प्रवाह के लगभग समान हैं।

मुख्य परिणाम (The Theorem)

यह शोध पत्र एक विशिष्ट सूत्र प्रदान करता है कि वास्तविक ट्रांसफार्मर उनके सुचारू गणितीय मॉडल के कितने करीब है। त्रुटि इन पर निर्भर करती है:

$L$ (Depth): इमारत कितनी ऊँची है।
$H$ (Heads): श्रमिक टीमों की संख्या कितनी है।

जैसे-जैसे इमारत ऊँची होती है और इसमें अधिक टीमें होती हैं, त्रुटि कम होती जाती है। महत्वपूर्ण बात यह है कि टोकनों की संख्या ( $N$ ) त्रुटि सूत्र में दिखाई नहीं देती है।

सरल शब्दों में:
यदि आप अनंत गहराई और अनंत चौड़ाई वाला ट्रांसफार्मर बनाते हैं, जिसे AdamW के साथ प्रशिक्षित किया जाता है, तो इसका व्यवहार पूरी तरह से अनुमानित और सुचारू हो जाता है। आप पूरे सिस्टम को समीकरणों के एक सरल सेट के साथ वर्णित कर सकते हैं, और इससे कोई फर्क नहीं पड़ता कि आप 10 शब्द प्रोसेस कर रहे हैं या 10 बिलियन शब्द; खेल के नियम वही रहते हैं।

योगदान का सारांश

सुचारूता (Smoothness): उन्होंने ट्रांसफार्मर के अराजक, चरण-दर-चरण प्रशिक्षण को एक सुचारू, निरंतर प्रवाह (ODEs) में बदल दिया।
टोकन स्वतंत्रता (Token Independence): उन्होंने सिद्ध किया कि यह सुचारूता इस बात पर निर्भर नहीं करती कि आप मॉडल को कितने टोकन खिला रहे हैं। यह एक दुर्लभ और शक्तिशाली परिणाम है क्योंकि यह टोकनों की संख्या के संबंध में "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को हटा देता है।
AdamW स्थिरता: उन्होंने दिखाया कि जिस तरह से AdamW वेट्स को सिकोड़ता है, वह सिस्टम को स्थिर रखता है, जिससे वे बिना गणित बिगड़े ये परिणाम सिद्ध कर पाते हैं।
डायमेंशन स्वतंत्रता (बोनस): यदि वे AdamW के एक विशिष्ट संस्करण (Blockwise) का उपयोग करते हैं, तो गणित शब्द एम्बेडिंग के आकार (गणित के "शब्दावली आकार") की भी परवाह नहीं करता, जिससे मॉडल और भी अधिक स्केलेबल हो जाता है।

निष्कर्ष:
यह शोध पत्र हमें एक ऐसा गणितीय "लेंस" प्रदान करता है जो हमें पेड़ों के बजाय पूरे जंगल को देखने की अनुमति देता है। यह हमें बताता है कि जैसे-जैसे ये AI मॉडल बड़े होते जा रहे हैं, वे केवल अधिक जटिल नहीं हो रहे हैं; वे वास्तव में अधिक सरल और अधिक अनुमानित होते जा रहे हैं, जो सुचारू नियमों द्वारा संचालित होते हैं जो डेटा की विशाल मात्रा से स्वतंत्र हैं।

तकनीकी सारांश: AdamW-प्रशिक्षित ट्रांसफॉर्मर्स में समान स्केलिंग सीमाएँ (Uniform Scaling Limits)

समस्या विवरण (Problem Statement)
यह शोध पत्र बड़े भाषा मॉडलों (LLMs), विशेष रूप से ट्रांसफॉर्मर्स के प्रशिक्षण गतिकी (training dynamics) को समझने की सैद्धांतिक चुनौती को संबोधित करता है, जब वे गहराई ( $L$ ) और चौड़ाई (अटेंशन हेड्स की संख्या, $H$ ) के रूप में स्केल करते हैं। जबकि अनुभवजन्य स्केलिंग नियम (empirical scaling laws) उद्योग को मॉडल का आकार बढ़ाने के लिए प्रेरित करते हैं, अनंत-गहराई और अनंत-चौड़ाई की सीमा में सामान्यीकरण (generalizability) और मजबूती (robustness) पर डिजाइन विकल्पों के प्रभाव के बारे में एक कठोर सैद्धांतिक समझ अभी भी अपूर्ण है।

मौजूदा साहित्य अक्सर वैश्विक इष्टतमता (global optimality) की ओर ग्रेडिएंट डिसेंट के अभिसरण (convergence) के लिए सीमित मॉडलों (जैसे, Neural ODEs या Mean-Field limits) पर निर्भर करता है। हालाँकि, इन सीमाओं से व्यावहारिक मॉडलों में परिणामों को स्थानांतरित करने के लिए ऐसे अभिसरण बाउंड्स (convergence bounds) की आवश्यकता होती है जो मॉडल के इनपुट पर समान रूप से (uniformly) लागू हों। AdamW ऑप्टिमाइज़र के साथ प्रशिक्षित ट्रांसफॉर्मर्स के संबंध में साहित्य में एक महत्वपूर्ण अंतराल मौजूद है। पिछले कार्य अक्सर ग्रेडिएंट डिसेंट का अनुमान लगाते हैं या यह मान लेते हैं कि पैरामीटर्स परतों के बीच साझा या आश्रित हैं, जो स्वतंत्र और समान रूप से वितरित (i.i.d.) इनिशियलाइजेशन के मानक अभ्यास को प्रतिबिंबित नहीं करता है। इसके अतिरिक्त, सॉफ्टमैक्स सेल्फ-अटेंशन में ग्रेडिएंट्स की क्यूबिक वृद्धि (cubic growth) (जो $Q, K, O, V$ मैट्रिक्स उत्पादों के कारण होती है) सैद्धांतिक गारंटियों को जटिल बनाती है, जिससे अक्सर ऐसे बाउंड्स प्राप्त होते हैं जो प्रशिक्षण चरणों के साथ तेजी से बढ़ते हैं। अंततः, मानक अभिसरण बाउंड्स अक्सर कवरिंग आर्गुमेंट्स (जैसे, डडली का एंट्रॉपी इंटीग्रल थ्योरम) के माध्यम से टोकन की संख्या ( $N$ ) पर निर्भर करते हैं, जो मनमाने इनपुट वितरणों पर समान अभिसरण (uniform convergence) की उनकी प्रयोज्यता को सीमित करता है।

कार्यप्रणाली (Methodology)
लेखक AdamW के साथ प्रशिक्षित एक अनमास्क्ड (unmasked), अटेंशन-ओनली ट्रांसफॉर्मर की हिडन-स्टेट गतिकी को एक इंटरैक्टिंग पार्टिकल सिस्टम (IPS) के रूप में मॉडल करते हैं, जो अटेंशन मैकेनिज्म के माध्यम से जुड़ा हुआ है। विश्लेषण निम्नलिखित चरणों के माध्यम से आगे बढ़ता है:

मीन-फील्ड फॉर्मूलेशन (Mean-Field Formulation): $N$ टोकन और $H$ हेड्स की असतत गतिकी (discrete dynamics) को निरंतर-समय सीमा (continuous-time limit) द्वारा अनुमानित किया जाता है। हिडन स्टेट्स और बैकप्रोपैगेटेड (एडजॉइंट) वेरिएबल्स को फॉरवर्ड-बैकवर्ड ODEs के समाधान की ओर अभिसरित होते हुए दिखाया गया है।
McKean–Vlasov ODEs (MVODEs): जब कॉज़ल मास्किंग (causal masking) अनुपस्थित होती है, तो सीमित प्रणाली को एक McKean–V-Vlasov ODE के रूप में पहचाना जाता है। इस ODE के वेलोसिटी फील्ड को पैरामीटर वितरण पर अपेक्षा (expectation) द्वारा परिभाषित किया जाता है।
AdamW और नॉन-लिनियरिटी को संभालना: कार्यप्रणाली का एक महत्वपूर्ण घटक AdamW ऑप्टिमाइज़र का उपचार है। मानक SGD के विपरीत, AdamW वेट डिके (weight decay) को डिकपल करता है। लेखक इस गुण का लाभ उठाते हुए यह सिद्ध करते हैं कि पैरामीटर मेजर्स का सपोर्ट सभी प्रशिक्षण चरणों में समान रूप से एक कॉम्पैक्ट सेट के भीतर रहता है। यह अटेंशन मैकेनिज्म और उसके डेरिवेटिव्स के लिए ग्लोबल लिप्सचिट्ज़ कॉन्स्टेंट (global Lipschitz constants) की अनुमति देता है, जिससे सेल्फ-अटेंशन में होने वाली क्यूबिक ग्रेडिएंट वृद्धि से जुड़े एक्सपोनेंशियल बाउंड्स के बढ़ने से रोका जा सकता है।
बिना कवरिंग के यूनिफॉर्म कन्वर्जेंस: टोकन की संख्या ( $N$ $N$ ) से स्वतंत्र बाउंड्स प्राप्त करने के लिए, लेखक पारंपरिक कवरिंग आर्गुमेंट्स से बचते हैं। इसके बजाय, वे निम्नलिखित का उपयोग करते हैं:
- कंसन्ट्रेशन ऑफ मेजर (Concentration of Measure): पैरामीटर इनिशियलाइजेशन से जुड़े मार्टिंगेल डिफरेंस के $L^1$ नॉर्म को बाउंड करने के लिए तकनीकों को लागू करना।
- ब्लॉकवाइज़ टेलर एप्रोक्सिमेशन (Blockwise Taylor Approximation): परतों को ब्लॉक्स में विभाजित करना और प्रत्येक ब्लॉक के भीतर फ्लो मैप्स को टेलर एक्सपेंशन का उपयोग करके अनुमानित करना।
- टेन्सर स्ट्रक्चर (Tensor Structure): अटेंशन मैकेनिज्म (जो मेजर्स के लीनियर फंक्शन्स के अनुपात के रूप में व्यक्त किया जाता है) की विशिष्ट बीजगणितीय संरचना का लाभ उठाना, जिससे यह दिखाने में मदद मिलती है कि इनिशियल कंडीशंस के सुप्रीमकम (supremum) को एक परिमित-आयामी स्थान (finite-dimensional space) तक कम किया जा सकता है, जिससे $N$ पर निर्भरता समाप्त हो जाती है।
ब्लॉकवाइज़ AdamW: लेखक एक वेरिएंट (Blockwise AdamW) पेश करते हैं जो पैरामीटर्स के ब्लॉक्स को अलग-अलग रेगुलराइज करता है। यह अनुकूलन यह सुनिश्चित करता है कि प्राप्त बाउंड्स टोकन एम्बेडिंग डायमेंशन ( $d$ ) से भी स्वतंत्र हों।

प्रमुख योगदान (Key Contributions)

यूनिफॉर्म कन्वर्जेंस थ्योरम: मुख्य परिणाम (थ्योरम 7) यह स्थापित करता है कि i.i.d. वितरण से इनिशियलाइज किए गए अनमास्क्ड अटेंशन-ओनली ट्रांसफॉर्मर, इनिशियल कंडीशंस पर $L^2$ में समान रूप से, मीन ODEs के इंटरैक्टिंग पार्टिकल सिस्टम की ओर अभिसरित होता है। अभिसरण दर $O(L^{-1} + L^{-1/3}H^{-1/2})$ है।
टोकन काउंट से स्वतंत्रता: पिछले बाउंड्स के विपरीत जो $\sqrt{\log(N)}$ के साथ स्केल करते हैं या कवरिंग आर्गुमेंट्स के माध्यम से $N$ पर निर्भर करते हैं, प्राप्त बाउंड्स टोकन की संख्या $N$ से स्वतंत्र हैं। इसका अर्थ है कि ये परिणाम प्रशिक्षण डेटा में मौजूद न होने वाले इनिशियल कंडीशंस पर भी लागू होते हैं।
AdamW अनुकूलन: यह कार्य ट्रांसफॉर्मर्स के लिए बड़े-डेप्थ कन्वर्जेंस परिणामों को AdamW के साथ प्रशिक्षित ट्रांसफॉर्मर्स तक विस्तारित करता है। यह प्रदर्शित करता है कि AdamW का डिकपल्ड वेट डिके यह सुनिश्चित करता है कि पैरामीटर्स एक कॉम्पैक्ट सेट के भीतर रहें, जो नॉन-लीनियर अटेंशन मैकेनिज्म की उपस्थिति में ग्लोबल-इन-ट्रेनिंग लिप्सचिट्ज़ निरंतरता प्रदान करता है।
डायमेंशन इंडिपेंडेंस: Blockwise AdamW का उपयोग करके, बाउंड्स को टोकन एम्बेडिंग डायमेंशन $d$ से स्वतंत्र दिखाया गया है।
स्पष्ट डेरिवेटिव्स: पेपर मेजर कंपोनेंट पर अटेंशन मैकेनिज्म के लिए लायन्स के डेरिवेटिव्स (Lions' derivatives) की स्पष्ट गणना करता है, जो सभी $p \in [1, \infty]$ के लिए $p$ -वॉसरस्टीन डिस्टेंस (Wasserstein distance) के सापेक्ष लोकल लिप्सचिट्ज़ निरंतरता स्थापित करता है।

परिणाम (Results)
पेपर सिद्ध करता है कि अटेंशन हेड्स के उचित स्केलिंग और i.i.d. पैरामीटर इनिशियलाइजेशन के तहत, हिडन स्टेट्स और बैकप्रोपैगेटेड वेरिएबल्स की संयुक्त गतिकी एक फॉरवर्ड-बैकवर्ड सिस्टम के ODE समाधान की ओर अभिसरित होती है।

अभिसरण दर (Convergence Rate): डिस्क्रीट ट्रांसफॉर्मर मॉडल और निरंतर मीन-फील्ड लिमिट के बीच की त्रुटि $C(L^{-1} + L^{-1/3}H^{-1/2})$ द्वारा बाउंड की गई है, जहाँ $C$ एक स्थिरांक है जो $N$ से स्वतंत्र है और Blockwise AdamW के तहत $d$ से भी स्वतंत्र है।
एकरूपता (Uniformity): अभिसरण इनिशियल कंडीशंस के कॉम्पैक्ट सेट्स पर समान (uniform) है।
पैरामीटर बाउंड्स: लेखक दिखाते हैं कि AdamW अपडेट्स पैरामीटर्स को सभी प्रशिक्षण चरणों में समान रूप से एक कॉम्पैक्ट सेट $S(R_\theta)$ के भीतर सीमित रखते हैं, जो ग्लोबल लिप्सचिट्ज़ कॉन्स्टेंट स्थापित करने के लिए एक महत्वपूर्ण गुण है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि यह AdamW के साथ प्रशिक्षित ट्रांसफॉर्मर्स के स्केलिंग व्यवहार को समझने के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है। इसका महत्व यहाँ है:

अंतराल को पाटना: यह व्यावहारिक, बड़े पैमाने के ट्रांसफॉर्मर्स की डिस्क्रीट ट्रेनिंग गतिकी को निरंतर मीन-फील्ड लिमिट से जोड़ता है, जिससे विश्लेषण के लिए एक सुलभ सेटिंग मिलती है।
इनपुट साइज के प्रति मजबूती: टोकन की संख्या से स्वतंत्र बाउंड्स स्थापित करके, परिणाम यह सुझाव देते हैं कि मॉडल का सैद्धांतिक व्यवहार इसके विशिष्ट डेटासेट के आकार के बजाय इसकी आर्किटेक्चर और इनिशियलाइजेशन के आंतरिक गुणों पर आधारित है। यह अनदेखे डेटा के लिए सामान्यीकरण (generalization) हेतु विशेष रूप से प्रासंगिक है।
ऑप्टिमाइजेशन स्थिरता: विश्लेषण यह रेखांकित करता है कि AdamW के डिकपल्ड वेट डिके की भूमिका पैरामीटर ग्रोथ को नियंत्रित करने में कितनी महत्वपूर्ण है, जो नॉन-लीनियर अटेंशन मैकेनिज्म की उपस्थिति में लिप्सचिट्ज़ निरंतरता के सैद्धांतिक गारंटियों के लिए आवश्यक है।

लेखक एक ट्रेड-ऑफ (trade-off) स्वीकार करते हैं: अभिसरण दर $O(L^{-1} + L^{-1/3}H^{-1/2})$ , कुछ ResNet अध्ययनों में देखी गई $O(L^{-1} + (LH)^{-1/2})$ दर से थोड़ी धीमी है, जो $N$ से स्वतंत्र समान बाउंड्स प्राप्त करने के लिए किया गया एक समझौता है। वे नोट करते हैं कि इन परिणामों को कॉज़ल मास्किंग (जो लैंग्वेज मॉडलिंग में मानक है) और SDE स्केलिंग रिजीम्स तक विस्तारित करना भविष्य के अनुसंधान के लिए एक खुला क्षेत्र बना हुआ है।