🤖 machine learning

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

यह शोध पत्र ट्रांसफार्मर वेट मैग्नीट्यूड (transformer weight magnitudes) के निदान के लिए एक टू-पैरामीटर वेइबुल डिस्ट्रीब्यूशन फ्रेमवर्क प्रस्तुत करता है, जो यह प्रकट करता है कि फीड-फॉरवर्ड और आउटपुट प्रोजेक्शन लेयर्स आर्किटेक्चर की परवाह किए बिना लगातार एक विशिष्ट शेप पैरामीटर (k ≈ 1.20) पर अभिसरित होते हैं, जबकि इनपुट प्रोजेक्शन स्टोरेज मैकेनिज्म के आधार पर विचलित होते हैं और स्केल पैरामीटर (lambda) प्रशिक्षण की प्रगति को ट्रैक करता है।

मूल लेखक: Tiexin Ding

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tiexin Ding

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ट्रांसफॉर्मर मॉडल (वही AI जो चैटबॉट्स और कोड जनरेटर को शक्ति देता है) की कल्पना एक विशाल, जटिल ऑर्केस्ट्रा के रूप में करें। वर्षों से, शोधकर्ता यह समझने की कोशिश कर रहे हैं कि यह ऑर्केस्ट्रा कैसे सीखता है—या तो पूरे समूह की "ध्वनि" को सुनकर या संगीत के कागज़ को एक धुंधले पन्ने के रूप में देखकर।

यह शोध पत्र सुनने का एक नया तरीका पेश करता है: व्यक्तिगत नोट्स के लिए एक सूक्ष्मदर्शी (microscope)। पूरे ऑर्केस्ट्रा को देखने के बजाय, लेखकों ने प्रत्येक वाद्य यंत्र के तार के "भार" (शक्ति) की जांच करने के लिए एक उपकरण विकसित किया है। उन्होंने पाया कि ये तार केवल बेतरतीब ढंग से मजबूत या कमजोर नहीं होते; वे एक बहुत ही विशिष्ट, पूर्वानुमेय पैटर्न का पालन करते हैं जो सटीक रूप से प्रकट करता है कि AI क्या कर रहा है।

यहाँ सरल उपमाओं का उपयोग करके उनकी खोज का विवरण दिया गया है:

1. वह "रूलर" (Scale) जो उन्होंने बनाया (वेबुल डिस्ट्रीब्यूशन - Weibull Distribution)

लेखकों ने वेबुल डिस्ट्रीब्यूशन नामक एक गणितीय आकार का उपयोग किया। इसे एक विशेष रूलर के रूप में समझें जिसमें दो सेटिंग्स हैं:

आकार ( $k$ ): यह भार के "व्यक्तित्व" को मापता है। क्या वितरण सुचारू और समान है, या इसमें जंगली, भारी पूंछ (अत्यधिक आउटलेयर्स) हैं?
पैमाना ( $\lambda$ ): यह भार के "वॉल्यूम" या आकार को मापता है।

जादुई एंकर (The Magic Anchor):
जब AI प्रशिक्षण शुरू करता है (सीखने से पहले), तो इसके भार यादृच्छिक (random) रूप से सेट किए जाते हैं, जैसे कि एक गॉसियन बेल कर्व। लेखकों ने सिद्ध किया कि यदि आप उनके रूलर के साथ इस शुरुआती अवस्था को मापते हैं, तो इसका "आकार" ( $k$ ) हमेशा एक विशिष्ट संख्या पर आता है: 1.20।

1.20 को "शून्य" के रूप में सोचें। यह आधार रेखा है। यदि AI का कोई हिस्सा 1.20 पर ही रहता है, तो इसने अपना मौलिक स्वभाव नहीं बदला है। यदि यह 1.20 से दूर जाता है, तो कुछ दिलचस्प हुआ है।

2. दो प्रकार के संगीतकार

सबसे रोमांचक खोज यह है कि AI के आंतरिक हिस्से स्वाभाविक रूप से दो अलग-अलग समूहों में विभाजित हो जाते हैं, जैसे कि एक ऑर्केस्ट्रा के दो अलग-अलग विभाग:

समूह A: "ट्रांसमिटर्स" (स्थिर खिलाड़ी - The Transmitters)

वे कौन हैं: वे हिस्से जो मॉडल के माध्यम से सूचना को आगे बढ़ाते हैं (जैसे फीड-फॉरवर्ड नेटवर्क और अटेंशन आउटपुट)।
वे क्या करते हैं: वे एक विश्वसनीय राजमार्ग की तरह कार्य करते हैं। वे डेटा को बिंदु A से बिंदु B तक ले जाते हैं बिना सड़क के स्वरूप को बदले।
परिणाम: प्रशिक्षण के बाद भी, उनका "आकार" ( $k$ ) शुरुआती 1.20 के अविश्वसनीय रूप से करीब रहता है। वे स्थिर, सुसंगत हैं और अपना व्यक्तित्व नहीं बदलते।
उपमा: कल्पना कीजिए कि एक डिलीवरी ट्रक हर दिन एक ही मार्ग पर चलता है। वह बड़ा हो सकता है (अधिक कार्गो ले जा सकता है), लेकिन वह अभी भी वही ट्रक है।

समूह B: "सेलेक्टर्स" (विशेषज्ञ शिकारी - The Selectors)

वे कौन हैं: वे हिस्से जो यह तय करते हैं कि किसे ध्यान देना है (अटेंशन मैकेनिज्म में क्वेरी और की प्रोजेक्शन)।
वे क्या करते हैं: उन्हें चयनात्मक होना पड़ता है। उन्हें कुछ संकेतों को बढ़ाना और दूसरों को अनदेखा करना होता है ताकि वे स्मार्ट निर्णय ले सकें।
परिणाम: उनका आकार ( $k$ ) 1.20 से दूर चला जाता है, आमतौर पर नीचे की ओर (0.76 और 1.16 के बीच)। इसका मतलब है कि वे "भारी पूंछ" विकसित करते हैं—कुछ अत्यधिक, सुपर-स्ट्रॉन्ग कनेक्शन उभरते हैं जबकि बाकी सामान्य रहते हैं।
उपमा: कल्पना कीजिए कि एक जासूस जो एक विस्तृत जाल के साथ शुरुआत करता है। जैसे-जैसे वह सीखता है, वह विस्तृत जाल फेंकना बंद कर देता है और इसके बजाय कुछ अविश्वसनीय रूप से तेज, विशिष्ट उपकरण विकसित करता है ताकि विशिष्ट सुरागों को पकड़ा जा सके। उनका "व्यक्तित्व" शुरुआती बिंदु से नाटकीय रूप से बदल जाता है।

3. आर्किटेक्चर खेल को कैसे बदलता है

शोध पत्र ने पाया कि AI आर्किटेक्चर का प्रकार यह तय करता है कि "सेलेक्टर्स" कितना विचलित होते हैं:

अलग हेड (MHA): यदि AI के पास कई स्वतंत्र "हेड्स" हैं (जैसे OLMo), तो सेलेक्टर्स बेकाबू हो जाते हैं। उनका आकार सबसे अधिक गिरता है (लगට ~0.76)। वे बहुत विशिष्ट हो जाते हैं।
ग्रुप हेड (GQA): यदि AI अपने हेड्स को एक साथ समूहबद्ध करता है (जैसे LLaMA-3 या Mistral), तो सेलेक्टर्स कम चरम होते हैं। वे विचलित तो होते हैं, लेकिन उतना नहीं (लगभग 1.10–1.16)। यह एक टीम की तरह है जहाँ जासूस नोट्स साझा करते हैं; वे सभी पूरी तरह से अलग दिशाओं में नहीं जा सकते।
मर्ज हेड (Pythia): यदि AI उन्हें पूरी तरह से मर्ज कर देता है, तो वे दोनों शैलियों के बीच एक संक्रमण के रूप में बीच में बैठते हैं।

4. वॉल्यूम बनाम व्यक्तित्व

लेखकों ने खोजा कि उनके रूलर की दो सेटिंग्स दो अलग-अलग कहानियाँ बताती हैं:

पैमाना ( $\lambda$ ) आपको बताता है कि प्रशिक्षण कितना आगे बढ़ चुका है। जैसे-जैसे AI सीखता है, भार का "वॉल्यूम" बढ़ता है। यह ऑर्केस्ट्रा के और तेज़ होने जैसा है। यह वृद्धि एक पूर्वानुमेय गणितीय नियम का पालन करती है जो सीखने की दर (learning rate) और "वेट डिके" (weight decay) से संबंधित है।
आकार ( $k$ ) आपको बताता है कि वह हिस्सा क्या करता है। यह बताता है कि कोई हिस्सा एक "ट्रांसमिटर" (स्थिर) है या एक "सेलेक्टर" (विशेषज्ञ)।

5. "सुपर-वेट्स" (ड्रैगन किंग्स - The Super-Weights)

शोध पत्र ने यह भी देखा कि जबकि अधिकांश भार सामान्य रहते हैं, कुछ चुनिने हुए व्यक्तिगत भार विशाल आउटलेयर्स (जिन्हें "सुपर-वेट्स" कहा जाता है) बन जाते हैं।

उपमा: कल्पना कीजिए कि एक कोरस है जहाँ 99% गायक सामान्य वॉल्यूम पर गा रहे हैं, लेकिन एक गायक अचानक अन्य सभी की तुलना में 100 गुना अधिक तेज़ चिल्लाने लगता है।
निष्कर्ष: ये "चिल्लाने वाले" हर मॉडल में दिखाई देते हैं। हालाँकि, लेखकों के "मिडल-80% नियम" (मापते समय सबसे तेज़ और सबसे शांत 10% को अनदेखा करना) ने उन्हें इन चिल्लाने वाले भारों को अनदेखा करने और फिर भी कोरस के वास्तविक चरित्र का सटीक रीडिंग प्राप्त करने की अनुमति दी। यह साबित करता है कि "ट्रांसमिटर्स" स्थिर रहते हैं भले ही कुछ "विद्रोही" भार पागल हो जाएं।

सारांश

यह शोध पत्र हमें एक नया नैदानिक उपकरण (diagnostic tool) देता है। AI के भार के "आकार" (Shape) और "पैमाने" (Scale) को मापकर, हम:

पहचान सकते हैं कि AI के कौन से हिस्से स्थिर (ट्रांसमिटर्स) हैं और कौन से विशेषज्ञ बनने के लिए सीख रहे हैं (सेलेक्टर्स)।
देख सकते हैं कि AI का आर्किटेक्चर (इसे कैसे बनाया गया है) इन हिस्सों को अलग-अलग व्यवहार करने के लिए कैसे मजबूर करता है।
ट्रैक कर सकते हैं कि AI की प्रगति कैसी है, इसके "वॉल्यूम" को बढ़ते हुए देखकर, बिना उन कुछ "विद्रोही" भारों से भ्रमित हुए जो सबसे तेज़ चिल्लाते हैं।

यह AI प्रशिक्षण के ब्लैक बॉक्स को एक पठनीय मानचित्र में बदल देता है, जो हमें दिखाता है कि सीखना कहाँ हो रहा है और मॉडल अपने ज्ञान को कैसे संरचित कर रहा है।

तकनीकी सारांश: ट्रांसफार्मर वेट डिस्ट्रीब्यूशन के निदान के लिए एक टू-पैरामीटर वेइबुल फ्रेमवर्क

समस्या और प्रेरणा

ट्रांसफार्मर ट्रेनिंग डायनेमिक्स के लिए वर्तमान नैदानिक उपकरण (diagnostic tools) उन ऑर्थोगोनल स्पेस में संचालित होते हैं जो सीखे गए वेट्स की सूक्ष्म संरचना को पकड़ने में विफल रहते हैं। वेटवॉचर (WeightWatcher) और एचटी-एसआर (HT-SR) जैसी विधियाँ आइगेनवैल्यू स्पेक्ट्रा का विश्लेषण करती हैं, जो सिंगुलर वैल्यू डिस्ट्रीब्यूशन में मैट्रिक्स तत्वों को संकुचित कर देती हैं, जबकि अल्फा डिके (AlphaDecay) टॉप सिंगुलर वैल्यू ड्रिफ्ट को ट्रैक करती है। मैसिव एक्टिवेशन विश्लेषण एक्टिवेशन मैग्नीट्यूड को मापता है। इनमें से कोई भी दृष्टिकोण वेट मैग्नीट्यूड के एलिमेंट-वाइज डिस्ट्रीब्यूशन ( $|W_{ij}|$ ) को सीधे कैरेक्टराइज नहीं करता है, जिसे लेखक मॉडल द्वारा सीखी गई सबसे सूक्ष्म (granular) प्रस्तुति मानते हैं।

लेखकों का तर्क है कि एग्रीगेट स्पेक्ट्रल स्टैटिस्टिक्स एक ही मॉडल के भीतर कार्यात्मक घटकों (जैसे FFN लेयर्स बनाम अटेंशन प्रोजेक्शन) के बीच व्यवस्थित अंतर को छिपा देते हैं। इसे संबोधित करने के लिए, पेपर एक्सट्रीम-वैल्यू थ्योरी से संबंधित एक दो-पैरामीटर परिवार, वेइबुल डिस्ट्रीब्यूशन (Weibull distribution) को एलिमेंट-वाइज वेट मैग्नीट्यूड के लिए एक नैदानिक लेंस के रूप में लागू करने का प्रस्ताव करता है।

कार्यप्रणाली (Methodology)

वेइबुल डायग्नोस्टिक फ्रेमवर्क

यह फ्रेमवर्क एक शेप पैरामीटर $k$ और एक स्केल पैरामीटर $\lambda$ द्वारा परिभाषित वेइबुल डिस्ट्रीब्यूशन पर वेट एलिमेंट्स के एब्सोल्यूट वैल्यूज $|w|$ को फिट करने पर आधारित है:
$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$

1. इनिशियलाइजेशन एंकर (The Initialization Anchor):
इनिशियलाइजेशन के समय, ट्रांसफार्मर वेट्स i.i.d. गॉसियन ( $w \sim \mathcal{N}(0, \sigma_{init}^2)$ ) होते हैं, जिसका अर्थ है कि $|w|$ एक हाफ-नॉर्मल (Half-Normal) डिस्ट्रीब्यूशन का पालन करता है। एक विशिष्ट प्रोटोकॉल का उपयोग करके इस हाफ-नॉर्मल डिस्ट्रीब्यूशन को वेइबुल मॉडल में फिट करके, लेखक एक यूनिवर्सल एंकर स्थापित करते हैं:

शेप ( $k_0$ ): लगभग 1.20। यह मान $\sigma_{init}$ से स्वतंत्र है और एक डाइमेंशनलेस मेजरिंग स्टिक के रूप में कार्य करता है। किसी भी प्रशिक्षित मॉडल में $k_0 \approx 1.20$ से कोई भी विचलन ट्रेनिंग डायनेमिक्स के कारण होता है।
स्केल ( $\lambda_0$ ): लगभग $0.8875 \cdot \sigma_{init}$ ।

2. फिटिंग प्रोटोकॉल (मिडल-80% ट्रिम):
आउटलेयर्स और न्यूमेरिकल प्रिसिजन आर्टिफैक्ट्स के विरुद्ध मजबूती सुनिश्चित करने के लिए, लेखक एक मिडल-80% ट्रिम प्रोटोकॉल का उपयोग करते हैं। फिटिंग से पहले, $|W_{ij}|$ के सबसे छोटे और सबसे बड़े 10% मानों को हटा दिया जाता है।

सैद्धांतिक औचित्य: वेइबुल प्रोबेबिलिटी कोऑर्डिनेट्स में, सैंपलिंग नॉइज़ वेरिएंस पूंछों (tails) पर ( $p \to 0$ और $p \to 1$ ) डाइवर्ज होता है और $p \approx 0.80$ के पास न्यूनतम होता है। निचला 10% हिस्सा इष्टतम केंद्रीय क्षेत्र की तुलना में ~6.5 $\times$ अधिक शोर (noise) वहन करता है।
प्रभाव: पूर्ण डेटा को फिट करने से $k$ का व्यवस्थित रूप से 3–7% कम अनुमान लगता है, जो अक्सर मॉडल्स को अपेक्षित "ट्रांसमिशन" बैंड से बाहर धकेल देता है। 80% ट्रिम डिस्ट्रीब्यूशन के "बॉडी" को अलग करता है, जिससे मेट्रिक हेवी-टेल्ड आउटलेयर्स (सुपर-वेट्स) के प्रति मजबूत बनता है।

3. फंक्शनल क्लासिफिकेशन:
फ्रेमवर्क उनके $k$ ट्राजेक्टरीज के आधार पर ट्रांसफार्मर कंपोनेंट्स को दो अलग-अलग वर्गों में विभाजित करता है:

ट्रांसमिशन क्लास (Transmission Class): FFN मॉड्यूल्स ( $W_{gate}, W_{up}, W_{down}$ या $W_{FFN\_in}, W_{FFN\_out}$ ) और अटेंशन आउट प्रोजेक्शंस ( $W_o$ )।
सिलेक्शन क्लास (Selection Class): अटेंशन इनपुट प्रोजेक्शंस ( $W_q, W_k$ )।

मुख्य निष्कर्ष (Key Findings)

इस फ्रेमवर्क को 7 आर्किटेक्चरल फैमिली (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) के 12 मॉडल एंट्रीज पर लागू किया गया, जिनके पैरामीटर काउंट 70M से 14B तक हैं।

1. ट्रांसमिशन बैंड (स्थिरता)

ट्रांसमिशन क्लास के घटक अपने शेप पैरामीटर $k$ में उल्लेखनीय स्थिरता प्रदर्शित करते हैं।

सभी आर्किटेक्चर, एक्टिवेशन फंक्शन्स (SwiGLU, GeLU), नॉर्मलाइजेशन प्लेसमेंट्स (Pre-LN, QK-Norm), और मॉडल साइज़ के बावजूद, इन घटकों के लिए मीडियन टर्मिनल $k$ संकीर्ण अंतराल $[1.186, 1.204]$ में आता है।
12 एंट्रीज के बीच कोएफिशिएंट ऑफ वेरिएशन (CV) केवल 0.51% है।
यह स्थिरता बताती है कि ये घटक इनिशियलाइजेशन डिस्ट्रीबशनल शेप को बनाए रखते हैं, और सूचना के वाहक (conduits) के रूप में कार्य करते हैं न कि चयनात्मक फिल्टर के रूप में।

2. सिलेक्शन क्लास (विचलन)

सिलेक्शन क्लास के घटक ( $W_q, W_k$ ) व्यवस्थित रूप से इनिशियलाइजेशन एंकर ( $k_0 \approx 1.20$ ) से विचलित होते हैं, और हेवी टेल्स (लोअर $k$ ) विकसित करते हैं। यह विचलन आर्किटेक्चर-डिपेंडेंट है:

सेपरेटली-स्टोर्ड MHA (OLMo-1, OLMo-2): सबसे गहरा ड्रिफ्ट दिखाता है, जिसमें मीडियन टर्मिनल $k \in [0.76, 0.99]$ है।
ग्रुपेड-क्वेरी अटेंशन (GQA) (LLaMA-3, Mistral, Qwen2.5/3): हल्का ड्रिफ्ट दिखाता है, जिसमें मीडियन टर्मिनल $k \in [1.10, 1.16]$ है।
विलिट $W_{qkv}$ (Pythia): एक ट्रांजिशनल ज़ोन $k \in [1.05, 1.18]$ में स्थित है, जो डाइमेंशनलेस ट्रेनिंग बजट $T/\tau$ को मोनोटोनिकली ट्रैक करता है।
मैकेनिज्म: लेखक इस ड्रिफ्ट का श्रेय कार्यात्मक आवश्यकता (स्पार्स अटेंशन), AdamW साइन-डेसेंट डायनेमिक्स, और सॉफ्टमैक्स सैचुरेशन फीडबैक को देते हैं। GQA में K-हेड शेयरिंग का आर्किटेक्चरल प्रतिबंध व्यक्तिगत प्रोजेक्शन के लिए उपलब्ध स्पेशलाइजेशन फ्रीडम को यांत्रिक रूप से सीमित करता है, जिसके परिणामस्वरूप MHA की तुलना में कम गंभीर ड्रिफ्ट होता है।

3. स्केल पैरामीटर ( $\lambda$ ) और ट्रेनिंग प्रोग्रेस

जबकि $k$ फंक्शनल क्लास को लेबल करता है, स्केल पैरामीटर $\lambda$ ट्रेनिंग प्रोग्रेस को लेबल करता है।

ट्रेनिंग के दौरान $\lambda$ में काफी वृद्धि होती है (1.4 $\times$ से 7.8 $\times$ के कारकों द्वारा)।
Pythia फैमिली के भीतर, ट्रांसमिशन कंपोनेंट्स के लिए टर्मिनल मीन $\lambda$ , $\sqrt{\eta / \lambda_{wd}}$ के साथ स्केल होता है (पियर्सन $r = 0.94$ ), जो Fan et al. [2025] के AdamW स्टेडी-स्टेट स्केलिंग विश्लेषण के साथ दिशात्मक निरंतरता दिखाता है।
$\lambda$ सभी कंपोनेंट टाइप्स में समान रूप से बढ़ता है (उदाहरण के लिए, $\lambda_O$ और $\lambda_{FFN\_out}$ अत्यधिक सह-संबंधित हैं, $r=0.9967$ ), जो रेसिडुअल स्ट्रीम में कपल्ड डायनेमिक्स को दर्शाता है।

4. सुपर-वेट्स और टेल बिहेवियर

जबकि बॉडी ऑफ डिस्ट्रीब्यूशन (80% ट्रिम द्वारा फिट किया गया) वेइबुल-कंफॉर्मिंग रहता है, लेखक प्रशिक्षित मॉडल्स की एक्सट्रीम टेल्स में आइसोलेटेड "सुपर-वेट्स" (ड्रैगन-किंग आउटलेयर्स) के उभरने को देखते हैं।

ये आउटलेयर्स हर आर्किटेक्चरल फैमिली में दिखाई देते हैं, जिनका मैक्स-टू-q99 रेश्यो ~7 $\times$ से लेकर 100 $\times$ से अधिक तक है।
मिडल-80% प्रोटोकॉल विशेष रूप से इन आउटलेयर्स के प्रति मजबूत बनाने के लिए डिज़ाइन किया गया है, जिससे यह सुनिश्चित होता है कि डायग्नोस्टिक $k$ एक्सट्रीम वैल्यूज द्वारा खींचे जाने के बजाय बल्क डिस्ट्रीब्यूशन को दर्शाता है।

योगदान (Contributions)

एक डायग्नोस्टिक फ्रेमवर्क: लेखक एक सिद्धांत आधारित इनिशियलाइजेशन एंकर ( $k_0 \approx 1.20$ ) और एक नॉइज़-ऑप्टिमल फिटिंग प्रोटोकॉल (मिडल-80% ट्रिम) के साथ वेइबुल डिस्ट्रीब्यूशन का उपयोग करके एक विधि को औपचारिक रूप देते हैं। यह फ्रेमवर्क पहचानता है कि $W_q$ और $W_k$ व्यवस्थित रूप से इनिशियलाइजेशन एंकर से विचलित होते हैं, और विचलन की तीव्रता स्टोरेज आर्किटेक्चर द्वारा आकार लेती है।
क्रॉस-फैमिली एम्पिरिकल एविडेंस: पेपर 12 मॉडल्स के माध्यम से एक मजबूत "ट्रांसमिशन/सिलेक्शन" विभाजन को दस्तावेजीकृत करता है। यह बिना किसी ट्यूनेबल पैरामीटर के नैरो FFN ट्रांसमिशन बैंड और आर्किटेक्चर-डिपेंडेंट सिलेक्शन ड्रिफ्ट को सफलतापूर्वक दोहराता है।
ओपन-सोर्स टूल्स: लेखक फिटिंग और बेंचमार्किंग के लिए आठ डायग्नोस्टिक फंक्शन्स (F1–F8) को लागू करने वाली एक पायथन लाइब्रेरी npm-weibull-py v0.4 के साथ-साथ 12 मॉडल एंट्रीज का एक बेंचमार्क डेटाबेस DATABASE_v9_1 जारी करते हैं।

महत्व और सीमाएं (Significance and Limitations)

महत्व:
पेपर का दावा है कि एलिमेंट-वाइज स्टैटिस्टिक्स ऐसी संरचना को प्रकट करते हैं जिसे स्पेक्ट्रल मेथड्स नहीं पकड़ पाते। अपने कंपोनेंट्स को ट्रांसमिशन और सिलेक्शन क्लासेस में अलग करके, फ्रेमवर्क ट्रेनिंग डायनेमिक्स का एक ग्रैनुलर व्यू प्रदान करता है जहाँ विभिन्न लेयर्स और प्रोजेक्शन मैट्रिसेस अलग-अलग ट्राजेक्टरीज के साथ विकसित होते हैं। दो वेइबुल पैरामीटर्स स्वतंत्र जानकारी ले जाते हैं: $k$ फंक्शनल रोल (ट्रांसमिशन बनाम सिलेक्शन) को पहचानता है, जबकि $\lambda$ मैग्नीट्यूड के ट्रेनिंग प्रोग्रेस को ट्रैक करता है।

सीमाएं (लेखकों द्वारा बताई गई):

कॉज़ल मैकेनिज्म: जबकि पेपर सिलेक्शन ड्रिफ्ट के लिए पांच संभावित ड्राइविंग फोर्सेज (फंक्शनल नेसेसिटी, साइन-डेसेंट, सॉफ्टमैक्स सैचुरेशन, रेसिडुअल कपलिंग, ट्रेनिंग बजट) की पहचान करता है, यह प्रत्येक के योगदान को अलग करने के लिए नियंत्रित एब्लेशन प्रयोग प्रदान नहीं करता है। MHA/GQA आर्किटेक्चर और ड्रिफ्ट की गंभीरता के बीच संबंध अवलोकन संबंधी (observational) है।
क्रॉस-फैमिली स्केलिंग: $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ स्केलिंग लॉ Pythia फैमिली के भीतर मान्य है, लेकिन अलग-अलग इनिशियलाइजेशन रेसिपी और नॉर्मलाइजेशन प्लेसमेंट जैसे कन्फाउंडिंग फैक्टर्स के कारण अन्य परिवारों में यह केवल अवलोकन संबंधी है।
डाउनस्ट्रीम परफॉरमेंस: पेपर वेट्स की सांख्यिकीय संरचना को कैरेक्टराइज करता है, लेकिन यह $(k, \lambda)$ सिग्नेचर और डाउनस्ट्रीम टास्क परफॉरमेंस के बीच सीधा संबंध स्थापित नहीं करता है।
डेटा कवरेज: Qwen2.5-14B के लिए, GPU मेमोरी बाधाओं के कारण पहले 27/48 लेयर्स तक ही प्रति-ब्लॉक आंकड़े सीमित हैं, हालांकि गुणात्मक दावे मान्य होने की उम्मीद है।

लेखक निष्कर्ष निकालते हैं कि यह फ्रेमवर्क ट्रांसफार्मर ट्रेनिंग को डायग्नोस करने के लिए एक नया, आर्किटेक्चर-इंडिपेंडेंट मेजरिंग स्टिक प्रदान करता है, जो यह प्रकट करता है कि "सिलेक्शन" कंपोनेंट्स ( $W_q, W_k$ ) संरचनात्मक परिवर्तन के प्राथमिक स्थल हैं, जबकि "ट्रांसमिशन" कंपोनेंट्स सांख्यिकीय रूप से स्थिर रहते हैं।