🤖 machine learning

A Training-Time Diagnostic for Generalization via the Log-Alignment Ratio

यह शोध पत्र लॉग-अलाइनमेंट रेशियो (LAR) को प्रस्तुत करता है, जो एक गणनात्मक रूप से कुशल, प्रशिक्षण-समय का नैदानिक (डायग्नोस्टिक) है जो बिना किसी सत्यापन डेटा (वैलिडेशन डेटा) की आवश्यकता के, रटने (मेमोराइजेशन) से सामान्यीकरण (जनरलाइजेशन) में संक्रमण की भविष्यवाणी करने और प्रभावी मॉडल आयाम (डाइमेंशनैलिटी) का अनुमान लगाने के लिए वेट और एक्टिवेशन स्पेक्ट्रा के बीच ओवरलैप को परिमाणित करता है।

मूल लेखक: Ali Shehper, Ashish Vaswani

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ali Shehper, Ashish Vaswani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक बड़ी परीक्षा के लिए पढ़ा रहे हैं। आप यह जानना चाहते हैं कि क्या वे वास्तव में अवधारणाओं को सीख रहे हैं (सामान्यीकरण/generalization) या केवल उत्तर कुंजी को रट रहे हैं (ओवरफिटिंग/रटना)। आमतौर पर, आप यह तभी जान पाते हैं जब आप उन्हें एक अभ्यास टेस्ट देते हैं जिसे उन्होंने पहले नहीं देखा है। लेकिन क्या होगा अगर आप बिना कभी कोई टेस्ट दिए, केवल यह देखकर बता सकें कि वे कैसे पढ़ाई कर रहे हैं?

यह पेपर लॉग-अलाइनमेंट रेशियो (LAR) नामक एक टूल पेश करता है जो AI मॉडल्स के लिए बिल्कुल यही करता है। यह एक "ट्रेनिंग-टाइम डायग्नोस्टिक" है जो स्टेथोस्कोप की तरह काम करता है, जो मॉडल के सीखने के दौरान उसकी धड़कन को सुनता है।

यह कैसे काम करता है, इसका विवरण यहाँ सरल उपमाओं (analogies) के माध्यम से दिया गया है:

1. दो "स्पेक्ट्रम": लाइब्रेरी और पाठक

LAR को समझने के लिए, एक लाइब्रेरी (AI के weights) और पाठकों के एक समूह (input data/activations) की कल्पना करें।

वेट स्पेक्ट्रम (द लाइब्रेरी): AI के ज्ञान को हजारों किताबों वाली एक लाइब्रेरी के रूप में सोचें। कुछ किताबें मोटी और महत्वपूर्ण कहानियों से भरी हैं (उच्च ऊर्जा/high energy), जबकि अन्य पतले पर्चे या खाली पन्ने हैं (कम ऊर्जा/low energy)।
एक्टिवेशन स्पेक्ट्रम (द रीडर्स): डेटा को जो AI देख रहा है, उसे पाठकों के एक समूह के रूप में सोचें। क्या वे सभी कुछ लोकप्रिय किताबों के इर्द-गिर्द ही जमा हैं? या वे बेतरतीब ढंग से बिखरे हुए हैं, हर एक किताब को पढ़ने की कोशिश कर रहे हैं?

LAR इन दोनों के बीच के "ओवरलैप" को मापता है।

उच्च LAR (अच्छा सीखना): पाठक उन कुछ सबसे महत्वपूर्ण किताबों के इर्द-गिर्द इकट्ठा हैं, और लाइब्रेरी ने अपनी ऊर्जा को ठीक उन्हीं किताबों को उभारने के लिए व्यवस्थित किया है। वे पूरी तरह से संरेखित (aligned) हैं। छात्र मुख्य अवधारणाओं पर ध्यान केंद्रित कर रहे हैं।
कम LAR (रटना): पाठक हर जगह बिखरे हुए हैं, हर एक किताब को पढ़ने की कोशिश कर रहे हैं, जिसमें खाली पन्ने भी शामिल हैं। लाइब्रेरी भी फैली हुई है, जो सब कुछ समान रूप से स्टोर करने की कोशिश कर रही है। वे असंतुलित और अराजक हैं। छात्र हर एक बारीक विवरण को रटने की कोशिश कर रहे हैं, यहाँ तक कि शोर (noise) को भी।

2. "ग्रोकिंग" (Grokking) घटना: "अहा!" वाला क्षण

यह पेपर छोटे गणितीय पहेलियों पर इस परीक्षण को करता है जहाँ AI मॉडल अक्सर "ग्रोकिंग" का अनुभव करते हैं। यह एक अजीब क्षण है जहाँ मॉडल लंबे समय तक विफल होता हुआ प्रतीत होता है (केवल उत्तर रट रहा होता है), और फिर अचानक, बिना किसी चेतावनी के, वह इसे "समझ" जाता है और नई समस्याओं को भी पूरी तरह से हल करने लगता है।

"अहा!" से पहले: LAR कम होता है। मॉडल बिखरा हुआ है, हर विशिष्ट उदाहरण को रटने की कोशिश कर रहा है।
"अहा!" के दौरान: LAR तेजी से ऊपर जाता है। मॉडल अचानक महसूस करता है, "ओह, मुझे हर उदाहरण को रटने की ज़रूरत नहीं है; मुझे बस इन कुछ प्रमुख पैटर्न पर ध्यान केंद्रित करने की आवश्यकता है।" "पाठक" और "लाइब्रेरी" अचानक संरेखित हो जाते हैं।
भविदन (The Prediction): पेपर ने पाया कि LAR का मान वास्तव में यह भविष्यवाणी कर सकता है कि मॉडल ने कितने प्रमुख पैटर्न सीख लिए हैं। यह LAR को देखकर यह कहने जैसा है, "आह, इस मॉडल ने ठीक से समझ लिया है कि इसमें 5 मुख्य नियम हैं।"

3. बड़े पैमाने पर परीक्षण: 3 बिलियन पैरामीटर वाला विशालकाय

लेखकों ने इसे एक विशाल भाषा मॉडल (3 बिलियन पैरामीटर्स) पर भी परखा, जो एक बहुत ही बुद्धिमान, लेकिन महंगे छात्र की तरह है।

समस्या: आमतौर पर, यह जानने के लिए कि यह विशाल मॉडल ओवरफिटिंग (रटना) कर रहा है या नहीं, आपको ट्रेनिंग रोकनी पड़ती है और अलग से डेटा पर टेस्ट चलाना पड़ता है। इसमें बहुत समय और पैसा खर्च होता है।
LAR समाधान: पेपर दिखाता है कि जैसे-जैसे मॉडल ओवरफिटिंग के करीब पहुँचता है, LAR तेजी से गिरने लगता है।
- अच्छा सामान्यीकरण (Good Generalization): LAR बढ़ता है, एक शिखर (peak) पर पहुँचता है, और फिर अपेक्षाकृत स्थिर रहता है। मॉडल केंद्रित और स्थिर है।
- ओवरफिटिंग (Overfitting): LAR तेजी से नीचे फिसलने लगता है। मॉडल अपना ध्यान खो रहा है, अपना ध्यान बहुत अधिक फैला रहा है, और शोर (noise) को रटने की कोशिश कर रहा है।

मुख्य अंतर्दृष्टि: आप यह गिरावट ट्रेनिंग के दौरान ही देख सकते हैं। आपको अलग से टेस्ट चलाने की आवश्यकता नहीं है। यह छात्र की आँखों के सुन्न होने और किताब के बजाय दीवार को घूरने के समान है—आप जानते हैं कि वह टेस्ट में फेल होने से पहले ही अपना ध्यान खो रहा है।

4. यह एक बड़ी बात क्यों है?

कोई अतिरिक्त लागत नहीं: LAR की गणना करना अविश्वसनीय रूप से सस्ता है। यह उन नंबरों का उपयोग करता है जो कंप्यूटर पहले से ही सामान्य ट्रेनिंग प्रक्रिया के दौरान कैलकुलेट कर रहा होता है। यह बिना नया थर्मामीटर लिए तापमान चेक करने जैसा है।
किसी "टेस्ट डेटा" की आवश्यकता नहीं: आपको मॉडल की जांच करने के लिए अलग से प्रश्नों का सेट सुरक्षित रखने की आवश्यकता नहीं है। आप केवल ट्रेनिंग प्रक्रिया को देखकर सीखने के तरीके का निर्णय ले सकते हैं।
प्रारंभिक चेतावनी: यह एक संकेत दे सकता है कि मॉडल ओवरफिट होने वाला है, इससे पहले कि वास्तव में ऐसा हो, जिससे विशेषज्ञों को पैसा और समय बचाने के लिए ट्रेनिंग रोकने या सेटिंग्स बदलने में मदद मिलती है।

सारांश

LAR को एक "फोकस मीटर" के रूप में सोचें।

उच्च LAR = मॉडल केंद्रित, व्यवस्थित है और अंतर्निहित नियमों को सीख रहा है (सामान्यीकरण)।
कम LAR = मॉडल बिखरा हुआ, अराजक है और सब कुछ रटने की कोशिश कर रहा है (रटना)।

इस मीटर को देखकर, शोधकर्ता यह बता सकते हैं कि उनका AI वास्तव में सीख रहा है या केवल रट रहा है, और इसके लिए उन्हें महंगे अतिरिक्त टेस्ट चलाने की आवश्यकता नहीं है।

शीर्षक: लॉग-अलाइनमेंट रेश्यो (Log-Alignment Ratio) के माध्यम से सामान्यीकरण (Generalization) के लिए एक प्रशिक्षण-समय डायग्नोस्टिक

समस्या विवरण
जैसे-जैसे न्यूरल नेटवर्क मॉडल और डेटासेट का पैमाना बढ़ता है, प्रशिक्षण (training) की लागत भी बढ़ती जाती है, जिससे प्रशिक्षण की गतिशीलता (training dynamics) का अध्ययन करना और सस्ते डायग्नोस्टिक टूल्स का डिज़ाइन बनाना अधिक महत्वपूर्ण हो जाता है। अभ्यासकर्ताओं (practitioners) को ऐसे मेट्रिक्स की आवश्यकता होती है जो केवल प्रशिक्षण-समय के मात्राओं (quantities) का उपयोग करके ओवरफिटिंग, अस्थिरता या सैचुरेशन जैसी समस्याओं को चिह्नित कर सकें, बिना किसी महंगे होल्ड-आउट वैलिडेशन डेटा पर निर्भर हुए। जबकि पिछले कार्यों ने वेट मैट्रिसेस के स्पेक्ट्रल गुणों (जैसे प्रभावी रैंक, स्टेबल रैंक) या पैरामीटराइजेशन थ्योरी (जैसे मैक्सिमल अपडेट पैरामीटराइजेशन, $\mu$ P) के माध्यम से सामान्यीकरण को समझने की कोशिश की है, मौजूदा मेट्रिक्स अक्सर या तो केवल वेट्स या केवल एक्टिवेशन्स पर ध्यान केंद्रित करते हैं, या उनके लिए पूर्ण सिंगुलर वैल्यू डीकंपोजिशन (SVD) या प्रिंसिपल कंपोनेंट एनालिसिस (PCA) जैसे कम्प्यूटेशनल रूप से महंगे ऑपरेशन्स की आवश्यकता होती है।

कार्यप्रणाली (Methodology)
लेखक लॉग-अलाइनमेंट रेश्यो (LAR) की जांच करते हैं, जिसे मूल रूप से एवरेट एट अल. [2024] द्वारा पैरामीटराइजेशन थ्योरी में एक लेयर के पैरामीटर मैट्रिक्स और उसके इनपुट एक्टिवेशन्स के बीच अलाइनमेंट को मापने के लिए पेश किया गया था। यह पेपर LAR को सैद्धांतिक रूप से पुनर्गठित (reformulate) करता है ताकि एक दूसरा, पहले अनएक्सप्लोर्ड अर्थ प्रकट किया जा सके: यह एक वेट स्पेक्ट्रम ( $p$ ) और एक एक्टिवेशन स्पेक्ट्रम ( $q$ ) के बीच ओवरलैप को मापता है।

परिभाषाएँ:
- मान लीजिए $W$ एक मैट्रिक्स है जिसके सिंगुलर वैल्यूज $s_i$ हैं। वेट स्पेक्ट्रम $p$ को नॉर्मलाइज्ड स्क्वेर्ड सिंगुलर वैल्यूज के रूप में परिभाषित किया गया है: $p_i = s_i^2 / \sum s_j^2$ ।
- $X$ इनपुट्स का एक बैच है। एक्टिवेशन स्पेक्ट्रम $q$ को $W$ के सिंगुलर दिशाओं पर इनपुट्स के नॉर्मलाइज्ड स्क्वेर्ड प्रोजेक्शन्स के रूप में परिभाषित किया गया है: $q_i = \sum_{x \in B} (v_i^\top x)^2 / \sum_{x \in B} \|x\|^2$ ।
पुनर्गठन (Reformulation): लेखक व्युत्पन्न करते हैं कि LAR को इस प्रकार व्यक्त किया जा सकता है:
$\text{LAR} = 1 + \frac{1}{2} \log_n \left( \sum_{i} p_i q_i \right)$
यह फॉर्मूलेशन दिखाता है कि LAR वितरणों $p$ और $q$ के बीच लॉग-ओवरलैप का एक माप है। इसे कोवेरिएंस (covariance) और पियर्सन कोरिलेशन (Pearson correlation) के संदर्भ में भी लिखा जा सकता है:
$\text{LAR} = 1 + \frac{1}{2} \log_n \left( n \cdot \text{cov}(p, q) + \frac{1}{n} \right)$
$\text{LAR} = 1 + \frac{1}{2} \log_n \left( n \sigma_p \sigma_q \text{corr}(p, q) + \frac{1}{n} \right)$
जहाँ $\sigma_p$ और $\sigma_q$ इन वितरणों के "स्प्रेड" (spread) या एकाग्रता (concentration) को दर्शाते हैं।
कम्प्यूटेशनल दक्षता: LAR को फॉरवर्ड पास के दौरान उपलब्ध मात्राओं (मैट्रिक्स नॉर्म्स) से नगण्य ओवरहेड ($O(|B|m + |B|n + mn)$) के साथ कंप्यूट किया जा सकता है, जिसके लिए किसी होल्ड-आउट डेटा या पूर्ण SVD की आवश्यकता नहीं होती है।

मुख्य योगदान (Key Contributions)

वितरणात्मक पुनर्गठन (Distributional Reformulation): यह पेपर प्रदर्शित करता है कि LAR केवल अलाइनमेंट का माप नहीं है, बल्कि वेट और एक्टिवेशन स्पेक्ट्रा के बीच ओवरलैप का एक क्वांटिफायर है। यह समकक्ष सांख्यिकीय रूप (कोवेरिएंस, कोरिलेशन) प्रदान करता है जो इस मेट्रिक के व्यवहार को मौलिक मात्राओं के संदर्भ में व्याख्या योग्य बनाता है।
प्रभावी आयाम भविष्यवाणी (Effective Dimension Prediction): लेखक दिखाते हैं कि जब एक वेट मैट्रिक्स $k$ सिंगुलर दिशाओं पर ऊर्जा केंद्रित करता है और एक्टिवेशन्स उनके साथ अलाइन होते हैं, तो LAR प्रभावी आयाम $k$ के साथ संबंध रखता है: $k \approx n^2(1 - \text{LAR})$ । इस फॉर्मूले को ग्रौकिंग (grokking) प्रयोगों में अनुभवजन्य रूप से सत्यापित किया गया है।
स्केल पर ओवरफिटिंग डायग्नोस्टिक: बड़े पैमाने पर प्री-ट्रेनिंग (3B-पैरामीटर मॉडल) में, यह पेपर स्थापित करता है कि अनएम्बेडिंग (unembedding) LAR सामान्यीकरण के दौरान स्थिर होता है लेकिन ओवरफिटिंग के करीब पहुँचने पर तेजी से गिरता है। गैर-ओवरफिटिंग बेसलाइन से LAR का विचलन सामान्यीकरण गैप (generalization gap) को ट्रैक करता है।
स्पेक्ट्रल स्प्रेड का प्रॉक्सी: अध्ययन पाता है कि ऑप्टिमाइजेशन $p$ और $q$ को अत्यधिक सहसंबंधित (correlated) होने के लिए प्रेरित करता है। फलस्वरूप, LAR इन वितरणों के वेरिएंस (स्प्रेड) के प्रॉक्सी के रूप में कार्य करता है। प्री-ट्रेनिंग में, टॉप सिंगुलर डायरेक्शन हावी होता है, जिससे टॉप कंपोनेंट ( $L_1$ ) का योगदान प्री-ओवरफिट सिग्नेचर का प्राथमिक संकेतक बन जाता है।

प्रायोगिक परिणाम (Experimental Results)
लेखक दो अलग-अलग सेटिंग्स में अपने निष्कर्षों को मान्य करते हैं:

ग्रौकिंग प्रयोग (छोटे एल्गोरिद्मिक कार्य):
- 12 बाइनरी ऑपरेशन टास्क पर 2-लेयर ट्रांसफॉर्मर को प्रशिक्षित किया गया।
- अवलोकन: मेमोराइजेशन चरण के दौरान, LAR कम होता है (जो विसरित/diffuse $p$ और $q$ को दर्शाता है)। जैसे ही मॉडल "ग्रौकिंग" (सामान्यीकरण) की ओर बढ़ता है, LAR बढ़ता है क्योंकि $p$ और $q$ एक साझा सेट ऑफ दिशाओं पर केंद्रित होते हैं।
- आयाम (Dimensionality): LAR-अनुमानित आयाम $k_{pred} = n^2(1 - \text{LAR})$ , फाइनल चेकपॉइंट्स पर $k_{95}$ (वे प्रिंसिपल कंपोनेंट्स जो 95% वेरिएंस समझाते हैं) के साथ कम RMSE के साथ मेल खाता है।
- विभेदन (Differentiation): ग्रौकिंग मॉडल गैर-ग्रौकिंग मॉडल ( $\le 0.65$ ) की तुलना में उच्च अंतिम LAR मान ( $>0.65$ ) प्राप्त करते हैं।
बड़े पैमाने पर प्री-ट्रेनिंग (3B लैंग्वेज मॉडल्स):
- 200M से 100B टोकन तक के डेटासेट्स पर Adam और Muon ऑप्टिमाइज़र का उपयोग करके Gemma-2 आधारित मॉडल्स (3B पैरामीटर्स) को प्रशिक्षित किया गया।
- सामान्यीकरण बनाम ओवरफिटिंग: गैर-ओवरफिटिंग रिजीम में (जैसे 100B टोकन), LAR एक शिखर तक बढ़ता है और फिर धीरे-धीरे घटता है, तथा स्थिर हो जाता है। ओवरफिटिंग रिजीम में (छोटे डेटासेट्स), ओवरफिटिंग स्टेप के करीब पहुँचने पर LAR तेजी से गिरता है।
- जनरलाइजेशन गैप: एक विशिष्ट रन के LAR और बेसलाइन 100B रन (LAR डिफरेंशियल) के बीच का अंतर, जनरलाइजेशन गैप (वैलिडेशन लॉस माइनस ट्रेनिंग लॉस) को बारीकी से दर्शाता है।
- मैकेनिज्म: ओवरफिटिंग से पहले LAR में गिरावट मुख्य रूप से टॉप सिंगुलर कंपोनेंट ( $L_1$ ) द्वारा संचालित होती है। Adam के साथ, यह एक्टिवेशन्स के डिफ्यूजन ( $q_1$ ) द्वारा संचालित होता है; Muon के साथ, इसमें वेट्स ( $p_1$ ) और एक्टिवेशन्स दोनों शामिल होते हैं।

महत्व और दावे (Significance and Claims)
लेखक दावा करते हैं कि LAR सामान्यीकरण के लिए एक व्यावहारिक, कम्प्यूटेशनल रूप से सस्ता और डेटा-मुक्त डायग्नोस्टिक है।

दक्षता: प्रभावी रैंक या अन्य स्पेक्ट्रल मेजर के विपरीत जिनमें SVD की आवश्यकता होती है, LAR को फॉरवर्ड पास के दौरान नगण्य ओवरहेड के साथ कंप्यूट किया जा सकता है।
भविष्यवाणी शक्ति: यह ग्रौकिंग में मेमोराइजेशन से सामान्यीकरण के संक्रमण को सफलतापूर्वक ट्रैक करता है और बड़े पैमाने पर प्री-ट्रेनिंग में ओवरफिटिंग के लिए एक प्रारंभिक चेतावनी संकेत के रूप में कार्य करता है, जिससे संभावित रूप से इवैल्यूएशन-फ्री ट्रेनिंग मेथड्स सक्षम हो सकते हैं।
व्याख्यात्मकता (Interpretability): वेट और एक्टिवेशन स्पेक्ट्रा के स्प्रेड को जोड़कर, LAR यह समझने के लिए एक एकीकृत दृष्टिकोण प्रदान करता है कि कैसे ऑप्टिमाइजेशन डायनेमिक्स (स्पेक्ट्रा का कंसंट्रेशन बनाम डिफ्यूजन) मॉडल के सामान्यीकरण से संबंधित हैं।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि उनके साक्ष्य सहसंबंधी (correlational) हैं, वे मुख्य रूप से अनएम्बेडिंग लेयर पर ध्यान केंद्रित करते हैं, और उन्होंने अभी तक यह परीक्षण नहीं किया है कि क्या सीधे स्पेक्ट्रल स्प्रेड को रेगुलराइज करने से ओवरफिटिंग को रोका जा सकता है। वे सुझाव देते हैं कि भविष्य के कार्य में अन्य मैट्रिक्स प्रकारों के लिए LAR और विभिन्न बैच साइज़ के तहत इसके व्यवहार का अन्वेषण किया जाना चाहिए।

1. दो "स्पेक्ट्रम": लाइब्रेरी और पाठक

2. "ग्रोकिंग" (Grokking) घटना: "अहा!" वाला क्षण

3. बड़े पैमाने पर परीक्षण: 3 बिलियन पैरामीटर वाला विशालकाय

4. यह एक बड़ी बात क्यों है?

सारांश

इसी तरह के और पेपर