🔬 physics

Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail

यह शोध पत्र "स्पेक्ट्रल पोजीशन" (spectral position) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि बड़े न्यूरल मॉडल एम्पिरिकल न्यूरल टेंगेंट कर्नेल (empirical neural tangent kernel) की स्पेक्ट्रल टेल (spectral tail) में अपनी सीखने की क्षमता का विस्तार करके बेहतर प्रदर्शन प्राप्त करते हैं, जो एक ऐसी क्षमता है जिसे फीचर लर्निंग द्वारा सक्षम बनाया जाता है जो उन कमजोर संकेतों तक पहुँचने के लिए ग्रेडिएंट्स को अनुकूल रूप से प्रवर्धित करती है जो छोटे मॉडलों के लिए अप्राप्य होते हैं।

मूल लेखक: Konstantin Nikolaou, Jonas Scheunemann, Sven Krippendorf, Samuel Tovey, Christian Holm

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Konstantin Nikolaou, Jonas Scheunemann, Sven Krippendorf, Samuel Tovey, Christian Holm

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: बड़े मॉडल बेहतर क्यों सीखते हैं

कल्पना कीजिए कि आप एक नई भाषा सीखने की कोशिश कर रहे हैं।

छोटे मॉडल उन छात्रों की तरह हैं जो केवल सबसे स्पष्ट और सामान्य शब्दों (जैसे "नमस्ते," "बिल्ली," "दौड़ना") को सीखते हैं। एक बार जब वे इन्हें सीख लेते हैं, तो वे सुधार करना बंद कर देते हैं क्योंकि वे जटिल व्याकरण या दुर्लभ मुहावरों को नहीं समझ पाते।
बड़े मॉडल उन छात्रों की तरह हैं जो न केवल सामान्य शब्दों को जानते हैं, बल्कि कठिन शब्दावली, जटिल वाक्य संरचनाओं और सूक्ष्म बारीकियों को सीखने के लिए गहराई तक खुदाई भी करते रहते हैं।

यह शोध पत्र पूछता है: बड़े मॉडल लगातार सीखते क्यों रहते हैं जबकि छोटे मॉडल रुक जाते हैं?

लेखकों ने एक विशेष क्षमता की खोज की है जिसे वे "स्पेक्ट्रल रीच" (Spectral Reach) कहते हैं। यह एक लंबी सीढ़ी होने जैसा है। जहाँ छोटे मॉडल केवल ऊपरी पायदानों (आसान, स्पष्ट पैटर्न) तक ही पहुँच सकते हैं, वहीं बड़े मॉडल बहुत नीचे के पायदानों (छोटे, छिपे हुए, कठिन पैटर्न) तक पहुँचने के लिए पूरी सीढ़ी चढ़ सकते हैं।

मूल अवधारणा: "स्पेक्ट्रल टेल" (The Spectral Tail)

इसे समझने के लिए, सीखने की प्रक्रिया को पुस्तकों के एक विशाल पुस्तकालय के रूप में कल्पना करें, जहाँ प्रत्येक पुस्तक डेटा के एक अलग पैटर्न का प्रतिनिधित्व करती है।

बेस्टसेलर्स (The Head): ये लोकप्रिय, आसानी से सीखे जाने वाले पैटर्न हैं। ये स्पष्ट और तेज़ हैं। हर मॉडल, छोटा हो या बड़ा, इन्हें सबसे पहले सीखता है।
अस्पष्ट अभिलेखागार (The Obscure Archives - The Tail): ये शांत, मंद और कठिन पैटर्न हैं। ये पुस्तकालय की गहराइयों में दबे हुए हैं।

समस्या: जैसे-जैसे एक मॉडल प्रशिक्षित होता है, वह पहले "बेस्टसेलर्स" को पढ़ना समाप्त कर देता है। एक बार जब वह यह काम पूरा कर लेता है, तो उसे और बेहतर होने के लिए "अभिलेखागार" की ओर बढ़ना पड़ता है।

छोटे मॉडल एक दीवार से टकरा जाते हैं। उनके पास अभिलेखागार की धुंधली किताबों को पढ़ने के लिए "मस्तिष्क शक्ति" खत्म हो जाती है। वे वहीं अटक जाते हैं।
बड़े मॉडल के पास एक "सुपर-कान" होता है। वे अभिलेखागार में फुसफुसाहटों को भी सुन सकते हैं। वे निरंतर पढ़ते रहते हैं, उन सूक्ष्म विवरणों को सीखते हैं जिन्हें दूसरे मिस कर देते हैं। इस "स्पेक्ट्रल टेल" में गहराई तक पहुँचने की क्षमता ही स्पेक्ट्रल रीच है।

नया टूल: "स्पेक्ट्रल पोजीशन" मीटर

लेखकों ने एक नया टूल बनाया है जिसे स्पेक्ट्रल पोजीशन (Spectral Position) या $\chi_{pos}$ कहा जाता है। इसे मॉडल की सीखने की यात्रा के लिए एक जीपीएस (GPS) ट्रैकर के रूप में समझें।

उच्च जीपीएस मान (1 के करीब): मॉडल वर्तमान में "बेस्टसेलर्स" पढ़ रहा है। यह बड़े, आसान पैटर्न सीख रहा है।
कम जीपीएस मान (0 के करीब): मॉडल "अभिलेखागार" में गहराई तक चला गया है। अब यह छोटे, कठिन पैटर्न सीख रहा है।

उन्होंने क्या पाया:

टाइम ट्रैवल: जैसे-जैसे प्रशिक्षण आगे बढ़ता है, जीपीएस मान गिरता जाता है। मॉडल स्वाभाविक रूप से आसान पैटर्न से कठिन पैटर्न की ओर बढ़ता है।
आकार का अंतर: बड़े मॉडल छोटे मॉडलों की तुलना में अपना जीपीएस मान बहुत नीचे तक ले जाते हैं। वे अभिलेखागार में अधिक गहराई तक जाते हैं। यही कारण है कि उनका एरर (error) कम होता है (बेहतर प्रदर्शन)—उन्होंने बस अधिक छिपे हुए विवरण सीखे होते हैं।

गुप्त सामग्री: फीचर लर्निंग (Feature Learning)

आप पूछ सकते हैं, "बड़े मॉडल मंद फुसफुसाहटों को कैसे सुन पाते हैं?"

पत्र ने यह परीक्षण करने के लिए मॉडल के "मस्तिष्क" को फ्रीज (रोक) दिया (मॉडल के आंतरिक फीचर्स को बदलने से रोका) और केवल अंतिम परत (layer) को सीखने दिया।

फ्रीज किए गए मॉडल: ये मॉडल जल्दी ही सीखना बंद कर देते हैं। वे गहरे अभिलेखागार तक नहीं पहुँच पाते।
एक्टिव (Active) मॉडल: ये मॉडल अपने आंतरिक "फीचर्स" (वे दुनिया को कैसे देखते हैं) को बदलते रहते हैं।

उपमा: कल्पना कीजिए कि आप एक मंद रेडियो स्टेशन सुनने की कोशिश कर रहे हैं।

एक फ्रीज किया गया मॉडल उस रेडियो की तरह है जिसका एंटीना टूटा हुआ है। चाहे आप वॉल्यूम कितना भी बढ़ा लें, आप उस मंद स्टेशन को नहीं सुन सकते।
एक लर्निंग मॉडल उस रेडियो की तरह है जो सुनते समय अपना बेहतर एंटीना बनाता है। जैसे-जैसे यह सीखता है, यह उन मंद संकेतों को बढ़ाने के लिए अपने आंतरिक ढांचे को नया आकार देता है। यह "एंटीना बनाना" (फीचर लर्निंग) मॉडल को तब भी प्रगति बनाए रखने में मदद करता है जब संकेत बहुत कमजोर हो जाते हैं।

"LNP" डिकंपोजिशन: गणित को तोड़ना

लेखकों ने असंभव गणनाओं की आवश्यकता के बिना इसे मापने के लिए एक सूत्र बनाया। उन्होंने सीखने की प्रक्रिया को तीन भागों में विभाजित किया, जैसे एक रेसिपी:

लॉस स्केल ( $\chi_{loss}$ ): अभी गलती कितनी "तेज़" या "ऊँची" है। (यदि मॉडल गलत है, तो यह उच्च होता है)।
नेटवर्क स्केल ( $\chi_{net}$ ): मॉडल बदलावों के प्रति कितना संवेदनशील है। (बड़े मॉडल यहाँ मजबूत "एंटीना" बना सकते हैं)।
स्पेक्ट्रल पोजीशन ( $\chi_{pos}$ ): जीपीएस मान। मॉडल पुस्तकालय में कहाँ पढ़ रहा है?

जादू: उन्होंने पाया कि जैसे-जैसे मॉडल "अभिलेखागार" में गहराई तक जाता है (स्पेक्ट्रल पोजीशन गिरती है), बड़े मॉडलों में "नेटवर्क स्केल" (एंटीना की ताकत) वास्तव में बढ़ जाता है। यह अतिरिक्त ताकत संकेतों की मंदता की भरपाई करती है, जिससे मॉडल सीखना जारी रख पाता है। छोटे मॉडलों को यह बढ़ावा नहीं मिलता, इसलिए वे हार मान लेते हैं।

निष्कर्ष (Summary of Findings)

सीखना एक यात्रा है: मॉडल आसान पैटर्न से शुरू होते हैं और धीरे-धीरे कठिन, बारीक विवरणों की ओर बढ़ते हैं।
आकार मायने रखता है: बड़े मॉडल छोटे मॉडलों की तुलना में "कठिन विवरणों" (स्पेक्ट्रल टेल) में अधिक गहराई तक जा सकते हैं।
अनुकूलन क्षमता (Adaptability) कुंजी है: यह क्षमता केवल अधिक मेमोरी होने के बारे में नहीं है; यह मॉडल द्वारा मंद संकेतों को बढ़ाने के लिए खुद को सक्रिय रूप से नया आकार देने के बारे में है (फीचर लर्निंग)।
मेट्रिक: नया "स्पेक्ट्रल पोजीशन" टूल वैज्ञानिकों को वास्तविक समय में इस यात्रा को देखने की अनुमति देता है, भले ही वे विशाल मॉडल हों, बिना सुपरकंप्यूटरों के असंभव गणित की आवश्यकता के।

संक्षेप में, बड़े मॉडल इसलिए जीतते हैं क्योंकि वे आसान काम खत्म होने पर सीखना बंद नहीं करते; उनके पास उन छिपे हुए रत्नों को खोजने की "रीच" होती है जिन्हें छोटे मॉडल नहीं ढूंढ पाते।

तकनीकी सारांश: स्पेक्ट्रल रीच: स्पेक्ट्रल टेल में प्रगति के रूप में न्यूरल स्केलिंग को समझना

समस्या विवरण (Problem Statement)

न्यूरल स्केलिंग लॉ (Neural scaling laws) मॉडल के आकार, डेटासेट के आकार, कंप्यूट और प्रदर्शन के बीच पूर्वानुमानित पावर-लॉ संबंधों का वर्णन करते हैं, जो आधुनिक फाउंडेशन मॉडल्स के विकास के लिए एक आधारशिला के रूप में कार्य करते हैं। हालाँकि, इन नियमों के पीछे के तंत्र अभी भी कम समझे गए हैं। मौजूदा सैद्धांतिक स्पष्टीकरण अक्सर आदर्श मान्यताओं (जैसे, फ्रोजन रिप्रेजेंटेशन के साथ रैंडम फीचर मॉडल्स) पर निर्भर करते हैं या उन कर्नेल गणनाओं की आवश्यकता रखते हैं जो उस पैमाने पर अव्यवहार्य हैं जहाँ स्केलिंग लॉ देखे जाते हैं। फलस्वरूप, बड़े पैमाने पर प्रशिक्षण की अंतर्निहित स्पेक्ट्रल डायनेमिक्स को प्रकट करने के लिए स्केलेबल विश्लेषण उपकरणों की कमी है, जिससे यह प्रश्न खुला रह जाता है कि व्यावहारिक डीप लर्निंग परिदृश्यों में स्केलिंग लॉ कैसे उभरते हैं।

कार्यप्रणाली (Methodology)

मापन संबंधी बाधा (measurement bottleneck) को दूर करने के लिए, लेखक लॉस-नेटवर्क-पोजीशन (LNP) अपघटन पेश करते हैं। यह ढांचा तात्कालिक (लीनियराइज्ड) लॉस परिवर्तन को तीन व्याख्या योग्य घटकों में विभाजित करता है:

नेटवर्क स्केल ( $\chi_{net}$ ): नेटवर्क आउटपुट्स का नेटवर्क पैरामीटर्स के सापेक्ष जैकोबियन का फ्रोबेनियस नॉर्म ( $\|\nabla_\theta f\|_F^2$ ), जो एम्पिरिकल न्यूरल टेंगेंट कर्नेल (eNTK) के ट्रेस के समान है। यह पैरामीटर अपडेट के प्रति नेटवर्क की संवेदनशीलता को दर्शाता है।
लॉस स्केल ( $\chi_{loss}$ ): नेटवर्क आउटपुट्स के सापेक्ष लॉस ग्रेडिएंट का स्क्वेर्ड यूक्लिडियन नॉर्म ( $\|\nabla_f L\|_2^2$ ), जो प्रेडिक्शन एरर के परिमाण को दर्शाता है।
स्पेक्ट्रल पोजीशन ( $\chi_{pos}$ ): $[0, 1]$ की रेंज में एक स्केल-फ्री मात्रा जो यह संकेत देती है कि वर्तमान में कौन से eNTK आइगेनवैल्यू लॉस रिडक्शन को संचालित कर रहे हैं। इसे नॉर्मलाइज्ड आइगेनवैल्यूज के वेटेड एवरेज के रूप में परिभाषित किया गया है, जहाँ वेट्स eNTK आइगेनमोड्स पर लॉस ग्रेडिएंट के प्रोजेक्शन द्वारा निर्धारित होते हैं।

मुख्य नवाचार: जबकि $\chi_{pos}$ की गणना के लिए पारंपरिक रूप से महंगे फुल eNTK निर्माण की आवश्यकता होती है, LNP अपघटन इसे अनुपात $\chi_{pos} = \delta L / (\chi_{net} \cdot \chi_{loss})$ के माध्यम से अप्रत्यक्ष रूप से गणना करने की अनुमति देता है, जहाँ $\delta L$ लीनियरलाइज्ड लॉस परिवर्तन है। यह प्रति-सैंपल ग्रेडिएंट मैग्नीट्यूड का उपयोग करके न्यूनतम कम्प्यूटेशनल ओवरहेड (2× से कम) के साथ प्रशिक्षण के दौरान मापन को सक्षम बनाता है, जिससे स्पष्ट कर्नेल निर्माण से बचा जा सकता है।

लेखक नियंत्रित रैंडम फीचर मॉडल्स (RFMs) के साथ इस ढांचे को वैलिडेट करते हैं, जहाँ सैद्धांतिक भविष्यवाणियां एम्पिरिकल मापन से मेल खाती हैं। इसके बाद वे इस डायग्नोस्टिक को Llama 2 लैंग्वेज मॉडल्स (SimpleStories और CIFAR-5M पर) और विजन ट्रांसफॉर्मर्स (CIFAR-5M पर) सहित स्केलिंग प्रयोगों पर लागू करते हैं।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. प्रशिक्षण के दौरान स्पेक्ट्रल पोजीशन घटती है

लेखक देखते हैं कि जैसे-जैसे प्रशिक्षण आगे बढ़ता है, स्पेक्ट्रल पोजीशन $\chi_{pos}$ कई ऑर्डर्स ऑफ मैग्नीट्यूड तक कम हो जाती है। यह सीखने की गतिशीलता में एक व्यवस्थित बदलाव को दर्शाता है: मॉडल शुरू में डोमिनेंट, हाई-आइगेनवैल्यू मोड्स (कोर्स पैटर्न्स) से सीखता है और धीरे-धीरे स्पेक्ट्रल टेल (फाइन-ग्रेन्ड डिटेल्स) की ओर ध्यान केंद्रित करता है क्योंकि डोमिनेंट मोड्स कन्वर्ज हो जाते हैं और लॉस ग्रेडिएंट में योगदान देना बंद कर देते हैं।

2. "स्पेक्ट्रल रीच" की परिभाषा

पेपर स्पेक्ट्रल रीच को eNTK स्पेक्ट्रम के बढ़ते छोटे आइगेनवैल्यू मोड्स से सीखने की एक मॉडल की क्षमता के रूप में पेश करता है।

अवलोकन: बड़े मॉडल छोटे मॉडल्स की तुलना में कम अंतिम $\chi_{pos}$ मान प्राप्त करते हैं।
व्याख्या: छोटे मॉडल्स "फ्लैट आउट" हो जाते हैं, यानी वे एक क्षमता सीमा तक पहुँच जाते हैं जहाँ वे सूक्ष्म स्पेक्ट्रल मोड्स तक नहीं पहुँच पाते। बड़े मॉडल्स नीचे की ओर जाने वाले प्रक्षेपवक्र (trajectory) को बनाए रखते हैं, कमजोर स्पेक्ट्रल सिग्नल्स तक पहुँचते हैं जो छोटे मॉडल्स के लिए अगम्य हैं। यह सुझाव देता है कि बड़े मॉडल्स कम लॉस प्राप्त करते हैं क्योंकि वे उन बारीक विवरणों को रिफाइन करना जारी रख सकते हैं जिन्हें छोटे मॉडल्स हल नहीं कर पाते।

3. फीचर लर्निंग की भूमिका

लीनियर प्रोबिंग प्रयोगों के माध्यम से (प्री-ट्रेन्ड बैकबोन बनाम रैंडम, फ्रोजन बैकबोन की तुलना करके), लेखक फीचर लर्निंग को स्पेक्ट्रल रीच के एक प्रमुख इनेबलर के रूप में पहचानते हैं।

तंत्र: फ्रोजन रिप्रेजेंटेशन (रैंडम बैकबोन) वाले मॉडल्स में, $\chi_{net}$ स्थिर रहता है, और स्पेक्ट्रल पोजीशन स्थिर (plateau) हो जाती है। इसके विपरीत, फीचर-लर्निंग मॉडल्स प्रशिक्षण के आगे बढ़ने के साथ $\chi_{net}$ (ग्रेडिएंट मैग्नीट्यूड) में एक एडेप्टिव वृद्धि प्रदर्शित करते हैं।
क्षतिपूर्ति (Compensation): $\chi_{net}$ में यह वृद्धि $\chi_{pos}$ के घटते प्रभाव के विरुद्ध एक काउंटरवेट के रूप में कार्य करती है। जबकि $\chi_{pos}$ गिरता है (जो कमजोर सिग्नल्स से सीखने का संकेत देता है), बढ़ता हुआ $\chi_{net}$ ग्रेडिएंट मैग्नीट्यूड को बढ़ाता है, जिससे वहां भी लर्निंग प्रोग्रेस बनी रहती जहाँ फ्रोजन रिप्रेजेंटेशन रुक जाते। यह दर्शाता है कि सीखे गए रिप्रेजेंटेशन eNTK स्पेक्ट्रम को पुनर्गठित करते हैं ताकि स्पेक्ट्रल टेल में निरंतर गिरावट को सपोर्ट किया जा सके।

4. आर्किटेक्चर और पैरामीटराइजेशन में सत्यापन

निष्कर्ष भाषा मॉडल्स (Llama 2) और विजन मॉडल्स (Vision Transformers) दोनों में सामान्य हैं। महत्वपूर्ण रूप से, लेखक मैक्सिमल-अपडेट पैरामीटराइजेशन (muP) के तहत प्रयोगों को दोहराते हैं, जो विभिन्न चौड़ाई (widths) के बीच फीचर-लर्निंग इंटेंसिटी को स्थिर रखता है। muP के तहत स्पेक्ट्रल रीच ऑर्डरिंग की निरंतरता यह पुष्टि करती है कि यह घटना मॉडल क्षमता द्वारा संचालित है, न कि चौड़ाई-निर्भर फीचर-लर्निंग इंटेंसिटी द्वारा।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह एक स्केलेबल डायग्नोस्टिक टूल प्रदान करता है जो स्केलिंग लॉ के सैद्धांतिक स्पेक्ट्रल स्पष्टीकरण और व्यावहारिक डीप लर्निंग के बीच के अंतर को पाटता है। यह प्रदर्शित करके कि बड़े मॉडल्स फीचर लर्निंग के माध्यम से कमजोर स्पेक्ट्रल सिग्नल्स पर लर्निंग को बनाए रखकर कम लॉस प्राप्त करते हैं, यह कार्य न्यूरल स्केलिंग के लिए एक यांत्रिक (mechanistic) स्पष्टीकरण प्रदान करता है।

लेखक अपने निष्कर्षों को ऑप्टिमाइजेशन प्रश्न के एक नए रूप में प्रस्तुत करते हैं: केवल यह पूछने के बजाय कि "हम लॉस को कैसे कम करें?", ध्यान इस पर स्थानांतरित होता है कि "हम स्पेक्ट्रल रीच को कैसे बढ़ाएं?" यह दृष्टिकोण हस्तक्षेप के ठोस मार्ग सुझाता है, जैसे:

स्पेक्ट्रल डिसेंट को तेज करना: ऑप्टिमाइज़र डिज़ाइन के माध्यम से (जैसे, लक्षित लर्निंग रेट, ग्रेडिएंट स्केलिंग)।
स्पेक्ट्रम को नया आकार देना: आर्किटेक्चरल चॉइस या इनिशियलाइजेशन स्कीम्स (जैसे, muP, He, Xavier) के माध्यम से ताकि सबऑर्डिनेट मोड्स को अधिक सुलभ बनाया जा सके।

पेपर विनम्रता से समाप्त होता है, यह नोट करते हुए कि हालांकि LNP अपघटन फर्स्ट-ऑर्डर प्रभावों और सटीक तात्कालिक गुणों को कैप्चर करता है, गैर-रैखिक सुधार पद (non-linear correction terms) अभी भी अनविश्लेषित हैं। इसके अलावा, हालांकि परिणाम स्पेक्ट्रल पोजीशन को स्केल और परफॉरमेंस से जोड़ते हैं, लेकिन यह कि फीचर लर्निंग विशेष रूप से eNTK स्पेक्ट्रम को कैसे पुनर्गठित करती है, इसके कारण संबंधी तंत्रों (causal mechanisms) को निश्चित रूप से स्थापित करने के लिए और अधिक नियंत्रित हस्तक्षेपों की आवश्यकता है। यह कार्य प्रशिक्षण में सिमेंटिक स्ट्रक्चर और पैराडाइम ट्रांजिशन के मोड-लेवल विश्लेषण के लिए एक आधार के रूप में कार्य करता है।