🤖 machine learning

Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime

यह शोधपत्र लेबल-एनटीके (Label-NTK) और रेसिडुअल-एनटीके (Residual-NTK) संरेखण की अवधारणाओं को पेश करता है ताकि ओवर-पैरामीटराइज्ड न्यूरल नेटवर्क के लिए एक अधिक सटीक, स्पेक्ट्रम-निर्भर अभिसरण सीमा (convergence bound) प्राप्त की जा सके जो व्यावहारिक प्रशिक्षण गतिकी से बेहतर मेल खाती है और शास्त्रीय वर्स्ट-केस परिणामों में सुधार करती है।

मूल लेखक: Ruchirinkil Marreddy, Chaoyue Liu

प्रकाशित 2026-05-26

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Ruchirinkil Marreddy, Chaoyue Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अत्यंत जटिल रोबोट (एक डीप न्यूरल नेटवर्क) को बिल्लियों और कुत्तों की तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं। आपके पास प्रशिक्षण तस्वीरों का एक बहुत बड़ा ढेर (डेटा) है और आप चाहते हैं कि रोबोट नियमों को पूरी तरह से सीख ले।

वर्षों से, गणितज्ञों ने एक उपकरण का उपयोग करके यह समझाने की कोशिश की है कि यह रोबोट इतनी तेज़ी से क्यों सीखता है, जिसे न्यूरल टेंगेंट कर्नेल (NTK) कहा जाता है। NTK को एक "सीखने के परिदृश्य के मानचित्र" (map of the learning landscape) के रूप में समझें।

पुराना मानचित्र बहुत निराशावादी था

पिछले सिद्धांतों ने इस मानचित्र का उपयोग यह भविष्यवाणी करने के लिए किया कि रोबोट कितनी तेज़ी से सीखेगा। उन्होंने मानचित्र को देखा और कहा, "ओह नहीं! यहाँ एक बहुत छोटी, बहुत संकरी घाटी है (सबसे छोटा आइगेनवैल्यू)। नीचे तक पहुँचने के लिए, रोबोट को इस संकीर्ण, धीमी राह से रेंगकर गुजरना होगा।"

इस "छोटी घाटी" के कारण, पुराने गणित ने भविष्यवाणी की कि रोबोट अत्यंत धीरे सीखेगा। लेकिन असल जिंदगी में, हम देखते हैं कि रोबोट बहुत तेज़ी से सीख रहा है। पुराना मानचित्र एक ऐसी 'वर्स्ट-केस सिनेरियो' (सबसे खराब स्थिति) जैसा था जो वास्तविकता में लगभग कभी नहीं होता। यह बहुत निराशावादी था।

नई खोज: "अलाइनमेंट" (Alignment)

इस शोध पत्र के लेखकों ने मानचित्र और रोबro के शुरुआती स्थान को और करीब से देखा। उन्होंने दो गुप्त पैटर्न खोजे, जिन्हें वे अलाइनमेंट्स (Alignments) कहते हैं।

सीखने के परिदृश्य को कई वाद्ययंत्रों (आइगेनवेक्टर्स) वाले एक विशाल ऑर्केस्ट्रा के रूप में सोचें। कुछ वाद्ययंत्र तेज़ (बड़े आइगेनवैल्यू) हैं, और कुछ लगभग फुसफुसा रहे हैं (छोटे आइगेनवैल्यू)।

लेबल-NTK अलाइनमेंट: "लेबल" (सही उत्तर, जैसे "यह एक बिल्ली है") स्वाभाविक रूप से तेज़ वाद्ययंत्रों के साथ ट्यून किए गए हैं। रोबोट को मुख्य विचार समझने के लिए फुसफुसाने वाले वाद्ययंत्रों को सुनने की आवश्यकता नहीं है। सही उत्तर मानचित्र के उन हिस्सों के साथ "अलाइन" होते हैं जहाँ हिलना-डुलना आसान है।
रेसिडुअल-NTK अलाइनमेंट: यहाँ तक कि शुरुआत में रोबोट जो "गलतियाँ" करता है (उसके अनुमान और वास्तविक उत्तर के बीच का अंतर), वे भी तेज़ वाद्ययंत्रों के साथ ट्यून किए गए हैं। रोबोट की शुरुआती त्रुटियाँ मुख्य रूप से उन्हीं दिशाओं में होती हैं जहाँ वह तेज़ी से सीख सकता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक भारी पत्थर को पहाड़ी पर ऊपर धकेलने की कोशिश कर रहे हैं।

पुराना सिद्धांत: "आपको इसे सबसे खड़ी, संकरी चट्टान के ऊपर धकेलना होगा। इसमें बहुत समय लगेगा।"
नई खोज: "वास्तव में, पत्थर पहले से ही एक हल्की, चौड़ी ढलान पर बैठा है जो सीधे शिखर की ओर ले जाती है। आपको बस इसे एक हल्का सा धक्का देने की ज़रूरत है।"

यह शोध पत्र सिद्ध करता है कि "छोटी घाटी" (छोटा आइगेनवैल्यू) डेटा द्वारा अनिवार्य रूप से अनदेखा कर दी जाती है। डेटा स्वाभाविक रूप से मानचित्र के धीमे हिस्सों से बच जाता है।

परिणाम: एक बेहतर भविष्यवाणी

क्योंकि लेखकों ने महसूस किया कि रोबोट को उस "छोटी घाटी" की चिंता करने की आवश्यकता नहीं है, इसलिए उन्होंने रोबोट कितनी तेज़ी से सीखता है, इसके लिए एक नया, अधिक सटीक गणितीय सूत्र बनाया।

पुराना सूत्र: एक धीमी, सपाट रेखा की भविष्यवाणी करता था।
नया सूत्र: एक तेज़, तीव्र गिरावट (steep drop) की भविष्यवाणी करता है जो वास्तविक प्रयोगों में देखी गई चीज़ से बिल्कुल मेल खाती है।

उन्होंने विभिन्न प्रकार के रोबots (न्यूरल नेटवर्क) और विभिन्न डेटासेट्स (जैसे कारों और जानवरों की छवियां) पर इसका परीक्षण किया। हर मामले में, उनका नया गणित वास्तविक दुनिया की गति से पूरी तरह मेल खाता था, जबकि पुराना गणित बहुत गलत था।

यह क्यों मायने रखता है?

यह शोध पत्र केवल यह नहीं कहता कि "यह तेज़ काम करता है।" यह बताता है कि क्यों वे बदतर स्थितियाँ (worst-case scenarios) जिनका हमें डर था, वास्तव में नहीं होती हैं। यह दिखाता है कि वास्तविक दुनिया में उपयोग किया जाने वाला हमारा डेटा "सुव्यवस्थित" है और स्वाभाविक रूप से सीखने की प्रक्रिया के उन हिस्सों के साथ अलाइन होता है जो तेज़ और कुशल हैं।

उन्होंने इस खोज का उपयोग यह दिखाने के लिए भी किया कि ये रोबोट केवल तेज़ी से ही नहीं सीखते; बल्कि वे उन नई चीजों को पहचानने में भी सक्षम होने की संभावना रखते हैं जिन्हें उन्होंने पहले नहीं देखा है (जनरलाइजेशन)।

संक्षेप में: लेखकों ने पाया कि डीप लर्निंग उतना कठिन नहीं है जितना कि पुराने गणित ने सुझाव दिया था। डेटा और सीखने की प्रक्रिया स्वाभाविक रूप से "तालमेल" में हैं, जिससे रोबोट समाधान तक पहुँचने के लिए रेंगने के बजाय तेज़ी से दौड़ सकता है।

तकनीकी सारांश: लेबल-NTK संरेखण (Alignments) और NTK शासन में एक कड़ा अभिसरण आउंड (Convergence Bound)

समस्या विवरण
न्यूरल टेंगेंट कर्नेल (NTK) ढांचे ने ओवर-पैरामीटराइज्ड न्यूरल नेटवर्क के अनुकूलन (optimization) की व्याख्या करने में सफलता प्राप्त की है, जो प्रशिक्षण गतिकी (training dynamics) को लगभग रैखिक के रूप में चित्रित करता है। जबकि मौजूदा सिद्धांत वैश्विक न्यूनतम (global minimum) तक घातीय अभिसरण (exponential convergence) की गारंटी देते हैं, ये गारंटियाँ वास्तविक अवलोकनों की तुलना में अक्सर अत्यधिक निराशावादी होती हैं। विशेष रूप से, शास्त्रीय अभिसरण दरें NTK मैट्रिक्स के सबसे छोटे आइगेनवैल्यू ( $\lambda_{\min}$ ) पर महत्वपूर्ण रूप से निर्भर करती हैं। यथार्थवादी सेटिंग्स में, $\lambda_{\min}$ आमतौर पर अत्यंत छोटा होता है, जिससे सैद्धांतिक अभिसरण सीमाएं वास्तविक प्रशिक्षण वक्रों की तुलना में कई गुना धीमी हो जाती हैं। इसके अलावा, ये वर्स्ट-केस विश्लेषण स्पष्ट रूप से यह मान लेते हैं कि डेटा लेबल वेक्टर $\lambda_{\min}$ के संगत आइगेनवेक्टर के साथ संरेखित है, जो व्यवहार में शायद ही कभी होता है। यह शोध पत्र इस बात की जांच करता है कि क्या एक कड़ा अभिसरण बाउंड (tighter convergence bound) निकाला जा सकता है जो डेटा लेबल और NTK आइगेन-स्पेक्ट्रम के बीच विशिष्ट संबंध को ध्यान में रखता है, ताकि सैद्धांतिक सीमाओं और व्यावहारिक प्रशिक्षण गतिकी के बीच के अंतर को दूर किया जा सके।

कार्यप्रणाली (Methodology)
लेखक डेटा वेक्टर्स (लेबल और अवशेष/residuals) और NTK आइगेन-सिस्टम के बीच "संरेखण" (alignments) के अनुभवजन्य और सैद्धांतिक अवलोकन पर आधारित एक नवीन विश्लेषण प्रस्तावित करते हैं।

अनुभवजन्य अवलोकन: CIFAR-10 जैसे डेटासेट पर मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) और कन्वेन्शनल न्यूरल नेटवर्क्स (CNNs) पर प्रयोगों के माध्यम से, लेखक दो अलग-अलग स्केलिंग लॉ (scaling laws) देखते हैं:
- लेबल-NTK संरेखण: $i$ -वें आइगेनवेक्टर $v_i$ पर लेबल वेक्टर $y$ का वर्ग प्रक्षेप (squared projection) संगत आइगेनवैल्यू के वर्ग के साथ स्केल करता है: $(v_i^\top y)^2 \sim \lambda_i^2$ ।
- अवशेष-NTK संरेखण: प्रारंभिक अवशेष वेक्टर $r_0 = f(w_0) - y$ का आइगेनवेक्टर्स पर वर्ग प्रक्षेप आइगेनवैल्यूज के साथ रैखिक रूप से स्केल करता है: $(v_i^\top r_0)^2 \sim \lambda_i$ ।
  ये संबंध विशेष रूप से छोटे-आइगेनवैल्यू शासन में बने रहते हैं, जो इंगित करते हैं कि लेबल और अवशेषों के छोटे आइगेनवैल्यूज वाली दिशाओं में नगण्य घटक होते हैं।
सैद्धांतिक औचित्य: लेखक हल्के डेटा धारणाओं (unit input length, non-degeneracy, और ग्राउंड-ट्रुथ डेटा-लेबल फंक्शन की लिप्सचिट्ज़ निरंतरता सहित) के तहत लेबल-NTK संरेखण के लिए एक सैद्धांतिक प्रमाण प्रदान करते हैं। एक टू-पॉइंट डेटासेट का विश्लेषण करके और उसे $n$ पॉइंट्स तक सामान्यीकृत करके, वे प्रदर्शित करते हैं कि वास्तविक फंक्शन की लिप्सचिट्ज़ प्रॉपर्टी लेबल वेक्टर को बड़े आइगेनवैल्यूज के साथ अधिक मजबूती से संरेखित होने के लिए मजबूर करती है, जो सटीक रूप से देखे गए स्केलिंग एक्सपोनेंट 2 की भविष्यवाणी करती है।
नए बाउंड्स का व्युत्पन्न (Derivation): अवशेष-NTK संरेखण को एक स्थिति (Condition 4.2) के रूप में उपयोग करते हुए, लेखक ग्रेडिएंट डिसेंट के लिए एक परिष्कृत अभिसरण बाउंड व्युत्पन्न करते हैं। $\lambda_{\min}$ पर निर्भर रहने के बजाय, नया बाउंड पूर्ण NTK मैट्रिक्स के एक फलन के ट्रेस (trace) पर निर्भर करता है: $L(w_t) \sim \text{tr}[(I - \eta K)^{2t} K]$ ।

प्रमुख योगदान

संरेखण घटनाओं की पहचान: यह शोध पत्र लेबल-NTK और अवशेष-NTK संरेखण की पहचान और मात्रात्मक निर्धारण करता है, यह दिखाते हुए कि डेटा लेबल और अवशेष स्वाभाविक रूप से NTK के शीर्ष आइगेनवेक्टर्स के साथ संरेखित होते हैं, जिससे वे पिछले साहित्य में मानी गई वर्स्ट-केस स्थितियों से बच जाते हैं।
कड़ा अभिसरण सिद्धांत (Tighter Convergence Theory): लेखक एक नया अभिसरण प्रमेय (Theorem 4.5) स्थापित करते हैं जहाँ लॉस डिके (loss decay) केवल सबसे छोटे आइगेनवैल्यू के बजाय पूरे NTK स्पेक्ट्रम द्वारा नियंत्रित होता है। इसके परिणामस्वरूप एक ऐसा बाउंड प्राप्त होता है जो अनुभवजन्य प्रशिक्षण वक्रों के साथ निकटता से मेल खाता है, जैसा कि चित्र 1 में दिखाया गया है।
बेहतर सामान्यीकरण सीमाएं (Improved Generalization Bounds): लेबल-NTK संरेखण गुण का उपयोग करके, यह शोध पत्र ओवर-पैरामीटराइज्ड नेटवर्क्स के लिए बेहतर सामान्यीकरण सीमाएं व्युत्पन्न करता है, यह दिखाते हुए कि टेस्ट लॉस $O(\text{tr}[K]/n)$ द्वारा ऊपरी रूप से सीमित है, जो $\lambda_{\min}$ पर निर्भर पिछले परिणामों की तुलना में अधिक कड़ा है।
समय जटिलता विश्लेषण: शोध पत्र पावर-लॉ आइगेनवैल्यू डिके की धारणा के तहत समय जटिलता विश्लेषण प्रदान करता है, यह दिखाते हुए कि एक लक्षित लॉस $\epsilon$ तक पहुँचने के लिए आवश्यक पुनरावृत्तियों (iterations) की संख्या मानक $O(\frac{1}{\eta \lambda_{\min}} \log \frac{1}{\epsilon})$ बाउंड की तुलना में काफी कम है।

परिणाम

अनुभवजन्य सत्यापन: MLPs और CNNs पर कई डेटासेट्स पर प्रयोग पुष्टि करते हैं कि प्रस्तावित सैद्धांतिक बाउंड शास्त्रीय बाउंड की तुलना में वास्तविक प्रशिक्षण लॉस कर्व्स को बहुत अधिक सटीकता से ट्रैक करता है। ट्रेस-आधारित बाउंड का उपयोग करने वाला सैद्धांतिक वक्र तेजी से घटता है, जो अनुभवजन्य डेटा से मेल खाता है, जबकि शास्त्रीय बाउंड अत्यंत छोटे $\lambda_{\min}$ के कारण लगभग सपाट रहता है।
स्केलिंग लॉ: प्रयोग लगातार $\log((v_i^\top y)^2)$ और $\log(\lambda_i)$ के बीच 2 के ढलान (slope) के साथ, और $\log((v_i^\top r)^2)$ और $\log(\lambda_i)$ के बीच 1 के ढलान के साथ एक रैखिक संबंध दिखाते हैं, जो प्रस्तावित स्केलिंग लॉ को मान्य करते हैं।
सामान्यीकरण: व्युत्पन्न सामान्यीकरण बाउंड बताता है कि टेस्ट लॉस NTK के ट्रेस के साथ स्केल करता है, जो पिछले वर्स्ट-केस विश्लेषणों की तुलना में अधिक अनुकूल स्केलिंग प्रदान करता है।

महत्व
यह शोध पत्र दावा करता है कि इसका प्राथमिक महत्व NTK-आधारित सैद्धांतिक भविष्यवाणियों और व्यावहारिक प्रशिक्षण प्रदर्शन के बीच के अंतर को हल करने में निहित है। यह प्रदर्शित करके कि डेटा की अंतर्निहित विशेषताओं (लिप्सचिट्ज़ निरंतरता) के कारण वर्स्ट-केस धारणा ( $\lambda_{\min}$ के साथ लेबल संरेखण) व्यवहार में लागू नहीं होती है, लेखक डीप लर्निंग में देखे गए तेज़ अभिसरण के लिए एक गणितीय रूप से कठोर स्पष्टीकरण प्रदान करते हैं। यह कार्य एक "शार्पर" (sharper) सैद्धांतिक लेंस प्रदान करता है जो पूर्ण-स्पेक्ट्रल जानकारी को शामिल करता है, जिससे आदर्शीकृत रैखिक गतिकी और ओवर-पैरामीटराइज्ड शासन में ग्रेडिएंट डिसेंट की देखी गई दक्षता के बीच के अंतर को पाटा जा सके। लेखक नोट करते हैं कि हालांकि उनका सिद्धांत NTK शासन (पर्याप्त चौड़े नेटवर्क, कम लर्निंग रेट) तक सीमित है और 'एज ऑफ स्टेबिलिटी' जैसी नॉन-लीनियर फीचर लर्निंग गतिकी को कैप्चर नहीं करता है, फिर भी यह उपलब्ध सबसे गणितीय रूप से सुलभ सेटिंग में अनुकूलन को समझने के लिए एक आवश्यक आधार प्रदान करता है।

पुराना मानचित्र बहुत निराशावादी था

नई खोज: "अलाइनमेंट" (Alignment)

परिणाम: एक बेहतर भविष्यवाणी

यह क्यों मायने रखता है?

इसी तरह के और पेपर