तकनीकी सारांश: डीप लर्निंग में सामान्यीकरण का एक सिद्धांत (A Theory of Generalization in Deep Learning)

समस्या विवरण (Problem Statement)

डीप लर्निंग मॉडल, जिनके पैरामीटर की संख्या प्रशिक्षण उदाहरणों से अधिक होती है, मनमाने शोर (arbitrary noise) को याद (memorize) कर सकते हैं लेकिन वास्तविक डेटा पर अच्छा सामान्यीकरण (generalize) भी कर सकते हैं। शास्त्रीय क्षमता-आधारित सीमाएँ (जैसे, VC dimension, Rademacher complexity) व्यावहारिक पैमानों पर निरर्थक (vacuous) हैं, जबकि न्यूरल टेंगेंट कर्नेल (NTK) सिद्धांत केवल उस "लेजी" (lazy) शासन का वर्णन करते हैं जहाँ कर्नेल स्थिर रहते हैं। आधुनिक आर्किटेक्चर पूर्ण 'फीचर-लर्निंग' शासन में कार्य करते हैं, जहाँ कर्नेल प्रशिक्षण के दौरान महत्वपूर्ण रूप से विकसित होता है (ऑपरेटर नॉर्म में $O(1)$ द्वारा)। इस गतिशील शासन में सामान्यीकरण की व्याख्या करने के लिए एक गैर-अनंतकालीन (non-asymptotic) सिद्धांत का अभाव है, जो बेनाइन ओवरफिटिंग (benign overfitting) और ग्रॉकिंग (grokking) जैसी विविध घटनाओं को एकीकृत करता हो, और बिना वैलिडेशन डेटा के सीधे जनसंख्या-जोखिम (population risk) पर प्रशिक्षित होने का एक व्यावहारिक तरीका प्रदान करता हो।

कार्यप्रणाली (Methodology)

लेखक वास्तविक प्रशिक्षण प्रक्षेपवक्र (training trajectory) के साथ आउटपुट-स्पेस डायनेमिक्स पर आधारित एक सिद्धांत विकसित करते हैं। मुख्य ढांचा संचयी अपव्यय ग्रैमियन ($W_S$) का उपयोग करके आउटपुट स्पेस को विभाजित करता है, जो एम्पिरिकल टेंगेंट कर्नेल ($K_{SS}$) के विकास और आउटपुट-ग्रेडिएंट प्रोपेगेटर ($P_g$) के एकीकरण से प्राप्त होता है।

1. सिग्नल चैनल और रिज़र्वोइर अपघटन (Signal Channel and Reservoir Decomposition)

यह सिद्धांत आउटपुट स्पेस को दो ऑर्थोगोनल उप-स्थानों (subspaces) में विभाजित करता है:

• सिग्नल चैनल ($\text{range}(W_S)$): वे दिशाएँ जहाँ प्रशिक्षण लॉस (loss) को कम करता है।
• रिज़र्वोइर ($\ker(W_S)$): वे दिशाएँ जहाँ प्रशिक्षण से कोई लॉस कम नहीं होता।

एक प्रमुख सैद्धांतिक परिणाम रिज़र्वोइर टेस्ट-अदृश्यता (Proposition 3.2) है: टेस्ट ट्रांसफर ऑपरेटर $G_Q$, रिज़र्वोइर पर शून्य हो जाता है। फलस्वरूप, प्रशिक्षण के दौरान रिज़र्वोइर में फंसा हुआ कोई भी अवशिष्ट त्रुटि (residual error) या लेबल शोर, टेस्ट सेट के लिए अदृश्य होता है।

2. SGD में ड्रिफ्ट-डिफ्यूजन पृथक्करण (Drift-Diffusion Separation in SGD)

सिग्नल चैनल के भीतर, यह पेपर मिनीबैच स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) का विश्लेषण करता है। यह टाइमस्केल के पृथक्करण को सिद्ध करता है:

• ड्रिफ्ट (Drift): सुसंगत जनसंख्या सिग्नल सिग्नल दिशाओं में रैखिक रूप से ($O(T)$) संचित होता है।
• डिफ्यूजन (Diffusion): केंद्रित उतार-चढ़ाव (शोर) एक मार्टिंगेल (martingale) की तरह व्यवहार करता है, जो केवल रैंडम वॉक ($O(\sqrt{T})$) के रूप में संचित होता है।
  यह सुनिश्चित करता है कि समय के साथ वास्तविक सिग्नल, विशिष्ट याददाश्त (idiosyncratic memorization) पर हावी हो जाता है, जिससे सिग्नल चैनल में शोर दब जाता है।

3. फीचर लर्निंग के तहत ट्रेन-टेस्ट कपलिंग (Train-Test Coupling under Feature Learning)

भले ही कर्नेल $O(1)$ तक विकसित हो, यह पेपर सिद्ध करता है कि टेस्ट मोशन (test motion) सिग्नल चैनल के भीतर प्रशिक्षण मोशन द्वारा निर्धारित होता है। प्रशिक्षण और टेस्ट विस्थापन ऑपरेटरों को संचयी अपव्यय ($W_S^{1/2}$) द्वारा सामान्यीकृत करके, टेस्ट विस्थापन $U_Q(T) - U_Q(s)$ को प्रशिक्षण विस्थापन $U_S(T) - U_S(s)$ के एक रैखिक फलन के रूप में व्यक्त किया जा सकता है, जिसमें एक अपरिहार्य शेष भाग $R_\perp$ शामिल है। स्क्वेयर्ड लॉस के तहत, यह शेष भाग शून्य हो जाता है, जिससे एक सटीक कपलिंग स्थापित होती है:
$$U_Q(T) - U_Q(s) = A^\circ (U_S(T) - U_S(s))$$
जहाँ $A^\circ$ वास्तविक प्रक्षेपवक्र से प्राप्त इष्टतम रैखिक प्रेडिक्टर है।

4. जनसंख्या-जोखिम प्रशिक्षण एल्गोरिदम (Population-Risk Training Algorithm)

प्रशिक्षण डेटा की विनिमेयता (exchangeability) का लाभ उठाते हुए, लेखक लीव-वन-आउट (LOO) परिप्रेक्ष्य का उपयोग करके जनसंख्या-जोखिम की कमी की दर के लिए एक निष्पक्ष अनुमानक (unbiased estimator) प्राप्त करते हैं।

• उद्देश्य: वे एक प्रति-पैरामीटर गेट को वर्ग माध्य ग्रेडिएंट ($\mu_k^2$) और बैच वेरिएंस ($\sigma_k^2$) के अनुपात के आधार पर परिभाषित करते हैं।
• नियम: एक पैरामीटर $k$ को तभी अपडेट किया जाता है यदि $\mu_k^2 > \sigma_k^2 / (b-1)$ हो।
• कार्यान्वयन: इसके परिणामस्वरूप एडम (Adam) ऑप्टिमाइज़र में एक संशोधन होता है जिसमें केवल एक अतिरिक्त स्टेट वेक्टर (स्ट्रीमिंग वेरिएंस को ट्रैक करने के लिए) की आवश्यकता होती है। यह "जनसंख्या-जोखिम गेट" उन मापदंडों पर अपडेट को रोकता है जहाँ बैच सिग्नल शोर द्वारा हावी होता है, जिससे असंगत शोर को फिट करने से प्रभावी रूप से रोका जाता है।

मुख्य योगदान (Key Contributions)

1. गैर-अनंतकालीन सामान्यीकरण सिद्धांत (Non-Asymptotic Generalization Theory): एक ऐसा ढांचा जो पूर्ण फीचर लर्निंग (विकसित होते कर्नेल) को संभालता है, न कि केवल फ्रीज़्ड-कर्नेल अनुमानों पर निर्भर रहता है। यह सिग्नल और शोर के टेस्ट-दृश्य (test-visible) और टेस्ट-अदृश्य (test-invisible) उप-स्थानों में ज्यामितीय पृथक्करण के माध्यम से सामान्यीकरण की व्याख्या करता है।
2. घटनाओं का एकीकृत स्पष्टीकरण (Unified Explanation of Phenomena): यह सिद्धांत निम्नलिखित के लिए एक एकल यांत्रिक स्पष्टीकरण प्रदान करता है:
   • बेनाइन ओवरफिटिंग (Benign Overfitting): रिज़र्वोइर (टेस्ट-अदृश्य) में फंसा हुआ शोर।
   • डबल डिसेंट (Double Descent): मॉडल क्षमता बदलने पर रिज़र्वोइर और सिग्नल चैनलों के बीच शोर का घूमना।
   • इम्प्लिसिट बायस (Implicit Bias): $W_S(t)$ का स्पेक्ट्रल शेड्यूल जो सिग्नल चैनल को सबसे बड़े से सबसे छोटे आइजनवैल्यू की ओर भरता है।
   • ग्रॉकिंग (Grokking): कर्नेल के विकास के साथ सिग्नल का रिज़र्वोइर से सिग्नल चैनल में प्रवास।
3. सटीक जनसंख्या-जोखिम उद्देश्य (Exact Population-Risk Objective): एक एकल प्रशिक्षण रन से जनसंख्या-जोखिम की कमी के सटीक, निष्पक्ष दर को प्राप्त करने का एक तरीका। यह प्रभावी रूप से सिग्नल चैनल में शोर को मापता है।
4. व्यावहारिक एल्गोरिदम (Practical Algorithm): एक "जनसंख्या-जोखिम प्रशिक्षण" एल्गोरिदम जो एडम (Adam) के ऊपर एक SNR प्रीकंडीशनर के रूप में कार्य करता है। यह न्यूनतम कंप्यूटेशनल ओवरहेड (एक स्टेट वेक्टर) जोड़ता है और गेट थ्रेशोल्ड के लिए किसी हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं होती है।

परिणाम (Results)

प्रस्तावित विधि का मूल्यांकन तीन ऐसे क्षेत्रों में किया गया जहाँ मानक एम्पिरिकल-रिस्क ट्रेनिंग विफल होने या ओवरफिट होने के लिए जानी जाती है:

1. फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs): एक शोर वाले इनिशियल कंडीशन एडवेक्शन समस्या पर, जनसंख्या-जोखिम विधि ने सर्वश्रेष्ठ लर्निंग-रेट-ट्यून्ड AdamW बेसलाइन की तुलना में लक्ष्य टेस्ट एरर ($\ell_2 \le 0.40$) 2.4$\times$ तेजी से प्राप्त किया। इसने उस शोर फिटिंग को दबा दिया जिसके कारण मानक प्रशिक्षण भौतिक समाधान से विचलित हो रहा था।
2. ग्रॉकिंग (मॉड्यूलर अंकगणित): एक मॉड्यूलर डिवीजन कार्य ($a \cdot b^{-1} \mod 97$) पर, जो विलंबित सामान्यीकरण के लिए जाना जाता है, इस विधि ने AdamW के 29,450 स्टेप्स की तुलना में स्टेप 5,950 पर 95% होल्ड-आउट सटीकता प्राप्त की। यह प्रशिक्षण स्टेप्स में 4.9$\times$ की कमी को दर्शाता है, जो ग्रॉकिंग विलंब को प्रभावी ढंग से समाप्त करता है।
3. नॉइज़ी प्रेफरेंस अलाइनमेंट (DPO): 30% स्वैप्ड प्रेफरेंस लेबल्स के साथ Qwen2.5-0.5B-Instruct को फाइन-ट्यून करने पर, इस विधि ने फाइनल रिवॉर्ड एक्यूरेसी को 0.566 से सुधारकर 0.641 कर दिया, जबकि रेफरेंस पॉलिसी के संदर्भ में मीन एब्सोल्यूट रिवॉर्ड ड्रिफ्ट के मामले में यह 3.05$\times$ अधिक करीब रहा। इसने वहां निरंतर उच्च सटीकता बनाए रखी जहां AdamW विफल रहा।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह अनंत सीमाओं या फ्रीज़्ड कर्नेल पर निर्भर किए बिना ओवरपैरामीट्राइजेशन और सामान्यीकरण के बीच तनाव को हल करने के लिए एक एकीकृत सैद्धांतिक लेंस प्रदान करता है। "रिज़र्वोइर" को शोर के लिए एक टेस्ट-अदृश्य सिंक (sink) के रूप में पहचानकर, यह समझाता है कि प्रशिक्षण डेटा को ओवरफिट करना आवश्यक रूप से टेस्ट डेटा को ओवरफिट करना नहीं है।

लेखक का तर्क है कि उनका व्युत्पन्न जनसंख्या-जोखिम उद्देश्य केवल एक ह्यूरिस्टिक नहीं है, बल्कि जनसंख्या-जोखिम की कमी की एक सटीक, निष्पक्ष दर है जिसे एकल रन से गणना किया जा सकता है। इसका व्यावहारिक महत्व यह है कि यह सीधे जनसंख्या जोखिम पर प्रशिक्षण लेता है, जिससे अभिसरण (convergence) तेज होता है (जैसे, 5$\times$ तेज ग्रॉकिंग), इमप्लिसिट न्यूरल रिप्रेजेंटेशन में याददाश्त को दबाता है, और बिना किसी वैलिडेशन सेट या जटिल हाइपरपैरामीटर खोज के प्रेफरेंस अलाइनमेंट में मजबूती में सुधार करता है। यह सिद्धांत "लेजी" NTK शासन और "फीचर-लर्निंग" शासन के बीच के अंतर को पाटता है, यह दिखाते हुए कि सामान्यीकरण तंत्र तब भी बना रहता है जब कर्नेल महत्वपूर्ण रूप से विचलित होता है।