📊 statistics

Generalization in Nonlinear Least Squares via Learned Feature Geometry

यह शोध पत्र एल्गोरिद्मिक स्थिरता और ब्रास्कैम्प-लीब असमानता (Brascamp-Lieb inequality) का लाभ उठाते हुए रिज-नियमित (ridge-regularized) गैररेखीय न्यूनतम वर्ग मॉडलों के लिए सामान्यीकरण त्रुटि सीमाओं (generalization error bounds) को स्थापित करता है, ताकि पैरामीटर गणना या प्रारंभिक अवस्था के बजाय सीखे गए ग्रेडिएंट ज्यामिति और प्रभावी आयाम पर आधारित डेटा-निर्भर गारंटी प्राप्त की जा सके।

मूल लेखक: Ayub Kharel, Ilja Kuzborski, Patrick Rebeschini, Yasin Abbasi-Yadkori

प्रकाशित 2026-06-09

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ayub Kharel, Ilja Kuzborski, Patrick Rebeschini, Yasin Abbasi-Yadkori

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबट को मौसम की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आप उसे लाखों पन्नों (पैरामीटर्स) वाली एक विशाल नोटबुक और ऐतिहासिक मौसम डेटा का एक बड़ा ढेर देते हैं।

अतीत में, वैज्ञानिकों को चिंता थी कि यदि नोटबुक बहुत बड़ी हुई, तो रोबट केवल प्रशिक्षण डेटा के विशिष्ट मौसम पैटर्न को "रट" लेगा और नए दिन का सामना करते समय बुरी तरह विफल हो जाएगा। इसे ओवरफिटिंग (Overfitting) कहा जाता है। पुराना नियम यह था: "यदि नोटबुक उन दिनों की संख्या से बड़ी है जिनका आपने अध्ययन किया है, तो रोबट विफल हो जाएगा।"

लेकिन आधुनिक AI इस नियम को तोड़ता है। हमारे पास ऐसे रोबोट हैं जिनकी नोटबुक हमारे डेटा से अरबों गुना बड़ी है, और फिर भी वे मौसम की सटीक भविष्यवाणी करते हैं। क्यों?

यह शोध पत्र, "Generalization in Nonlinear Least Squares via Learned Feature Geometry," इसी प्रश्न का उत्तर देने का प्रयास करता है। यह सुझाव देता है कि रोबट केवल रटता नहीं है; बल्कि वह डेटा के एक विशिष्ट आकार (Shape) या ज्यामिति (Geometry) को सीखता है जो उसे स्मार्ट बनाता है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "परफेक्ट रटने वाला" बनाम "स्मार्ट शिक्षार्थी"

कल्पना कीजिए कि आपके पास एक छात्र है जो परीक्षा दे रहा है।

पुराना दृष्टिकोण: यदि छात्र की याददाश्त बहुत तेज़ है (कई पैरामीटर्स) लेकिन उसने केवल 10 प्रश्नों का अध्ययन किया है, तो वह उन 10 प्रश्नों के उत्तरों को बस रट लेगा। यदि आप प्रश्न #11 पूछते हैं, तो वह तुक्का लगाएगा।
नई वास्तविकता: छात्र की याददाश्त बहुत बड़ी है, लेकिन जब उसने अध्ययन किया, तो उसने केवल रटा नहीं। उसने प्रश्नों के अंतर्निहित पैटर्न को समझ लिया। भले ही उसका मस्तिष्क बहुत बड़ा है, वह समस्या को हल करने के लिए उसके एक बहुत छोटे, विशिष्ट हिस्से का ही "उपयोग" करता है।

शोध पत्र पूछता है: हम उस "छोटे, विशिष्ट हिस्से" को कैसे माप सकते हैं जिसका छात्र ने वास्तव में उपयोग किया है?

2. समाधान: "उपयोग किए गए" नोटबुक को मापना

लेखक जटिलता को मापने का एक नया तरीका प्रस्तावित करते हैं। मॉडल में मौजूद कुल पैरामीटर्स (छात्र की नोटबुक में कितने पन्ने हैं) को गिनने के बजाय, वे उन पन्नों को गिनते हैं जो वास्तव में प्रासंगिक हैं।

वे इसे "प्रभावी आयाम" (Effective Dimension) कहते हैं।

उपमा: कल्पना कीजिए कि एक पुस्तकालय में 1,000,000 पुस्तकें हैं।
- पुराना माप: "यह पुस्तकालय बहुत बड़ा है! इसमें 1,000,000 पुस्तकें हैं, इसलिए यह सीखने के लिए बहुत जटिल है।"
- नया माप: "रुको, इस विशिष्ट विषय (जैसे, बेकिंग) के लिए, केवल 50 पुस्तकें वास्तव में प्रासंगिक हैं। बाकी 999,950 पुस्तकें अंतरिक्ष यात्रा या खाना पकाने के बारे में हैं, जो यहाँ मायने नहीं रखतीं। इसलिए, इस कार्य के लिए पुस्तकालय का प्रभावी आकार केवल 50 है।"

शोध पत्र सिद्ध करता है कि यदि यह "प्रभावी आकार" छोटा है, तो मॉडल अच्छा सामान्यीकरण (generalize) करेगा (नए डेटा की सटीक भविष्यवाणी करेगा), भले ही कुल मॉडल बहुत विशाल हो।

3. उन्होंने "उपयोग किए गए" पन्नों को कैसे खोजा: "जैकबियन" (Jacobian) मैप

आपको कैसे पता चलेगा कि कौन सी 50 पुस्तकें प्रासंगिक हैं? लेखक ग्रेडिएंट (Gradient) (कैसे मॉडल डेटा में बदलाव होने पर अपना निर्णय बदलता है) को देखते हैं।

रूपक: कल्पना कीजिए कि मॉडल एक पहाड़ पर एक हाइकर (पर्वतारोही) है। "ग्रेडिएंट" वह दिशा है जहाँ हाइकर ऊपर की ओर देखने के लिए देखता है।
जब मॉडल शुरू में (रैंडमली) शुरू होता है, तो हाइकर एक साथ सभी दिशाओं में देख रहा होता है (अराजकता)।
प्रशिक्षण के बाद, हाइकर ने एक रास्ता ढूंढ लिया है। वे केवल कुछ विशिष्ट दिशाओं में देख रहे हैं जो शिखर की ओर ले जाती हैं।
शोध पत्र "जैकबियन ज्यामिति" (Jacobian Geometry) को मापता है। यह उन दिशाओं का मानचित्र है जिनकी मॉडल को प्रशिक्षण के बाद वास्तव में परवाह होती है। यदि यह मानचित्र सरल (कम-आयामी) है, तो मॉडल ओवरफिटिंग से सुरक्षित है।

4. "रेसिडुअल" ट्विस्ट: वक्रता (Curvature) को ध्यान में रखना

शोध पत्र एक चतुर मोड़ जोड़ता है। सरल गणितीय समस्याओं में, शिखर तक का रास्ता एक सीधी रेखा है। लेकिन जटिल AI में, रास्ता घुमावदार होता है।

उपमा: एक समतल मैदान पर चलने बनाम एक घुमावदार पहाड़ी पर चलने की कल्पना करें।
लेखकों ने महसूस किया कि पहाड़ी की "वक्रता" (कितना गैर-रेखीय रूप से मॉडल की भविष्यवाणियाँ बदलती हैं) मायने रखती है। उन्होंने एक सूत्र बनाया जो इस "वक्रता" को जटिलता गणना से घटा देता है।
यदि मॉडल डेटा को पूरी तरह से फिट करता है (शून्य त्रुटि), तो वक्रता पद लुप्त हो जाता है, और गणित क्लासिक "रैखिक" संस्करण में सरल हो जाता है। लेकिन वास्तविक दुनिया के अव्यवस्थित डेटा के लिए, यह अतिरिक्त पद सुनिश्चित करता है कि माप सटीक हो।

5. "एक्टिवेशन रीजन" (ReLU नेटवर्क)

शोध पत्र विशेष रूप से उन न्यूरल नेटवर्क को देखता है जिनमें "ReLU" एक्टिवेशन फंक्शन (एक सामान्य प्रकार का AI न्यूरॉन जो एक स्विच की तरह काम करता है: चालू या बंद) होते हैं।

रूपक: कल्पना कीजिए कि एक शहर कई मोहल्लों में विभाजित है। कुछ मोहल्लों में, नियम सरल (रैखिक) हैं। अन्य में, वे जटिल हैं।
एक न्यूरल नेटवर्क दुनिया को कई छोटे "एक्टिवेशन रीजन" (मोहल्लों) में विभाजित करता है।
शोध पत्र दिखाता है कि भले ही एक नेटवर्क के पास लाखों मोहल्ले हो सकते हैं, प्रशिक्षण आमतौर पर देखे गए वास्तविक डेटा के लिए केवल एक मुट्ठी भर का ही उपयोग करता है।
मुख्य निष्कर्ष: मॉडल की जटिलता इस बात से निर्धारित नहीं होती कि कितने मोहल्ले मौजूद हैं, बल्कि इस बात से होती है कि डेटा कितने मोहल्लों में स्थित है। यदि आपका डेटा केवल 5 मोहल्लों में रहता है, तो मॉडल केवल 5 को ही "देखता" है, चाहे बैकग्राउंड में कितने भी खाली मोहल्ले क्यों न हों।

6. प्रमाण: स्थिरता (Stability)

वे कैसे जानते हैं कि यह काम करता है? वे "एल्गोरिदमिक स्टेबिलिटी" (Algorithmic Stability) नामक अवधारणा का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप एक कक्षा को पढ़ा रहे हैं।
- स्थिर (Stable): यदि आप कक्षा से एक छात्र को हटा देते हैं, तो पाठ योजना में बहुत अधिक बदलाव नहीं होता है। शिक्षक स्थिर है।
- अस्थिर (Unstable): यदि आप एक छात्र को हटा देते हैं, तो शिक्षक पूरी तरह से पाठ योजना बदल देता है।
शोध पत्र सिद्ध करता है कि यदि किसी मॉडल का "प्रभावी आयाम" कम है (यह एक सरल, सीखी गई ज्यामिति का उपयोग कर रहा है), तो वह स्थिर है। यदि आप एक डेटा पॉइंट को बदलते हैं, तो वह घबराएगा नहीं। और क्योंकि यह स्थिर है, इसलिए यह नए, अनदेखे डेटा पर अच्छा प्रदर्शन करेगा।

शोध पत्र के दावों का सारांश

आकार उतना मायने नहीं रखता जितना हमने सोचा था: एक विशाल AI मॉडल सरल हो सकता है यदि यह अपनी क्षमता के एक छोटे "प्रभावी" हिस्से का उपयोग करता है।
यह "सीखी गई ज्यामिति" के बारे में है: जटिलता मॉडल के उस आकार पर निर्भर करती है जो प्रशिक्षण के बाद मिला है, न कि प्रशिक्षण से पहले के मॉडल के आकार पर।
डेटा संपीड़न (Data Compression): मॉडल डेटा को एक निम्न-आयामी "मैनिफोल्ड" (एक चिकनी सतह) में संकुचित करता है। शोध पत्र यह मापने के लिए एक सूत्र प्रदान करता है कि यह सतह कितनी छोटी है।
सत्यापन: उन्होंने सिंथेटिक डेटा (बनाए गए गणितीय समस्याओं) और वास्तविक दुनिया के डेटा (जैसे घर की कीमतें और वाइन की गुणवत्ता) पर इसका परीक्षण किया। हर मामले में, उनके नए "प्रभावी आयाम" सूत्र ने पुराने तरीकों की तुलना में मॉडल की सफलता की बहुत बेहतर भविष्यवाणी की।

संक्षेप में: यह शोध पत्र हमें एक नया पैमाना देता है। पूरे AI मस्तिष्क के आकार को मापने के बजाय, अब हम यह मापते हैं कि उस विशिष्ट समस्या को हल करने के लिए उस मस्तिष्क के कितने हिस्से का वास्तव में उपयोग किया जा रहा है। और पता चलता है कि, एक अच्छे AI के लिए, वह संख्या आश्चर्यजनक रूप से छोटी है।

तकनीकी सारांश: सीखे गए फीचर ज्योमेट्री के माध्यम से नॉनलीन लीस्ट स्क्वायर्स में सामान्यीकरण (Generalization)

समस्या विवरण
आधुनिक मशीन लर्निंग मॉडल, विशेष रूप से डीप न्यूरल नेटवर्क, अक्सर ओवरपैरामीटराइज्ड (overparameterized) व्यवस्थाओं में कार्य करते हैं जहाँ वे प्रशिक्षण डेटा को पूरी तरह से इंटरपोलेट कर सकते हैं फिर भी अच्छा सामान्यीकरण (generalization) प्रदर्शित करते हैं। शास्त्रीय सामान्यीकरण सिद्धांत, जो यूनिफॉर्म कन्वर्जेंस बाउंड्स (जैसे VC डायमेंशन, रेडमेकर कॉम्प्लेक्सिटी) या फिक्स्ड-कर्नेल विश्लेषण (जैसे न्यूरल टेंगेंट कर्नेल, NTK) पर निर्भर करता है, अक्सर इस घटना को समझाने में विफल रहता है। ये पारंपरिक माप या तो ओवरपैरामीटराइज्ड मॉडलों के लिए निरर्थक (vacuous) बाउंड्स देते हैं या प्रशिक्षण द्वारा खोजे गए समाधान की विशिष्ट ज्यामिति (geometry) को समझने में विफल रहते हैं, क्योंकि वे केवल रैंडम इनिशियलाइजेशन की वर्स्ट-केस जटिलता या ज्यामिति पर ध्यान केंद्रित करते हैं।

यह शोध पत्र इस प्रश्न को संबोधित करता है: एक फिट किए गए नॉनलीनियर मॉडल का कौन सा पहलू उसकी सामान्यीकरण करने की क्षमता को निर्धारित करता है? विशेष रूप से, यह उन मात्राओं की पहचान करने का प्रयास करता है जो सीखे गए प्रतिनिधित्व (representation) पर निर्भर करती हैं और डेटा-प्रेरित ज्यामिति को दर्शाती हैं, न कि वैश्विक क्लास जटिलता (global class complexity) को।

कार्यप्रणाली (Methodology)
लेखक एक फिक्स्ड डिजाइन के तहत रिज-रेगुलराइज्ड नॉनलीनियर लीस्ट-स्क्वायर्स रिग्रेशन का अध्ययन करते हैं, जहाँ इनपुट नियत (deterministic) हैं और रैंडमनेस केवल रिस्पॉन्स नॉइज़ (माना गया कि स्वतंत्र और स्ट्रॉन्गली लॉग-कॉन्केव है, जैसे कि गौसियन) से उत्पन्न होती है। मुख्य उद्देश्य रेगुलराइज्ड एम्पिरिकल रिस्क के एक नॉन-डीजेनरेट लोकल मिनिमाइज़र $\hat{\theta}$ का विश्लेषण करना है।

मुख्य कार्यप्रणाली एल्गोरिद्मिक स्टेबिलिटी (algorithmic stability), विशेष रूप से "ऑन-एवरेज" प्रेडिक्शन स्टेबिलिटी पर आधारित है। लेखक विश्लेषण करते हैं कि जब एक एकल प्रशिक्षण रिस्पॉन्स $Y_i$ को एक स्वतंत्र कॉपी $Y'_i$ से बदल दिया जाता है, तो फिट किए गए प्रेडिक्टर की संवेदनशीलता (sensitivity) क्या होती है।

प्रमुख तकनीकी घटक शामिल हैं:

इम्प्लिसिट फंक्शन सेंसिटिविटी: इम्प्लिसिट फंक्शन थ्योरम का उपयोग करते हुए, लेखक रिस्पॉन्स वेक्टर $Y$ के सापेक्ष स्थानीय मिनिमाइज़र $\hat{\theta}$ के डेरिवेटिव को प्राप्त करते हैं। यह प्रकट करता है कि संवेदनशीलता रेगुलराइज्ड ऑब्जेक्टिव के इनवर्स हेसियन (inverse Hessian) और प्रेडिक्टर के जैकोबियन (Jacobian) द्वारा नियंत्रित होती है।
ब्रास्कैम्प-ली (Brascamp–Lieb) असमानता: स्ट्रॉन्गली लॉग-कॉन्केव नॉइज़ के तहत प्रेडिक्शन के वेरिएंस को बाउंड करने के लिए, लेखक मल्टीवेरिएट ब्रास्कैम्प-ली असमानता का उपयोग करते हैं। यह लीनियर सेटिंग्स में उपयोग किए जाने वाले मानक गौसियन पोइनकेरी (Poincaré) असमानता का सामान्यीकरण है।
लर्न्ड इफेक्टिव डायमेंशन: स्टेबिलिटी बाउंड को एक डेटा-डिपेंडेंट इफेक्टिव डायमेंशन के रूप में व्यक्त किया गया है, $d_{\text{eff}}(\hat{\theta}; \lambda)$ , जिसे प्रशिक्षित पैरामीटर्स पर परिभाषित किया गया है:
$d_{\text{eff}}(\hat{\theta}; \lambda) := \text{tr}\left( (\hat{H}_\lambda^{-1} \hat{G})^2 \right)$
यहाँ, $\hat{G}$ प्रशिक्षित जैकोबियन फीचर्स ( $\nabla_\theta f(x_i; \hat{\theta})$ ) का एम्पिरिकल कोवेरियेंस है, और $\hat{H}_\lambda$ $\hat{\theta}$ पर रेगुलराइज्ड एम्पिरिकल ऑब्जेक्टिव का हेसियन है। NTK थ्योरी के विपरीत, जो इनिशियलाइजेशन पर जैकोबियन का उपयोग करती है, यह मीट्रिक फीचर लर्निंग के बाद की ज्यामिति को कैप्चर करता है। हेसियन में एक रेसिड्यूअल-कर्वेचर टर्म ( $\hat{\Delta}$ ) शामिल है जो लीनियर मॉडलों में शून्य हो जाता है लेकिन नॉनलीनियर मॉडलों में मौजूद रहता है।
कवरिंग कॉम्प्लेक्सिटी: $d_{\text{eff}}$ को बाउंड करने के लिए, लेखक प्रशिक्षित जैकोबियन फीचर्स के कवरिंग नंबर से संबंध स्थापित करते हैं। वे दिखाते हैं कि यदि प्रशिक्षित फीचर्स को कम संख्या में बॉल्स द्वारा कवर किया जा सकता है (अर्थात, वे कंप्रेसिबल हैं), तो इफेक्टिव डायमेंशन छोटा होता है। इसे लो-डायमेंशनल मैनिफोल्ड्स पर स्थित डेटा और ReLU नेटवर्क्स के लिए विशेष रूप से अनुकूलित किया गया है, जहाँ कवरिंग नंबर इनपुट स्पेस के एक्टिवेशन-स्टेबल रीजन्स की संख्या से जुड़ा होता है।

प्रमुख योगदान

ट्रेन्ड इफेक्टिव डायमेंशन के माध्यम से स्टेबिलिटी बाउंड: पेपर सिद्ध करता है कि औसत प्रेडिक्शन स्टेबिलिटी (और फलस्वरूप, सामान्यीकरण गैप) प्रशिक्षित मॉडल पर मूल्यांकित अपेक्षित प्रभावी आयाम (expected effective dimension) द्वारा बाउंड है। थ्योरम 3 स्थापित करता है:
$\frac{1}{n} \sum_{i=1}^n \mathbb{E}[(f(x_i; \hat{\theta}) - f(x_i; \hat{\theta}^{(i)})^2] \leq \frac{4 \mathbb{E}[d_{\text{eff}}(\hat{\theta}; \lambda)]}{\alpha n}$
जहाँ $\alpha$ नॉइज़ का स्ट्रॉन्ग लॉग-कॉन्कैविटी पैरामीटर है। कोरोलरी 4 इसे $\sqrt{\mathbb{E}[d_{\text{eff}}]/n}$ के क्रम के जनरलइजेशन गैप बाउंड में अनुवादित करती है।
लीनियर बाउंड्स का सामान्यीकरण: लीनियर केस (या जब रेसिड्यूल्स शून्य हों) में, रेसिड्यूअल-कर्वेचर टर्म शून्य हो जाता है, और $d_{\text{eff}}$ , जैकोबियन कोवेरियेंस के क्लासिकल रिज इफेक्टिव डायमेंशन में बदल जाता है। इस प्रकार, यह परिणाम नॉनलीनियर रिजीम में लीनियर थ्योरी का एक सख्त सामान्यीकरण है।
ज्यामितीय व्याख्या और कवरिंग बाउंड्स: लेखक डेटा और मॉडल की ज्यामिति के आधार पर $d_{\text{eff}}$ $d_{eff}$ के स्पष्ट बाउंड प्रदान करते हैं:
- मैनिफोल्ड सपोर्ट: यदि डेटा $m$ -डायमेंशनल मैनिफोल्ड पर स्थित है और जैकोबियन पीसवाइज लिप्सचिट्ज (piecewise Lipschitz) है, तो बाउंड एम्बिएंट डायमेंशन के बजाय इंट्रिन्सिक डायमेंशन $m$ के साथ स्केल करता है।
- ReLU नेटवर्क्स: वन-हिडन-लेयर ReLU नेटवर्क्स के लिए, बाउंड डेटा द्वारा घेरे गए एक्टिवेशन-स्टेबल रीजन्स की संख्या और उन क्षेत्रों के भीतर लोकल फीचर कॉन्ट्रैक्शन द्वारा नियंत्रित होता है। यह इनपुट स्पेस के सीखे गए विभाजन (partition) की जटिलता को सामान्यीकरण गैप से जोड़ता है।
प्रायोगिक सत्यापन: पेपर सिंथेटिक मैनिफोल्ड्स, क्लस्टर्ड डिस्ट्रीब्यूशंस और बेंचमार्क डेटासेट्स (कैलिफोर्निया हाउसिंग, वाइन क्वालिटी, सुपरकंडक्टिविटी) पर प्रयोग प्रस्तुत करता है। ये प्रयोग प्रदर्शित करते हैं:
- जैकोबियन कंप्रेशन: प्रशिक्षित जैकोबियन का इफेक्टिव डायमेंशन इनिशियलाइजेशन (NTK रिजीम) की तुलना में काफी कम है, भले ही मॉडल ओवरपैरामीटराइज्ड सेटिंग में हो।
- टाइटनेस (Tightness): थ्योरी में उपयोग किया गया रेसिड्यूअल-कर्वेचर लीनियरलाइजेशन सीधे अनुमानित नॉनलीनियर इफेक्टिव डायमेंशन के करीब रहता है।
- सहमति: सैद्धांतिक स्टेबिलिटी बाउंड्स देखे गए जनरलइजेशन गैप्स के साथ निकटता से मेल खाते हैं।

महत्व और दावे
पेपर का दावा है कि यह नॉनलीनियर लीस्ट-स्क्वायर्स के लिए सामान्यीकरण बाउंड्स का एक सरल, फर्स्ट-प्रिंसिपल्स डेरिवेशन प्रदान करता है जो पैरामीटर काउंट या इनिशियलाइजेशन के बजाय सीखे गए ज्योमेट्री पर निर्भर करता है।

फिक्स्ड से लर्न्ड ज्योमेट्री की ओर बदलाव: NTK विश्लेषणों के विपरीत जो रैंडम इनिशियलाइजेशन के आसपास लीनियर करते हैं, यह कार्य फिट किए गए बिंदु पर ज्यामिति का विश्लेषण करता है। यह दर्शाता है कि फीचर लर्निंग प्रासंगिक दिशाओं को "कंप्रेस" कर सकता है, जिससे कम इफेक्टिव डायमेंशन और बेहतर सामान्यीकरण होता है।
एक्टिवेशन रीजन्स की भूमिका: यह कार्य ReLU नेटवर्क्स में एक्टिवेशन-स्टेबल रीजन्स की संख्या और सामान्यीकरण बाउंड के बीच एक स्पष्ट सैद्धांतिक संबंध बनाता है, जो इस अनुभवजन्य निष्कर्ष का समर्थन करता है कि डीप नेटवर्क अक्सर वर्स्ट-केस कॉम्बिनेटोरियल बाउंड्स की तुलना में बहुत कम सक्रिय क्षेत्रों का उपयोग करते हैं।
सीमाएँ: लेखक अपने दायरे के बारे में विनम्र हैं, यह नोट करते हुए कि विश्लेषण वर्तमान में फिक्स्ड-डिजाइन स्क्वायर-लॉस रिग्रेशन और स्ट्रॉन्गली लॉग-कॉन्केव नॉइज़ तक सीमित है। इन परिणामों को रैंडम डिजाइन, अन्य लॉस फंक्शन्स तक विस्तारित करना, या पूर्ण ऑप्टिमाइजेशन ट्रजेक्टरी (केवल स्थानीय मिनिमाइज़र के बजाय) के इम्पलिसिट रेगुलराइजेशन को कैप्चर करना एक खुला विषय बना हुआ है।

संक्षेप में, पेपर तर्क देता है कि नॉनलीनियर लीस्ट-स्क्वायर्स मॉडल्स की सामान्यीकरण क्षमता प्रशिक्षित जैकोबियन फीचर्स के इफेक्टिव डायमेंशन द्वारा शासित होती है, जो एक ऐसी मात्रा है जो यह दर्शाती है कि मॉडल ने अपनी ज्यामिति को डेटा के अनुकूल कैसे बनाया है, और यह डायमेंशन मॉडल के पैरामीटर काउंट या सैंपल साइज से काफी कम हो सकती है।