📊 statistics

A Rigorous, Tractable Measure of Model Complexity

यह शोध पत्र इनपुट ग्रेडिएंट समानता (input gradient similarities) पर आधारित मॉडल जटिलता का एक कठोर और गणनात्मक रूप से कुशल माप प्रस्तुत करता है जो विभिन्न मौजूदा मेट्रिक्स को एकीकृत करता है और विविध मॉडल आर्किटेक्चर में 'डबल डिसेंट' (double descent) घटना के संबंध में नई अंतर्दृष्टि प्रदान करता है।

मूल लेखक: Oskar Allerbo, Thomas B. Schön

प्रकाशित 2026-05-21✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oskar Allerbo, Thomas B. Schön

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: आपका मॉडल कितना "जटिल" है?

कल्पना कीजिए कि आप एक शेफ हैं जो यह आंकने की कोशिश कर रहे हैं कि एक रेसिपी कितनी जटिल है।

पुराना तरीका: आप केवल सामग्रियों (पैरामीटर्स) की संख्या गिन सकते हैं। लेकिन यदि 50 मसालों वाली रेसिपी में सभी मसालों का स्वाद एक जैसा है, तो वह वास्तव में एक सरल व्यंजन हो सकता है। इसके विपरीत, केवल 3 सामग्रियों वाली रेसिपी अविश्वसनीय रूप से जटिल हो सकती है यदि शेफ को उन्हें बहुत ही विशिष्ट और नाजुक तरीके से संभालना पड़े।
वर्तमान उलझन: मशीन लर्निंग में, वैज्ञानिक जटिलता को मापने के लिए "पैरामीटर्स की संख्या", "वैपनिक-चेरवनोनिक आयाम" (एक बहुत कठिन गणितीय अवधारणा), या "प्रभावी स्वतंत्रता की डिग्री" जैसी चीजों का उपयोग करने का प्रयास करते रहे हैं। समस्या यह है कि ये तरीके या तो बहुत मोटे (जैसे केवल सामग्री गिनना) हैं या गणना करने में इतने कठिन हैं कि वे व्यवहार में बेकार हैं।

इस शोध पत्र के लेखक, ऑस्कर अल्लेरबो और थॉमस बी. शॉन, इसे ठीक करना चाहते हैं। वे ग्रेडिएंट अलाइनमेंट कॉम्प्लेक्सिटी (GAC) नामक एक नया, आसानी से गणना योग्य और गणितीय रूप से ठोस तरीका प्रस्तावित करते हैं।

नया विचार: "डांस फ्लोर" का रूपक

GAC को समझने के लिए, कल्पना करें कि मॉडल एक डांसर है, और "ग्रेडिएंट्स" वे दिशाएं हैं जिनकी ओर डांसर तब मुड़ता है जब वह चलता है।

सेटअप: मॉडल अलग-अलग इनपुट (डांस फ्लोर पर अलग-अलग गाने) को देखता है। हर गाने के लिए, मॉडल के पास एक विशिष्ट "दिशा" होती है जिसमें वह डेटा को सीखने के लिए आगे बढ़ना चाहता है।
सरल मॉडल (कम जटिलता): यदि मॉडल बहुत सरल है, तो वह हर गाने पर बिल्कुल एक ही तरह से प्रतिक्रिया देता है। वह चाहे कोई भी संगीत बजे, एक ही दिशा में देखता है। उसके सभी "डांस मूव्स" पूरी तरह से संरेखित (aligned) होते हैं। उसके पास बहुत कम स्वतंत्रता होती है।
- रूपक: एक रोबोट जो केवल एक डांस मूव जानता है। गाना चाहे कोई भी हो, वह एक ही चीज़ करता है। वह सरल है, लेकिन बहुत लचीला नहीं है।
जटिल मॉडल (उच्च जटिलता): यदि मॉडल बहुत जटिल है, तो वह हर गाने पर अलग तरह से प्रतिक्रिया करता है। एक गाने के लिए, वह उत्तर की ओर देखता है; दूसरे के लिए, वह दक्षिण की ओर देखता है; तीसरे के लिए, वह पागलों की तरह घूमता है। उसके "डांस मूव्स" हर जगह बिखरे हुए हैं और पूरी तरह से अलग-अलग दिशाओं में इशारा करते हैं।
- रूपक: एक जैज़ कलाकार (jazz improviser) जो हर नोट के लिए अपनी शैली पूरी तरह बदल देता है। उसके पास कहीं भी घूमने की पूरी स्वतंत्रता है।

GAC माप: लेखक बस यह मापते हैं कि ये "डांस मूव्स" (ग्रेडिएंट्स) एक-दूसरे के साथ कितने संरेखित हैं।

यदि वे सभी एक ही दिशा में इशारा करते हैं (उच्च संरेखण) $\rightarrow$ कम जटिलता।
यदि वे यादृच्छिक (random), स्वतंत्र दिशाओं में इशारा करते हैं (कम संरेखण) $\rightarrow$ उच्च जटिलता।

यह क्यों एक बड़ी बात है

यह पेपर दावा करता है कि यह नया माप तीन मुख्य कारणों से विशेष है:

यह सबके लिए काम करता है: चाहे आप एक साधारण बहुपद समीकरण (polynomial equation), निर्णय वृक्ष (decision tree), रैंडम फॉरेस्ट, या न्यूरल नेटवर्क का उपयोग कर रहे हों, यह माप काम करता है। इसे इस बात से फर्क नहीं पड़ता कि आप किस "प्रकार" के मॉडल का उपयोग कर रहे हैं।
यह केवल "आउटपुट" को नहीं, बल्कि "मशीन" को मापता है: कभी-कभी एक जटिल मशीन (जैसे सुपर-कंप्यूटर) का उपयोग एक बहुत ही सरल कार्य (जैसे 2+2 जोड़ना) के लिए किया जाता है। पुराने माप कह सकते हैं कि मशीन सरल है क्योंकि परिणाम सरल है। GAC मशीन को ही देखता है। यह कहता है, "हे, भले ही आप अभी एक सरल कार्य कर रहे हैं, आपके पास बहुत जटिल चीजें करने की क्षमता है क्योंकि आपके आंतरिक हिस्से इतने लचीले हैं।"
यह पुराने नियमों को सामान्य बनाता है: लेखक सिद्ध करते हैं कि उनका नया माप स्वाभाविक रूप से पुराने, परिचित नियमों में बदल जाता है जब आप उन्हें विशिष्ट मॉडलों पर लागू करते हैं:
- बहुपदों (Polynomials) के लिए, यह "डिग्री" (पावर कितनी ऊंची है) की तरह कार्य करता है।
- डिसीजन ट्री (Decision Trees) के लिए, यह "स्प्लिट्स की संख्या" (कितनी शाखाएं हैं) की तरह कार्य करता है।
- रैंडम फॉरेस्ट (Random Forests) के लिए, यह "पेड़ों की संख्या" की तरह कार्य करता है।
- K-निकटतम पड़ोसियों (K-Nearest Neighbors) के लिए, यह "पड़ोसियों की संख्या" की तरह कार्य करता है।

"डबल डिसेंट" (Double Descent) के रहस्य को सुलझाना

AI में एक प्रसिद्ध घटना है जिसे डबल डिसेंट कहा जाता है। आमतौर पर, जैसे-जैसे आप अपने मॉडल को अधिक जटिल बनाते हैं, यह सीखने में बेहतर होता है, फिर खराब (overfitting) होता है, और फिर—आश्चर्यजनक रूप से—यदि आप इसे और अधिक जटिल बनाते हैं, तो यह फिर से बेहतर हो जाता है।

वैज्ञानिक इस बात पर बहस कर रहे हैं कि यह क्यों होता है। कुछ कहते हैं कि यह इसलिए है क्योंकि मॉडल बहुत बड़ा हो रहा है; अन्य कहते हैं कि यह इस बात का भ्रम है कि हम जटिलता को कैसे मापते हैं।

लेखकों ने अपने नए GAC माप का उपयोग करके इन प्रयोगों का पुन: परीक्षण किया:

"स्थिर" मॉडलों के लिए: (वे मॉडल जहाँ प्रशिक्षण के दौरान संरचना नहीं बदलती, जैसे रैंडम फॉरेस्ट या रैंडम फूरियर फीचर्स)। GAC ने पुष्टि की कि डबल डिसेंट वास्तविक है। जैसे-जैसे आप अधिक पेड़ या फीचर्स जोड़ते हैं, जटिलता बढ़ जाती है, और "दूसरा डिसेंट" (फिर से बेहतर होना) ठीक उसी समय होता है जब जटिलता एक निश्चित बिंदु तक पहुँच जाती है।
"गतिशील" मॉडलों के लिए: (न्यूरल नेटवर्क जैसे मॉडल जहाँ फीचर्स सीखते समय बदलते हैं)। लेखकों ने पाया कि GAC के साथ मापने पर डबल डिसेंट अक्सर गायब हो जाता है। क्यों? क्योंकि जैसे-जैसे ये मॉडल बड़े होते हैं, वे वास्तव में जटिलता के मामले में कम जटिल होते जाते हैं। वे इतनी अच्छी तरह से अनुकूल होने के लिए सीखते हैं कि वे अपनी पूरी "जटिलता क्षमता" का उपयोग करना बंद कर देते हैं।

निष्कर्ष

लेखकों ने मशीन लर्निंग मॉडलों को मापने के लिए एक नया "रूलर" (पैमाना) बनाया है।

पुराने रूलर: या तो बहुत मोटे थे (हिस्सों को गिनना) या उपयोग करने में बहुत कठिन थे (असंभव गणित की आवश्यकता)।
नया GAC रूलर: यह देखता है कि मॉडल की आंतरिक "मांसपेशियां" (ग्रेडिएंट्स) एक साथ कैसे चलती हैं। यदि वे एक साथ तालमेल में चलती हैं, तो मॉडल सरल है। यदि वे स्वतंत्र रूप से चलती हैं, तो मॉडल जटिल है।

यह उपकरण वैज्ञानिकों को यह समझने में मदद करता है कि उनके मॉडल कैसा व्यवहार करते हैं, विशेष रूप से भ्रमित करने वाले "डबल डिसेंट" कर्व को, क्योंकि यह एक स्पष्ट, सुसंगत परिभाषा प्रदान करता है कि विभिन्न प्रकार के AI में "जटिलता" का वास्तव में क्या अर्थ है।

तकनीकी सारांश: मॉडल जटिलता का एक कठोर, सुलभ माप

समस्या विवरण

मॉडल की जटिलता का सटीक मूल्यांकन व्याख्या (interpretation), सामान्यीकरण (generalization) और मॉडल चयन जैसे मशीन लर्निंग कार्यों के लिए मौलिक है। हालाँकि, मौजूदा माप महत्वपूर्ण सीमाओं से ग्रस्त हैं:

अनुमानी दृष्टिकोण (Heuristic Approaches): पैरामीटर गणना या परिमाण जैसे सरल मेट्रिक्स कच्चे अनुमान प्रदान करते हैं जो मॉडल की वास्तविक क्षमता को पकड़ने में विफल रहते हैं।
मॉडल-विशिष्ट हाइपरपैरामीटर: बहुपद डिग्री (polynomial degree) या कर्नेल लेंथ स्केल (kernel length scale) जैसे माप विभिन्न मॉडल वर्गों में सामान्यीकृत नहीं होते हैं।
संगणनात्मक अव्यवहारिकता (Computational Intractability): वैपनिक-चेरवनोनिकिस आयाम (VCD) और रेडमेकर कॉम्प्लेक्सिटी (RMC) जैसे कठोर सैद्धांतिक माप अक्सर व्यवहार में कंप्यूट करने के लिए असंभव होते हैं।
फंक्शन बनाम मॉडल जटिलता: एक विशिष्ट सीखे गए फंक्शन (जैसे, प्रभावी संख्या पैरामीटर, ENP) और मॉडल क्लास की जटिलता के बीच एक महत्वपूर्ण, अक्सर अनदेखा किया जाने वाला अंतर है। एक जटिल मॉडल एक सरल फंक्शन उत्पन्न कर सकता है (उदाहरण के लिए, पैरामीटर्स को शून्य सेट करके), फिर भी मानक मेट्रिक्स दोनों को मिला देते हैं।

इसके अलावा, एक सार्वभौमिक रूप से स्वीकृत, गणना योग्य जटिलता माप की कमी "डबल डिसेंट" (double descent) घटना की व्याख्या को जटिल बनाती है, जहाँ इंटरपोलेशन थ्रेशोल्ड के बाद मॉडल जटिलता बढ़ने पर सामान्यीकरण त्रुटि (generalization error) कम हो जाती है।

कार्यप्रणाली (Methodology)

लेखक ग्रेडिएंट अलाइनमेंट कॉम्प्लेक्सिटी (GAC) का प्रस्ताव करते हैं, जो विभिन्न इनपुट पर मॉडल ग्रेडिएंट्स के संरेखण (alignment) पर आधारित एक मॉडल-अज्ञेयवादी (model-agnostic) माप है।

परिभाषा

एक पैरामेट्रिक मॉडल $\hat{f}(x, \hat{\theta})$ के लिए जिसमें पैरामीटर्स $\hat{\theta} \in \mathbb{R}^p$ हैं, $\phi(x, \hat{\theta}) = \nabla_{\hat{\theta}} \hat{f}(x, \hat{\theta})$ को इनपुट $x$ पर पैरामीटर्स के सापेक्ष ग्रेडिएंट मान लें। GAC, जिसे $K(\hat{f})$ द्वारा दर्शाया गया है, इस प्रकार परिभाषित है:

$K(\hat{f}) := 1 - \mathbb{E}_{x,x'} \left[ \left( \frac{\phi(x, \hat{\theta})^\top \phi(x', \hat{\theta})}{\|\phi(x, \hat{\theta})\| \cdot \|\phi(x', \hat{\theta})\|} \right)^2 \right]$

यह सूत्रीकरण दो अलग-अलग इनपुट्स $x$ और $x'$ पर ग्रेडिएंट्स के बीच के कोण के वर्ग कोजाइन (squared cosine) का उपयोग करता है।

व्याख्या: एक्सपेक्टेशन के भीतर का पद दो ग्रेडिएंट्स के बीच के कोण के वर्ग कोजाइन को दर्शाता है। यदि ग्रेडिएंट्स अत्यधिक संरेखित (समानांतर) हैं, तो मॉडल के पास विविध डेटा पैटर्न को फिट करने की स्वतंत्रता कम होती है, जो कम जटिलता का संकेत देती है। यदि ग्रेडिएंट्स ऑर्थोगोनल (स्वतंत्र) हैं, तो मॉडल अत्यधिक लचीला होता है।
सामान्यीकरण: मल्टीवेरिएट आउटपुट्स (जैसे, वर्गीकरण) के लिए, डॉट प्रोडक्ट को जैकोबियन्स (Jacobians) के फ्रोबेनियस आंतरिक उत्पाद (Frobenius inner product) से बदल दिया जाता है।
अनुभवजन्य गणना (Empirical Calculation): एक डेटासेट $\{x_i\}_{i=1}^n$ के लिए, एक्सपेक्टेशन को $i \neq j$ के जोड़ों पर सैंपल एवरेज द्वारा प्रतिस्थापित किया जाता है।

सैद्धांतिक संबंध

लेखक स्थापित करते हैं कि GAC गणितीय रूप से इसके समकक्ष है:

सामान्यीकृत रैखिक एंट्रॉपी (Normalized Linear Entropy): GAC, नॉर्मलाइज्ड न्यूरल टेंगेंट कर्नेल (NTK) मैट्रिक्स की नॉर्मलाइज्ड लीनियर एंट्रॉपी के बराबर है।
NTK समानता: यह मॉडल द्वारा पेश की गई समानता को मापता है; उच्च समानता एक सरल मॉडल का संकेत देती है।

महत्वपूर्ण रूप से, कांस्टेंट-फीचर मॉडल्स (जहाँ $\hat{f}(x, \hat{\theta}) = \hat{\theta}^\top \phi(x)$ और $\phi(x)$ , $\hat{\theta}$ पर निर्भर नहीं करता है) के लिए, GAC केवल फीचर एक्सपेंशन $\phi(x)$ पर निर्भर करता है, न कि सीखे गए पैरामीटर्स पर। इस प्रकार, यह मॉडल जटिलता को मापता है न कि फंक्शन जटिलता को। नॉन-कांस्टेंट फीचर मॉडल्स (जैसे, डीप न्यूरल नेटवर्क) के लिए, GAC को लॉस रिडक्शन द्वारा भारित (weighted) करके ट्रेनिंग स्टेप्स के दौरान एकत्रित किया जा सकता है।

मुख्य योगदान और परिणाम

1. मौजूदा जटिलता मेट्रिक्स का सामान्यीकरण

पेपर सिद्ध करता है कि GAC विभिन्न मॉडल वर्गों के लिए मानक जटिलता हाइपरपैरामीटर्स का स्वाभाविक रूप से सामान्यीकरण करता है:

पॉलीनोमियल रिग्रेशन: GAC बहुपद डिग्री $p$ के साथ सख्ती से बढ़ता है।
मैटर्न कर्नेल्स (गौसियन/लाप्लास): GAC कर्नेल लेंथ स्केल $l$ के साथ सख्ती से घटता है।
k-निकटतम पड़ोसी (kNN): GAC पड़ोसियों की संख्या $\kappa$ के साथ सख्ती से घटता है।
डिसीजन ट्री: GDT स्प्लिट्स (या लीव्स) की संख्या के साथ सख्ती से बढ़ता है।
रैंडम फॉरेस्ट: एक एन्सेम्बल की जटिलता को एकल ट्री की जटिलता और पेड़ों की संख्या तथा उनके सहसंबंध (correlation) पर निर्भर एक पद के योग के रूप में दिखाया गया है।

2. डेटा और हाइपरपैरामीटर के संबंध में व्यवहार

आयामीता और विचरण (Dimensionality and Variance): GAC इनपुट डाइमेंशनलिटी $d$ और इनपुट वेरिएंस $\sigma^2$ के साथ बढ़ता है।
सैंपल साइज स्वतंत्रता: कांस्टेंट-फीचर वाले पैरामेट्रिक मॉडल्स के लिए, GAC सैंपल साइज $n$ से स्वतंत्र है। यह ENP और इसके सामान्यीकरणों (GENP-V, GENP-RX) के विपरीत है, जो अक्सर गैर-मोनोटोनिक व्यवहार प्रदर्शित करते हैं या $n$ पर अत्यधिक निर्भर होते हैं।
मजबूती (Robustness): ENP के विपरीत, जो रेगुलाइजेशन स्ट्रेंथ (जैसे, एक अत्यधिक रेगुलराइज्ड जटिल मॉडल ENP के तहत सरल दिखाई दे सकता है) से प्रभावित हो सकता है, GAC विशिष्ट सीखे गए फंक्शन या रेगुलाइजेशन की परवाह किए बिना अंतर्निहित मॉडल जटिलता को सही ढंग से पहचानता है।

3. डबल डिसेंट में अंतर्दृष्टि

लेखक जटिलता मेट्रिक के रूप में GAC का उपयोग करके डबल डिसेंट घटना का पुनरावलोकन करते हैं:

कांस्टेंट-फीचर मॉडल्स: रैंडम फूरियर फीचर्स और रैंडम फॉरेस्ट के लिए, जब जटिलता को GAC द्वारा मापा जाता है, तो डबल डिसेंट बना रहता है।
नॉन-कांस्टेंट फीचर मॉडल्स: न्यूरल नेटवर्क और ग्रेडिएंट बूस्टिंग के लिए, जब GAC द्वारा मापा जाता है, तो डबल डिसेंट घटना अक्सर गायब हो जाती है या कम स्पष्ट हो जाती है। लेखक तर्क देते हैं कि इन मामलों में, "जटिलता" (फीचर अलाइनमेंट) मॉडल क्षमता बढ़ने के साथ वास्तव में कम हो सकती है, क्योंकि बड़े मॉडल अधिक आसानी से डेटा के अनुकूल हो सकते हैं, जिसके लिए अधिक जटिल फीचर स्पेस की आवश्यकता नहीं होती है। यह सुझाव देता है कि इन मॉडल्स में पिछले डबल डिसेंट अवलोकन शायद इनिशियलाइजेशन स्कीमों या फंक्शन जटिलता और मॉडल जटिलता के मिश्रण के कारण उत्पन्न आर्टिफैक्ट्स (artifacts) हो सकते हैं।

महत्व और दावे

पेपर दावा करता है कि GAC मौजूदा जटिलता मापों का एक गणितीय रूप से कठोर लेकिन आसानी से गणना योग्य विकल्प प्रदान करता है। इसका प्राथमिक महत्व है:

मॉडल-अज्ञेयवाद (Model-Agnosticism): यह किसी भी पैरामेट्रिक मॉडल और कर्नेल-आधारित नॉन-पैरामेट्रिक मॉडल्स के लिए सुपरिभाषित है।
जटिलता का पृथक्करण: यह विशेष रूप से कांस्टेंट-फीचर मॉडल्स के लिए, मॉडल जटिलता को फंक्शन जटिलता से सफलतापूर्वक अलग करता है।
व्याख्यात्मकता (Interpretability): यह विजातीय (disparate) मॉडल वर्गों (जैसे, एक डिसीजन ट्री की तुलना कर्नेल रिग्रेशन से करना) की तुलना करने के लिए एक एकीकृत ढांचा प्रदान करता है।
डबल डिसेंट को स्पष्ट करना: एक सुसंगत जटिलता मेट्रिक प्रदान करके, यह वास्तविक डबल डिसेंट व्यवहारों और उन आर्टिफैक्ट्स के बीच अंतर करने में मदद करता है जो जटिलता कैसे परिभाषित की जाती है (जैसे, GENP-V जैसे सामान्यीकरण त्रुटि प्रॉक्सी के माध्यम से) उससे उत्पन्न होते हैं।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि डीप न्यूरल नेटवर्क के लिए GAC गणनात्मक रूप से महंगा हो सकता है जहाँ NTK को कंप्यूट करना कठिन होता है, और ट्रेनिंग डायनेमिक्स के लिए एकत्रीकरण विधि (इक्वेशन 2) को परिष्कृत किया जा सकता है। हालांकि, वे तर्क देते हैं कि GAC मॉडल जटिलता की समस्याओं को समझने में एक पर्याप्त सुधार प्रदान करता है।