📊 statistics

Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties

यह शोधपत्र एडेप्टिव लासो (Adaptive Lasso) और एडेप्टिव ग्रुप लासो (Adaptive Group Lasso) मॉडलों में प्रभावी स्वतंत्रता की कोटियों (effective degrees of freedom) के लिए नवीन, निष्पक्ष अनुमानक व्युत्पन्न करता है, जो मॉडल जटिलता के प्रॉक्सी के रूप में सक्रिय सेट आकार (active set size) के सामान्य दुरुपयोग को सुधारता है और सामान्य डिज़ाइन मैट्रिसेस के तहत जोखिम अनुमान और अनुमान के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है।

मूल लेखक: Mauro Bernardi, Antonio Canale, Marco Stefanucci

प्रकाशित 2026-04-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mauro Bernardi, Antonio Canale, Marco Stefanucci

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक बेहतरीन सूप बनाने की कोशिश कर रहे हैं। आपके पास सामग्री का एक विशाल भंडार है (आपके डेटा वेरिएबल्स), लेकिन आप जानते हैं कि बहुत अधिक सामग्री का उपयोग करने से आपका सूप धुंधला और भ्रमित करने वाला हो जाएगा, जबकि बहुत कम उपयोग करने से यह फीका रह जाएगा।

पेनलाइज्ड रिग्रेशन (Penalized Regression) एक सख्त 'सू-शेफ' (sous-chef) की तरह है जो आपको बर्तन में कुछ सामग्रियां छोड़ देने के लिए मजबूर करता है। वे ऐसा इसलिए करते हैं क्योंकि वे प्रत्येक सामग्री को जोड़ने के लिए एक "दंड" (penalty) लागू करते हैं। लक्ष्य एक ऐसा 'स्वीट स्पॉट' ढूंढना है: एक ऐसा सूप जिसका स्वाद बेहतरीन हो (जो अच्छी भविष्यवाणी करे) बिना अत्यधिक जटिल हुए।

सवाल यह है कि आप कैसे जानेंगे कि आपका सूप वास्तव में कितना "जटिल" है?

सांख्यिकी (statistics) में, हम इस जटिलता को मापने के लिए डिग्री ऑफ फ्रीडम (degrees of freedom - df) नामक चीज़ का उपयोग करते हैं। डिग्री ऑफ फ्रीडम को अपने सूप के "फ्लेवर नोट्स" (स्वाद के नोट्स) के रूप में सोचें। यदि आप 5 सामग्रियां उपयोग करते हैं, तो आप सोच सकते हैं कि आपके पास 5 फ्लेवर नोट्स हैं। लेकिन यदि आपकी खाना पकाने की विधि पेचीदा है, तो आप वास्तव में सामग्रियों की संख्या से कहीं अधिक या कम "सूचना" का उपयोग कर रहे होंगे।

पुराना नियम (लसो - Lasso)

लंबे समय तक, सांख्यिकीविदों ने एक विधि का उपयोग किया जिसे लसो (Lasso) कहा जाता था। नियम सरल था: "बर्तन में मौजूद सामग्रियों की गिनती करें। वही आपकी जटिलता है।"
यदि आपके पास 5 सामग्रियां बची हैं, तो आपकी जटिलता 5 है। यह एक सुंदर, आसान तरीका था जो लसो के लिए पूरी तरह से काम करता था।

समस्या (एडेप्टिव मेथड्स - Adaptive Methods)

फिर, शेफ ने एडेप्टिव लसो (Adaptive Lasso) और ग्रुप लसो (Group Lasso) जैसे स्मार्ट तरीके ईजाद किए।

एडेप्टिव लसो एक ऐसे शेफ की तरह है जो पहले सूप चखता है, फिर तय करता है कि प्रत्येक सामग्री पर कितना दंड लागू करना है। कुछ सामग्रियों को हल्का स्पर्श मिलता है; कुछ को भारी हाथ।
ग्रुप लसो उन सामग्रियों के साथ व्यवहार करता है जो एक साथ चलती हैं (जैसे नमक और काली मिर्च) उन्हें एक एकल इकाई के रूप में। यदि आप नमक रखते हैं, तो आप काली मिर्च भी रखेंगे।

गलती: कई लोगों ने पुराने नियम ("बस सामग्रियों को गिनें!") का उपयोग जारी रखा, भले ही वे नए, स्मार्ट तरीकों का उपयोग कर रहे हों।
वास्तविकता: यह कमरे में मौजूद लोगों को गिनकर पार्टी के शोर का अनुमान लगाने जैसा है, यह नजरअंदाज करते हुए कि कुछ लोग फुसफुसा रहे हैं और कुछ चिल्ला रहे हैं। क्योंकि ये नए तरीके डेटा के आधार पर अपने दंड (penalties) को समायोजित करते हैं, इसलिए सूप की "जटिलता" केवल सामग्रियों की संख्या नहीं है। यह सामग्रियों और उस तरीके का मिश्रण है जिससे शेफ ने उन्हें नियंत्रित किया।

पुराने नियम का उपयोग करने से गलत निर्णय होते हैं। आप सोच सकते हैं कि आपका सूप सरल है जबकि वह वास्तव में एक अराजक मिश्रण है, या इसके विपरीत। इससे आप गलत रेसिपी (मॉडल चयन) चुनते हैं और खराब भविष्यवाणियां करते हैं।

समाधान (नया पेपर)

इस पेपर के लेखक (बर्नार्डी, कैनाले और स्टेफ़ानुची) उन मास्टर फूड साइंटिस्ट्स की तरह हैं जिन्होंने अंततः इन नई कुकिंग विधियों के लिए जटिलता का असली फॉर्मूला खोज लिया है।

उन्होंने छिपी हुई सामग्रियों को खोजा: उन्होंने महसूस किया कि जब आप "एडेप्टिव" वेट्स (शेफ के स्वाद समायोजन) का उपयोग करते हैं, तो आपको अपनी जटिलता गणना में अतिरिक्त शब्द (terms) जोड़ने होते हैं। यह केवल "5 सामग्रियां" नहीं है; यह "5 सामग्रियां + वह अतिरिक्त प्रयास जो शेफ ने मसालों को समायोजित करने में लगाया" है।
उन्होंने ग्रुप विधि को ठीक किया: ग्रुप लसो के लिए, उन्होंने दिखाया कि जटिलता वास्तव में सामग्रियों की संख्या से कम होती है क्योंकि समूह एक एकल इकाई के रूप में कार्य करते हैं, जिससे "फ्लेवर स्पेस" की बचत होती है।
उन्होंने रास्ता दिखाया: उन्होंने केवल एक स्थिर संख्या नहीं दी। उन्होंने दिखाया कि जैसे-जैसे आप दंड (penalty) को सख्त या ढीला करते हैं, जटिलता कैसे बदलती है (रेगुलराइजेशन पाथ)। उन्होंने खोजा कि कभी-कभी, दंड को अधिक सख्त बनाना (अधिक सामग्रियां हटाना) वास्तव में सांख्यिकीय अर्थ में मॉडल को अधिक जटिल बना सकता है, जो विरोधाभासी लगता है लेकिन सच है।

यह क्यों मायने रखता है?

वास्तविक दुनिया में, सांख्यिकीविद इन "जटिलता स्कोर" का उपयोग यह तय करने के लिए करते हैं कि कौन सा मॉडल सबसे अच्छा है, इसके लिए वे AIC और BIC (सोचिए ये बेहतरीन सूप के स्कोरकार्ड हैं) जैसे उपकरणों का उपयोग करते हैं।

इस पेपर से पहले: लोग इन नए तरीकों के लिए गलत स्कोरकार्ड (सामग्रियों को गिनना) का उपयोग कर रहे थे। वे ऐसे सूप चुन रहे थे जो या तो बहुत सरल थे (मुख्य स्वाद गायब थे) या बहुत जटिल (बहुत अधिक शोर/noise)।
इस पेपर के बाद: अब हमारे पास सही स्कोरकार्ड है। हम एडेप्टिव और ग्रुप विधियों के लिए फ्लेवर नोट्स को सटीक रूप से माप सकते हैं। इसका मतलब है कि हम सही मॉडल चुन सकते हैं, बेहतर भविष्यवाणियां कर सकते हैं, और अपने सांख्यिकीय निष्कर्षों पर भरोसा कर सकते हैं।

मुख्य बात (Takeaway)

यह पेपर उस सामान्य गलती को ठीक करता है जहाँ लोग मान लेते थे कि एक सरल नियम ("वेरिएबल्स को गिनें") सभी उन्नत रिग्रेशन विधियों पर लागू होता है। लेखकों ने सिद्ध किया कि एडेप्टिव और ग्रुप विधियां अधिक सूक्ष्म हैं। उन्होंने जटिलता को मापने के लिए नए, सटीक फॉर्मूले विकसित किए हैं, जिससे यह सुनिश्चित होता है कि जब हम अपने सांख्यिकीय मॉडल का चयन करते हैं, तो हम केवल अनुमान नहीं लगा रहे होते हैं—हम सही रेसिपी के साथ खाना बना रहे होते हैं।

यहाँ बर्नार्डी, कैनाले और स्टेफ़ानुची के शोध पत्र "Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

पेनलाइज्ड रिग्रेशन (Penalized regression) में, मॉडल चयन काफी हद तक मॉडल की जटिलता के सटीक मूल्यांकन पर निर्भर करता है, जिसे आमतौर पर प्रभावी स्वतंत्रता की डिग्री (effective degrees of freedom - df) द्वारा मापा जाता है।

लॉसो बेंचमार्क (The Lasso Benchmark): मानक लासो (L1 रेगुलराइजेशन) के लिए, यह एक स्थापित परिणाम है (ज़ू एट अल., 2007) कि स्वतंत्रता की डिग्री सक्रिय सेट (active set - गैर-शून्य गुणांकों की संख्या) के आकार के बराबर होती है। यह एक सरल, निष्पक्ष (unbiased) अनुमान प्रदान करता है।
अंतराल (The Gap): इस सरलता को अक्सर अधिक जटिल विधियों, जैसे कि एडेप्टिव लासो (Adaptive Lasso), ग्रुप लासो (Group Lasso), और एडेप्टिव ग्रुप लासो (Adaptive Group Lasso) पर गलत तरीके से लागू कर दिया जाता है। ये विधियाँ डेटा-निर्भर भार (weights) या समूह संरचनाएँ पेश करती हैं जो फिट किए गए मानों और डेटा के बीच के संबंध को मौलिक रूप से बदल देती हैं।
परिणाम (The Consequence): इन एडेप्टिव सेटिंग्स में स्वतंत्रता की डिग्री के प्रॉक्सी के रूप में सक्रिय सेट के आकार का उपयोग करने से जोखिम अनुमान (जैसे AIC/BIC) पक्षपाती हो जाता है, जिसके परिणामस्वरूप उप-इष्टतम (suboptimal) मॉडल चयन और अविश्वसनीय निष्कर्ष निकलते हैं। विशेष रूप से, सक्रिय सेट का आकार डेटा-संचालित वेटिंग (weighting) या ग्रुप नॉर्म्स (group norms) के विशिष्ट संकुचन गुणों द्वारा पेश की गई अतिरिक्त जटिलता को ध्यान में रखने में विफल रहता है।

2. कार्यप्रणाली (Methodology)

लेखक स्टीन के अनबायस्ड रिस्क एस्टीमेशन (Stein's Unbiased Risk Estimation - SURE) ढांचे के भीतर प्रभावी स्वतंत्रता की डिग्री के लिए निष्पक्ष अनुमानक (unbiased estimators) व्युत्पन्न करते हैं।

मुख्य परिभाषा: स्वतंत्रता की डिग्री को रिस्पॉन्स वेक्टर के सापेक्ष फिट किए गए मानों के विचलन (divergence) के रूप में परिभाषित किया गया है:
$\text{df}(\hat{y}) = \mathbb{E}\left[ \text{trace}\left( \frac{\partial \hat{y}}{\partial y} \right) \right]$
विश्लेषणात्मक दृष्टिकोण: लेखक दंडित ऑब्जेक्टिव फंक्शन्स (penalized objective functions) की प्रथम-क्रम अनुकूलता स्थितियों (first-order optimality conditions) का विश्लेषण करके $\frac{\partial \hat{y}}{\partial y}$ के लिए क्लोज्ड-फॉर्म अभिव्यक्तियाँ व्युत्पन्न करते हैं।
मुख्य अंतर: मानक लासो के विपरीत, जहाँ ट्रांजिशन पॉइंट्स के बीच प्रोजेक्शन मैट्रिक्स स्थिर रहता है, एडेप्टिव विधियों में भार ( $w$ ) शामिल होते हैं जो प्रारंभिक अनुमानों (जैसे OLS) के माध्यम से डेटा ( $y$ ) पर निर्भर करते हैं। इसलिए, $\frac{\partial \hat{y}}{\partial y}$ को इन डेटा-निर्भर भारों पर लागू चेन रूल (chain rule) को ध्यान में रखना चाहिए।
डिज़ाइन मैट्रिसेस (Design Matrices): विश्लेषण में ऑर्थोनॉर्मल डिज़ाइन ( $X^\top X = I_p$ ) और सामान्य गैर-ऑर्थोनॉर्मल डिज़ाइन दोनों को शामिल किया गया है, जो सामान्य डिज़ाइन के लिए कठोर परिणाम प्रदान करते हैं, जिन्हें अक्सर मौजूदा साहित्य में छोड़ दिया जाता है।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

A. एडेप्टिव लासो (Adaptive Lasso)

यह शोध पत्र एडेप्टिव लासो के लिए स्वतंत्रता की डिग्री का पहला निष्पक्ष अनुमानक व्युत्पन्न करता है।

परिणाम: df केवल सक्रिय सेट $|A|$ $∣ A ∣$ नहीं है। इसमें सक्रिय भारों की डेटा के प्रति संवेदनशीलता को दर्शाने वाला एक अतिरिक्त पद (term) शामिल है।
- ऑर्थोनॉर्मल केस: $\widehat{\text{df}}_\gamma = |A| - \gamma \sum_{j \in A} \frac{\partial w_j}{\partial z} \big|_{z=\hat{\beta}^{LS}_j}$ ।
- सामान्य केस: इसमें सक्रिय सेट के प्रिसिजन मैट्रिक्स (precision matrix) के विकर्ण तत्वों, OLS अनुमानों के संकेतों और अनुमानों के संकेतों से संबंधित पद शामिल हैं।
मुख्य अंतर्दृष्टि: मानक घटते भारों (जैसे, $w_j = 1/|\hat{\beta}^{LS}_j|$ ) के लिए, अतिरिक्त पद सकारात्मक होता है। अतः, $\widehat{\text{df}}_\gamma > |A|$ । सक्रिय सेट के आकार का उपयोग करना वास्तविक जटिलता का व्यवस्थित रूप से कम आकलन (underestimate) करता है।
व्यवहार: df, रेगुलराइजेशन पैरामीटर $\gamma$ का एक खंडवार रैखिक (piecewise linear) फलन है (मानक लासो के खंडवार स्थिर होने के विपरीत)। विडंबनापूर्ण रूप से, $\gamma$ (मजबूत रेगुलराइजेशन) बढ़ाने से हमेशा तुरंत अनुमानित df कम नहीं होता है क्योंकि एडेप्टिव भारों की गैर-रैखिक अंतःक्रिया होती है।

B. ग्रुप लासो (Group Lasso)

लेखक ग्रुप लासो का पुनर्मूल्यांकन करते हैं, जो एक वैकल्पिक व्युत्पत्ति प्रदान करता है जो सामान्य डिज़ाइन मैट्रिसेस के लिए मान्य है।

परिणाम: df डिज़ाइन मैट्रिक्स और ग्रुप संरचना से जुड़ी एक विशिष्ट मैट्रिक्स के ट्रेस (trace) द्वारा दिया जाता है:
$\widehat{\text{df}}_\gamma = \text{trace}\left[ (I_n + \gamma B)^{-1} A \right]$
जहाँ $A$ और $B$ सक्रिय समूहों और डिज़ाइन की ज्यामिति पर निर्भर करते हैं।
मुख्य अंतर्दृष्टि: एडेप्टिव लासो के विपरीत, ग्रुप लासो एक डिफ्लेशन प्रभाव (deflation effect) प्रदर्शित करता है। अनुमानित df सक्रिय सेट ( $|A_p|$ ) से स्पष्ट रूप से कम है और सक्रिय समूहों की संख्या ( $|A_G|$ ) द्वारा नीचे से सीमित है।
$|A_G| \leq \widehat{\text{df}}_\gamma \leq |A_p|$
यह इंगित करता है कि $\ell_2$ ग्रुप पेनल्टी, $\ell_1$ पेनल्टी की तुलना में जानकारी का अधिक मितव्ययी (parsimonious) उपयोग करती है।
मोनोटोनिसिटी (Monotonicity): शोध पत्र रेगुलराइजेशन पाथ के साथ df की मोनोटोनिसिटी को स्पष्ट करता है। जबकि ऑर्थोनॉर्मल डिज़ाइन के लिए मोनोटोनिसिटी बनी रहती है, सामान्य डिज़ाइन के लिए यह तब तक गारंटीकृत नहीं है जब तक कि मैट्रिक्स $\Pi_{AG} + \gamma \frac{d\Pi_{AG}}{d\gamma}$ पर विशिष्ट स्पेक्ट्रल स्थितियाँ पूरी न हों।

C. एडेप्टिव ग्रुप लासो (Adaptive Group Lasso)

यह विधि एडेप्टिव वेटिंग के मुद्रास्फीति (inflation) प्रभाव और ग्रुप नॉर्म के संकुचन (contraction) प्रभाव को जोड़ती है।

परिणाम: df अनुमानक दोनों प्रभावों को शामिल करता है:
$\widehat{\text{df}}_\gamma = \text{trace}\left[ (I_n + \gamma B)^{-1} (A - \gamma C) \right]$
जहाँ $C$ , एडेप्टिव भारों के डेरिवेटिव को कैप्चर करता है।
मुख्य अंतर्दृष्टि: जटिलता पर शुद्ध प्रभाव मुद्रास्फीति (भारों से) और संकुचन ( $\ell_2$ नॉर्म से) की सापेक्ष शक्ति पर निर्भर करता है। मानक स्थितियों के तहत, एडेप्टिव ग्रुप लासो df, ग्रुप लासो df से नीचे सीमित है।

4. अनुभवजन्य मूल्यांकन (Empirical Assessment)

लेखक अपने सैद्धांतिक निष्कर्षों को निम्नलिखित के माध्यम से सत्यापित करते हैं:

सिंथेटिक डेटा: $n=100, p=30$ $n = 100, p = 30$ और समूहीकृत चरों (grouped variables) के साथ सिमुलेशन।
- निष्कर्ष: प्रस्तावित df अनुमानक निष्पक्ष (unbiased) हैं (कोवेरिएंस फॉर्मूला बेंचमार्क से मेल खाते हैं)।
- मॉडल चयन: BIC में सही df का उपयोग करने से अधिकांश मामलों में वास्तविक चरों की संख्या (9) चुनने में मदद मिलती है। इसके विपरीत, सक्रिय सेट के आकार का उपयोग करने से ग्रुप लासो के लिए ओवर-सिलेक्शन (शोर चरों को बनाए रखना) और एडेप्टिव विधियों के लिए अंडर-सिलेक्शन होता है।
वास्तविक डेटा (डायबिटीज डेटासेट):
- लॉसो बनाम एडेप्टिव लासो: सही df कर्व सक्रिय सेट के आकार से ऊपर है। सक्रिय सेट के आकार का उपयोग करने से बड़े $\gamma$ (ओवर-रेगुलराइजेशन) का चयन होता है।
- ग्रुप लासो बनाम एडेप्टिव ग्रुप लासो: सही df कर्व सक्रिय सेट के आकार से नीचे है। सक्रिय सेट के आकार का उपयोग करने से छोटे $\gamma$ (अंडर-रेगुलराइजेशन) का चयन होता है।
- निष्कर्ष: प्रस्तावित विधि, महंगी क्रॉस-वैलिडेशन के समान मॉडल चयन प्रदर्शन प्रदान करती है, जबकि साधारण सक्रिय-सेट प्रॉक्सी महत्वपूर्ण पूर्वाग्रह (bias) पेश करती है।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक प्रगति: यह शोध पत्र सामान्य डिज़ाइन स्थितियों के तहत एडेप्टिव और ग्रुप विधियों के लिए कठोर, निष्पक्ष df अनुमानक प्रदान करके पेनलाइज्ड रिग्रेशन के एक लंबे समय से चले आ रहे मुद्दे को हल करता है। यह इस गलत धारणा को सुधारता है कि "सक्रिय सेट का आकार = स्वतंत्रता की डिग्री" एक सार्वभौमिक नियम है।
व्यावहारिक प्रभाव:
- विश्वसनीय मॉडल चयन: यह महंगी क्रॉस-वैलिडेशन पर निर्भर हुए बिना एडेप्टिव लासो और ग्रुप लासो के लिए सूचना मानदंडों (AIC/BIC) के उपयोग को सक्षम बनाता है।
- अनुमान (Inference): यह एडेप्टिव सेटिंग्स में वैध सांख्यिकीय निष्कर्ष (जैसे, कॉन्फिडेंस इंटरवल, हाइपोथीसिस टेस्टिंग) के लिए एक आधार प्रदान करता है, जो पहले त्रुटिपूर्ण जटिलता अनुमानों पर निर्भर थे।
- उच्च-आयामी विस्तार (High-Dimensional Extension): लेखक $n < p$ शासन (जहाँ OLS अपरिभाषित है) का संक्षिप्त अन्वेषण करते हैं, और भार निर्माण के लिए रिज रिग्रेशन (ridge regression) को एक विकल्प के रूप में सुझाते हैं, यह नोट करते हुए कि उनके df अनुमानक इस चुनौतीपूर्ण सेटिंग में भी सक्रिय-सेट प्रॉक्सी की तुलना में बेहतर हैं।

संक्षेप में, यह कार्य स्थापित करता है कि डेटा-निर्भर पेनलाइजेशन मॉडल की जटिलता को मौलिक रूप से बदल देता है। एडेप्टिव भारों या ग्रुप संरचनाओं द्वारा प्रेरित अतिरिक्त पदों को अनदेखा करने से जोखिम अनुमान और मॉडल चयन में व्यवस्थित त्रुटियां होती हैं। व्युत्पन्न सूत्र इस जटिलता को सटीक रूप से मापने के लिए आवश्यक उपकरण प्रदान करते हैं।