💻 computer science

Double descent for least-squares interpolation on contaminated data: A simulation study

यह सिमुलेशन अध्ययन प्रदर्शित करता है कि दूषित डेटा वाले लीनियर रिग्रेशन में, अत्यधिक ओवरपैरामीटराइज्ड लीस्ट-स्क्वेयर्स इंटरपोलेटर्स 'डबल डिसेंट' घटना प्रदर्शित कर सकते हैं, जो अंततः मजबूत वैकल्पिक एस्टिमेटर्स की तुलना में बेहतर सामान्यीकरण प्रदर्शन प्राप्त करते हैं।

मूल लेखक: Tino Werner

प्रकाशित 2026-05-22✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tino Werner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पिछले डेटा के आधार पर मौसम की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आमतौर पर, सांख्यिकीविद् (statisticians) का एक सुनहरा नियम होता है: "अपने रोबोट को बहुत अधिक स्मार्ट न बनाएं।" यदि आप इसे याद करने के लिए बहुत अधिक नियम (पैरामीटर्स) दे देते हैं, तो यह पिछले सप्ताह के मौसम को ही रट लेगा (overfitting) और अगले सप्ताह के मौसम की भविष्यवाणी करने में विफल हो जाएगा। आप एक "गोल्डिलॉक्स" (Goldilocks) मॉडल चाहते हैं—न बहुत सरल, न बहुत जटिल।

लेकिन हाल ही में, वैज्ञानिकों ने एक अजीब घटना की खोज की जिसे "डबल डिसेंट" (Double Descent) कहा जाता है। यह एक रोलरकोस्टर की तरह है जहाँ जैसे-जैसे आप अधिक नियम जोड़ते हैं, सवारी डरावनी (उच्च त्रुटि/error) हो जाती है, लेकिन फिर, यदि आप और भी अधिक नियम जोड़ते हैं, तो सवारी अचानक फिर से सुचारू हो जाती है, और आपका रोबोट अविश्वसनीय रूप से सटीक हो जाता है। ऐसा तब होता है जब रोबोट इतना "शक्तिशाली" (overparametrized) हो जाता है कि वह अराजकता के बीच एक छिपा हुआ, सरल पैटर्न ढूंढ लेता है।

समस्या: "गंदा" डेटा (The "Gross" Data)
वास्तविक दुनिया का डेटा अव्यवस्थित होता है। कभी-कभी, कोई सेंसर खराब हो जाता है, या कोई टाइपिंग की गलती हो जाती है, जिससे "आउटलेयर्स" (outliers) पैदा होते हैं—ऐसे डेटा पॉइंट्स जो पूरी तरह से गलत होते हैं (जैसे कि बर्फबारी के बीच तापमान 100°F बताना)।

शास्त्रीय मजबूत सांख्यिकी (Classical Robust Statistics): पारंपरिक रूप से, विशेषज्ञ कहते हैं, "यदि डेटा अव्यवस्थित है, तो हमें विशेष, सावधानीपूर्ण उपकरणों (robust estimators) का उपयोग करना चाहिए ताकि खराब बिंदुओं को अनदेखा किया जा सके।" उनका मानना है कि यदि आप अव्यवस्थित डेटा पर एक मानक, सरल उपकरण का उपयोग करते हैं, तो आपका रोबोट पागल हो जाएगा।
ट्विस्ट: यह शोध पत्र पूछता है: क्या होगा यदि हम उस "शक्तिशाली" रोबोट (वह वाला जो डबल डिसेंट का उपयोग करता है) का उपयोग अव्यवस्थित डेटा पर करें? क्या यह अभी भी काम करेगा, या गंदगी इस जादू को बर्बाद कर देगी?

प्रयोग
इस उदाहरण में, रोबोट का काम अन्य मौसम मापों (जैसे हवा की गति, आर्द्रता आदि) के आधार पर तापमान (TEMPERATURE) की भविष्यवाणी करना है। इसलिए तापमान वह उत्तर है जिसे रोबक अनुमान लगाने की कोशिश कर रहा है (इसे Y कहें), और अन्य माप वे इनपुट हैं जिनका वह उपयोग करता है (इन्हें X कहें)। यह अंतर अगले भाग के लिए महत्वपूर्ण है:

लेखक, टिनो वर्नर (Tino Werner) ने एक विशाल सिमुलेशन चलाया। उन्होंने एक "साफ" दुनिया बनाई और फिर जानबूझकर प्रशिक्षण डेटा को दो प्रकार की गंदगी से "दूषित" किया:

Y-संदूषण (Y-Contamination): उत्तरों को बिगाड़ना (जैसे, रोबोट को बताना कि तापमान वास्तव में 50°F था जबकि वह 100°F था)।
X-संदूषण (X-Contamination): सवालों को बिगाड़ना (जैसे, रोबोट को बताना कि हवा की गति 5 mph थी जबकि वह 500 mph थी)।

उन्होंने फिर "शक्तिशाली" रोबोट (जो लीस्ट-स्क्वेयर्स इंटरपोलेशन का उपयोग करता है, जो हर एक बिंदु के माध्यम से, यहाँ तक कि खराब बिंदुओं के माध्यम से भी, एक रेखा को पूरी तरह से फिट करता है) की तुलना कई "सावधान" रोबोटों से की जो खराब डेटा को अनदेखा करने के लिए डिज़ाइन किए गए थे (जैसे Huber loss, Tukey loss, SLTS, और RRBoost का उपयोग करते हैं)।

चौंकाने वाले परिणाम

"शक्तिशाली" रोबोट जीतता है:
सबसे चौंकाने वाला निष्कर्ष यह है कि लीस्ट-स्क्वेयर्स इंटरपोलेटर (वह जो कचरे सहित हर बिंदु को अंधाधुंध फिट करता है) ने कई परिदृश्यों में सबसे अच्छा प्रदर्शन किया।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। "सावधान" छात्र चालाकी भरे सवालों को अनदेखा करने की कोशिश करते हैं। "शक्तिशाली" छात्र हर सवाल का जवाब देने की कोशिश करता है, यहाँ तक कि चालाकी भरे सवालों का भी। आश्चर्यजनक रूप से, यदि छात्र के पास पर्याप्त दिमागी शक्ति (पैरामीटर्स) है कि वह पूरी तस्वीर देख सके, तो वह किसी तरह चालाकी भरे सवालों का औसत निकाल सकता है और अंतिम परीक्षा में एक आदर्श स्कोर प्राप्त कर सकता है।
- शोध में पाया गया कि एक बार जब मॉडल की जटिलता एक निश्चित सीमा (इंटरपोलेशन रिजीम) को पार कर गई, तो त्रुटि दर फिर से गिर गई, और इसने सभी "सावधान" मजबूत तरीकों को पीछे छोड़ दिया।
"सावधान" रोबोट संघर्ष करते हैं:
वे तरीके जिन्हें मजबूत (robust) होने के लिए डिज़ाइन किया गया था (Huber, Tukey, SLTS, RRBoost), अक्सर इस "डबल डिसेंट" जादू को दिखाने में विफल रहे। कुछ मामलों में, वे उच्च त्रुटियों के साथ फंस गए और कभी उबर नहीं पाए, भले ही मॉडल बहुत बड़ा हो गया हो। वे छिपी हुई सरलता खोजने के बजाय "सुरक्षित" रहने में बहुत व्यस्त थे।
"क्लीन सबसेट" (Clean Subset) का तरीका:
लेखक ने एक हाइब्रिड दृष्टिकोण भी आज़माया: पहले, एक "सावधान" रोबोट का उपयोग करके "साफ" डेटा बिंदुओं को खोजें, फिर केवल उन साफ बिंदुओं पर "शक्तिशाली" रोबोट का उपयोग करें।
- परिणाम: यह ठीक काम कर गया, लेकिन यह उस "शक्तिशाली" रोबोट को नहीं हरा सका जिसने पूरे गंदे डेटासेट को निगल लिया था। गंदे डेटा ने शक्तिशाली मॉडल को उतना नुकसान नहीं पहुँचाया जितना कि हर कोई सोच रहा था।
"डबल डिसेंट" का आकार:
- साफ डेटा: त्रुटि कम होती है, फिर बढ़ती है (overfitting), फिर फिर से कम होती है (Double Descent)।
- गंदा Y-डेटा (बुरे उत्तर): त्रुटि ऊपर जाती है और ऊँची बनी रहती है जब तक कि मॉडल बहुत बड़ा न हो जाए, फिर यह गिरती है। यह शिखर के बाद एक "एकतरफा गिरावट" (one-way descent) है, लेकिन अंत में यह बहुत अच्छी हो जाती है।
- गंदा X-डेटा (बुरे सवाल): मॉडल इसे लगभग साफ डेटा के समान ही संभालता है।

मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र इस पुराने विचार को चुनौती देता है कि "अव्यवस्थित डेटा के लिए सावधानीपूर्ण और मजबूत उपकरणों की आवश्यकता होती है।" यह सुझाव देता है कि यदि आपके पास एक बहुत बड़ा, शक्तिशाली मॉडल है, तो आपको अपने डेटा को साफ करने या जटिल मजबूत एल्गोरिदम का उपयोग करने की आवश्यकता नहीं हो सकती है। मॉडल का विशाल आकार इसे शोर (noise) के माध्यम से "इंटरपोलेट" करने और सत्य खोजने की अनुमति देता है, जो अक्सर उन तरीकों से बेहतर प्रदर्शन करता है जो विशेष रूप से मजबूत होने के लिए बनाए गए हैं।

यह शोध पत्र क्या नहीं कहता है

यह दावा नहीं करता है कि यह बिना परीक्षण के हर प्रकार के डेटा (जैसे मेडिकल इमेज या शेयर बाजार) के लिए काम करता है।
यह यह नहीं कहता कि आप मजबूत सांख्यिकी का उपयोग करना हमेशा के लिए बंद कर दें; यह केवल यह कहता है कि इस विशिष्ट लीनियर रिग्रेशन सिमुलेशन में, सरल, शक्तिशाली विधि जीत गई।
यह कोई नया सिद्धांत पेश नहीं करता है कि गणितीय रूप से यह क्यों होता है; यह केवल कंप्यूटर सिमुलेशन के माध्यम से यह दिखाता है कि यह होता है।

संक्षेप में: कभी-कभी, एक गंदे कमरे को संभालने का सबसे अच्छा तरीका हर एक कचरे के टुकड़े को सावधानी से उठाना नहीं है, बल्कि एक विशाल वैक्यूम क्लीनर लाना है जो सब कुछ खींच ले और आश्चर्यजनक रूप से फर्श को उम्मीद से अधिक साफ कर दे।

तकनीकी सारांश: दूषित डेटा पर लीस्ट-स्क्वायर्स इंटरपोलेशन के लिए डबल डिसेंट (Double Descent)

समस्या विवरण

शास्त्रीय सांख्यिकीय सिद्धांत यह प्रतिपादित करता है कि इंटरपोलेशन बिंदु (जहाँ पैरामीटर्स की संख्या $p$ , नमूनों की संख्या $n$ से अधिक हो जाती है) से अधिक मॉडल जटिलता बढ़ाने से ओवरफिटिंग और खराब सामान्यीकरण (generalization) होता है। हालाँकि, हालिया अनुभवजन्य और सैद्धांतिक कार्यों ने "डबल डिसेंट" (double descent) घटना की पहचान की है, जहाँ ओवरपैरामिट्राइज्ड रिजीम ( $p > n$ ) में सामान्यीकरण त्रुटि फिर से कम हो जाती है। जबकि इस पर स्वच्छ (clean) सेटिंग्स में व्यापक रूप से अध्ययन किया गया है, दूषित डेटा (contaminated data) वाले ओवरपैरामिट्राइज्ड मॉडलों के व्यवहार को अभी भी कम समझा गया है।

रोबस्ट सांख्यिकी पारंपरिक रूप से दूषित डेटा (जहाँ अवलोकन एक आदर्श वितरण से विचलित होते हैं, जैसे आउटलेर्स) को बाउंडेड इन्फ्लुएंस फंक्शन (जैसे हबर लॉस, ट्यूकी लॉस, लीस्ट ट्रिमड स्क्वायर्स) का उपयोग करके संबोधित करती है। ये विधियाँ आमतौर पर मजबूती (robustness) के लिए दक्षता (efficiency) का त्याग करती हैं। यह कार्य जिस केंद्रीय प्रश्न को संबोधित करता है, वह यह है कि क्या दूषित प्रशिक्षण डेटा के साथ लीनियर रिग्रेशन में डबल डिसेंट घटना बनी रहती है, और विशेष रूप से, क्या अत्यधिक गैर-रोबस्ट लीस्ट-स्क्वायर्स (LS) इंटरपोलेटर ओवरपैरामिट्राइज्ड रिजीम में स्थापित रोबस्ट विकल्पों से बेहतर प्रदर्शन कर सकता है।

कार्यप्रणाली

यह अध्ययन एक शुद्ध अनुभवजन्य सिमुलेशन विश्लेषण है जो दूषित डेटा पर प्रशिक्षित विभिन्न एस्टिमेटर्स के सामान्यीकरण प्रदर्शन की तुलना करता है।

1. डेटा जनरेशन

सेटिंग: $n$ नमूनों और $p$ प्रेडिक्टर्स के साथ लीनियर रिग्रेशन $Y = X\beta + \epsilon$ ।
सत्य सिग्नल (True Signal): स्पार्स कोएफिशिएंट वेक्टर $\beta$ (सत्य आयाम $s=20$ ) जिसमें गॉसियन या यूनिफॉर्म घटक हैं।
प्रेडिक्टर्स ( $X$ ): मल्टीवेरिएट नॉर्मल डिस्ट्रीब्यूशन से उत्पन्न, जिसमें या तो स्वतंत्र फीचर्स ( $\Sigma = I$ ) या स्पाइक्ड कोवेरियंस स्ट्रक्चर ( $\Sigma = I + \rho \mathbf{1}\mathbf{1}^T$ ) हैं।
संदूषण (Contamination): केवल प्रशिक्षण सेट में दो प्रकार के संदूषण इंजेक्ट किए गए थे:
- Y-संदूषण: रिस्पॉन्स वेक्टर में एडिटिव आउटलेर्स।
- X-संदूषण: प्रेडिक्टर मैट्रिक्स के चयनित पंक्तियों के भीतर विशिष्ट सेल्स में एडिटिव आउटलेर्स।
पैरामीटर्स: प्रयोगों में $p$ (5 से 5000 तक), सैंपल साइज $n$ (50 और 200), SNR, संदूषण रेडियस $r$ (दूषित बिंदुओं का अंश), और संदूषण मैग्नीट्यूड ( $c_{out}$ ) को बदला गया।

2. तुलना किए गए एल्गोरिदम

अध्ययन ने निम्नलिखित एस्टिमेटर्स का मूल्यांकन किया:

मिनिमम $l_2$ -नॉर्म इंटरपोलेटर: $p > n$ के लिए मानक LS समाधान, जिसे मूर-पेनरोज़ स्यूडो-इनवर्स ( $X^+Y$ ) के माध्यम से गणना किया जाता है।
रोबस्ट लॉस इंटरपोलेटर्स:
- हबर लॉस (Huber Loss): ग्रेडिएंट डिसेंट के माध्यम से अनुकूलित (R-पैकेज MTE)।
- ट्यूकी लॉस (Tukey Loss): ग्रेडिएंट डिसेंट के माध्यम से अनुकूलित (कस्टम कार्यान्वयन)।
रोबस्ट सबसेट सिलेक्शन + इंटरपोलेशन:
- SLTS-आधारित: एक "स्वच्छ" डेटा सबसेट की पहचान करने के लिए स्पार्स लीस्ट ट्रिमड स्क्वायर्स (SLTS) का उपयोग किया जाता है; इसके बाद केवल इस सबसेट पर मिनिमम $l_2$ -नॉर्म इंटरपोलेटर को प्रशिक्षित किया जाता है।
- RRBoost-आधारित: एक स्वच्छ सबसेट की पहचान करने के लिए रोबस्ट बूस्टिंग (RRBoost) का उपयोग किया जाता है, जिसके बाद उस सबसेट पर मिनिमम $l_2$ -नॉर्म इंटरपोलेशन किया जाता है।
बेसलाइन रोबस्ट एस्टिमेटर्स: मानक SLTS और RRBoost मॉडल (बाद के इंटरपोलेशन चरण के बिना)।

3. मूल्यांकन मेट्रिक्स

प्रदर्शन का आकलन निम्नलिखित का उपयोग करके किया गया:

मीन टेस्ट मीन स्क्वेर्ड एरर (MSE)।
मीन ट्रेनिंग MSE।
अनुमानित और सत्य कोएफिशिएंट्स के बीच $l_1$ -नॉर्म अंतर ( $||\hat{\beta} - \beta||_1$ )।
अभिसरण (convergence) के लिए आवश्यक इटरेशन की संख्या।

मुख्य परिणाम

1. दूषित सेटिंग्स में डबल डिसेंट

लीस्ट-स्क्वायर्स इंटरपोलेटर: यदि SNR पर्याप्त रूप से उच्च है (जैसे, $\ge 2$ $\geq 2$ ), तो मिनिमम $l_2$ $l_{2}$ -नॉर्म इंटरपोलेटर दूषित प्रशिक्षण डेटा के साथ भी स्पष्ट डबल डिसेंट घटना प्रदर्शित करता है।
- Y-संदूषण: $p \approx n$ (या थोड़ा आगे) तक टेस्ट MSE बढ़ता है और फिर सख्ती से घटता है। बड़े $p$ के लिए, दूषित डेटा पर LS इंटरपोलेटर का टेस्ट MSE अक्सर स्वच्छ डेटा पर प्रशिक्षित LS इंटरपोलेटर के प्रदर्शन के करीब पहुंच जाता है, और अक्सर रोबस्ट विकल्पों से बेहतर होता है।
- X-संदूषण: LS इंटरपोलेटर उल्लेखनीय रूप से रोबस्ट है; डबल डिसेंट कर्व स्वच्छ डेटा परिदृश्य के बहुत करीब रहता है।
रोबस्ट विकल्प:
- हबर लॉस: स्वच्छ और X-संदूषित डेटा पर डबल डिसेंट दिखाता है, लेकिन अक्सर उच्च Y-संदूषण के तहत, ओवरपैरामिट्राइज्ड रिजीम में LS की तरह प्रभावी ढंग से घटने में विफल रहता है।
- ट्यूकी लॉस: आम तौर पर डबल डिसेंट दिखाने में विफल रहता है; ट्रेनिंग एरर शून्य नहीं होता है, और टेस्ट MSE अक्सर उच्च या स्थिर रहता है।
- SLTS/RRBoost (मानक): डबल डिसेंट नहीं दिखाते हैं; प्रदर्शन अक्सर $p$ बढ़ने के साथ फ्लैट या बिगड़ता हुआ रहता है।
- SLTS/RRBoost + इंटरपोलेशन: हालांकि ये विधियाँ स्वच्छ सबसेट की पहचान करती हैं, लेकिन इन सबसेट्स पर बाद का इंटरपोलेशन लगातार वह डबल डिसेंट लाभ नहीं देता जो पूर्ण-डेटा LS इंटरपोलेटर में देखा जाता है, विशेष रूप से उच्च संदूषण के तहत।

2. कोवेरियंस और सेंट्रिंग का प्रभाव

डबल डिसेंट घटना को कोवेरियंस स्ट्रक्चर (स्वतंत्र बनाम स्पाइक्ड) से बहुत अधिक फर्क नहीं पड़ता है।
हालांकि, नॉन-सेंटर्ड प्रेडिक्टर्स ( $\mu = 5$ ) हबर-आधारित इंटरपोलेशन के प्रदर्शन को कम करते हैं, जबकि LS इंटरपोलेटर स्थिर रहता है।

3. ट्रेनिंग एरर डायनेमिक्स

LS इंटरपोलेटर के लिए, $p > n$ होते ही ट्रेनिंग एरर तुरंत शून्य हो जाता है।
हबर लॉस के लिए, ट्रेनिंग एरर $n$ से अधिक $p$ पर शून्य होता है, और टेस्ट एरर में "दूसरा डिसेंट" ट्रेनिंग एरर के शून्य होने के समय के आसपास होता है।
ट्यूकी लॉस का ट्रेनिंग एरर अपने रिसेडिंग (redescending) स्वभाव के कारण शायद ही कभी शून्य होता है।

4. इटरेशन काउंट

हबर और ट्यूकी लॉस के लिए इटरेशन की संख्या अक्सर $p=n$ के पास चरम पर होती है और बहुत बड़े $p$ के लिए घटती है (Y-संदूषित, सेंटर्ड मामलों में)। हालांकि, यह इटरेशन काउंट देखे गए सामान्यीकरण त्रुटि रुझानों के साथ सीधे सहसंबंध नहीं रखता है।

महत्व और दावे

यह पेपर मिनिमम $l_2$ -नॉर्म इंटरपोलेटर की आश्चर्यजनक मजबूती का दावा करता है। शास्त्रीय अंतर्ज्ञान के विपरीत कि गैर-रोबस्ट एस्टिमेटर्स दूषित डेटा पर विफल हो जाते हैं, अध्ययन पाता है कि ओवरपैरामिट्राइज्ड रिजीम ( $p \gg n$ ) में, LS इंटरपोलेटर स्थापित रोबस्ट विकल्पों (हबर, ट्यूकी, SLTS, RRBoost) और उनके हाइब्रिड वेरिएंट की तुलना में बेहतर सामान्यीकरण प्रदर्शन प्राप्त करता है।

मुख्य निष्कर्ष शामिल हैं:

डबल डिसेंट बना रहता है: लीनियर रिग्रेशन के साथ दूषित डेटा में डबल डिसेंट घटना देखी जा सकती है, विशेष रूप से LS इंटरपोलेटर के लिए।
LS रोबस्ट विधियों से बेहतर है: कई दूषित परिदृश्यों में, "गैर-रोबस्ट" LS इंटरपोलेटर स्पष्ट रूप से रोबस्ट बनाने के लिए डिज़ाइन किए गए तरीकों की तुलना में बेहतर सामान्यीकरण करता है।
कंप्यूटेशनल दक्षता: चूंकि LS इंटरपोलेटर का एक क्लोज्ड-फॉर्म समाधान (या कुशल लीनियर अलजेब्रा कार्यान्वयन) होता है, इसलिए यह उन रोबस्ट विधियों की तुलना में महत्वपूर्ण कंप्यूटेशनल लाभ प्रदान करता है जिन्हें इटरेटिव ऑप्टिमाइजेशन (जैसे हबर या ट्यूकी लॉस मिनिमाइजेशन) या सबसेट सिलेक्शन की आवश्यकता होती है, विशेष रूप से जब $p \gg n$ हो।

लेखक निष्कर्ष निकालते हैं कि हालांकि दूषित डेटा पर डबल डिसेंट के लिए वर्तमान में सैद्धांतिक गारंटी की कमी है, फिर भी अनुभवजन्य साक्ष्य यह सुझाव देते हैं कि ओवरपैरामिट्राइज्ड LS इंटरपोलेशन दूषित डेटा के लिए एक व्यवहार्य और संभावित रूप से बेहतर रणनीति है, जो उच्च-आयामी सेटिंग्स में पारंपरिक रोबस्ट एस्टिमेटर्स की आवश्यकता को चुनौती देती है। इन अवलोकनों के लिए सैद्धांतिक प्रमाण प्रदान करने हेतु भविष्य के कार्य का सुझाव दिया गया है।