📊 statistics

Least trimmed squares regression with missing values and cellwise outliers

यह शोध पत्र एक नई लीस्ट ट्रिम्ड स्क्वेयर्स रिग्रेशन विधि प्रस्तावित करता है जो लुप्त मानों (missing values) को एक साथ संभालती है, केसवाइज और सेलवाइज आउटलेर्स का प्रतिरोध करती है, विषम वितरणों (skewed distributions) को समायोजित करती है, और रोबस्ट आउट-ऑफ-सैंपल भविष्यवाणियां सक्षम करती है।

मूल लेखक: Jakob Raymaekers, Peter J. Rousseeuw

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Jakob Raymaekers, Peter J. Rousseeuw

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक आदर्श केक बनाने की कोशिश कर रहे हैं जिसके लिए एक ऐसी रेसिपी का उपयोग किया जाता है जिसमें 20 अलग-अलग सामग्रियां (ingredients) हैं। आपके पास 3,000 अलग-अलग बेकरियों का डेटा है। उनमें से अधिकांश रेसिपी का पूरी तरह से पालन करते हैं, लेकिन कुछ ने गलतियाँ की हैं।

सांख्यिकी (statistics) की दुनिया में, इसे रिग्रेशन (Regression) कहा जाता है। यह वह उपकरण है जिसका उपयोग हम उस "रेसिपी" (सामग्रियों और अंतिम केक के बीच संबंध) को खोजने के लिए करते हैं जो अधिकांश डेटा के लिए सबसे अच्छा काम करती है।

हालाँकि, वास्तविक दुनिया का डेटा अस्त-व्यled होता है। यह पेपर दो विशिष्ट प्रकार के "मेस" (अव्यवस्था) को संभालने के लिए एक नया, सुपर-स्मार्ट तरीका पेश करता है:

"खराब बैच" (Casewise Outliers): एक पूरी बेकरी ने पूरा केक ही खराब कर दिया (शायद वे ओवन लगाना भूल गए)।
"खट्टा चम्मच" (Cellwise Outliers): एक बेकरी ने रेसिपी को ज्यादातर सही बनाया, लेकिन एक विशिष्ट सामग्री को गलत माप लिया (जैसे, उन्होंने चीनी के बजाय नमक का उपयोग किया)।

पुराने तरीकों के साथ समस्या

पारंपरिक तरीके (जैसे Ordinary Least Squares) एक ऐसे शेफ की तरह हैं जो पूरे बैच को चखता है और उसे औसत निकालने की कोशिश करता है। यदि एक बेकरी ने चीनी के बजाय एक कप नमक डाल दिया, तो शेफ सोच सकता है, "ओह, शायद रेसिपी में वास्तव में नमक की आवश्यकता है!" और यह दूसरों के लिए रेसिपी को खराब कर सकता है।

यहाँ तक कि नए "रोबस्ट" (robust) तरीके भी "खराब बैच" (पूरी तरह से गलत बेकरियाँ) को पहचानने में अच्छे हैं, लेकिन वे "खट्टे चम्मच" (cellwise outliers) से भ्रमित हो जाते हैं। यदि एक सामग्री गलत है, तो वे पूरी बेकरी के डेटा को फेंक देते हैं, या इससे भी बुरा, उन्हें यह नहीं पता चल पाता कि एक नई बेकरी के लिए केक का अनुमान कैसे लगाया जाए जिसके पास एक गलत सामग्री है।

नया समाधान: "CellLTS"

लेखक, जैकब और पीटर, CellLTS नामक एक नई विधि प्रस्तावित करते हैं। इसे एक दो-चरणीय जासूसी प्रक्रिया के रूप में समझें जो एक बहुत ही सावधान, शंकालु शेफ की तरह कार्य करती है।

चरण 1: "सामग्री की सफाई" (Predictors की सफाई)

अंतिम केक (परिणाम) को देखने से पहले, यह विधि पहले सामग्रियों (predictors) को देखती है।

समूहन की तकनीक (The Symmetrization Trick): कल्पना कीजिए कि आपके पास ऊंचाइयों की एक सूची है। कुछ बहुत लंबी हैं, कुछ बहुत छोटी। गणित को आसान और निष्पक्ष बनाने के लिए, यह विधि एक "दर्पण दुनिया" बनाती है। यह हर व्यक्ति को दूसरे व्यक्ति के साथ जोड़ती है और उनके बीच के अंतर को देखती है। यह एक टेढ़े-मेढ़े, अव्यवस्थित डेटा को एक व्यवस्थित, सममित बेल कर्व (bell curve) में बदल देता है। यह एक ऊबड़-खाबड़ चट्टान को पीसकर एक चिकना, पूर्ण गोला बनाने जैसा है।
"CellMCD" जासूस: अब, इस चिकने डेटा का उपयोग करके, यह विधि प्रत्येक व्यक्तिगत सामग्री को स्कैन करती है। यदि एक बेकरी कहती है कि उन्होंने 500 पाउंड आटा इस्तेमाल किया (जबकि औसत 5 है), तो सिस्टम उस विशिष्ट सेल को "संदिग्ध" के रूप में चिह्नित करता है।
मरम्मत (The Repair): पूरी बेकरी को फेंकने के बजाय, सिस्टम कहता है, "ठीक है, आटे का माप गलत है। अन्य सामग्रियों (जैसे चीनी और अंडे) के आधार पर, आटे की मात्रा कितनी होनी चाहिए थी?" यह गायब या गलत डेटा को एक "सर्वश्रेष्ठ अनुमान" (imputation) के साथ भर देता है।

चरण 2: "केक चखना" (Robust Regression)

अब जब सामग्री की सूचियाँ साफ और ठीक हो गई हैं, तो यह विधि अंतिम केक को देखती है।

"ट्रिमड" टेस्ट (The Trimmed Taste Test): यह Least Trimmed Squares (LTS) नामक एक तकनीक का उपयोग करता है। कल्पना कीजिए कि आप 100 केक चख रहे हैं। सभी 100 का औसत निकालने के बजाय (जो 5 जले हुए केक के कारण खराब हो सकता है), शेफ सबसे अच्छे 75 केक को चुनता है और उनका औसत निकालता है। यह आपदाओं से प्रभावित हुए बिना वास्तविक "रेसिपी" को खोज लेता है।

यह गेम-चेंजर क्यों है: "नई बेकरी" परीक्षण

इस पेपर का सबसे शानदार हिस्सा यह है कि यह Out-of-Sample Prediction को कैसे संभालता है।

कल्प_ना कीजिए कि एक नई बेकरी आती है। उनके पास सामग्रियों की एक सूची है, लेकिन एक सामग्री गायब है, और एक संदिग्ध रूप से अधिक दिख रही है।

पुराने तरीके: कहेंगे, "मैं इस डेटा का उपयोग नहीं कर सकता," या "मैं बस इन नंबरों को अपने फॉर्मूले में डाल दूँगा," जिससे एक बुरा अनुमान मिलेगा क्योंकि इनपुट टूटा हुआ था।
CellLTS: कहता है, "ठहरिए। यह सामग्री अजीब लग रही है। मुझे अपने 'खट्टे चम्मच' डेटाबेस की जांच करने दें। यह एक माप त्रुटि लगती है। मैं पहले उस नंबर को ठीक करूँगा, गायब वाले को भरूँगा, और फिर केक का अनुमान लगाऊँगा।"

यह नए डेटा के साथ भी उसी सावधानी के साथ व्यवहार करता है, अनुमान लगाने से पहले उसे साफ करता है।

वास्तविक दुनिया का परीक्षण: कैंसर दरें

लेखकों ने अमेरिकी काउंटियों में कैंसर मृत्यु दर के वास्तविक डेटा पर इसका परीक्षण किया।

अव्यवस्था (The Mess): उन्होंने असंभव डेटा पाया, जैसे कि 400 वर्ष की औसत आयु (जो स्पष्ट रूप से एक टाइपिंग त्रुटि है) या कैंसर की घटना दर जो बहुत अधिक थी।
परिणाम: पुराने तरीके इन गलतियों से भ्रमित हो गए और अजीब भविष्यवाणियां दीं। CellLTS ने "400-वर्षीय" त्रुटि को पहचाना, उसे ठीक किया, और आय, शिक्षा और आयु के आधार पर कैंसर की दरों का बहुत सटीक अनुमान लगाया।

निष्कर्ष

यह पेपर सांख्यिकीविदों को एक नया, शक्तिशाली उपकरण देता है जो केवल खराब डेटा को अनदेखा नहीं करता; बल्कि यह उसे ठीक करता है।

यह गायब मानों (जैसे एक गायब सामग्री) को संभालता है।
यह एकल खराब नंबरों (एक खट्टे चम्मच) को पहचानता है बिना पूरी रेसिपी को फेंके।
यह तब भी काम करता है जब डेटा विषम (skewed) हो (जैसे अरबपतियों और आम लोगों की सूची)।
यह पहले सफाई करके, नए, अव्यवस्थित डेटा के लिए भविष्य की भविष्यवाणी कर सकता है।

संक्षेप में, यह एक मजबूत, स्व-सुधारात्मक प्रणाली है जो यह सुनिश्चित करती है कि आपकी सांख्यिकीय "रेसिपी" स्वादिष्ट बनी रहे, भले ही रसोई थोड़ी अस्त-व्यस्त क्यों न हो।

यहाँ जैकब रेमैकर्स और पीटर जे. रूसो (Jakob Raymaekers and Peter J. Rousseeuw) के शोध पत्र "Least trimmed squares regression with missing values and cellwise outliers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के डेटा में आउटलेयर्स (outliers) अक्सर रिग्रेशन विश्लेषण में बाधा उत्पन्न करते हैं। पारंपरिक रोबस्ट रिग्रेशन विधियाँ (जैसे, Least Trimmed Squares - LTS, S-estimators, MM-estimators) मुख्य रूप से केसवाइज़ आउटलेयर्स (casewise outliers) को संबोधित करती हैं, जहाँ एक पूरा अवलोकन (पंक्ति/row) दूषित होता है या किसी अलग जनसंख्या से संबंधित होता है। हालाँकि, आधुनिक डेटासेट में अक्सर सेलवाइज़ आउटलेयर्स (cellwise outliers) होते हैं, जहाँ डेटा मैट्रिक्स (प्रेडिक्टर्स या रिस्पॉन्स) के भीतर विशिष्ट प्रविष्टियाँ (cells) संदिग्ध या त्रुटिपूर्ण होती हैं।

मौजूदा सेलवाइज़ रोबस्ट रिग्रेशन विधियों (जैसे, 3SGS, Shooting S, CR-Lasso) की महत्वपूर्ण सीमाएँ हैं:

वे अक्सर कड़े अनुमानों (जैसे, गॉसियनिटी/Gaussianity) पर निर्भर करती हैं।
वे आम तौर पर आउट-ऑफ-सैंपल भविष्यवाणियाँ (out-of-sample predictions) प्रदान करने में विफल रहती हैं। अधिकांश विधियाँ यह मान लेती हैं कि नया डेटा सेलवाइज़ त्रुटियों से मुक्त है, जो व्यवहार में अवास्तविक है।
उन्हें लापता मानों (missing values) और विषम वितरणों (skewed distributions) के साथ संघर्ष करना पड़ता है।

यह शोध पत्र एक ऐसी रिग्रेशन विधि की आवश्यकता को संबोधित करता है जो एक साथ निम्नलिखित को संभाल सके:

केसवाइज़ आउटलेयर्स (पूरी पंक्तियाँ)।
सेलवाइज़ आउटलेयर्स (व्यक्तिगत प्रविष्टियाँ)।
लापता मान (missing values)।
विषम डेटा वितरण (skewed distributions)।
रोबस्ट आउट-ऑफ-सैंपल भविष्यवाणी।

2. कार्यप्रणाली: सेलएलटीएस (CellLTS) एस्टीमेटर

लेखक एक दो-चरणीय विधि प्रस्तावित करते हैं जिसे CellLTS (सेलवाइज़ लीस्ट ट्रिम्ड स्क्वेयर्स) कहा जाता है। मुख्य नवाचार एक सिमेट्राइज़ेशन (symmetrization) रणनीति है जो क्लीनिंग-इम्प्यूटेशन-रिग्रेशन पाइपलाइन के साथ जुड़ी हुई है।

चरण 1: रिग्रेसर्स की क्लीनिंग और इम्प्यूटेशन (Cleaning and Imputing Regressors)

पहला चरण रिस्पॉन्स वेरिएबल $Y$ का उपयोग किए बिना प्रेडिक्टर मैट्रिक्स $X$ पर केंद्रित है।

सिमेट्राइज़ेशन (Symmetrization): विषमता (skewness) को संभालने और रोबस्ट एस्टीमेटर्स के प्रदर्शन में सुधार के लिए, डेटा को सिमेट्राइज़ किया जाता है। एक सैंपल $X$ के लिए, लेखक युग्मवार अंतरों (pairwise differences) का एक डेटासेट बनाते हैं: $Sym(X) = \{x_i - x_j\}$ । यह वितरण को गॉसियनिटी के करीब लाता है और इंटरसेप्ट टर्म को हटा देता है।
सेलवाइज़ एमसीडी (CellMCD): लेखक सिमेट्राइज़ किए गए डेटा पर सेलवाइज़ मिनिमम कोवेरिएंस डिटर्मिनेंट (CellMCD) एस्टीमेटर लागू करते हैं। यह स्वच्छ डेटा के स्थान ( $\mu$ ) और स्कैटर मैट्रिक्स ( $\Sigma$ ) का अनुमान लगाता है और आउटलाइंग सेल्स को चिह्नित करता है।
इम्प्यूटेशन (Imputation): मूल $X$ में चिह्नित आउटलेयर्स (या लापता सेल्स) को $\mu$ और $\Sigma$ के रोबस्ट अनुमानों के आधार पर सर्वोत्तम रैखिक भविष्यवाणी (best linear prediction) का उपयोग करके इम्प्यूट किया जाता है। इससे एक "क्लीन किया हुआ" रिग्रेसर मैट्रिक्स $\hat{X}$ प्राप्त होता है।

चरण 2: रोबस्ट रिग्रेशन (Robust Regression)

दूसरा चरण क्लीन किए गए प्रेडिक्टर्स $\hat{X}$ पर रिस्पॉन्स $Y$ का रिग्रेशन करता है।

रिस्पॉन्स का सिमेट्राइज़ेशन: रिस्पॉन्स $Y$ को भी सिमेट्राइज़ ($Sym(Y)$) और मानकीकृत (standardized) किया जाता है।
पेनल्टी के साथ एलटीएस (LTS with Penalty): एक लीस्ट ट्रिम्ड स्क्वेयर्स (LTS) रिग्रेशन सिमेट्राइज़ किए गए डेटा पर किया जाता है। ऑब्जेक्टिव फंक्शन आकार $h$ (आमतौर पर $0.75n$ ) के सबसे छोटे वर्गित अवशेषों (squared residuals) के योग को कम करता है।
रिज पेनल्टी (Ridge Penalty): कोलीनियरिटी (collinearity) को संभालने के लिए ऑब्जेक्टिव फंक्शन में एक छोटी L2 पेनल्टी ( $\lambda ||\beta||^2_2$ ) जोड़ी जाती है। इस पेनल्टी को ऑगमेंटेड डेटासेट दृष्टिकोण (FastLTS एल्गोरिदम को संशोधित करके) के माध्यम से LTS ऑप्टिमाइज़ेशन में एकीकृत किया जाता है।
इंटरसेप्ट एस्टीमेशन: मूल (असिमेट्राइज़्ड) मॉडल के लिए इंटरसेप्ट का अनुमान क्लीन किए गए डेटा के स्यूडो-रेसिडुअल्स (pseudo-residuals) पर एक रोबस्ट यूनिवेरिएट लोकेशन एस्टीमेटर (MCD) लागू करके लगाया जाता है।

आउट-ऑफ-सैंपल प्रेडिक्शन (Out-of-Sample Prediction)

CellLTS की एक प्रमुख विशेषता नए डेटा पॉइंट्स ( $x^*$ ) के लिए भविष्यवाणी करने की क्षमता है जिनमें लापता मान या सेलवाइज़ आउटलेयर्स हो सकते हैं:

फ्लैगिंग (Flagging): नए पॉइंट $x^*$ की तुलना चरण 1 में प्राप्त रोबस्ट अनुमानों ( $\hat{\mu}, \hat{\Sigma}$ ) से की जाती है। जो सेल्स थ्रेशोल्ड से अधिक होते हैं उन्हें फ्लैग किया जाता है।
इम्प्यूटेशन: $x^*$ में फ्लैग किए गए या लापता सेल्स को चरण 1 में उपयोग किए गए समान रैखिक भविष्यवाणी नियम का उपयोग करके इम्प्यूट किया जाता है।
प्रेडिक्शन: क्लीन किए गए $x^*$ को रोबस्टली अनुमानित कोएफिशिएंट्स (coefficients) से गुणा किया जाता है। यह सुनिश्चित करता है कि भविष्यवाणी त्रुटिपूर्ण इनपुट मानों से प्रभावित न हो।

3. मुख्य योगदान (Key Contributions)

प्रथम रोबस्ट आउट-ऑफ-सैंपल प्रेडिक्शन: पिछले सेलवाइज़ तरीकों के विपरीत, CellLTS दूषित (corrupted) या संभावित रूप से त्रुटिपूर्ण नए डेटा को साफ करने और उस पर भविष्यवाणी करने के लिए एक तंत्र प्रदान करता है।
ब्रेकडाउन वैल्यू विश्लेषण: लेखक CellLTS का फाइनाइट-सैंपल ब्रेकडाउन वैल्यू (finite-sample breakdown value) सिद्ध करते हैं। वे दिखाते हैं कि यह विधि प्रति वेरिएबल लगभग 29% ( $1 - 1/\sqrt{2}$ ) दूषित सेल्स को सहन कर सकती है। यह सेलवाइज़ रोबस्ट रिग्रेशन विधि के लिए पहला सैद्धांतिक ब्रेकडाउन परिणाम है।
विषमता को संभालना (Handling Skewness): डेटा सिमेट्राइज़ेशन (pairwise differences) का उपयोग करके, यह विधि जटिल रूपांतरणों की आवश्यकता के बिना प्रभावी ढंग से विषम वितरणों को संभालती है।
एकीकृत ढांचा (Unified Framework): यह लापता मान इम्प्यूटेशन, सेलवाइज़ आउटलेयर डिटेक्शन और केसवाइज़ रोबस्ट रिग्रेशन को एक ही एल्गोरिदम में सहजता से एकीकृत करता है।

4. परिणाम (Results)

सिमुलेशन अध्ययन (Simulation Study)

लेखकों ने विभिन्न स्थितियों के तहत OLS, 3SGS, Shooting S, और STMW (CR-Lasso) की तुलना CellLTS से की:

सेटिंग्स: सैंपल साइज $n=100, 400$ ; डाइमेंशन $d=10, 20$ ; कंटैमिनेशन लेवल $\epsilon=10\%, 20\%$ ; और डिस्ट्रीब्यूशन (Gaussian, Exponential, Lognormal)।
कोएफिशिएंट सटीकता: जैसे-जैसे आउटलेयर्स का परिमाण ( $\gamma$ ) बढ़ा, CellLTS ने रिग्रेशन कोएफिशिएंट्स के लिए कम मीन डिस्टेंस (MD) एरर बनाए रखा, जबकि प्रतिस्पर्धी (विशेष रूप से 3SGS और Shooting S) महत्वपूर्ण गिरावट दिखाते हैं।
प्रेडिक्शन सटीकता: CellLTS आउट-ऑफ-सैंपल भविष्यवाणियों के लिए मीन स्क्वेर्ड एरर (MSE) में सभी प्रतिस्पर्धियों से काफी बेहतर रहा। यह नए इनपुट डेटा को भविष्यवाणी से पहले साफ करने की इसकी क्षमता के कारण है।
सिमेट्राइज़ेशन दक्षता: अध्ययन ने पुष्टि की कि रैंडम पेयरवाइज डिफरेंस के एक सबसेट ( $k=20$ परम्यूटेशन) का उपयोग करने से $O(n^2)$ जोड़ों के उपयोग के लगभग समान परिणाम मिलते हैं, जिससे यह विधि बड़े डेटासेट के लिए कम्प्यूटेशनल रूप से व्यवहार्य हो जाती है।

वास्तविक डेटा अनुप्रयोग: यूएस कैंसर मृत्यु दर (US Cancer Mortality)

इस विधि को 33 वेरिएबल्स वाले 3,047 अमेरिकी काउंटियों के डेटासेट पर लागू किया गया।

तुलना: CellLTS ने OLS की तुलना में अलग कोएफिशिएंट अनुमान पहचाने, विशेष रूप से मीडियन एज जैसे वेरिएबल्स के लिए, जहाँ OLS अत्यधिक आउटलेयर्स (जैसे, 400+ वर्ष की रिपोर्ट की गई मीडियन आयु वाले काउंटियां) से प्रभावित था।
डायग्नोस्टिक पावर: "सेलमैप" विज़ुअलाइज़ेशन ने विशिष्ट डेटा त्रुटियों (जैसे, असंभव आयु मान, विशिष्ट काउंटियों में गलत कैंसर घटना दर) को प्रकट किया जिन्हें OLS नहीं देख सका।
इम्प्यूटेशन: इस विधि ने बिना किसी पूर्व प्रीप्रोसेसिंग के लापता मानों (जैसे, रोजगार दरों में) को सफलतापूर्वक संभाला।

5. महत्व (Significance)

यह शोध पत्र केसवाइज़ और सेलवाइज़ रोबस्टनेस के बीच की खाई को पाटकर रोबस्ट सांख्यिकी में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

व्यावहारिक उपयोगिता: यह एक महत्वपूर्ण व्यावहारिक समस्या को हल करता है: जब नया डेटा अव्यवस्थित, अधूरा या विशिष्ट प्रविष्टि त्रुटियों वाला हो, तो विश्वसनीय भविष्यवाणियां कैसे की जाएं।
सैद्धांतिक आधार: यह सेलवाइज़ रिग्रेशन के लिए पहला ब्रेकडाउन पॉइंट सिद्धांत स्थापित करता है, जो रोबस्टनेस की गणितीय गारंटी प्रदान करता है।
एल्गोरिदम नवाचार: सिमेट्राइज़ेशन, CellMCD और पेनलाइज्ड LTS का संयोजन इसे पिछले सेलवाइज़ तरीकों की तुलना में अधिक लचीला बनाता है जो वितरण संबंधी धारणाओं (जैसे नॉर्मलिटी) के प्रति कम संवेदनशील है।

लेखक ओपन-सोर्स R कोड प्रदान करते हैं, जिससे यह विधि उन पेशेवरों के लिए सुलभ हो जाती है जो गंदे, उच्च-आयामी वास्तविक दुनिया के डेटा के साथ काम कर रहे हैं।