📊 statistics

Cellwise and Casewise Robust Multivariate Regression with Inference

यह शोध पत्र सेलवाइज मल्टीवेरिएट रिग्रेशन (cellMR) एस्टिमेटर और एक नवीन सेलबूट (cellBoot) इन्फरेंस प्रक्रिया प्रस्तावित करता है ताकि मल्टीवेरिएट लीनियर रिग्रेशन में केसवाइज और सेलवाइज आउटलेर्स, लुप्त डेटा (missing data), और उच्च आयामीता (high dimensionality) को एक साथ संबोधित किया जा सके और साथ ही स्पर्शोन्मुखी रूप से वैध (asymptotically valid) कॉन्फिडेंस इंटरवल्स प्रदान किए जा सकें।

मूल लेखक: Fabio Centofanti, Mia Hubert, Peter J. Rousseeuw

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Fabio Centofanti, Mia Hubert, Peter J. Rousseeuw

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Cellwise and Casewise Robust Multivariate Regression with Inference" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: बिखरा हुआ डेटा (Messy Data)

कल्पthought लीजिए कि आप एक शेफ हैं जो सूप की एक बेहतरीन रेसिपी (विधि) खोजने की कोशिश कर रहे हैं। आपके पास एक नोटबुक (आपका डेटासेट) है जहाँ आपने हर सामग्री (predicters) की मात्रा और परिणामी स्वाद स्कोर (response) को 50 अलग-अलग बैचों के लिए दर्ज किया है।

वास्तविक दुनिया में, डेटा शायद ही कभी एकदम सटीक होता है। यह दो मुख्य तरीकों से "दूषित" (contaminated) हो सकता है:

कैसविस आउटलेयर्स (Casewise Outliers - "खराब बैच"): कल्पना कीजिए कि सूप का एक पूरा बैच खराब हो गया क्योंकि शेफ ने गलती से पूरे बर्तन में नमक का एक ईंट जैसा बड़ा टुकड़ा डाल दिया। वह पूरी की पूरी ऑब्जर्वेशन (observation) बेकार है।
सेलवाइज़ आउटलेयर्स (Cellwise Outliers - "टाइपो/लिखने की गलती"): कल्पना कीजिए कि शेफ ने नोटबुक में "1 कप चीनी" लिख दिया जबकि उनका मतलब "1 चम्मच चीनी" था, लेकिन उस बैच के बाकी निर्देश सही थे। केवल उस नोटबुक की एक विशिष्ट प्रविष्टि (entry) गलत है।

खतरा:
यदि आप मानक गणित (Ordinary Least Squares) का उपयोग करके औसत रेसिपी निकालने की कोशिश करते हैं, तो नमक का वह एक टुकड़ा (casewise) या टाइपो की वह एक गलती (cellwise) आपके परिणामों को पूरी तरह से बिगाड़ सकती है।

मास्किंग (Masking): खराब डेटा खुद को छिपा लेता है, जिससे रेसिपी ठीक लगती है जबकि वास्तव में वह बहुत खराब होती है।
स्वैम्पिंग (Swamping): खराब डेटा अच्छे, सामान्य बैचों को भी गलत दिखाने लगता है।

इसके अलावा, आधुनिक डेटासेट बहुत विशाल (high-dimensional) होते हैं और अक्सर उनमें कुछ पन्ने गायब (missing values) होते हैं। जब सामग्रियों की संख्या बैचों की संख्या से अधिक हो जाती है, तो मानक तरीके विफल हो जाते हैं।

समाधान: "CellMR" शेफ

लेखक एक नई विधि प्रस्तावित करते हैं जिसे cellMR (Cellwise Multivariate Regression) कहा जाता है। इसे एक सुपर-स्मार्ट, संदेही शेफ के रूप में समझें जो केवल एक टाइपो की वजह से पूरे सूप के बैच को नहीं फेंकता।

यह कैसे काम करता है:

गलतियों को पकड़ना: पूरे बैच को देखने के बजाय, cellMR हर एक सामग्री की प्रविष्टि को देखता है। यदि "चीनी" उस बैच की अन्य सामग्रियों की तुलना में अजीब लगती है, तो यह केवल उस एक सेल (cell) को चिह्नित कर देता है।
डेटा की सफाई: यह डेटा का एक "साफ" संस्करण बनाता है। यदि कोई सेल संदिग्ध है, तो यह उसे अन्य सामग्रियों के आधार पर एक स्मार्ट अनुमान (imputation) से बदल देता है। यदि कोई पूरा बैच पूरी तरह से बर्बाद हो गया है, तो यह पूरे बैच का महत्व कम कर देता है।
गायब पन्नों को संभालना: यदि कोई पन्ना फटा हुआ है (missing data), तो यह विधि नोटबुक के बाकी हिस्सों में मिले पैटर्न का उपयोग करके खाली जगहों को भर देती है।
स्थिरता (Stability): यह एक गणितीय "शॉक एब्जॉर्बर" (ridge regularization) का उपयोग करता है ताकि यदि सामग्रियों की संख्या बहुत अधिक हो, तो रेसिपी बेकाबू न हो जाए।

दूसरी चुनौती: "हमें कितना भरोसा है?"

सांख्यिकी (statistics) में, रेसिपी खोजना केवल आधी लड़ाई है। आपको यह भी जानने की ज़रूरत है: हमें इस बात पर कितना विश्वास है कि नमक की यह मात्रा सही है?

आमतौर पर, सांख्यिकीविद बूटस्ट्रैपिंग (Bootstrapping) नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि आप अपनी नोटबुक की 1,000 फोटोकॉपी बनाते हैं, उनके पन्नों को बेतरतीब ढंग से मिलाते हैं, और 1,000 बार रेसिपी की पुनर्गणना करते हैं। यदि रेसिपी लगभग समान रहती है, तो आप आश्वस्त हैं। यदि यह बहुत ज्यादा बदल जाती है, तो आप आश्वस्त नहीं हैं।

मानक बूटस्ट्रैपिंग के साथ समस्या:
यदि आपकी मूल नोटबुक में टाइपो या गायब पन्ने हैं, तो आपकी हर एक फोटोकॉपी में भी वे ही त्रुटियाँ होंगी। आपके कॉन्फिडेंस इंटरवल्स (सुरक्षित उत्तरों की सीमा) गलत होंगे।

नवाचार: "cellBoot"

लेखकों ने इस कॉन्फिडेंस चेक को करने का एक नया तरीका बनाया है जिसे cellBoot कहा जाता है।

cellBoot को एक "रियलिटी चेक" मशीन के रूप में सोचें:

पहला चरण: यह आपके मूल बिखरे हुए डेटा पर cellMR विधि चलाता है ताकि एक "रफ ड्राफ्ट" रेसिपी मिल सके।
सिमुलेशन: यह हजारों नकली डेटासेट बनाता है जो आपके वास्तविक डेटा (उसकी गड़बड़ियों सहित) जैसे दिखते हैं।
सुधार (Indirect Inference):fully यह जादुई ट्रिक है। रफ ड्राफ्ट रेसिपी गड़बड़ी के कारण थोड़ी पक्षपाती (biased/गलत) हो सकती है। cellBoot एक सिमुलेशन का उपयोग करके यह पता लगाता है कि रफ ड्राफ्ट ठीक कितना गलत है। फिर यह उस त्रुटि को घटा देता है ताकि आपको एक "परफेक्ट" रेसिपी मिल सके।
परिणाम: यह एक कॉन्फिडेंस इंटरवल (संभावित उत्तरों की सीमा) देता है जो सटीक रहता है, भले ही आपका डेटा टाइपो और खराब बैचों से भरा हो।

प्रमाण

लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने दो चीजें कीं:

गणितीय प्रमाण: उन्होंने सिद्ध किया कि जैसे-जैसे आपके पास अधिक डेटा आता है, यह विधि अंततः सही रेसिपी खोज लेगी और इसके कॉन्फिडेंस इंटरवल्स गणितीय रूप से वैध होंगे।
सिमुलेशन: उन्होंने हजारों कंप्यूटर प्रयोग चलाए जहाँ उन्होंने जानबूझकर डेटा को खराब किया (टाइपो, गायब मान और खराब बैच जोड़े)।
- परिणाम: पुराने तरीके (जैसे मानक रिग्रेशन) बुरी तरह विफल रहे, जिससे गलत रेसिपी और गलत आत्मविश्वास मिला।
- परिणाम: नए cellMR और cellBoot तरीके सटीक और विश्वसनीय रहे, भले ही डेटा बहुत खराब स्थिति में था।

वास्तविक दुनिया का परीक्षण: जीनोमिक्स का उदाहरण

यह दिखाने के लिए कि यह वास्तविक दुनिया में कैसे काम करता है, उन्होंने कैंसर कोशिकाओं के बारे में एक डेटासेट पर इसका परीक्षण किया। उन्होंने जीन गतिविधि के आधार पर प्रोटीन के स्तर की भविष्यवाणी करने की कोशिश की।

डेटा बिखरा हुआ था (high-dimensional, आउटलेयर्स के साथ)।
cellMR ने सफलतापूर्वक पहचाना कि कौन से जीन वास्तव में महत्वपूर्ण थे और कौन से केवल शोर (noise) थे।
cellBoot ने विश्वसनीय कॉन्फिडेंस इंटरवल प्रदान किए, जिससे यह स्पष्ट हुआ कि कौन से जीन-प्रोटीन संबंध मजबूत थे और कौन से कमजोर, बिना बिखरे हुए डेटा से धोखा खाए।

सारांश

यह शोध पत्र उन सांख्यिकीविदों के लिए एक नया टूलकिट पेश करता है जो बिखरे हुए, high-dimensional डेटा के साथ काम करते हैं।

cellMR वह मजबूत इंजन है जो सही उत्तर खोजता है, भले ही डेटा में व्यक्तिगत टाइपो हों या पूरी खराब पंक्तियाँ (rows) हों।
cellBoot आत्मविश्वास मापने का नया तरीका है, जो यह सुनिश्चित करता है कि आप उत्तर पर कितना भरोसा कर सकते हैं, भले ही डेटा अपूर्ण हो।

यह ऐसे सभी समस्याओं (टाइपो, खराब पंक्तियाँ, गायब पन्ने और बहुत अधिक वेरिएबल्स) को एक साथ संभालने वाला अपनी तरह का पहला तरीका है, जबकि यह आपको उचित सांख्यिकीय परीक्षण करने की अनुमति भी देता है।

तकनीकी सारांश: सेलवाइज और केसवाइज रोबस्ट मल्टीवेरिएट रिग्रेशन विद इन्फरेंस

समस्या विवरण
मल्टीवेरिएट लीनियर रिग्रेशन $p$ -आयामी प्रेडिक्टर्स और $q$ -आयामी रिस्पॉन्स के बीच संबंधों को मॉडल करने के लिए एक मौलिक सांख्यिकीय उपकरण है। हालांकि, क्लासिकल एस्टिमेटर्स जैसे कि ऑर्डिनरी लीस्ट स्क्वायर्स (OLS), आउटलेर्स के प्रति अत्यधिक संवेदनशील होते हैं। पारंपरिक रोबस्ट सांख्यिकी ने मुख्य रूप से केसवाइज आउटलेर्स (पूरी ऑब्जर्वेशन जो बहुमत से विचलित होती है) को संबोधित किया है, जिसके लिए कम से कम 50% डेटा का स्वच्छ होना आवश्यक है। हालांकि, आधुनिक उच्च-आयामी डेटासेट अक्सर सेलवाइज आउटलेर्स से ग्रस्त होते हैं, जहाँ प्रेडिक्टर या रिस्पॉन्स मैट्रिक्स के व्यक्तिगत प्रविष्टियाँ (entries) दूषित होती हैं। उच्च आयामों में, यहाँ तक कि सेल कंटैमिनेशन का एक छोटा हिस्सा भी बड़ी संख्या में मामलों को "खराब" बना सकता है (उदाहरण के लिए, यदि $p=100$ और $q=2$ है, तो 1% सेल कंटैमिनेशन 64% मामलों को प्रभावित करता है), जिससे केसवाइज रोबस्ट विधियाँ विफल हो जाती हैं। इसके अलावा, समकालीन अनुप्रयोगों में अक्सर मिसिंग वैल्यूज और ऐसे आयाम शामिल होते हैं जहाँ $p \geq n$ होता है, जिससे क्लासिकल एस्टिमेशन में अस्थिरता आती है। अंततः, जबकि रोबस्ट एस्टिमेशन स्थापित है, सेलवाइज और केसवाइज कंटैमिनेशन के तहत वैध सांख्यिकीय इन्फरेंस (जैसे कि कॉन्फिडेंस इंटरवल) प्रदान करना, विशेष रूप से मिसिंग डेटा के साथ, एक खुला प्रश्न बना हुआ है।

कार्यप्रणाली
लेखक इन चुनौतियोंों को संबोधित करने के लिए cellMR (सेलवाइज मल्टीवेरिएट रिग्रेशन) और cellBoot (सेलवाइज बूटस्ट्रैप) प्रस्तावित करते हैं।

cellMR एस्टिमेटर:
- आधार: यह विधि सेंटोफ़ान्ती एट अल. (2025) द्वारा विकसित सेलवाइज रोबस्ट कोवेरिएंस एस्टिमेटर (cellCov) पर आधारित है।
- तंत्र: यह प्रेडिक्टर्स और रिस्पॉन्स के संयुक्त मैट्रिक्स $[X; Y]$ को संभालने के लिए एक रोबस्ट प्रिंसिपल कंपोनेंट एनालिसिस (PCA) दृष्टिकोण का उपयोग करता है जिसे cellPCA कहा जाता है। यह विधि डेटा को लो-रैंक स्ट्रक्चर प्लस नॉइज़ के रूप में मॉडल करती है, जिसमें सेलवाइज और केसवाइज दोनों प्रकार के आउटलेर्स के प्रभाव को सीमित करने के लिए वैध $\rho$ -फंक्शन्स (विशेष रूप से एक हाइपरबोलिक टेंगेंट फंक्शन) का उपयोग किया जाता है।
- रेगुलराइजेशन: उच्च-आयामी सेटिंग्स ( $p \geq n$ ) में संख्यात्मक स्थिरता सुनिश्चित करने के लिए, रिग्रेशन कोएफिशिएंट्स का अनुमान रिज रेगुलराइजेशन का उपयोग करके लगाया जाता है। रिग्रेशन पैरामीटर्स को cellCov से प्राप्त रोबस्ट लोकेशन ( $\hat{\mu}$ ) और स्कैटर ( $\hat{\Sigma}$ ) अनुमानों को मानक रिज रिग्रेशन फॉर्मूला में रखकर निकाला जाता है।
- मिसिंग डेटा: यह फ्रेमवर्क मिसिंग वैल्यूज को स्वाभाविक रूप से समायोजित करता है क्योंकि cellPCA तंत्र एस्टिमेशन के दौरान योगदान को वेट (weight) देने के लिए मिसिंगनेस इंडिकेटर्स का उपयोग करता है।
- प्रेडिक्शन: आउट-ऑफ-सैंपल प्रेडिक्शन के लिए, यह विधि एक इम्प्यूटेशन रणनीति अपनाती है जहाँ नए डेटा के संदिग्ध सेल्स को साफ किया जाता है और मिसिंग सेल्स को ट्रेनिंग डेटा से सीखे गए रोबस्ट स्ट्रक्चर के आधार पर भरा जाता है।
cellBoot इन्फरेंस प्रोसीजर:
- चुनौती: cellMR एस्टिमेटर पर प्रत्यक्ष बूटस्ट्रैप इन्फरेंस समस्याग्रस्त है क्योंकि सेलवाइज निर्माण के कारण एस्टिमेटर का कंसिस्टेंट होना सुनिश्चित नहीं है।
- समाधान: लेखक इंडायरेक्ट इन्फरेंस (II) पर आधारित एक बूटस्ट्रैप प्रक्रिया, cellBoot पेश करते हैं।
- ऑक्सिलरी एस्टिमेटर: एक कंप्यूटेशनल रूप से कुशल, वन-स्टेप एप्रोक्सिमेशन जिसे FastCellCov कहा जाता है, ऑक्सिलरी एस्टिमेटर के रूप में उपयोग किया जाता है। हालांकि FastCellCov इनकंसिस्टेंट है, यह पूर्ण एस्टिमेटर के रोबस्ट गुणों को कैप्चर करता है।
- बायस करेक्शन: II फ्रेमवर्क एक कंसिस्टेंट एस्टिमेटर का निर्माण करता है जो एक पैरामेट्रिक मॉडल से उत्पन्न सिमुलेटेड डेटासेट्स पर गणना किए गए ऑक्सिलरी एस्टिमेटर को देखे गए डेटा पर गणना किए गए ऑक्सिलरी एस्टिमेटर के साथ मैच करता है।
- कार्यान्वयन: एल्गोरिदम बूटस्ट्रैप सैंपल्स जेनरेट करता है, FastCellCov एस्टिमेट्स की गणना करता है, कंसिस्टेंट लोकेशन और स्कैटर के अनुमान प्राप्त करने के लिए II बायस करेक्शन लागू करता है, और अंत में रिग्रेशन कोएफिशिएंट्स निकालता है। कॉन्फिडेंस इंटरवल्स इन करेक्टेड बूटस्ट्रैप एस्टिमेट्स के एम्पिरिकल क्वांटाइल्स का उपयोग करके बनाए जाते हैं।

प्रमुख योगदान

एकीकृत फ्रेमवर्क: लेखकों के ज्ञान के अनुसार, यह पहला मल्टीवेरिएट रिग्रेशन मेथड है जो सेलवाइज आउटलेर्स, केसवाइज आउटलेर्स, मिसिंग डेटा और उच्च-आयामीता ( $p \geq n$ ) को एक साथ संभालने में सक्षम है।
सैद्धांतिक गुण:
- लेखक दोनों केसवाइज और सेलवाइज कंटैमिनेशन मॉडल्स के तहत cellMR रिग्रेशन एस्टिमेटर्स के लिए इन्फ्लुएंस फंक्शन्स (IF) को व्युत्पन्न करते हैं, यह सिद्ध करते हुए कि एस्टिमेटर्स बाउंडेड हैं और इस प्रकार रोबस्ट हैं।
- वे cellBoot प्रक्रिया की एसिम्प्टोटिक कंसिस्टेंसी को सिद्ध करते हैं।
- वे परिणामी कॉन्फिडेंस इंटरवल्स के सेंटर और लेंथ के लिए इन्फ्लुएंस फंक्शन्स को भी व्युत्पन्न करते हैं, जो उनकी रोबस्टनेस को प्रदर्शित करते हैं।
इन्फरेंस वैधता: पेपर यह स्थापित करता है कि cellBoot कॉन्फिडेंस इंटरवल्स एसिम्प्टोटिक रूप से सटीक हैं, जो उन सेटिंग्स में भी वैध अनसर्टेंटी क्वांटिफिकेशन प्रदान करते हैं जहाँ स्टैंडर्ड बूटस्ट्रैप या रोबस्ट बूटस्ट्रैप (जैसे FRB) विफल हो जाते हैं।

परिणाम

सिमुलेशन: व्यापक मोंटे कार्लो प्रयोगों से पता चलता है कि cellMR विभिन्न कंटैमिनेशन परिदृश्यों (सेलवाइज, केसवाइज और मिश्रित) और आयामों में प्रतिस्पर्धी विधियों (RIDGE, SEST, PENSE, CRM, REGCELL, और SHOOT सहित) की तुलना में बेहतर प्रेडिक्टिव प्रदर्शन (कम मीन स्क्वेर्ड एरर) प्राप्त करता है। प्रतिस्पर्धी विधियाँ या तो उच्च आयामों में विफल हो जाती हैं या सेलवाइज कंटैमिनेशन के तहत खराब प्रदर्शन करती हैं।
इन्फरेंस प्रदर्शन: cellBoot विधि महत्वपूर्ण कंटैमिनेशन और मिसिंग डेटा के तहत भी नाममात्र कवरेज प्रोबेबिलिटी (जैसे 90%) बनाए रखती है। इसके विपरीत, OLS-आधारित इंटरवल्स गंभीर अंडर-कवरेज से ग्रस्त होते हैं, और फास्ट एंड रोबस्ट बूटस्ट्रैप (FRB) उच्च-आयामी सेटिंग्स में विफल रहता है।
रियल डेटा एप्लीकेशन: विधियों को 59 कैंसर सेल लाइन्स, 50 जीन और 3 प्रोटीन वाले जीनोमिक्स डेटासेट पर लागू किया गया। विश्लेषण ने जीन और प्रोटीन एक्सप्रेशन स्तरों के बीच रोबस्ट एसोसिएशन की सफलतापूर्वक पहचान की, जिसे आउटलेयर मैप्स और फॉरेस्ट प्लॉट्स के माध्यम से विज़ुअलाइज़ किया गया, जबकि संभावित आउटलेर्स और मिसिंग वैल्यूज को प्रभावी ढंग से संभाला गया।

महत्व और दावे
पेपर का दावा है कि यह एक एकीकृत कार्यप्रणाली प्रदान करता है जो आधुनिक डेटा विश्लेषण के "ट्रिपल थ्रेट" को संबोधित करता है: सेलवाइज कंटैमिनेशन, केसवाइज कंटैमेंशन और उच्च आयामों में मिसिंगनेस। यह दावा करता है कि cellMR पहला दृष्टिकोण है जो मल्टीवेरिएट रिग्रेशन फ्रेमवर्क के भीतर इन सभी मुद्दों को संयुक्त रूप से हल करता है। इसके अलावा, cellBoot का परिचय विशेष रूप से डिज़ाइन किया गया पहला इन्फरेंस फ्रेमवर्क होने का दावा किया गया है जो सिमल्टेनियस सेलवाइज और केसवाइज कंटैमिनेशन के साथ मिसिंग वैल्यूज की उपस्थिति में वैध कॉन्फिडेंस इंटरवल्स प्रदान करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण केवल प्रेडिक्शन से आगे बढ़कर रोबस्ट अनसर्टेंटी क्वांटिफिकेशन के माध्यम से विश्वसनीय वैज्ञानिक व्याख्या को सक्षम बनाता है।