📊 statistics

The effect of collinearity and sample size on linear regression results: a simulation study

यह सिमुलेशन अध्ययन यह प्रदर्शित करता है कि जबकि कोलीनैरिटी (सहरेखता) सही मॉडल विनिर्देशन के तहत पूर्वाग्रह उत्पन्न किए बिना मुख्य रूप से छोटे नमूनों में परिशुद्धता को कम करती है, यह मिसस्पेसिफिकेशन (विशिष्टीकरण त्रुटि) के तहत पूर्वाग्रह को महत्वपूर्ण रूप से बढ़ा देती है और निष्कर्षों को खराब कर देती है, जो नमूना आकार और संभावित छूटे हुए चर के पूर्वाग्रह पर विचार किए बिना निश्चित वीआईएफ (VIF) थ्रेशोल्ड के यांत्रिक अनुप्रयोग के विरुद्ध तर्क देता है।

मूल लेखक: Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

प्रकाशित 2026-01-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य प्रश्न: "बहुत अधिक समानता" कब एक समस्या बन जाती है?

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक विशिष्ट सामग्री (मान लीजिए, नमक) सूप के स्वाद को कितना प्रभावित करती है। आपके पास एक रेसिपी है जिसमें कई सामग्रियाँ हैं: नमक, काली मिर्च, लहसुन, प्याज और गाजर।

सांख्यिकी (statistics) में, इसे लीनियर रिग्रेशन (linear regression) कहा जाता है। आप नमक के वास्तविक प्रभाव को जानना चाहते हैं।

हालाँकि, कभी-कभी सामग्रियाँ एक-दूसरे के बहुत समान होती हैं। उदाहरण के लिए, यदि आप हमेशा नमक और काली मिर्च को एक निश्चित अनुपात में मिलाते हैं (जब भी आप एक चुटकी नमक डालते हैं, तो आप एक चुटकी काली मिर्च भी डालते हैं), तो यह बताना कठिन हो जाता है कि वास्तव में सूप को नमकीन किस चीज़ ने बनाया है। सांख्यिकी में, इसे कोलिनियैरिटी (collinearity) कहा जाता है।

इस "समानता" को मापने के लिए, शोधकर्ता VIF (वेरिएंस इन्फ्लेशन फैक्टर) नामक स्कोर का उपयोग करते हैं।

VIF = 1: सामग्रियाँ पूरी तरह से अद्वितीय हैं (कोई समानता नहीं)।
VIF = 10 या उससे अधिक: सामग्रियाँ बहुत समान हैं (उच्च कोलिनियैरिटी)।

पुराना नियम: लंबे समय से, वैज्ञानिक एक सख्त नियम का पालन करते आए हैं: "यदि VIF 4 या 10 से ऊपर है, तो तुरंत रेसिपी से उन सामग्रियों में से एक को बाहर निकाल दें।" वे ऐसा तब भी करते हैं जब उनके पास खाना पकाने का बर्तन कितना भी बड़ा क्यों न हो।

नया अध्ययन: यह शोध पत्र पूछता है: क्या वह नियम वास्तव में समझ में आता है? क्या इससे कोई फर्क पड़ता है कि आप सूप का एक छोटा कप बना रहे हैं या एक विशाल औद्योगिक टब?

प्रयोग: अलग-अलग बर्तन के आकार के साथ खाना बनाना

शोधकर्ताओं ने इस परीक्षण के लिए एक विशाल कंप्यूटर सिमुलेशन (एक "डिजिटल किचन") चलाया। उन्होंने दो मुख्य चरों (variables) के साथ सूप के हजारों बैच बनाए:

बर्तन का आकार (सैंपल साइज): एक छोटे कप (100 सर्विंग्स) से लेकर एक विशाल औद्योगिक टब (1,00,000 सर्विंग्स) तक।
समानता (कोलिनियैरिटी): पूरी तरह से अद्वितीय सामग्रियों (VIF=1) से लेकर लगभग जुड़वा जैसी दिखने वाली सामग्रियों (VIF=50) तक।

फिर उन्होंने चार चीजें जाँचीं:

सटीकता (Accuracy): क्या उन्हें सही उत्तर मिला?
आत्मविश्वास (Confidence): वे उस उत्तर के बारे में कितने आश्वस्त थे?
परिशुद्धता (Precision): क्या उत्तर सटीक और विशिष्ट था, या एक व्यापक, धुंधला अनुमान था?
पूर्वाग्रह (Bias): क्या उन्होंने अनजाने में एक ऐसी मुख्य सामग्री छोड़ दी जिससे स्वाद बदल गया?

आश्चर्यजनक निष्कर्ष

उन्होंने जो खोजा वह यहाँ दिया गया है, जिसे बर्तन के आकार के अनुसार विभाजित किया गया है:

1. छोटा बर्तन (छोटा सैंपल साइज: ~100 लोग)

समस्या: एक छोटे बर्तन में, सामग्रियों के बीच थोड़ी सी भी समानता भी अराजकता पैदा कर देती है।

उदाहरण: कल्पना कीजिए कि आप सूप के एक छोटे चम्मच में नमक की सटीक मात्रा का अनुमान लगाने की कोशिश कर रहे हैं। यदि नमक और काली मिर्च थोड़े से भी आपस में मिल गए हैं, तो आपका अनुमान पूरी तरह से गलत हो जाएगा।
परिणाम: कम समानता स्कोर (VIF < 2) ने भी परिणामों को अविश्वसनीय बना दिया। "कॉन्फिडेंस इंटरवल्स" (संभावित उत्तरों की सीमा) इतनी विस्तृत हो गई कि अध्ययन ने अपनी शक्ति खो दी।
सबक: छोटे अध्ययनों में, आप मामूली समानता को भी नज़रअंदाज़ नहीं कर सकते।

2. विशाल टब (बड़ा सैंपल साइज: ~50,000+ लोग)

अच्छी खबर: एक बड़े बर्तन में, नियम पूरी तरह से बदल जाते हैं।

उदाहरण: कल्पना कीजिए कि आप सूप से भरे एक स्विमिंग पूल में नमक का अनुमान लगाने की कोशिश कर रहे हैं। भले ही नमक और काली मिर्च पूरी तरह से मिले हुए हों, लेकिन सूप की भारी मात्रा औसत स्वाद को अविश्वसनीय रूप से स्पष्ट बना देती है। समानता का "शोर" डेटा की विशाल मात्रा में दब जाता है।
परिणाम: अत्यधिक समानता (VIF = 50) के साथ भी, परिणाम सटीक और सुस्पष्ट रहे। कॉन्फिडेंस इंटरवल्स संक्षिप्त बने रहे।
सबक: विशाल डेटासेट में, आप अक्सर उच्च VIF स्कोर को अनदेखा कर सकते हैं। वे आपके परिणामों को नुकसान नहीं पहुँचाते।

3. "गायब सामग्री" का जाल (पूर्वाग्रह/Bias)

यह इस शोध पत्र की सबसे महत्वपूर्ण चेतावनी है।

परिदृश्य: क्या होता है अगर आप "समानता की समस्या" को ठीक करने के लिए एक सामग्री (जैसे काली मिर्च) को बाहर निकालने का निर्णय लेते हैं ताकि गणित आसान हो सके?
परिणाम: यदि वह सामग्री वास्तव में महत्वपूर्ण थी (भले ही वह नमक के समान थी), तो उसे हटाने से पूर्वाग्रह (bias) पैदा होता है।
उदाहरण: यदि आप काली मिर्च को इसलिए बाहर कर देते हैं क्योंकि वह नमक के बहुत समान है, लेकिन काली मिर्च वास्तव में एक तीखापन जोड़ती है, तो आपका सूप गलत स्वाद देगा। सामग्रियाँ जितनी अधिक समान होंगी, एक को हटाने पर स्वाद उतना ही अधिक खराब होगा।
सबक: केवल VIF स्कोर को कम करने के लिए वेरिएबल्स को हटाना वास्तव में आपके परिणामों को अधिक गलत बना सकता है, कम नहीं।

निष्कर्ष: कठोर नियमों का उपयोग करना बंद करें

यह शोध पत्र निष्कर्ष निकालता है कि "यदि VIF > 10 है, तो वेरिएबल को हटा दें" वाला पुराना नियम टूटा हुआ है।

रोबोट न बनें: आप एक छोटे अध्ययन और एक बड़े अध्ययन के लिए एक ही नियम लागू नहीं कर सकते।
संदर्भ ही सब कुछ है (Context is King):
- यदि आपके पास छोटा अध्ययन है, तो मामूली समानता भी खतरनाक है।
- यदि आपके पास बड़ा अध्ययन है, तो अत्यधिक समानता भी आमतौर पर हानिरहित है।
चीजों को फेंकें नहीं: यदि आप केवल VIF स्कोर को ठीक करने के लिए एक वेरिएबल को हटाते हैं, तो आप एक नई, बड़ी समस्या (पूर्वाग्रह) पैदा कर सकते हैं जो आपके निष्कर्ष को खराब कर देती है।

मुख्य बात: चार्ट पर दिए गए किसी नंबर को आँख मूंदकर मानने के बजाय, शोधकर्ताओं को अपने सैंपल साइज को देखने की आवश्यकता है। यदि उनके पास बहुत सारा डेटा है, तो वे सभी वेरिएबल्स को रख सकते हैं, भले ही वे समान हों। यदि उनके पास कम डेटा है, तो उन्हें बहुत सावधान रहना चाहिए, लेकिन उन्हें बिना परिणामों पर विचार किए वेरिएबल्स को बस डिलीट भी नहीं करना चाहिए।

तकनीकी सारांश: रैखिक प्रतिगमन परिणामों पर कोलीनियैरिटी (सह-रैखिकता) और नमूना आकार का प्रभाव

समस्या विवरण
ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) रिग्रेशन में कोलीनियैरिटी (collinearity) गुणांक अनुमानों के विचरण (variance) को बढ़ा देती है, जिससे विश्वास अंतराल (confidence intervals) चौड़े हो जाते हैं और संभावित रूप से सांख्यिकीय निष्कर्षों की विश्वसनीयता कम हो जाती है। स्थापित 'रूल्स ऑफ थंब' (नियमों) के संबंध में लंबे समय से चली आ रही चिंताओं के बावजूद, व्यावहारिक अनुसंधान अक्सर "समस्यात्मक" कोलीनियैरिटी को पहचानने के लिए निश्चित वेरिएंस इन्फ्लेशन फैक्टर (VIF) थ्रेशोल्ड (जैसे, 4 या 10) पर निर्भर करता है। यह अभ्यास अक्सर उन अध्ययनों में समान रूप से लागू किया जाता है जिनके नमूना आकार (sample sizes) में बहुत अधिक अंतर होता है, जैसे कि 50 से कम अवलोकनों से लेकर लाखों डेटा पॉइंट्स वाले डेटासेट तक। संबोधित मुख्य समस्या यह है कि कोलीनियर्इटी के व्यावहारिक परिणाम 'फाइनाइट-सैंपल' (सीमित-नमूना) परिघटनाएँ हैं। इस बात पर मात्रात्मक मार्गदर्शन की कमी है कि कब वेरिएंस इन्फ्लेशन इतना बड़ा हो जाता है कि वह अनुमान की सटीकता, कवरेज और निष्कर्षों को सार्थक रूप से प्रभावित करने लगे, विशेष रूप से मॉडल मिसस्पेसिफिकेशन (मॉडल के गलत विनिर्देशन) की उपस्थिति में। मौजूदा सिमुलेशन अध्ययन छोटे नमूना आकारों (आमतौर पर ≤1,000) और VIF की संकीर्ण श्रेणियों तक सीमित रहे हैं, जो आधुनिक महामारी विज्ञान (epidemiology) और बायोमेडिकल डेटा साइंस में सामान्य बड़े पैमाने के डेटासेट के साथ कोलीनियैरिटी के अंतर्संबंध को पकड़ने में विफल रहे हैं।

कार्यप्रणाली (Methodology)
लेखकों ने रैखिक प्रतिगमन परिणामों पर कोलीनियैरिटी और नमूना आकार के संयुक्त प्रभाव की व्यवस्थित जांच करने के लिए एक व्यापक सिमुलेशन अध्ययन किया।

डिज़ाइन: अध्ययन ने नमूना आकार ( $N$ ) को 100 से 100,000 तक और कोलीनियैरिटी स्तर (VIF) को 1 (कोई नहीं) से 50 (चरम) तक परिवर्तित किया।
डेटा जनरेशन: प्रत्येक परिदृश्य के लिए, 1,000 डेटासेट तैयार किए गए। प्रेडिक्टर्स (predictors) को एक मानक सामान्य वितरण (standard normal distribution) से लिया गया और एक निर्दिष्ट सहसंबंध मैट्रिक्स (correlation matrix) से प्राप्त चोलेस्की फैक्टर (Cholesky factor) का उपयोग करके रूपांतरित किया गया ताकि लक्षित VIF प्राप्त किया जा सके। आउटकम वेरिएबल को छह प्रेडिक्टर्स वाले एक रैखिक मॉडल का उपयोग करके बनाया गया था, जिसमें एक "मुख्य" प्रेडिक्टर ऑफ इंटरेस्ट ( $\beta_{main} = 2$ ) शामिल था।
परिदृश्य: सिमुलेशन में सही ढंग से निर्दिष्ट (correctly specified) मॉडल और मिसस्पेसिफाइड (misspecified) मॉडल (जहाँ पूर्वाग्रह उत्पन्न करने के लिए एक प्रासंगिक प्रेडिक्टर को छोड़ दिया गया था) दोनों को कवर किया गया।
मेट्रिक्स: मुख्य गुणांक के लिए चार प्रमुख परिणामों का मूल्यांकन किया गया:
1. कवरेज (Coverage): 95% विश्वास अंतराल (CIs) में वास्तविक मान समाहित होने का अनुपात।
2. त्रुटि और पूर्वाग्रह (Error and Bias): माध्य पूर्ण त्रुटि (Mean Absolute Error - MAE) और व्यवस्थित पूर्वाग्रह (systematic bias)।
3. पारंपरिक शक्ति (Traditional Power): शून्य को बाहर करने वाले CIs का अनुपात।
4. सटीकता आश्वासन (Precision Assurance): एक 'प्रोबेबिलिटी-ऑफ-प्रिसिजन' मेट्रिक जिसे वास्तविक प्रभाव के आसपास एक पूर्व-निर्धारित व्यावहारिक मार्जिन ( $\beta_{main} \pm c_{powval}$ ) के भीतर 95% CI के पूरी तरह से स्थित होने की संभावना के रूप में परिभाषित किया गया है। इस मेट्रिक को बिना कोलीनियैरिटी के $N=1,000$ पर 80% पावर देने के लिए कैलिब्रेट किया गया था।

प्रमुख परिणाम

सही ढंग से निर्दिष्ट मॉडल (Correctly Specified Models):
- कवरेज: कोलीनियैरिटी ने नाममात्र कवरेज (nominal coverage) को महत्वपूर्ण रूप से प्रभावित नहीं किया; 95% CIs ने सभी नमूना आकार और VIF स्तरों पर वास्तविक गुणांक को विश्वसनीय रूप से कैप्चर किया।
- पूर्वाग्रह: कोलीनियैरिटी अकेले कोई व्यवस्थित पूर्वाग्रह उत्पन्न नहीं करती है। छोटे नमूनों ( $N=100$ ) में देखे गए मामूली विचलन को OLS बायस के बजाय फाइनाइट-सैंपल परिवर्तनशीलता और मोंटे कार्लो एरर के रूप में देखा गया।
- सटीकता और शक्ति: कोलीनियैरिटी ने सटीकता और शक्ति को काफी कम कर दिया, लेकिन इस प्रभाव का परिमाण नमूना आकार पर अत्यधिक निर्भर था।
  - छोटे नमूना आकारों ( $N \approx 100$ ) में, मामूली कोलीनियैरिटी (VIF < 2) भी त्रुटियों को काफी बढ़ा देती है और सटीकता आश्वासन तथा पारंपरिक शक्ति दोनों को कम कर देती है।
  - बड़े नमूना आकारों ( $N \ge 50,000$ ) में, अनुमान चरम कोलीनियैरिटी (VIF = 50) के तहत भी मजबूत रहे, जिसमें उच्च सटीकता आश्वासन बनाए रखा गया।
मिसस्पेसिफाइड मॉडल (ओमिटेड वेरिएबल बायस):
- जब एक प्रासंगिक प्रेडिक्टर को छोड़ दिया गया, तो कोलीनियैरिटी ने परिणामी पूर्वाग्रह को मजबूती से बढ़ा दिया।
- बायस्ड (biased) परिदृश्यों में, न्यूनतम कोलीनियैरिटी (VIF $\approx$ 1.1) ने भी सटीकता आश्वासन में भारी गिरावट और कवरेज में कमी पैदा की, क्योंकि कोलीनियैरिटी ने अनुमानों को वास्तविक मान से दूर धकेल दिया और साथ ही CIs को भी चौड़ा कर दिया।
प्रभाव आकार (Effect Size) और प्रेडिक्टर की संख्या: सहसंबंधित प्रेडिक्टर्स की संख्या और कुल प्रेडिक्टर्स का परिणामों पर नमूना आकार की तुलना में नगण्य प्रभाव पड़ा। प्रभाव आकार ने पारंपरिक शक्ति (शून्य समावेश के विरुद्ध मजबूती) को प्रभावित किया लेकिन सटीकता आश्वासन, कवरेज या MAE को नहीं बदला।

महत्व और व्यावहारिक निहितार्थ
यह अध्ययन निश्चित VIF थ्रेशोल्ड के यांत्रिक अनुप्रयोग को चुनौती देता है। लेखक निष्कर्ष निकालते हैं कि कोलीनियैरिटी की व्याख्या नमूना आकार और पूर्वाग्रह के संभावित स्रोतों के संदर्भ में की जानी चाहिए:

संदर्भ-निर्भर थ्रेशोल्ड: छोटे अध्ययनों में, मध्यम VIF भी परिणामी हो सकते हैं, जबकि बहुत बड़े अध्ययनों में, चरम VIF व्यावहारिक रूप से नगण्य हो सकते हैं।
वेरिएबल निष्कासन का जोखिम: केवल VIF को कम करने के लिए प्रेडिक्टर्स को बाहर करने की सलाह नहीं दी जाती है। मॉडल मिसस्पेसिफिकेशन की स्थिति में, कोलीनियैरिटी को खत्म करने के लिए वेरिएबल्स को हटाना, ओमिटेड-वेरिएबल बायस (omitted-variable bias) को पेश करके या उसे बढ़ाकर निष्कर्षों को बदतर बना सकता है।
मार्गदर्शन उपकरण: लेखक हीटमैप्स (जैसे, चित्र 5) प्रदान करते हैं ताकि शोधकर्ता विभिन्न अध्ययन आकारों और मॉडलिंग धारणाओं के तहत सटीकता आश्वासन पर कोलीनियैरिटी के प्रभाव का पूर्वानुमान लगा सकें। ये उपकरण कठोर कट-ऑफ से आगे बढ़कर, निर्णय लेने में नमूना आकार और मॉडल संरचना को स्पष्ट रूप से शामिल करते हुए, अनुभवजन्य रूप से आधारित मूल्यांकन की सुविधा प्रदान करते हैं।

यह शोध पत्र इस बात पर जोर देता है कि जबकि कोलीनियैरिटी विचरण (variance) को बढ़ाती है, यह सही ढंग से निर्दिष्ट मॉडलों में स्वाभाविक रूप से अनुमानों को पक्षपाती (bias) नहीं बनाती है; हालाँकि, मिसस्पेसिफाइड मॉडलों में पूर्वाग्रह के साथ इसका अंतर्संबंध गंभीर अनुमानात्मक जोखिम पैदा करता है जिसे निश्चित थ्रेशोल्ड पकड़ने में विफल रहते हैं।