🧬 biology

An Entropy-based Coefficient of Determination with Adjustment of Optimization Bias

यह शोध पत्र एक एंट्रॉपी-आधारित निर्धारण गुणांक ( $R^2$ ) प्रस्तुत करता है जो मॉडल फिट के लिए एक स्केल-स्वतंत्र और वितरण-अज्ञेय (distribution-agnostic) माप प्रदान करने हेतु एंट्रॉपी विचरण (Entropic Variance) का उपयोग करता है, जो उन शास्त्रीय मेट्रिक्स का एक सुदृढ़ विकल्प है जो नमूना-आकार मुद्रास्फीति (sample-size inflation) और समन्वय-पैमाने की निर्भरता से ग्रस्त होते हैं और साथ ही चर चयन (variable selection) में गलत खोज दरों (false discovery rates) को महत्वपूर्ण रूप से कम करते हैं।

मूल लेखक: Longhai Li

प्रकाशित 2026-08-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Longhai Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास एक बहुत ही पेचीदा उपकरण है: एक आवर्धक लेंस (magnifying glass) जो सुराग मिलने के साथ-साथ बड़ा और बड़ा होता जाता है। सांख्यिकी (statistics) की दुनिया में, यह उपकरण "नमूना आकार" (sample size) है। आमतौर पर, अधिक डेटा होना एक अच्छी बात है—यह हमें सच्चाई को अधिक स्पष्ट रूप से देखने में मदद करता है। लेकिन वैज्ञानिक अनुसंधान की दुनिया में, इस आवर्धक लेंस में एक खराबी है। यदि आप डेटा के एक विशाल ढेर को देखते हैं, तो धूल का एक नन्हा सा, अर्थहीन कण भी एक विशाल, चमकते हुए एलियन अवशेष जैसा दिख सकता है। यह "सांख्यिकीय सार्थकता संकट" (statistical significance crisis) है। वैज्ञानिक ऐसी चीजें पा रहे हैं जो "सांख्यिकीय रूप से महत्वपूर्ण" हैं (यानी वे यादृच्छिक शोर नहीं हैं) लेकिन वास्तविक जीवन में इतनी सूक्ष्म हैं कि उनका कोई महत्व नहीं है। यह ऐसा है जैसे आपको बताया जाए कि आपने एक पुरस्कार जीता है, केवल यह महसूस करने के लिए कि वह पुरस्कार रेत का एक अकेला कण है।

इसे ठीक करने के लिए, शोधकर्ता आमतौर पर प्रभाव के "आकार" को मापने की कोशिश करते हैं, न कि केवल उसके अस्तित्व को। वे जानना चाहते हैं: "क्या यह सुराग वास्तव में उपयोगी है, या यह केवल एक छोटा सा कण है?" इसके लिए सबसे प्रसिद्ध उपकरण जिसे $R^2$ (आर-स्क्वेयर्ड) कहा जाता है, उसका उपयोग किया जाता है। $R^2$ को एक स्कोरकार्ड के रूप में सोचें जो आपको बताता है कि आपके मॉडल ने रहस्य को कितना सुलझा लिया है। यदि आपका स्कोर 100% है, तो आपने मामला सुलझा लिया है। यदि यह 0% है, तो आप केवल अनुमान लगा रहे हैं। लेकिन समस्या यह है: पुराने स्कोरकार्ड सरल, सीधी रेखा वाले पहेलियों के लिए बनाए गए थे। जब वैज्ञानिकों ने इनका उपयोग जटिल, घुमावदार या अजीब आकार के डेटा (जैसे हमारे पेट में बैक्टीरिया के पैटर्न) के लिए करना शुरू किया, तो स्कोरकार्ड टूट गए। वे नकारात्मक स्कोर देते थे, या स्कोर बदल जाता था क्योंकि आपने चीजों को मापने के तरीके बदल दिए थे (जैसे इंच से सेंटीमीटर में बदलना)। यह एक ऐसे पैमाने की तरह था जो आपके बाएं या दाएं हाथ से पकड़ने के आधार पर अलग-अलग लंबाई बताता था।

यह शोध पत्र एक नया, सुपर-स्मार्ट स्कोरकार्ड पेश करता है जिसे एन्ट्रॉपी-आधारित निर्धारण गुणांक (Entropy-based Coefficient of Determination) या EV- $R^2$ कहा जाता है। लेखक, लोंगहाई ली (Longhai Li) ने महसूस किया कि डेटा के "फैलाव" को मापने के बजाय, हमें स्वयं सूचना के "आयतन" (volume) को मापना चाहिए। कल्पना कीजिए कि आपका डेटा गैस का एक बादल है। पुराने तरीके इस बादल को मापने के लिए इसके औसत ऊर्ध्वाधर विस्तार को देखते थे। यह नया तरीका उस वास्तविक स्थान को मापता है जो बादल घेरता है। यदि आपका मॉडल अच्छा है, तो वह उस बादल को एक छोटे, घने गोले में सिकोड़ देता है। यदि आपका मॉडल खराब है, तो बादल विशाल और फूला हुआ रहता है। यह नया स्कोरकार्ड, जिसे लेखक $R^2_{SV}$ और $R^2_{SVP}$ कहते हैं, विशेष है क्योंकि इसे इस बात से फर्क नहीं पड़ता कि आप किन इकाइयों का उपयोग करते हैं, और इसमें एक अंतर्निहित "झूठ पकड़ने वाला यंत्र" (lie detector) है जो आपको नकली सुरागों के बारे में उत्साहित होने से रोकता है।

यह शोध पत्र बताता है कि यह नया तरीका मॉडल में सही चरों (variables) को चुनने के लिए गेम-चेंजर है। कंप्यूटर सिमुलेशन की एक श्रृंखला में, लेखक ने इस नए स्कोरकार्ड का पुराने तरीकों के विरुद्ध परीक्षण किया। जब उन्होंने बहुत अधिक शोर वाले विशाल डेटासेट पर पुराने तरीकों का उपयोग किया, तो "झूठ पकड़ने वाला यंत्र" विफल हो गया, और मॉडल बेकार के चरों को महत्वपूर्ण समझकर जोड़ता रहा। गलत खोज दर (false discovery rate - वह प्रतिशत जितनी बार मॉडल ने नकली सुराग चुना) आश्चर्यजनक रूप से 80% थी। लेकिन जब उन्होंने नए EV- $R^2$ स्कोरकार्ड का उपयोग किया, तो वह दर गिरकर केवल 6% रह गई, जबकि उसने वास्तविक, महत्वपूर्ण सुरागों को बरकरार रखा। यह एक ऐसे जासूस से स्विच करने जैसा है जो हर चमकती वस्तु को उठा लेता है, और एक ऐसे जासूस से जो केवल उन्हीं को उठाता है जो वास्तव में मामला सुलझाते हैं।

इस शोध पत्र ने इसे एक वास्तविक दुनिया के रहस्य पर भी लागू किया: पार्किंसंस रोग और हमारे पेट में रहने वाले बैक्टीरिया। जब शोधकर्ताओं ने पुराने "आंतरिक" तरीके (जहाँ वे सुराग खोजने और उन्हें जांचने के लिए एक ही डेटा का उपयोग करते थे) का उपयोग किया, तो उन्हें लगभग 20 बैक्टीरिया के सुराग मिले और उन्होंने दावा किया कि मॉडल ने 81% रहस्य को समझा दिया। यह अद्भुत लग रहा था, लेकिन यह संभवतः एक मृगतृष्णा थी जो डेटा द्वारा खुद को धोखा देने के कारण हुई थी। हालाँकि, जब उन्होंने एक सख्त "डेटा-विभाजन" नियम (एक डेटा सेट का उपयोग सुराग खोजने के लिए और दूसरे का पूरी तरह से अलग सेट का उपयोग उन्हें जांचने के लिए) के साथ नए तरीके का उपयोग किया, तो मॉडल सिमटकर केवल 4 प्रमुख बैक्टीरिया सुरागों तक आ गया। नए स्कोरकार्ड ने 34% का एक अधिक यथार्थवादी स्पष्टीकरण दिखाया। यह सुझाव देता है कि पुराना तरीका अत्यधिक आत्मविश्वासी था, जबकि नया तरीका एक बहुत अधिक ईमानदार, जमीनी जवाब दे रहा था।

लेखक इस नए स्कोरकार्ड के पीछे के गणित के बारे में बहुत आश्वस्त हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने सिद्ध किया कि यह नया तरीका मापने का तरीका एक विशिष्ट, अनुमानित पैटर्न (एक F-डिस्ट्रीब्यूशन) का पालन करता है जो उन्हें सटीक संभावनाओं और विश्वास अंतराल (confidence intervals) की गणना करने की अनुमति देता है। उन्होंने दिखाया कि यह नया तरीका सरल सीधी रेखा वाले मॉडलों के लिए पूरी तरह से काम करता है (क्लासिक परिणामों को पुनः प्राप्त करता है), लेकिन जटिल, गैर-रेखीय मॉडलों के लिए टूटे हुए स्कोरकार्डों को भी ठीक करता है। उन्होंने यह भी प्रदर्शित किया कि पुराने तरीकों के विपरीत, यह नया स्कोरकार्ड तब भी समान रहता है जब आप डेटा को मापने का तरीका बदलते हैं (जैसे सेल्सियस से फारेनहाइट में बदलना), जो कि वैज्ञानिकों के लिए सेब की तुलना सेब से करने के लिए एक बड़ी बात है।

संक्षेप में, यह शोध पत्र यह मापने का एक नया, अधिक ईमानदार तरीका प्रदान करता है कि एक मॉडल दुनिया को कितनी अच्छी तरह समझाता है। यह हमें विशाल डेटासेट द्वारा मूर्ख बनने से रोकता है जो छोटी चीजों को बहुत बड़ा दिखाते हैं, और यह हमें हमारे माइक्रोबायोम जैसे जटिल डेटा में वास्तविक, सार्थक पैटर्न खोजने में मदद करता है। यह केवल एक नया फॉर्मूला नहीं है; यह इस बारे में सोचने का एक नया तरीका है कि सांख्यिकीय रहस्य को "सुलझाना" क्या होता है, यह सुनिश्चित करता है कि जब हम कहें कि हमने एक बड़ी सफलता पाई है, तो वास्तव में हमारा वही अर्थ हो।

तकनीकी सारांश: अनुकूलन पूर्वाग्रह (Optimization Bias) के समायोजन के साथ एक एंट्रॉपी-आधारित निर्धारण गुणांक (Coefficient of Determination)

समस्या विवरण
यह शोध पत्र अनुप्रयुक्त अनुसंधान (applied research) में व्याप्त "सांख्यिकीय सार्थकता संकट" (statistical significance crisis) को संबोधित करता है, जहाँ शास्त्रीय लाइकलीहुड-अनुपात परीक्षण (LRT) और $\Delta$ AIC जैसे सूचना मानदंड बड़े डेटासेट में मामूली सुधारों को भी अत्यधिक सार्थक के रूप में चिह्नित कर देते हैं क्योंकि वे नमूना आकार (sample size) के साथ बढ़ते हैं। जबकि औसत उपचार प्रभाव (ATE) जैसे कारण अनुमानित (causal estimands) व्यावहारिक परिमाण को मापने का प्रयास करते हैं, वे 'अपेक्षा ऑपरेटर' ( $\mathbb{E}$ ) पर निर्भर होते हैं, जो उन्हें मूल डेटा के समन्वय पैमाने (coordinate scale) से बांध देता है और गैर-रैखिक रूपांतरणों (non-linear transformations) के प्रति संवेदनशील बनाता है।

मौजूदा छद्म- $R^2$ (pseudo- $R^2$ ) मेट्रिक्स इन समस्याओं को पर्याप्त रूप से हल करने में विफल रहते हैं:

विचरण-आधारित माप (Variance-based measures): (जैसे एफ्रॉन का $R^2$ , गेलमैन का $R^2$ ) उच्च-क्रम वितरण सुधारों (जैसे हेटेरोसेडास्टिसिटी, भारी पूंछ/heavy tails) की अनदेखी करते हैं और मोनोटोनिक रूपांतरणों के प्रति अपरिवर्तनीय (invariant) नहीं होते हैं।
एंट्रॉपी-आधारित माप (Entropy-based measures): (जैसे मैकफेडन का $R^2$ , कॉक्स और स्नेल का $R^2$ ) निरंतर डोमेन में ज्यामितीय विरोधाभासों (geometric paradoxes) का सामना करते हैं। डिफरेंशियल एंट्रॉपी नीचे की ओर असीमित (unbounded below) होती है, जिससे ऐसे मेट्रिक्स उत्पन्न होते हैं जो $[0, 1]$ सीमाओं का उल्लंघन कर सकते हैं या स्केल-इनवेरिएंट नहीं होते क्योंकि क्रॉस-एंट्रॉपी के रैखिक अनुपात इकाई परिवर्तन द्वारा पेश किए गए योगात्मक स्थिरांक (additive constants) के प्रति संवेदनशील होते हैं।
अनुकूलन पूर्वाग्रह (Optimization Bias): मानक अनुमानक अक्सर प्रशिक्षण अनुकूलता (training optimism/overfitting) से ग्रस्त होते हैं, और मौजूदा ढांचों में एक कठोर परिमित-नमूना अनुमान मशीनरी (जैसे $p$ -मान, विश्वास अंतराल) का अभाव है जो जटिल फिशर सूचना मैट्रिक्स (Fisher information matrices) की आवश्यकता के बिना कार्य कर सके।

कार्यप्रणाली (Methodology)
लेखक एंट्रॉपी-आधारित विचरण (Entropic Variance - EV) पर आधारित एक ढांचे का प्रस्ताव करते हैं, जिसे दो बार घातांकीय क्रॉस-एंट्रॉपी ( $v = \exp(2h)$ ) के रूप में परिभाषित किया गया है। उनका तर्क है कि EV, एंट्रॉपी के बजाय, नियमित पैरामीट्रिक परिवारों के लिए साधारण न्यूनतम वर्ग (OLS) अवशेष विचरण (residual variance) का कठोर सामान्यीकरण प्रदान करता है।

जनसंख्या परिभाषाएँ:
- एंट्रॉपी-आधारित विचरण ( $\nu^*$ ): जनसंख्या में व्यक्तिगत EVs के ज्यामितीय माध्य (geometric mean) के रूप में परिभाषित है।
- जनसंख्या प्रभाव आकार ( $\rho^2_V$ ): एक प्रतिबंधित मॉडल ( $\mathcal{M}_0$ ) और एक पूर्ण मॉडल ( $\mathcal{M}_1$ ) के बीच EV में आनुपातिक कमी है: $\rho^2_V = 1 - \nu^*_1 / \nu^*_0$ ।
- मानकीकरण ( $\rho^2_{SV}$ ): असतत परिणामों (discrete outcomes) के लिए, यह सुनिश्चित करने हेतु एक सुधार कारक लागू किया जाता है कि मेट्रिक $[0, 1]$ के बीच रहे, भले ही शून्य मॉडल (null model) की एंट्रॉपी कम हो।
ज्यामितीय व्याख्या:
- यह शोध पत्र स्थापित करता है कि $\rho^2_V$ अवस्थाओं की वर्ग प्रभावी संख्या (असतत डेटा के लिए) या कर्नेल वॉल्यूम के वर्ग ज्यामितीय माध्य (निरंतर डेटा के लिए) की आनुपातिक कमी का प्रतिनिधित्व करता है।
- महत्वपूर्ण रूप से, $\rho^2_V$ रिस्पॉन्स वेरिएबल के स्ट्रिक्टली मोनोटोनिक रूपांतरणों के प्रति पूर्णतः अपरिवर्तनीय (strictly invariant) है, जो एक ऐसा गुण है जो न तो विचरण-आधारित और न ही मानक एंट्रॉपी-आधारित मेट्रिक्स में पाया जाता है।
अनुमानक और पूर्वाग्रह सुधार (Estimators and Bias Correction):
- $R^2_V$ : यह एक अनुभवजन्य अनुमानक है जो परिमित-नमूना प्रशिक्षण अनुकूलता को ठीक करने के लिए $n-p$ स्वतंत्रता की डिग्री (degrees-of-freedom penalty) को अनुभवजन्य EV पर लागू करता है, जो OLS में निष्पक्ष विचरण अनुमानक के समान है।
- $R^2_{SVP}$ : यह एक आउट-ऑफ-सैंपल भविष्य कहनेवाला (predictive) अनुमानक है जो प्रशिक्षण न्यूनीकरण (training deflation) और भविष्य कहनेवाला मुद्रास्फीति (predictive inflation) दोनों को ध्यान में रखने के लिए एक वर्ग जटिलता दंड (squared complexity penalty) लागू करता है।
अनुमान ढांचा (Inferential Framework):
- लेखक अनुभवजन्य एंट्रॉपी-आधारित विचरण सिग्नल-टू-नॉइज़ रेशियो (EV-SNR) के वितरण को व्युत्पन्न करते हैं।
- वे स्थापित करते हैं कि सांख्यिकी $F_V = \frac{n-p_1}{k} \hat{SNR}_V$ एक नॉन-सेंट्रल $F$ -वितरण ( $F_{k, n-p_1}(\lambda_V)$ ) का पालन करती है, जहाँ $k$ पैरामीटर गणनाओं का अंतर है।
- यह जटिल फिशर सूचना मैट्रिक्स व्युत्पत्तियों की आवश्यकता के बिना $\rho^2_V$ के लिए परिष्कृत $p$ -मानों और निरंतर विश्वास अंतरालों की गणना करने की अनुमति देता है।

प्रमुख परिणाम

सैद्धांतिक एकीकरण: यह शोध पत्र प्रदर्शित करता है कि EV ढांचा गाऊसी लीनियर मॉडल्स (Gaussian linear models) पर लागू होने पर शास्त्रीय OLS सिद्धांत को सटीक रूप से पुनः प्राप्त करता है (RSS, समायोजित $R^2$ , और ANOVA $F$ -परीक्षण को पुनः प्राप्त करना)।
सिमुलेशन अध्ययन:
- लॉजिस्टिक रिग्रेशन सिमुलेशन में, प्रस्तावित $F_V$ परीक्षण पारंपरिक $\chi^2$ और महलानोबिस दूरी ( $F_{MD}$ ) परीक्षणों की तुलना में काफी कम टाइप I त्रुटि दर (Type I error rates) प्रदान करता है।
- $R^2_{SVP}$ (एक सीमा $\ge 0.05$ के साथ) का उपयोग करके चर चयन (variable selection) ने वास्तविक संकेतों के उच्च रिकॉल को बनाए रखते हुए, मानक LASSO-CV के तहत 80% की फॉल्स डिस्कवरी रेट (FDR) को घटाकर 6% कर दिया।
- अनुमानक मजबूत परिमित-नमूना गुण दिखाते हैं, जिसमें विश्वास अंतराल नाममात्र कवरेज दरों (nominal coverage rates) को प्राप्त करते हैं।
वास्तविक अनुप्रयोग (पार्किंसंस रोग माइक्रोबायोम):
- माइक्रोबायोम डेटासेट ( $n=328$ ) पर लागू करते हुए, इस पद्धति ने चर के क्रम (variable ordering - LASSO) को मूल्यांकन से अलग करने के लिए एक सख्त डेटा-विभाजन दृष्टिकोण का उपयोग किया।
- इस पद्धति ने केवल चार भविष्यवक्ताओं (जिसमें Roseburia, Lactobacillus, Bacteroidales, और एक आयु-लिंग इंटरेक्शन शामिल है) वाला एक जैविक रूप से व्याख्या योग्य मॉडल पहचाना, जिसने 34% का यथार्थवादी आउट-ऑफ-सैंपल $R^2_{SV}$ प्राप्त किया।
- इसके विपरीत, आंतरिक मूल्यांकन (उसी डेटा का चयन और मूल्यांकन के लिए उपयोग) ने लगभग 20 भविष्यवक्ताओं के साथ 81% का अतिरंजित $R^2_{SV}$ उत्पन्न किया, जो अनुकूलन पूर्वाग्रह (optimization bias) की गंभीरता को दर्शाता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह कच्चे एंट्रॉपी से एंट्रॉपी-आधारित विचरण (Entropic Variance) की ओर स्थानांतरित होकर, एक सार्वभौमिक रूप से लागू होने वाले भविष्य कहनेवाला प्रभाव आकार (predictive effect size) को परिभाषित करने के लंबे समय से चले आ रहे विरोधाभासों को हल करता है। इसके मुख्य योगदान हैं:

स्केल स्वतंत्रता (Scale Independence): एक आयामहीन (dimensionless) प्रभाव आकार प्रदान करना जो विचरण-आधारित या मानक एंट्रॉपी-आधारित मेट्रिक्स के विपरीत, मोनोटोनिक रूपांतरणों के प्रति अपरिवर्तनीय है।
अनुमान संबंधी कठोरता (Inferential Rigor): $F_V$ वितरण पर आधारित एक एकीकृत अनुमान ढांचा स्थापित करना, जो जटिल विश्लेषणात्मक व्युत्पत्तियों की आवश्यकता के बिना सामान्य रेगुलर पैरामीट्रिक परिवारों के लिए प्रभाव आकारों के सटीक $p$ -मान और विश्वास अंतराल सक्षम करता है।
व्यावहारिक उपयोगिता: यह प्रदर्शित करना कि मॉडलों का मूल्यांकन केवल सांख्यिकीय सार्थकता या बिना दंडित सूचना मानदंडों के बजाय भविष्य कहनेवाला प्रभाव आकार ( $R^2_{SVP}$ ) के माध्यम से करना, उच्च-आयामी सेटिंग्स में गलत खोजों (false discoveries) को काफी कम करते हुए बेहतर चर चयन की ओर ले जाता है।

लेखक इस कार्य को अमूर्त सूचना सिद्धांत और व्यावहारिक मॉडल मूल्यांकन के बीच एक सेतु के रूप में प्रस्तुत करते हैं, जो केवल सांख्यिकीय पता लगाने के बजाय व्यावहारिक भविष्य कहनेवाला उपयोगिता पर आधारित चर चयन के लिए एक मजबूत मानदंड प्रदान करता है। वे उल्लेख करते हैं कि उन सिंगुलर लाइकलीहुड्स (जैसे बेयसियन अनुमान, प्री-सिलेक्शन के साथ दंडित रिग्रेशन) के लिए ढांचे को सामान्य बनाने के लिए भविष्य के कार्य की आवश्यकता है जहाँ सरल पैरामीटर गणना ( $p$ ) अपर्याप्त हो सकती है।

इसी तरह के और पेपर