📊 statistics

Robust model selection using likelihood as data

यह शोध पत्र एक सुदृढ़ मॉडल चयन पद्धति प्रस्तुत करता है जो कुलबैक-लीब्लर डाइवर्जेंस (Kullback-Leibler divergences) के संबंध में अनिश्चितता का अनुमान लगाने और उसे मापने के लिए नकारात्मक लॉग-लाइकलीहुड (negative log-likelihood) मानों को यादृच्छिक डेटा के रूप में मानता है, जिससे तब भी कैलिब्रेटेड निष्कर्ष निकालना सक्षम होता है जब वास्तविक डेटा-जनरेटिंग प्रक्रिया मिसस्पेसिफाइड (misspecified) हो।

मूल लेखक: Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अपराध सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास कोई "परफेक्ट" संदिग्ध नहीं है। आपके पास दस संदिग्धों (कैंडिडेट मॉडल्स) की एक लाइनअप है: कुछ स्पष्ट रूप से छोटे अपराधों के दोषी हैं, कुछ निर्दोष हैं लेकिन संदिग्ध दिखते हैं, और उनमें से कोई भी वास्तविक हत्यारा (सच्चा डेटा-जनरेटिंग प्रोसेस) नहीं है।

आपका काम सबसे अच्छा संदिग्ध चुनना है।

पुराना तरीका: "सबसे अच्छा अनुमान" का जाल

पारंपरिक रूप से, सांख्यिकीविद AIC या BIC (सोचिए ये "स्कोरकार्ड" हैं) या Bayesian Posteriors (सोचिए ये "वोट काउंट" हैं) जैसे उपकरणों का उपयोग करते हैं।

समस्या: ये उपकरण यह बताने में तो माहिर हैं कि "संदेश #4 का स्कोर सबसे अधिक है!", लेकिन वे यह बताने में बहुत खराब हैं कि संदिग्ध #4, संदिग्ध #5 से कितना बेहतर है।
खामी: यदि अपराध स्थल अव्यवस्थित है (डेटा जटिल है और किसी भी संदिग्ध से पूरी तरह मेल नहीं खाता), तो ये उपकरण भ्रमित हो सकते हैं। वे अधिक जटिल संदिग्धों (जैसे "संदेश #100") को चुनने लगते हैं क्योंकि वे बिखरे हुए विवरणों को थोड़ा बेहतर तरीके से फिट करते हैं, भले ही एक सरल संदिग्ध पर्याप्त रूप से अच्छा होता। वे यह भी नहीं बता पाते कि, "अरे, संदेश #4 केवल 1% बेहतर है संदेश #5 से, तो शायद हमें सरल वाले को चुन लेना चाहिए।"

नया तरीका: "Likelihood as Data" (LaD)

इस पेपर के लेखक, जोंगवू चोई, नील स्पेंसर और जेफ्री मिलर, एक चतुर रणनीति प्रस्तावित करते हैं। मॉडलों के परिणामों को अंतिम उत्तर मानने के बजाय, वे मॉडलों के प्रदर्शन स्कोर को ही डेटा के रूप में देखते हैं।

यहाँ इसका उदाहरण दिया गया है:

1. "रिपोर्ट कार्ड" का उदाहरण

कल्पना कीजिए कि 10 छात्र (मॉडल्स) एक परीक्षा (डेटा) दे रहे हैं।

पुराना तरीका: आप प्रत्येक छात्र का अंतिम ग्रेड देखते हैं और उच्चतम ग्रेड वाला छात्र चुनते हैं। आपको वास्तव में पता नहीं चलता कि छात्र A, छात्र B से काफी अधिक बुद्धिमान है, या छात्र A केवल विशिष्ट प्रश्नों के साथ भाग्यशाली रहा।
LaD तरीका: केवल अंतिम ग्रेड देखने के बजाय, आप प्रत्येक छात्र के लिए हर एक प्रश्न देखते हैं।
- आप एक विशाल स्प्रेडशीट बनाते हैं जहाँ प्रत्येक पंक्ति एक प्रश्न है और प्रत्येक कॉलम एक छात्र है।
- आप महसूस करते हैं कि इस स्प्रेडशीट पर एक छात्र का औसत स्कोर आपको ठीक-ठीक बताता है कि वह एक "परफेक्ट जीनियस" (सच्चा डेटा प्रोसेस) से कितना दूर है।
- महत्वपूर्ण रूप से, अब आप अनिश्चितता (uncertainty) को देख सकते हैं। आप कह सकते हैं, "छात्र A सबसे अच्छा है, लेकिन 20% संभावना है कि छात्र B भी उतना ही अच्छा है।"

2. "टॉलरेंस" (सहनशीलता) का डायल

यह पेपर एक विशेष डायल पेश करता है जिसे $\delta$ (डेल्टा) कहा जाता है। इसे "पर्याप्त रूप से अच्छा" (Good Enough) सेटिंग के रूप में सोचें।

डायल को 0 पर सेट करना: आप पूर्णतः सटीक मॉडल की मांग करते हैं। आप संभवतः एक अत्यधिक जटिल, ओवर-इंजीनियर्ड मॉडल चुन लेंगे जो उपयोग करने में कठिन है।
डायल को ऊपर घुमाना: आप कहते हैं, "मुझे पूर्णता की आवश्यकता नहीं है। मुझे बस एक ऐसा मॉडल चाहिए जो सर्वोत्तम संभव मॉडल के 5% के भीतर हो।"
परिणाम: अचानक, जटिल और उलझे हुए मॉडल्स दौड़ से बाहर हो जाते हैं, और एक सरल, साफ मॉडल शीर्ष पर आ जाता है। LaD विधि इस ट्रेड-ऑफ को मापने (quantify) की अनुमति देती है। यह आपको बताती है: "यदि आप 5% सटीकता का त्याग करने को तैयार हैं, तो आप 10 गुना सरल मॉडल का उपयोग कर सकते हैं।"

3. "स्मूथ वोट" (टाई की समस्या से बचना)

कल्पना कीजिए कि दो संदिग्धों का स्कोर सबसे अच्छा होने के लिए बराबर है।

पुराना तरीका: कंप्यूटर सिक्का उछालता है। यह उनमें से एक को यादृच्छिक रूप से चुन लेता है, जिससे आपको गलत निश्चितता का अहसास होता है।
LaD तरीका: कंप्यूटर कहता है, "ये दोनों अनिवार्य रूप से बराबर हैं। मैं दोनों को उच्च स्कोर दूंगा।" यह विजेता चुनने के लिए मजबूर नहीं करता यदि सबूत उन्हें अलग करने के लिए पर्याप्त मजबूत नहीं हैं। यह विधि को तब अस्थिर होने से रोकता है जब मॉडल्स बहुत समान होते हैं।

यह वास्तविक जीवन में क्यों मायने रखता है

इस पेपर का परीक्षण वास्तविक दुनिया की समस्याओं पर किया गया है:

गैलेक्सी क्लस्टर्स: यह पता लगाना कि आकाश के एक विशिष्ट हिस्से में आकाशगंगाओं के कितने समूह हैं। पुराने तरीके अधिक डेटा मिलने पर लगातार "अधिक समूहों" का अनुमान लगाते रहे। LaD ने एक स्थिर, तर्कसंगntपूर्ण संख्या पाई।
माइक्रोबियल ग्रोथ (सूक्ष्मजीव वृद्धि): विभिन्न तापमानों पर बैक्टीरिया के बढ़ने की भविष्यवाणी करना। इसके लिए कई जटिल सूत्र हैं। LaD ने वैज्ञानिकों को सबसे सरल सूत्र चुनने में मदद की जो "पर्याप्त रूप से अच्छा" था, बजाय इसके कि वे सबसे जटिल सूत्र को चुनें।
मछलियों की जेनेटिक्स: यह पता लगाना कि एक नदी में मछलियों की कितनी अलग-अलग आबादी मौजूद है। पुराने तरीके अक्सर बहुत अधिक आबादी का अनुमान लगाते थे। LaD ने सही संतुलन खोजने में मदद की।

निष्कर्ष (The Bottom Line)

यह पेपर सांख्यिकी में विनम्रता के बारे में है। यह स्वीकार करता है कि हमारे पास शायद ही कभी "परफेक्ट" मॉडल होता है। उच्चतम स्कोर के पीछे आँख मूंदकर भागने के बजाय, यह हमें एक टूलकिट देता है ताकि हम:

यह माप सकें कि हमारे मॉडल वास्तव में कितने दूर हैं।
अपनी अनिश्चितता को माप सकें (यह जानना कि हम क्या नहीं जानते)।
सबसे सरल मॉडल चुन सकें जो पर्याप्त रूप से अच्छा है, जिससे हम दुनिया की समझ को अत्यधिक जटिल बनाने से बच सकें।

यह मॉडल चयन को "विजेता का अनुमान लगाने" के खेल से बदलकर "सर्वश्रेष्ठ संतुलन खोजने" की रणनीति में बदल देता है।

यहाँ चोई, स्पेंसर और मिलर के शोध पत्र "Robust model selection using likelihood as data" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मानक मॉडल चयन विधियाँ (जैसे AIC, BIC, और मानक बेयसियन पोस्टेरियर्स) तब महत्वपूर्ण सीमाओं का सामना करती हैं जब वास्तविक डेटा-जनरेटिंग प्रोसेस (DGP) मिसस्पेसिफाइड (misspecified) हो—अर्थात, वास्तविक DGP, उम्मीदवार मॉडलों के सेट के भीतर मौजूद नहीं है।

अनिश्चितता परिमाणीकरण का अभाव (Lack of Uncertainty Quantification): सूचना मानदंड (AIC/BIC) मॉडल की गुणवत्ता के बिंदु अनुमान (point estimates) तो प्रदान करते हैं, लेकिन वे इस बात की अनिश्चितता को मापने में विफल रहते हैं कि एक मॉडल सत्य के कितने करीब है।
मिसस्पेसिफिकेशन के तहत अस्थिरता (Instability under Misspecification): बेयसियन पोस्टेरियर्स और सूचना मानदंड न्यूनतम कुलबैक–लीलर (KL) डाइवर्जेंस वाले मॉडल की ओर स्पर्शोन्मुखी रूप से (asymptotically) केंद्रित होने की प्रवृत्ति रखते हैं। हालाँकि, यदि कई मॉडलों का KL डाइवर्जेंस समान (न्यूनतम) है, तो ये विधियाँ अक्सर अस्थिर हो जाती हैं, या बिना कैलिब्रेटेड अनिश्चितता प्रदान किए, नमूना आकार बढ़ने के साथ जटिल मॉडलों की ओर बढ़ने लगती हैं।
लक्ष्य: लेखक एक ऐसा ढांचा विकसित करने का लक्ष्य रखते हैं जो उस सरलतम मॉडल का चयन मजबूती से कर सके जो सत्य के "पर्याप्त करीब" (एक सहनशीलता $\delta$ के भीतर) हो, और साथ ही सभी उम्मीदवार मॉडलों की सत्य से सापेक्ष दूरी के लिए कठोर अनिश्चितता परिमाणीकरण प्रदान कर सके।

2. कार्यप्रणाली: लाइकलीहुड ऐज़ डेटा (Methodology: Likelihood as Data - LaD)

मुख्य नवाचार व्यक्तिगत अवलोकनों (observations) के नेगेटिव लॉग-लाइकलीहुड (NLL) मानों को स्वयं डेटा पॉइंट्स के रूप में मानना है, न कि केवल मॉडल तुलना के लिए सारांश सांख्यिकी के रूप में।

A. LaD ढांचा (The LaD Framework)

$n$ अवलोकनों और $K$ उम्मीदवार मॉडलों को देखते हुए, लेखक एक $n \times K$ मैट्रिक्स $Z$ का निर्माण करते हैं, जहाँ $Z_{ik} = -\log f_k(X_i)$ ।

व्याख्या: $k$ -वें कॉलम का अपेक्षित मान $\mu_k = E[Z_{ik}]$ , वास्तविक DGP ( $f_0$ ) और मॉडल $k$ ( $f_k$ ) के बीच KL डाइवर्जेंस, और वास्तविक DGP की एंट्रॉपी (एक अज्ञात स्थिरांक) के बराबर होता है।
$\mu_k = D(f_0 \| f_k) + H(f_0)$
सांख्यिकीय मॉडलिंग: अवलोकन $i$ के लिए NLL के वेक्टर $Z_i = (Z_{i1}, \dots, Z_{iK})^T$ को एक रैंडम वेक्टर माना जाता है। लेखक इन वेक्टर्स को एक मल्टीवेरिएट नॉर्मल वितरण से i.i.d. ड्रॉ के रूप में मॉडल करते हैं:
$Z_1, \dots, Z_n \mid \mu, \Sigma \sim \text{i.i.d. } N(\mu, \Sigma)$
जहाँ $\mu$ अपेक्षित NLL का वेक्टर (KL डाइवर्जेंस का प्रॉक्सी) है और $\Sigma$ कोवेरिएंस मैट्रिक्स है।
बेयसियन इन्फरेंस: $(\mu, \Sigma)$ पर एक Normal-Inverse-Wishart (NIW) प्रायर रखा जाता है। यह $\mu$ के पोस्टीरियर वितरण की गणना करने की अनुमति देता है, जो मॉडलों के सापेक्ष KL डाइवर्जेंस की अनिश्चितता को मापता है।
पैरामीटर्स को संभालना: पैरामीट्रिक मॉडलों के लिए अनुमानित पैरामीटर्स $\hat{\theta}_k$ के साथ, विधि M-एस्टीमेटर (जैसे MLE) का उपयोग करती है। छोटे नमूनों में ओवरफिटिंग बायस को ठीक करने के लिए, NLL मानों में एक बायस करेक्शन टर्म $d_k/(2n)$ (पैरामीटर्स के आयाम पर आधारित) जोड़ा जाता है।

B. रोबस्ट मॉडल सिलेक्शन क्राइटेरियन (Robust Model Selection Criterion - SLC)

लक्ष्य केवल पूर्ण न्यूनतम KL डाइवर्जेंस वाला मॉडल खोजना नहीं है, बल्कि न्यूनतम $\delta$ के भीतर सबसे सरल मॉडल खोजना है।

$\delta$ -ऑप्टिमल सेट: एक मॉडल $k$ $\delta$ -ऑप्टिमल है यदि उसका अपेक्षित NLL न्यूनतम $\mu_j$ के भीतर $\delta$ के अंतर पर है:
$M_\delta(\mu) = \{ k : \mu_k \le \min_j \mu_j + \delta \}$
जटिलता दंड (Complexity Penalty): $\delta$ -ऑप्टिमल मॉडलों के बीच, विधि न्यूनतम जटिलता $c(k)$ की तलाश करती है।
स्मूथ LaD क्राइटेरियन (SLC): जब कई मॉडल सर्वश्रेष्ठ फिट के लिए बंधे (tied) होते हैं, तो अस्थिरता से बचने के लिए, लेखक एक "हार्ड मिनिमम" नियम के बजाय एक "सॉफ्ट" सिलेक्शन स्कोर प्रस्तावित करते हैं। मॉडल $k$ $k$ के लिए SLC स्कोर है:
$w_\delta(k \mid Z_{1:n}) = P(c^*_\delta(\mu) = c(k) \mid Z_{1:n}) \times E[r_{nk}(\mu) \mid Z_{1:n}]$
- बीटवीन-क्लास फैक्टर (Between-class factor): संभावना कि मॉडल $k$ , $\delta$ -ऑप्टिमल मॉडलों के बीच न्यूनतम जटिलता वर्ग से संबंधित है।
- विदिन-क्लास फैक्टर (Within-class factor): एक सॉफ्ट-सिलेक्शन स्कोर $r_{nk}(\mu) = \exp(-\alpha_n(\mu_k - \mu_{\min, c(k)}))$ जो एक ही जटिलता वर्ग के भीतर उच्च KL डाइवर्जेंस वाले मॉडलों को कम भार देता है।
- तापमान पैरामीटर (Temperature Parameter): $\alpha_n$ , $n$ के साथ बढ़ता है लेकिन $\sqrt{n}$ से धीमी गति से ( $\alpha_n = o(\sqrt{n})$ ), जो यह सुनिश्चित करता है कि स्कोर परिमित नमूनों (finite samples) में स्थिर रहे और स्पर्शोन्मुखी रूप से (asymptotically) सही लक्ष्य सेट पर केंद्रित हो।

C. व्याख्या योग्य सहनशीलता ( $\tau$ )

$\delta$ को व्याख्या योग्य बनाने के लिए, लेखक एक "नॉइज़ मॉडल" (एक बेसलाइन मॉडल जो कोई सिग्नल नहीं पकड़ता) पेश करते हैं। वे एक पुनर्गठित सहनशीलता (rescaled tolerance) परिभाषित करते हैं:
$\tau = \frac{\delta}{\mu_{\text{noise}} - \mu_{\min}}$
यह उस "व्याख्या योग्य सूचना" (नॉइज़ मॉडल की तुलना में सुधार) के अनुपात को दर्शाता है जिसे उपयोगकर्ता सरलता के लिए त्यागने को तैयार है।

3. मुख्य योगदान (Key Contributions)

नया प्रतिमान (Novel Paradigm): "लाइकलीहुड ऐज़ डेटा" पेश करता है, जो ध्यान को एकत्रित लाइकलीहुड्स की तुलना करने से हटाकर KL डाइवर्जेंस को सीधे अनुमानित करने के लिए प्रति-अवलोकन (per-observation) लाइकलीहुड के वितरण को मॉडल करने पर केंद्रित करता है।
मिसस्पेसिफिकेशन के प्रति मजबूती (Robustness to Misspecification): यह विधि यह धारणा नहीं लेती कि कोई भी उम्मीदवार मॉडल सही है। यह स्पष्ट रूप से प्रत्येक मॉडल की वास्तविक DGP से दूरी की अनिश्चितता को मापती है।
टाई (Ties) के तहत स्थिरता: मानक बेयसियन पोस्टेरियर्स या हार्ड-मिनिमम नियमों के विपरीत, जो बंधे हुए मॉडलों के बीच मनमाने ढंग से प्रोबेबिलिटी मास को विभाजित कर सकते हैं (अस्थिरता का कारण बनते हैं), SLC स्कोर एक स्थिर, पुनरुत्पादक (reproducible) इन्फरेंस प्रदान करता है जो समान रूप से अच्छे मॉडलों के सेटों को सही ढंग से पहचानता है।
सैद्धांतिक गारंटी (Theoretical Guarantees): यह पेपर सिद्ध करता है कि SLC स्कोर स्पर्शोन्मुखी रूप से सुसंगत (asymptotically consistent) है। जैसे-जैसे $n \to \infty$ , स्कोर न्यूनतम-जटिलता वाले $\delta$ -ऑप्टिमल मॉडलों के वास्तविक सेट पर केंद्रित हो जाता है, भले ही मॉडलों के बीच टाई हो।
व्यावहारिक उपयोगिता (Practical Utility): यह विधि जटिलता और फिट के बीच संतुलन बनाने के लिए एक तंत्र प्रदान करती है, जिससे उपयोगकर्ता $\tau$ के माध्यम से मॉडल जटिलता और फिट के बीच ट्रेड-ऑफ कर सकते हैं, जिससे ओवरफिटिंग से बचा जा सकता है।

4. परिणाम और अनुभवजन्य मूल्यांकन (Results and Empirical Evaluation)

लेखक सिमुलेशन और वास्तविक दुनिया के अनुप्रयोगों के माध्यम से विधि को सत्यापित करते हैं:

गौसियन मिक्सचर मॉडल्स (Shapley Galaxy Data): मानक विधियों (AIC, BIC, मानक Bayes) ने नमूना आकार बढ़ने के साथ अधिक जटिल मॉडलों (बड़े $k$ ) को चुना, जो स्थिर होने में विफल रहे। LaD ने सही ढंग से पहचाना कि एक सरल मॉडल (जैसे $k \approx 4$ ) एक निश्चित सहनशीलता के लिए पर्याप्त था, और $n$ बढ़ने के साथ स्थिर हुआ।
स्पार्स मल्टीवेरिएट नॉर्मल मॉडल्स: 7 उम्मीदवार मॉडलों (विभिन्न स्पर्सिटी के साथ) वाले सिमुलेशन में, LaD ने सफलतापूर्वक सबसे सरल मॉडल की पहचान की जो सत्य के भीतर $\delta$ पर था। इसने प्रदर्शन के मामले में "हार्ड" चयन विधियों और कोर्स्ड पोस्टीरियर (c-posterior) को पछाड़ दिया।
थर्मल परफॉर्मेंस कर्व्स (Microbial Ecology): 9 अलग-अलग ग्रोथ रेट मॉडलों पर लागू किया गया। LaD ने जटिल मैकेनिस्टिक मॉडलों और सरल फेनोमेनोलॉजिकल मॉडलों के बीच ट्रेड-ऑफ को सफलतापूर्वक नेविगेट किया, जिससे पता चला कि अत्यधिक कड़े सहनशीलता के लिए ही जटिल मॉडलों की आवश्यकता होती है।
पॉपुलेशन स्ट्रक्चर (Brook Trout Genetics): इसे Evanno के मेथड (STRUCTURE के लिए एक ह्यूरिस्टिक) के विरुद्ध तुलना की गई। Evanno के मेथड ने $k=2$ का सुझाव दिया, लेकिन LaD ने दिखाया कि $k=2$ केवल ~40% व्याख्या योग्य सुधार कैप्चर करता है, जबकि $k=1$ लगभग उतना ही अच्छा था, और $k=3/4$ में पर्याप्त लाभ था। इसने छोटे लाइकलीहुड गेन को संरचनात्मक आवश्यकता के रूप में अति-व्याख्या करने के जोखिम को उजागर किया।

5. महत्व (Significance)

यह शोध पत्र सांख्यिकीय अभ्यास के एक महत्वपूर्ण अंतर को संबोधित करता है: मिसस्पेसिफिकेशन के तहत मॉडल चयन।

कैलिब्रेटेड इन्फरेंस (Calibrated Inference): यह मॉडल गुणवत्ता के बिंदु अनुमानों से आगे बढ़कर एक पूर्ण पोस्टीरियर वितरण प्रदान करता है, जिससे शोधकर्ता जोखिम सहनशीलता ( $\delta$ या $\tau$ के माध्यम से) के आधार पर निर्णय ले सकते हैं।
पुनरुत्पादकता (Reproducibility): बंधे हुए मॉडलों से जुड़ी अस्थिरता की समस्याओं को हल करके, यह सुनिश्चित करता है कि मॉडल चयन के परिणाम पुनरुत्पादक हैं और यादृच्छिक पोस्टीरियर उतार-चढ़ाव का परिणाम नहीं हैं।
व्याख्यात्मकता (Interpretability): पुनर्गठित सहनशीलता $\tau$ का परिचय यह सुनिश्चित करता कि डोमेन विशेषज्ञ यह तय कर सकें कि वे सरलता के लिए कितनी भविष्य कहने वाली शक्ति (predictive power) छोड़ने को तैयार हैं।

संक्षेप में, LaD ढांचा पारंपरिक मॉडल चयन का एक सैद्धांतिक रूप से ठोस, गणनात्मक रूप से व्यवहार्य और मजबूत विकल्प प्रदान करता है, जो विशेष रूप से उन जटिल सेटिंग्स में मूल्यवान है जहाँ "वास्तविक" मॉडल अज्ञात है और उम्मीदवार मॉडल अपूर्ण अनुमान हैं।