📊 statistics

Post-Selection Distributional Model Evaluation

यह शोध पत्र पोस्ट-सिलेक्शन डिस्ट्रीब्यूशनल मॉडल इवैल्यूएशन (PS-DME) को प्रस्तुत करता है, जो ई-वैल्यूज़ (e-values) पर आधारित एक सांख्यिकीय रूप से वैध ढांचा है जो एक ही डेटासेट से चुने गए संभावित मॉडलों के लिए विश्वसनीय टेस्ट-टाइम प्रदर्शन वितरणों का अनुमान लगाने और फॉल्स कवरेज रेट्स को नियंत्रित करने में सक्षम बनाता है, जिससे पोस्ट-सिलेक्शन बायस पर विजय प्राप्त होती है और सैंपल-स्प्लिटिंग बेसलाइन्स से बेहतर प्रदर्शन होता है।

मूल लेखक: Amirmohammad Farzaneh, Osvaldo Simeone

प्रकाशित 2026-03-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amirmohammad Farzaneh, Osvaldo Simeone

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नई रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं। आपके पास एक डिश के 1,000 अलग-अलग वेरिएशन हैं (कुछ में नमक ज़्यादा है, कुछ में तीखापन कम है, कुछ में पकाने का समय अलग है)। आप उस एक वेरिएशन को खोजना चाहते हैं जो दोनों रूप से बेहतरीन हो—स्वादिष्ट भी और जल्दी तैयार होने वाला भी।

समस्या यह है कि आपको यह नहीं पता कि प्रत्येक वर्जन कितना "स्वादिष्ट" या कितना "तेज़" होगा जब तक कि आप उसे चख न लें। और उससे भी बुरा यह है कि आपके पास परीक्षण करने के लिए सीमित सामग्री (डेटा) है।

यह ठीक वही समस्या है जिसे यह पेपर हल करता है, लेकिन यहाँ खाना बनाने के बजाय, यह कंप्यूटर मॉडल्स (जैसे AI) के परीक्षण के बारे में है। यहाँ इसका सरल विवरण दिया गया है:

समस्या: "डबल-डिपिंग" (दोहरा लाभ लेने का) जाल

पारंपरिक रूप से, यदि आप 1,000 रेसिपी का परीक्षण करना चाहते हैं, तो आपको अपनी सामग्री को आधा-आधा बांटना होगा:

चखने के लिए आधा: आप प्रत्येक का कुछ हिस्सा चखते हैं ताकि यह देख सकें कि कौन से बेहतर लग रहे हैं।
अंतिम निर्णय के लिए आधा: आप विजेताओं को ताजी सामग्री के साथ फिर से पकाते हैं ताकि उनका "असली" स्कोर मिल सके।

यह सुरक्षित है, लेकिन इसमें बर्बादी होती है। आपने सुरक्षित रहने के चक्कर में अपनी आधी सामग्री फेंक दी।

"नाइव" (भोली) गलती:
कुछ शेफ (या डेटा वैज्ञानिक) स्मार्ट बनने की कोशिश करते हैं। वे उन्हीं सामग्रियों का उपयोग करते हैं जिनसे वे रेसिपी का स्वाद लेते हैं और अंतिम स्कोर भी प्राप्त करते हैं। वे सबसे अच्छे दिखने वाले व्यंजनों को चुनते हैं और फिर कहते हैं, "देखो, यह शानदार है!"
सावधानी: यह खतरनाक है। क्योंकि आपने उन्हीं टेस्टिंग सेशन के आधार पर विजेताओं को चुना है, इसलिए आप बहुत अधिक आत्मविश्वासी होने की संभावना रखते हैं। आपको लग सकता है कि एक रेसिपी परफेक्ट है क्योंकि आप उस सामग्री के बैच के साथ भाग्यशाली थे, न कि इसलिए कि वह वास्तव में अच्छी है। इसे सिलेक्शन बायस (चयन पूर्वाग्रह) कहा जाता है।

समाधान: PS-DME (एक "जादुई आवर्धक लेंस")

लेखक, अमीरमोहम्मद फरज़ानह और ओसवाल्डो सिमोन, एक नया तरीका पेश करते हैं जिसे PS-DME (पोस्ट-सिलेक्शन डिस्ट्रीबशनल मॉडल इवैल्यूएशन) कहा जाता है।

PS-DME को एक जादुई आवर्धक लेंस (Magic Magnifying Glass) के रूप में सोचें जो आपको चखने और अंतिम निर्णय दोनों के लिए अपनी पूरी सामग्री का उपयोग करने देता है, बिना भाग्य के धोखे में आए।

यह कैसे काम करता है, यहाँ कुछ उपमाएँ दी गई हैं:

1. "पूरी तस्वीर" बनाम "एक झलक"

अधिकांश तरीके केवल औसत (average) स्कोर बताते हैं। "यह मॉडल 90% सटीक है।"
लेकिन वास्तविक दुनिया में, औसत झूठ बोलते हैं। कभी-कभी एक मॉडल 99% सटीक होता है, लेकिन 1% समय में यह बुरी तरह विफल हो जाता है।

उपमा: कल्पना कीजिए कि एक कार 99% समय 60mph की गति से चलती है, लेकिन 1% समय में यह खाई में गिर जाती है। औसत गति ठीक है, लेकिन डिस्ट्रीब्यूशन (पूरी तस्वीर) बताती है कि यह खतरनाक है।
PS-DME का काम: एक एकल संख्या देने के बजाय, यह प्रदर्शन के पूरे कर्व (curve) के चारों ओर एक सुरक्षा जाल (कॉन्फिडेंस बैंड) खींचता है। यह आपको बताता है: "हमें 95% यकीन है कि विफलता दर 0.1% और 0.5% के बीच है।"

2. "E-Value" (सच्चाई का पता लगाने वाला)

वे बिना धोखाधड़ी किए अपने पूरे डेटा का उपयोग कैसे करते हैं? वे एक सांख्यिकीय उपकरण का उपयोग करते हैं जिसे E-value कहा जाता है।

उपमा: कल्पना कीजिए कि एक जासूस (E-value) एक अपराधी (एक खराब मॉडल) की तलाश कर रहा है।
- पुराने तरीकों में, जासूस को संदिग्ध चुनने के लिए केस के बीच में ही जांच रोकनी पड़ती थी, और फिर एक नए जासूस के साथ शुरू करना पड़ता था।
- PS-DME के साथ, जासूस पूरे केस की जांच करता है, संदिग्ध को चुनता है, और फिर यह देखने के लिए एक विशेष "सच्चाई डिटेक्टर" का उपयोग करता है कि क्या सबूत टिकते हैं। यह डिटेक्टर इतना मजबूत है कि भले ही जासूस ने उसी सुराग के आधार पर संदिग्ध को चुना हो, यह डिटेक्टर गणितीय रूप से सिद्ध कर सकता है कि संदिग्ध वास्तव में दोषी है या सिर्फ भाग्यशाली था।

3. ट्रेड-ऑफ मैप (संतुलन का नक्शा)

पेपर दिखाता है कि PS-DME आपको ट्रेड-ऑफ (तालमेल) खोजने की अनुमति देता है।

उपमा: एक नक्शा कल्पना करें जहाँ X-अक्ष "गति" (Speed) है और Y-अक्ष "सुरक्षा" (Safety) है।
- पुराने तरीके आपको पहले से ही एक विशिष्ट बिंदु चुनने के लिए मजबूर करते हैं (जैसे, "मुझे 99% सुरक्षा चाहिए")।
- PS-DME आपको पूरे नक्शे का एक 3D होलोग्राम देता है। आप अपनी उंगली को घुमा सकते हैं और कह सकते हैं, "ठीक है, अगर मैं थोड़ी कम सुरक्षा स्वीकार करता हूँ, तो यह कितनी तेज़ हो जाएगी?" यह आपको बिना पहले से उत्तर जाने, "स्वीट स्पॉट" खोजने में मदद करता है।

यह क्यों मायने रखता है (वास्तविक दुनिया का प्रभाव)

पेपर ने तीन चीजों पर इसका परीक्षण किया:

सिंथेटिक डेटा: सिद्धांत को सिद्ध करने के लिए नकली गणितीय समस्याएं।
AI टेक्स्ट-टू-SQL: एक AI को डेटाबेस क्वेरी लिखने में मदद करना। उन्होंने विभिन्न "सेटिंग्स" (जैसे तापमान या सैंपलिंग) का परीक्षण किया ताकि यह देखा जा सके कि कौन से सेटिंग्स बिना क्रैश हुए सबसे अच्छा कोड लिखते हैं। PS-DME ने पुराने "डेटा विभाजित करने वाले" तरीके की तुलना में बेहतर सेटिंग्स तेजी से खोजीं।
टेलीकॉम नेटवर्क: यह जांचना कि क्या सेल टॉवर कॉन्फ़िगरेशन विश्वसनीय है। उन्हें यह जानने की आवश्यकता थी कि केवल औसत गति ही नहीं, बल्कि सबसे खराब स्थिति की गति (लेटेंसी) क्या है, ताकि यह सुनिश्चित हो सके कि आपातकालीन कॉल ड्रॉप न हों।

निष्कर्ष

पुराना तरीका: "आइए अपने डेटा को आधा-आधा बांट दें। एक आधे हिस्से का उपयोग विजेता चुनने के लिए करें, और दूसरे हिस्से का उपयोग यह देखने के लिए करें कि वे कितने अच्छे हैं। यह सुरक्षित है, लेकिन हम अपना आधा डेटा बर्बाद कर देते हैं और अस्पष्ट उत्तर पाते हैं।"

नया तरीका (PS-DME): "आइए विजेता खोजने के लिए अपने पूरे डेटा का उपयोग करें। फिर, हम परिणामों के चारों ओर एक सुरक्षा जाल खींचने के लिए एक विशेष गणितीय 'सच्चाई डिटेक्टर' (E-values) का उपयोग करेंगे। इस तरह, हमें यह समझने के लिए एक स्पष्ट और विस्तृत तस्वीर मिलती है कि मॉडल कैसे व्यवहार करता है, हम कोई डेटा बर्बाद नहीं करते हैं, और हम गति और सुरक्षा के बीच सबसे अच्छा संतुलन आत्मविश्वास के साथ चुन सकते हैं।"

यह आपके मॉडल के प्रदर्शन की एक धुंधली, ब्लैक-एंड-व्हाइट फोटो से अपग्रेड करने जैसा है, जो आपको एक हाई-डेफिनिशन, 3D वीडियो में बदल देता है जो आपको ठीक से दिखाता है कि जोखिम कहाँ हैं, ताकि आप बेहतर निर्णय ले सकें।

यहाँ आमिरमोहम्मद फरज़नेह और ओसवाल्डो सिमोन द्वारा लिखित शोध पत्र "Post-Selection Distributional Model Evaluation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र औपचारिक मॉडल मूल्यांकन (formal model evaluation) में एक महत्वपूर्ण अंतराल को संबोधित करता है: एक ही डेटा के आधार पर पूर्व-चयनित (pre-selected) मॉडल के बाद मुख्य प्रदर्शन संकेतकों (KPIs) के पूर्ण वितरण (full distribution) का विश्वसनीय अनुमान लगाने में असमर्थता।

संदर्भ: कई अनुप्रयोगों में (जैसे, LLM डिप्लॉयमेंट, टेलीकॉम नेटवर्क स्लाइसिंग), उपयोगकर्ताओं को केवल यह जानने की आवश्यकता नहीं होती कि क्या कोई मॉडल एक निश्चित लक्ष्य को पूरा करता है (जैसे, "लेटेंसी < 100ms")। इसके बजाय, उन्हें पूरे वितरण में प्रदर्शन और विश्वसनीयता के बीच ट्रेड-ऑफ को समझने की आवश्यकता होती है (जैसे, "99वें पर्सेंटाइल पर लेटेंसी क्या है?")।
चुनौती:
1. अज्ञात लक्ष्य: इष्टतम विश्वसनीयता स्तर (जैसे, स्वीकार्य विफलता प्रायिकता $\gamma$ ) अक्सर पूर्व-निर्धारित रूप से अज्ञात होता है।
2. पोस्ट-सिलेक्शन बायस (Post-Selection Bias): बड़ी संख्या में उपलब्ध मॉडलों में से सर्वश्रेष्ठ उम्मीदवार मॉडलों को चुनने के लिए, अभ्यासकर्ता अक्सर चयन (मॉडल्स की स्क्रीनिंग) और मूल्यांकन (KPI वितरण का अनुमान लगाना) दोनों के लिए एक ही डेटासेट का उपयोग करते हैं।
3. नैव (Naive) विधियों की विफलता: चयन के लिए उपयोग किए गए डेटा पर मानक कॉन्फिडेंस इंटरवल (जैसे, Dvoretzky–Kiefer–Wolfowitz inequality पर आधारित) लागू करने से अत्यधिक आशावादी अनुमान (overly optimistic estimates) प्राप्त होते हैं और सांख्यिकीय गारंटी अमान्य हो जाती है (वास्तविक वितरण अपेक्षित दर से अधिक बार कॉन्फिडेंस बैंड के बाहर गिर जाता है)।
4. स्प्लिटिंग की अक्षमता: मानक समाधान, सैंपल स्प्लिटिंग (Sample Splitting) (चयन के लिए डेटा का एक हिस्सा और मूल्यांकन के लिए दूसरा हिस्सा उपयोग करना), वैधता तो सुनिश्चित करता है लेकिन अनुमान लगाने के लिए उपलब्ध सैंपल साइज को काफी कम कर देता है, जिससे कॉन्फिडेंस बैंड बहुत चौड़े और निरर्थक हो जाते हैं।

2. कार्यप्रणाली: PS-DME

लेखक Post-Selection Distributional Model Evaluation (PS-DME) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो कठोर सांख्यिकीय वैधता बनाए रखते हुए पूरे डेटा का पुन: उपयोग (full data reuse) करने में सक्षम बनाता है।

मुख्य अवधारणा

PS-DME, चुने गए मॉडलों के लिए KPI के संचयी वितरण फलन (Cumulative Distribution Function - CDF) के लिए कॉन्फिडेंस बैंड्स का निर्माण करता है, जो फॉल्स कवरेज रेट (False Coverage Rate - FCR) को नियंत्रित करने की गारंटी देता है।

FCR की परिभाषा: चयनित मॉडलों का वह अपेक्षित अंश जिसके लिए कॉन्फिडेंस बैंड वास्तविक CDF को कवर करने में विफल रहता है। लक्ष्य यह सुनिश्चित करना है कि $FCR \leq \delta$ हो।
तंत्र (The Mechanism - E-Values):
- पारंपरिक p-values के विपरीत, e-values ऐसे सांख्यिकी (statistics) हैं जो पोस्ट-होक चयन (डेटा देखने के बाद चयन) के बावजूद वैध निष्कर्ष निकालने की अनुमति देते हैं।
- PS-DME एक e-कैलिब्रेटर फंक्शन $f(\cdot)$ का उपयोग करता है जो Kolmogorov-Smirnov सांख्यिकी से प्राप्त p-values को e-values में परिवर्तित करता है।
- e-value टेस्ट को इनवर्ट (invert) करके, यह विधि प्रत्येक चयनित मॉडल $k$ के लिए CDF $F_k(x)$ के लिए कॉन्फिडेंस बैंड $[L_k(x), U_k(x)]$ का निर्माण करती है।

एल्गोरिदम

पूर्व-चयन (Pre-Selection): एक मनमाना, डेटा-निर्भर नियम $S(\cdot)$ पूरे डेटासेट $D$ का उपयोग करके $K$ उम्मीदवारों में से मॉडलों के एक उपसमुच्चय $\mathcal{K}$ को चुनता है।
इन-सैंपल इन्फरेंस (In-Sample Inference): पूरे डेटासेट $D$ (स्प्लिट किए बिना) का उपयोग करके, PS-DME एम्पिरिकल CDF $\hat{F}_k(x)$ की गणना करता है।
बैंड निर्माण (Band Construction): यह यूनिफॉर्म कॉन्फिडेंस बैंड्स का निर्माण करता है:
$L_k(x) = \max\{0, \hat{F}_k(x) - \varepsilon_k\}$
$U_k(x) = \min\{1, \hat{F}_k(x) + \varepsilon_k\}$
जहाँ बैंडविड्थ $\varepsilon_k$ को चयन पूर्वाग्रह (selection bias) को ध्यान में रखने के लिए e-कैलिब्रेटर का उपयोग करके निकाला जाता है:
$\varepsilon_k = \sqrt{\frac{1}{2n_k} \log\left( \frac{2}{f^{-1}\left(\frac{K}{\delta|\mathcal{K}|}\right)} \right)}$
यहाँ $f^{-1}$ , e-कैलिब्रेटर का जनरलाइज्ड इनवर्स है, और $|\mathcal{K}|$ चयनित मॉडलों की संख्या है।

वैकल्पिक कार्यान्वयन

पेपर में DKW inequality के बजाय बर्क-जोन्स (Berk-Jones - BJ) सांख्यिकी का उपयोग करने वाला एक वेरिएंट भी चर्चा में है। BJ बैंड इनपुट-डिपेंडेंट होते हैं (पूंछ/tails में टाइट और केंद्र में चौड़े) और विशिष्ट वितरण आकृतियों के लिए बेहतर अनुकूलन प्रदान कर सकते हैं, हालांकि इनके लिए अधिक जटिल गणना की आवश्यकता होती है।

3. प्रमुख योगदान

नया ढांचा: किसी भी डेटा-निर्भर मॉडल प्री-सिलेक्शन के बाद सांख्यिकीय रूप से वैध वितरण संबंधी मूल्यांकन के लिए पहला सामान्य ढांचा, PS-DME का परिचय।
पूर्ण डेटा पुन: उपयोग: यह प्रदर्शित करता है कि यदि e-values का उपयोग किया जाए, तो वैधता से समझौता किए बिना चयन और इन्फरेंस दोनों के लिए पूरे डेटासेट का उपयोग करना संभव है।
सैद्धांतिक गारंटी: सिद्ध करता है कि PS-DME किसी भी चयन नियम के लिए स्तर $\delta$ पर FCR को नियंत्रित करता है।
दक्षता विश्लेषण: एक सैद्धांतिक तुलना प्रदान करता है जो दिखाता है कि जब सैंपल साइज सीमित हो या सिलेक्शन सेट छोटा हो, तो PS-DME, सैंपल स्प्लिटिंग (SS-DME) की तुलना में संकीर्ण (narrower) कॉन्फिडेंस बैंड्स प्रदान करता है, क्योंकि पूर्ण सैंपल से मिलने वाला लाभ पोस्ट-सिलेक्शन करेक्शन फैक्टर की लागत से अधिक होता है।
व्यावहारिक सत्यापन: सिंथेटिक डेटा, LLM डिकोडिंग और टेलीकॉम नेटवर्क में व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम

लेखक तीन अलग-अलग डोमेन में PS-DME को सत्यापित करते हैं:

सिंथेटिक डेटा (लीनियर रिग्रेशन):
- सेटअप: मीन स्क्वेर्ड एरर के आधार पर पूर्व-चयनित 2,000 रिज रिग्रेशन मॉडल्स।
- परिणाम: PS-DME ने सफलतापूर्वक FCR को नियंत्रित किया (नैव इन-सैंपल विधि के विपरीत)। महत्वपूर्ण रूप से, PS-DME ने सैंपल स्प्लिटिंग (SS-DME) की तुलना में काफी संकीर्ण कॉन्फिडेंस बैंड्स दिए, विशेष रूप से लो-सैंपल रिजीम ( $n=20$ ) में, जिससे बेहतर गारंटीकृत प्रदर्शन वाले मॉडलों का चयन करना संभव हुआ।
LLM डिकोडिंग (Text-to-SQL):
- सेटअप: स्पाइडर (Spider) बेंचमार्क पर विभिन्न कॉन्फ़िगरेशन (तापमान, top-p, और डिकोडिंग रणनीतियाँ जैसे Best-of-N और Iterative Refinement) के साथ Qwen2.5-7B मॉडल के 43 कॉन्फ़िगरेशन का मूल्यांकन।
- परिणाम: PS-DME ने विभिन्न विश्वसनीयता लक्ष्यों के तहत SS-DME की तुलना में लगातार कम (बेहतर) "गारंटीकृत KPI" (लॉस) प्रदान किया। यह बिना वैलिडेशन सेट पर ओवरफिटिंग के उच्च-गुणवत्ता वाली डिकोडिंग रणनीतियों को विश्वसनीय रूप से चुनने की क्षमता को दर्शाता है।
टेलीकॉम नेटवर्क (O-RAN):
- सेटअप: 5G-जैसे वातावरण में बफर ऑक्यूपेंसी (buffer occupancy) के लिए 18 नेटवर्क कॉन्फ़िगरेशन का मूल्यांकन।
- परिणाम: PS-DME ने बफर ऑक्यूपेंसी के CDF पर टाइट बाउंड्स प्रदान किए। लो-डेटा रिजीम में, SS-DME डेटा की कमी के कारण उपयोगी गारंटी देने में विफल रहा, जबकि PS-DME ने टाइट और वैध बाउंड्स बनाए रखे।
सर्वर लेटेंसी (HTTP लॉग्स):
- सेटअप: विभिन्न रिक्वेस्ट पाथ्स के लिए रिस्पॉन्स टाइम डिस्ट्रीब्यूशन का विश्लेषण।
- परिणाम: इसने दिखाया कि e-कैलिब्रेटर पैरामीटर $\tau$ के चुनाव के प्रति कॉन्फिडेंस बैंड की चौड़ाई कितनी संवेदनशील है, जिससे पता चला कि मध्यम मान अक्सर सबसे टाइट बैंड प्रदान करते हैं।

5. महत्व और प्रभाव

पैराडाइम शिफ्ट: मॉडल मूल्यांकन को एक निश्चित थ्रेशोल्ड के विरुद्ध "पास/फेल" से बदलकर प्रदर्शन-विश्वसनीयता ट्रेड-ऑफ के वितरण संबंधी अन्वेषण (distributional exploration) की ओर ले जाता है।
संसाधन दक्षता: मॉडल चयन में "डेटा की कमी" की समस्या को हल करता है। उन परिदृश्यों में जहाँ डेटा महंगा या सीमित है (जैसे, वास्तविक दुनिया के टेलीकॉम लॉग्स, LLM इन्फरेंस), PS-DME सैंपल स्प्लिटिंग की तुलना में हर डेटा पॉइंट से अधिक मूल्य निकालता है।
विश्वसनीयता: इंजीनियरों को टेल रिस्क (जैसे, लेटेंसी आउटलेयर्स) के संबंध में सांख्यिकीय निश्चितता के साथ डिप्लॉयमेंट निर्णय लेने में सक्षम बनाता है, जो सुरक्षा-महत्वपूर्ण प्रणालियों और सर्विस लेवल एग्रीमेंट्स (SLAs) के लिए महत्वपूर्ण है।
व्यापकता: यह ढांचा विशिष्ट चयन नियम या KPI की प्रकृति के प्रति उदासीन (agnostic) है, जिससे यह विविध मशीन लर्निंग और इंजीनियरिंग सिस्टम के लिए उपयुक्त बनता है।

संक्षेप में, PS-DME मॉडल मूल्यांकन की "डबल-डिपिंग" समस्या के लिए एक गणितीय रूप से कठोर समाधान प्रदान करता है, जिससे अभ्यासकर्ताओं के लिए मॉडल प्रदर्शन और विश्वसनीयता के पूर्ण परिदृश्य को सुरक्षित और कुशलता से समझना संभव हो जाता है।