📊 statistics

Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

यह शोध पत्र एक परिमित-नमूना (finite-sample), वितरण-मुक्त (distribution-free) ढांचे को प्रस्तुत करता है जो कॉन्फॉर्मल इन्फरेंस में सभी संभावित रिजेक्शन थ्रेशोल्ड के लिए फॉल्स डिस्कवरी प्रोपोर्शन (false discovery proportion) पर एक साथ, उच्च-संभाव्यता वाले ऊपरी बाउंड (upper bounds) स्थापित करता है, जिससे लचीले पोस्ट हॉक चयन को सक्षम बनाया जा सके और मौजूदा विधियों की तुलना में अधिक कड़े गारंटियाँ प्रदान की जा सकें।

मूल लेखक: Ziang Song, Ying Jin, Emmanuel J. Candès

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziang Song, Ying Jin, Emmanuel J. Candès

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल गोदाम में छिपी कुछ दुर्लभ, विशेष वस्तुओं को खोजने की कोशिश कर रहे हैं। आपके पास एक "डिटेक्टर" (एक मशीन लर्निंग मॉडल) है जो हर वस्तु को एक "संदेह स्कोर" (suspicion score) देता है। स्कोर जितना कम होगा, उस वस्तु के "नकली" या "आउटलायर" (जैसे कि नकली नोट या दोषपूर्ण पुर्जा) होने की संभावना उतनी ही अधिक होगी।

नकली वस्तुओं को पकड़ने के लिए, आप एक थ्रेशोल्ड (सीमा) निर्धारित करते हैं। यदि किसी वस्तु का स्कोर इस रेखा से नीचे है, तो आप उसे निरीक्षण के लिए चिह्नित करते हैं।

समस्या: यदि आप रेखा को बहुत नीचे सेट करते हैं, तो आप नकली वस्तुओं को चूक जाते हैं। यदि आप इसे बहुत ऊपर सेट करते हैं, तो आप वास्तविक वस्तुओं के निरीक्षण में समय बर्बाद करते हैं जो नकली नहीं हैं।
पुराना तरीका: पारंपरिक रूप से, सांख्यिकीविद कहेंगे, "औसतन, यदि आप एक हज़ार बार यह परीक्षण चलाते हैं, तो आप केवल 5% बार गलती करेंगे।"
- दोष: यह ऐसा ही है जैसे यह कहना कि, "औसतन आपकी कार खराब नहीं होगी।" लेकिन यदि आप अभी गाड़ी चला रहे हैं, तो वह औसत आपकी मदद नहीं करेगा। आपको यह जानने की आवश्यकता है: "क्या यह विशिष्ट कार अभी सुरक्षित है?" साथ ही, यदि आप अपने परिणामों को देखते हैं और पर्याप्त नकली वस्तुएं न मिलने पर अपना थ्रेशोल्ड बदलने का निर्णय लेते हैं, तो पुराना गणित पूरी तरह से टूट जाता है।

यह शोध पत्र एक नया, अत्यंत विश्वसनीय सुरक्षा जाल पेश करता है जो हर जगह और एक साथ काम करता है।

मुख्य विचार: "सर्वव्यापी" सुरक्षा जाल

लेखकों ने एक ऐसा तरीका बनाया है जो आपके परिणामों के ऊपर एक "छत" खींचता है। कल्पना कीजिए कि आप एक धुंधले जंगल (आपका डेटा) से गुजर रहे हैं। आप जानना चाहते हैं कि क्षेत्र में कितने खतरनाक जानवर (गलत अलार्म/false alarms) हैं।

औसत संख्या का अनुमान लगाने के बजाय, शोध पत्र की विधि एक पारदर्शी, उच्च-संभावना वाली बाड़ (fence) बनाती है जो आपके द्वारा चुने गए प्रत्येक संभावित पथ के लिए वास्तविक खतरनाक जानवरों की संख्या के ऊपर स्थित होती है।

एक साथ वैधता (Simultaneous Validity): यह बाड़ केवल एक विशिष्ट पथ (एक विशिष्ट थ्रेशोल्ड) के लिए काम नहीं करती है। यह हर उस पथ के लिए काम करती है जिसे आप चुन सकते हैं, भले ही आप जंगल को देखने के बाद अपना मन बदल लें और एक नया पथ चुनें।
गारंटी: यह शोध पत्र सिद्ध करता है कि 90% (या 95%) विश्वास के साथ, आपके द्वारा की जाने वाली गलतियों की वास्तविक संख्या हमेशा इस बाड़ के नीचे रहेगी।

उन्होंने बाड़ कैसे बनाई (जादुई ट्रिक)

इस बाड़ की गणना करने का रहस्य उनके "सीक्रेट सॉस" में है।

"नल" (Null) ब्रह्मांड: उन्होंने महसूस किया कि यदि चिह्नित की गई वस्तुएं वास्तव में "सामान्य" (नकली नहीं) हैं, तो उनका संदेह स्कोर एक बहुत ही विशिष्ट, पूर्वानुमेय पैटर्न का पालन करता है, जैसे कि पूरी तरह से फेंटा हुआ ताश का पत्ता।
सिमुलेशन (Simulation): जटिल गणितीय सूत्रों का उपयोग करके पैटर्न का अनुमान लगाने के बजाय (जो अक्सर बहुत ढीला, रूढ़िवादी घेरा बनाते हैं), उन्होंने लाखों "क्या-होता-अगर" वाले परिदृश्यों का सिमुलेशन किया। उन्होंने यह देखने के लिए "सामान्य" कार्डों को बार-बार फेंटा कि गलत अलार्म की संख्या कितनी ऊँची जा सकती है।
आकार बदलने वाली बाड़ (Shape-Shifting Fence): पुराने तरीकों ने एक सीधी, सपाट छत (एक रैखिक रेखा) का उपयोग किया। लेकिन शोध पत्र ने गौर किया कि डेटा में "शोर" (noise) सपाट नहीं है; यह लहरदार है। किनारों के पास (बहुत कम या बहुत उच्च थ्रेशोल्ड पर), शोर अलग तरह से व्यवहार करता है।
- उनकी नई बाड़ लचीली है। जहाँ डेटा स्थिर होता है वहाँ यह अंदर की ओर सिमट जाती है और जहाँ डेटा अनियंत्रित होता है वहाँ यह बाहर की ओर फूल जाती है। यह पुरानी, भारी सीधी रेखाओं की तुलना में इस बाड़ को बहुत अधिक सटीक और उपयोगी बनाता है।

शोध पत्र से वास्तविक दुनिया के उदाहरण

लेखकों ने दो विशिष्ट परिदृश्यों पर इसका परीक्षण किया:

1. आउटलायर डिटेक्टिव (धोखाधड़ी का पता लगाना)

परिदृश्य: आपके पास क्रेडिट कार्ड लेनदेन का ढेर है। अधिकांश सामान्य हैं; कुछ धोखाधड़ी वाले हैं। आप धोखाधड़ी को चिह्नित करना चाहते हैं।
जीत: नया तरीका आपको बताता है, "आप धोखाधड़ी को चिह्नित करने के लिए जो भी थ्रेशोल्ड चुनें, हम गारंटी देते हैं कि कम से कम 90% मामलों में, निर्दोष लोगों पर गलत आरोप लगाने का प्रतिशत इस रेखा से नीचे रहेगा।" यह महत्वपूर्ण है क्योंकि निर्दोष व्यक्ति पर आरोप लगाना महंगा और तनावपूर्ण होता है।

2. ड्रग हंटर (दवा की खोज)

परिदृश्य: एक फार्मास्युटिकल कंपनी के पास हजारों रासायनिक यौगिकों का पुस्तकालय है। वे उन कुछ को खोजना चाहते हैं जो किसी बीमारी को ठीक कर सकते हैं। वे इसके लिए एक कंप्यूटर मॉडल का उपयोग करते हैं।
जीत: शोधकर्ता उन "शीर्ष" उम्मीदवारों को चुनना चाहते हैं जिनका लैब में परीक्षण किया जाना है (जो महंगा है)। नया तरीका उन्हें यह कहने की अनुमति देता है, "यदि हम स्कोर के आधार पर शीर्ष 100 दवाओं को चुनते हैं, तो हमें 90% विश्वास है कि उनमें से कम से कम X% वास्तव में आशाजनक हैं।"
"पोस्ट-हॉक" जादू: अतीत में, यदि एक शोधकर्ता डेटा देखता, देखता कि उसे केवल 2 दवाएं मिली हैं, और फिर 10 खोजने के लिए "नियमों को ढीला करने" का निर्णय लेता, तो पुराना गणित उनसे झूठ बोलता। यह नया तरीका कहता है, "इससे कोई फर्क नहीं पड़ता कि आप डेटा देखने के बाद अपने नियम बदलते हैं; सुरक्षा बाड़ अभी भी कायम रहती है।"

यह क्यों मायने रखता है

"औसत पर" का अंत: यह आपको आपके हाथ में मौजूद विशिष्ट डेटासेट के लिए गारंटी देता है, न कि केवल एक सैद्धांतिक औसत के लिए।
खोजने की स्वतंत्रता: वैज्ञानिक बिना सांख्यिकीय नियमों को तोड़े डर के बिना अपने डेटा को देख सकते हैं, अपने मानदंड समायोजित कर सकते हैं और विभिन्न थ्रेशोल्ड का पता लगा सकते हैं।
सटीक सीमाएँ (Tighter Bounds): क्योंकि बाड़ डेटा के आकार के अनुकूल होती है, इसलिए यह पिछले तरीकों की तरह अत्यधिक सतर्क (रूढ़िवादी) नहीं है, जिससे शोधकर्ता गलतियों के जोखिम को बढ़ाए बिना अधिक वास्तविक खोजें कर सकते हैं।

संक्षेप में, यह शोध पत्र एक सार्वभौमिक, लचीला और गणितीय रूप से सिद्ध सुरक्षा जाल प्रदान करता है जो यह सुनिश्चित करता है कि आप अनजाने में बहुत अधिक निर्दोष वस्तुओं को चिह्नित न करें, चाहे आप अपने डेटा को कैसे भी देखें।

तकनीकी सारांश: फॉल्स डिस्कवरी प्रोपोर्शन्स (FDP) पर एवरीव्हेयर वैलिड बाउंड्स (Everywhere Valid Bounds)

समस्या विवरण
कन्फॉर्मल इन्फरेंस (conformal inference) के आधुनिक अनुप्रयोगों में, जैसे कि आउटलेयर डिटेक्शन और ड्रग डिस्कवरी में कैंडिडेट सिलेक्शन, अक्सर टेस्ट सैंपल्स को इस आधार पर चुनने में शामिल होता है कि उनके कन्फॉर्मल $p$ -वैल्यू एक विशिष्ट थ्रेशोल्ड (threshold) से नीचे हैं या नहीं। इन चयनों की विश्वसनीयता को फॉल्स डिस्कवरी प्रोपोर्शन (FDP) द्वारा मापा जाता है, जिसे सभी चयनित यूनिट्स में से गलत चयनों के अंश के रूप में परिभाषित किया गया है।

मौजूदा विधियाँ, जैसे कि बेन्जामिनी-हॉकबर्ग (BH) प्रक्रिया, मुख्य रूप से फॉल्स डिस्कवरी रेट (FDR) को नियंत्रित करती हैं, जो बार-बार डेटा रियलाइजेशन (data realizations) पर FDP का अपेक्षित मान (expected value) है। यह पेपर वर्तमान अत्याधुनिक अवस्था (state of the art) की दो महत्वपूर्ण सीमाओं की पहचान करता है:

वास्तविक गारंटी का अभाव (Lack of Realized Guarantees): अपेक्षित FDP को नियंत्रित करने का अर्थ यह गारंटी नहीं है कि किसी विशिष्ट डेटासेट पर FDP कम होगा। वास्तविक FDP अपेक्षित मान से काफी अधिक हो सकता है, जिससे अभ्यासकर्ताओं (practitioners) को कोई इंस्टेंस-वाइज (instance-wise) सुरक्षा नहीं मिल पाती।
पोस्ट हॉक चयन के लिए लचीलेपन की कमी (Inflexibility to Post Hoc Selection): मौजूदा गारंटियों के लिए महत्व स्तर (significance level) $\alpha$ को अग्रिम रूप से निर्धारित करना आवश्यक है। यदि कोई अभ्यासकर्ता डेटा का निरीक्षण करता है और थ्रेशोल्ड को समायोजित करता है (उदाहरण के लिए, खोजों की संख्या बढ़ाने के लिए), तो FDR कंट्रोल अमान्य हो जाता है।

लेखक सभी संभावित रिजेक्शन थ्रेशोल्ड $t \in [0, 1]$ पर एक साथ (simultaneously) लागू होने वाले, फिक्स्ड-सैंपल, डिस्ट्रीब्यूशन-फ्री अपर बाउंड्स (upper bounds) स्थापित करने का लक्ष्य रखते हैं। यह पोस्ट हॉक चयन के लिए किसी भी थ्रेशोल्ड को चुनने की अनुमति देता है जबकि कठोर सांख्यिकीय गारंटी बनी रहती है।

कार्यप्रणाली (Methodology)
प्रस्तावित ढांचे का मूल आधार एक्सचेंजेबिलिटी धारणा (exchangeability assumption) द्वारा प्रेरित "नल" (null) कन्फॉर्मल $p$ -वैल्यूज का सुलभ संयुक्त वितरण (tractable joint distribution) है।

कन्फॉर्मल यूनिफॉर्म वेरिएबल्स: लेखक टेस्ट स्कोर के नॉर्मलाइज्ड रैंक के रूप में कन्फॉर्मल यूनिफॉर्म वेरिएबल्स $u_j$ को परिभाषित करते हैं जो एक कैलिब्रेशन सेट के सापेक्ष होते हैं। एक्सचेंजेबिलिटी के तहत, इन वेरिएबल्स का वेक्टर एक ज्ञात संयुक्त वितरण $P_{n,m}$ को स्वीकार करता है जो अंतर्निहित डेटा-जेनरेटिंग मैकेनिज्म से स्वतंत्र है।
सैंपलिंग के माध्यम से एनवेलप निर्माण (Envelope Construction via Sampling): कॉन्सेंट्रेशन इनइक्वेलिटीज (जैसे कि ड्वोरेट्ज़की-कीफर-वुल्फ (DKW)) पर निर्भर रहने के बजाय, जो कंजर्वेटिव और लीनियर बाउंड्स देते हैं, लेखक 'नल' $p$ $p$ -वैल्यूज के एम्पीरिकल क्युमुलेटिव डिस्ट्रीब्यूशन फंक्शन (CDF) के लिए एक हाई-प्रोबेबिलिटी एनवेलप बनाने के लिए $P_{n,m}$ $P_{n, m}$ से सैंपलिंग करने का प्रस्ताव करते हैं।
- वे एक समरी स्टैटिस्टिक $T(F)$ (जैसे कि कोलमोगोरोव-स्मिरनोव, हायर-क्रिटिसिज्म, या बर्क-जोन्स स्टैटिस्टिक्स) को एम्पीरिकल CDF पर लागू करते हैं।
- $P_{n,m}$ से $B$ मोंटे कार्लो सैंपल्स जेनरेट करके, वे स्टैटिस्टिक के $(1-\delta)$ -क्वांटाइल को निर्धारित करने के लिए एक कटऑफ $\hat{T}$ की गणना करते हैं।
- इस कटऑफ को एक एनवेलप फंक्शन $G(t)$ बनाने के लिए इनवर्ट किया जाता है ताकि $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$ हो सके।
आउटलेयर डिटेक्शन के लिए रिफाइनमेंट रणनीतियाँ: आउटलेयर डिटेक्शन के लिए, जहाँ ट्रू नल्स (इनलायर्स) की संख्या अज्ञात है, लेखक दो टाइटनिंग तकनीकों को एकीकृत करते हैं:
- सेल्फ-रिफाइनमेंट (Self-Refinement): सिलेक्शन सेट की मोनोटोनिसिटी (monotonicity) का लाभ उठाते हुए फॉल्स डिस्कवरीज की संख्या पर बाउंड को इटरेटिवली सुधारने के लिए [HSG19] की एक तकनीक को अनुकूलित करना।
- नल-प्रोपोर्शन टाइटनिंग (Null-Proportion Tightening): ट्रू नल्स ( $m_0$ ) की संख्या पर एक ऊपरी सीमा का अनुमान लगाना और $P_{n,m}$ के बजाय $P_{n,m_0}$ पर आधारित एनवेलप का निर्माण करना, जो कंजर्वेटिवनेस को काफी कम कर देता है।
कन्फॉर्मल सिलेक्शन के लिए अनुप्रयोग: कन्फॉर्मल सिलेक्शन (जैसे ड्रग डिस्कवरी) के लिए, लेखक "ओरेकल" कन्फॉर्मल $p$ -वैल्यूज (जो अज्ञात वास्तविक परिणामों पर निर्भर करते हैं) का उपयोग करके फॉल्स डिस्कवरीज की संख्या को बाउंड करते हैं। वे सिद्ध करते हैं कि विशिष्ट मोनोटोन स्कोर फंक्शन्स (जैसे क्लिप्ड स्कोर्स) के तहत, फॉल्स डिस्कवरीज की संख्या इन ओरेकल वेरिएबल्स के एम्पीरिकल CDF द्वारा बाउंड होती है, जिससे सिमुल्टेनियस एनवेलप विधि को सीधे लागू किया जा सकता है।

प्रमुख योगदान (Key Contributions)

एम्पीरिकल CDFs पर नवीन अपर बाउंड्स: यह पेपर कन्फॉर्मल यूनिफॉर्म वेरिएबल्स के एम्पीरिकल CDF पर एक नया हाई-प्रोबेबिलिटी अपर बाउंड स्थापित करता है। अनुभवजन्य रूप से, यह बाउंड DKW-टाइप इनइक्वेलिटीज पर आधारित मौजूदा बाउंड्स की तुलना में अधिक टाइट है, विशेष रूप से $t$ के साथ परिवर्तनशील हेटेरोस्केडास्टिसिटी (heteroskedasticity) को अनुकूलित करके।
आउटलेयर डिटेक्शन के लिए सिमुल्टेनियस FDP बाउंड्स: लेखक सभी थ्रेशोल्ड्स पर एक साथ आउटलेयर डिटेक्शन के लिए FDP को बाउंड करने की एक विधि विकसित करते हैं। यह बेहतर CDF बाउंड को सेल्फ-रिफाइनमेंट और नल-प्रोपोर्शन टाइटनिंग तकनीकों के साथ जोड़ता है।
कन्फॉर्मल सिलेक्शन के लिए प्रथम फिक्स्ड-सैंपल FDP बाउंड्स: यह पेपर कन्फॉर्मल सिलेक्शन समस्याओं के लिए सभी रिजेक्शन थ्रेशोल्ड्स पर यूनिफॉर्म रूप से लागू होने वाले पहले फिक्स्ड-सैंपल FDP बाउंड्स प्रदान करता है।
सामान्य ढांचा (General Framework): यह कार्य $p$ -वैल्यूज के संयुक्त वितरण से सैंपलिंग के माध्यम से रैंडम फंक्शन्स पर हाई-प्रोबेबिलिटी बाउंड्स प्राप्त करने के लिए एक सामान्य ढांचा पेश करता है, जो कॉन्सेंट्रेशन इनइक्वेलिटी-आधारित दृष्टिकोणों की तुलना में शार्पर बाउंड्स प्रदान करता है जबकि फिक्स्ड-सैंपल वैधता को बनाए रखता है।

परिणाम (Results)
लेखक सिंथेटिक और रियल-डेटा प्रयोगों के माध्यम से अपने ढांचे को मान्य करते हैं:

सिंथेटिक आउटलेयर डिटेक्शन: गॉसियन मिक्सचर मॉडल्स पर प्रयोगों से पता चलता है कि प्रस्तावित FDP बाउंड्स (विशेष रूप से ट्रंकेटेड हायर-क्रिटिसिज्म स्टैटिस्टिक का उपयोग करते हुए) 100 रिप्लिकेशन्स में वैध कवरेज (लक्ष्य 90% कॉन्फिडेंस से अधिक) बनाए रखते हैं। बाउंड्स को बेसलाइन लीनियर बाउंड्स की तुलना में काफी कम कंजर्वेटिव दिखाया गया है, विशेष रूप से छोटे रिजेक्शन थ्रेशोल्ड के लिए। सेल्फ-रिफाइनमेंट और नल-प्रोपोर्शन टाइटनिंग का संयोजन सबसे शार्प बाउंड्स प्रदान करता है।
रियल-वर्ल्ड ड्रग डिस्कवरी: ड्रग-टारगेट इंटरेक्शन प्रेडिक्शन के लिए DAVIS डेटासेट का उपयोग करते हुए, विधि को प्रॉमिसिंग ड्रग कैंडिडेट्स को चुनने के लिए लागू किया गया है। परिणाम दिखाते हैं कि सिमुल्टेनियस अपर बाउंड सभी सिलेक्शन थ्रेशोल्ड्स पर लगातार 92% इंडिपेंडेंट रन में वास्तविक FDP के ऊपर रहता है।
पोस्ट हॉक अडैप्टिविटी: पेपर प्रदर्शित करता है कि अभ्यासकर्ता (practitioners) चयन थ्रेशोल्ड को अनुकूल रूप से बदल सकते हैं (उदाहरण के लिए, अधिक कैंडिडेट खोजने के लिए $\alpha$ को बढ़ाना) जबकि प्रस्तावित बाउंड वैध रहता है। इसके विपरीत, BH लेवल के मानक पोस्ट हॉक एडजस्टमेंट वास्तविक FDP को ऊपर-बाउंड करने में विफल रहते हैं।

महत्व और दावे (Significance and Claims)
यह पेपर "रियललाइज्ड FDP" समस्या का समाधान प्रदान करने का दावा करता है, जो अभ्यासकर्ताओं को केवल औसत-केस गारंटी के बजाय इंस्टेंस-वाइज गारंटी प्रदान करता है। किसी भी पोस्ट हॉक थ्रेशोल्ड सिलेक्शन को सक्षम बनाकर, यह ढांचा सांख्यिकीय कठोरता से समझौता किए बिना लचीले, डेटा-संचालित अन्वेषण का समर्थन करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मौजूदा विधियों की तुलना में "काफी कम कंजर्वेटिव" बाउंड्स प्रदान करता है, जिससे कन्फॉर्मल इन्फरेंस उच्च-दांव वाले अनुप्रयोगों जैसे वैज्ञानिक खोज और मेडिकल स्क्रीनिंग के लिए अधिक व्यावहारिक बन जाता है जहाँ फॉलो-अप लागत अधिक होती है। यह कार्य एक एकीकृत रणनीति के रूप में प्रस्तुत किया गया है जिसे किसी भी ऐसी समस्या पर लागू किया जा सकता है जहाँ नल $p$ -वैल्यूज के संयुक्त वितरण को सिम्युलेट किया जा सकता है, जो आउटलेयर डिटेक्शन और कन्फॉर्मल सिलेक्शन के विशिष्ट उदाहरणों से परे जाता है।

मुख्य विचार: "सर्वव्यापी" सुरक्षा जाल

उन्होंने बाड़ कैसे बनाई (जादुई ट्रिक)

शोध पत्र से वास्तविक दुनिया के उदाहरण

यह क्यों मायने रखता है

इसी तरह के और पेपर